高速、条件付き、k ニアレストネイバーを使用したカルチャと芸術領域全体の芸術品の探索

[アーティクル]
08/14/2023

この記事は、k ニアレストネイバーを使用した一致検索のガイドラインとなります。 NYC のメトロポリタン美術館とアムステルダムのアムステルダム国立美術館から集積されたカルチャや芸術領域に関するクエリを可能にするコードを設定します。

前提条件

ノートブックをレイクハウスにアタッチします。左側で [追加] を選択して、既存のレイクハウスを追加するか、レイクハウスを作成します。

BallTree の概要

KNN モデルの背後で機能する構造は BallTree です。これは再帰的なバイナリツリーであり、各ノード ("ボール") にはクエリ対象のデータのポイントのパーティションが含まれています。 BallTree の構築には、中心が (特定の指定された構造体に対して) 最も近い "ボール" にデータポイントを割り当てることが含まれます。その結果、バイナリツリーのようなトラバーサルが可能な、BallTree リーフで k ニアレストネイバーを見つけるのに役立つ構造になります。

セットアップ

必要な Python ライブラリをインポートし、データセットを準備します。

from synapse.ml.core.platform import *

if running_on_binder():
    from IPython import get_ipython

from pyspark.sql.types import BooleanType
from pyspark.sql.types import *
from pyspark.ml.feature import Normalizer
from pyspark.sql.functions import lit, array, array_contains, udf, col, struct
from synapse.ml.nn import ConditionalKNN, ConditionalKNNModel
from PIL import Image
from io import BytesIO

import requests
import numpy as np
import matplotlib.pyplot as plt
from pyspark.sql import SparkSession

# Bootstrap Spark Session
spark = SparkSession.builder.getOrCreate()

このデータセットは、メトロポリタン美術館とアムステルダム国立美術館の両方の美術館の芸術作品情報を含むテーブルから取得されます。スキーマは次のとおりです。

id: 芸術品の一意識別子
- サンプルのメトロポリタン美術館 ID: 388395
- サンプルのアムステルダム国立美術館 ID: SK-A-2344
タイトル: 美術館のデータベースに書かれている芸術品のタイトル
アーティスト: 美術館のデータベースに書かれている芸術品のアーティスト
Thumbnail_Url: 芸術品の JPEG サムネイルの場所
Image_Url メトロポリタン美術館/アムステルダム国立美術館の Web サイトで開催されている芸術品の画像の場所
カルチャ: 芸術品が該当するカルチャのカテゴリ
- サンプルのカルチャカテゴリ: ラテンアメリカやエジプトなど
分類: 芸術品が該当する芸術領域のカテゴリ
- サンプルの芸術領域のカテゴリ: 木細工や絵画など。
Museum_Page: メトロポリタン美術館/アムステルダム国立美術館の Web サイトの芸術品へのリンク
Norm_Features: 芸術品画像の埋め込み
美術館: 作品を収蔵している美術館を指定します

# loads the dataset and the two trained CKNN models for querying by medium and culture
df = spark.read.parquet(
    "wasbs://publicwasb@mmlspark.blob.core.windows.net/met_and_rijks.parquet"
)
display(df.drop("Norm_Features"))

クエリ対象のカテゴリを定義する

2 つの KNN モデルが使用されます。1 つはカルチャ用、1 つは芸術領域用です。

# mediums = ['prints', 'drawings', 'ceramics', 'textiles', 'paintings', "musical instruments","glass", 'accessories', 'photographs',  "metalwork",
#           "sculptures", "weapons", "stone", "precious", "paper", "woodwork", "leatherwork", "uncategorized"]

mediums = ["paintings", "glass", "ceramics"]

# cultures = ['african (general)', 'american', 'ancient american', 'ancient asian', 'ancient european', 'ancient middle-eastern', 'asian (general)',
#            'austrian', 'belgian', 'british', 'chinese', 'czech', 'dutch', 'egyptian']#, 'european (general)', 'french', 'german', 'greek',
#            'iranian', 'italian', 'japanese', 'latin american', 'middle eastern', 'roman', 'russian', 'south asian', 'southeast asian',
#            'spanish', 'swiss', 'various']

cultures = ["japanese", "american", "african (general)"]

# Uncomment the above for more robust and large scale searches!

classes = cultures + mediums

medium_set = set(mediums)
culture_set = set(cultures)
selected_ids = {"AK-RBK-17525-2", "AK-MAK-1204", "AK-RAK-2015-2-9"}

small_df = df.where(
    udf(
        lambda medium, culture, id_val: (medium in medium_set)
        or (culture in culture_set)
        or (id_val in selected_ids),
        BooleanType(),
    )("Classification", "Culture", "id")
)

small_df.count()

条件付き KNN モデルを定義して適合する

芸術領域列とカルチャ列の両方に対して条件付き KNN モデルを作成します。各モデルは、出力列、特徴列 (特徴ベクトル)、値列 (出力列の下のセル値)、およびラベル列 (それぞれの KNN が条件付けされる品質) を取ります。

medium_cknn = (
    ConditionalKNN()
    .setOutputCol("Matches")
    .setFeaturesCol("Norm_Features")
    .setValuesCol("Thumbnail_Url")
    .setLabelCol("Classification")
    .fit(small_df)
)

culture_cknn = (
    ConditionalKNN()
    .setOutputCol("Matches")
    .setFeaturesCol("Norm_Features")
    .setValuesCol("Thumbnail_Url")
    .setLabelCol("Culture")
    .fit(small_df)
)

照合と視覚化のメソッドを定義する

最初のデータセットとカテゴリの設定後、条件付き KNN の結果に対してクエリを実行して視覚化するメソッドを準備します。

addMatches() は、カテゴリごとに少数の一致を持つデータフレームを作成します。

def add_matches(classes, cknn, df):
    results = df
    for label in classes:
        results = cknn.transform(
            results.withColumn("conditioner", array(lit(label)))
        ).withColumnRenamed("Matches", "Matches_{}".format(label))
    return results

plot_urls() は plot_img を呼び出して、各カテゴリの上位一致をグリッドに視覚化します。

def plot_img(axis, url, title):
    try:
        response = requests.get(url)
        img = Image.open(BytesIO(response.content)).convert("RGB")
        axis.imshow(img, aspect="equal")
    except:
        pass
    if title is not None:
        axis.set_title(title, fontsize=4)
    axis.axis("off")


def plot_urls(url_arr, titles, filename):
    nx, ny = url_arr.shape

    plt.figure(figsize=(nx * 5, ny * 5), dpi=1600)
    fig, axes = plt.subplots(ny, nx)

    # reshape required in the case of 1 image query
    if len(axes.shape) == 1:
        axes = axes.reshape(1, -1)

    for i in range(nx):
        for j in range(ny):
            if j == 0:
                plot_img(axes[j, i], url_arr[i, j], titles[i])
            else:
                plot_img(axes[j, i], url_arr[i, j], None)

    plt.savefig(filename, dpi=1600)  # saves the results as a PNG

    display(plt.show())

すべてを組み合わせる

データ、CKNN モデル、クエリを実行するアート ID 値、および出力視覚化を保存するファイルパスを取り込むように test_all() を定義します。芸術領域モデルとカルチャモデルは、以前にトレーニングされ、読み込まれました。

# main method to test a particular dataset with two CKNN models and a set of art IDs, saving the result to filename.png


def test_all(data, cknn_medium, cknn_culture, test_ids, root):
    is_nice_obj = udf(lambda obj: obj in test_ids, BooleanType())
    test_df = data.where(is_nice_obj("id"))

    results_df_medium = add_matches(mediums, cknn_medium, test_df)
    results_df_culture = add_matches(cultures, cknn_culture, results_df_medium)

    results = results_df_culture.collect()

    original_urls = [row["Thumbnail_Url"] for row in results]

    culture_urls = [
        [row["Matches_{}".format(label)][0]["value"] for row in results]
        for label in cultures
    ]
    culture_url_arr = np.array([original_urls] + culture_urls)[:, :]
    plot_urls(culture_url_arr, ["Original"] + cultures, root + "matches_by_culture.png")

    medium_urls = [
        [row["Matches_{}".format(label)][0]["value"] for row in results]
        for label in mediums
    ]
    medium_url_arr = np.array([original_urls] + medium_urls)[:, :]
    plot_urls(medium_url_arr, ["Original"] + mediums, root + "matches_by_medium.png")

    return results_df_culture

Demo

次のセルは、目的の画像 ID とファイル名を指定してバッチクエリを実行し、視覚化を保存します。

# sample query
result_df = test_all(small_df, medium_cknn, culture_cknn, selected_ids, root=".")

次の方法で共有

高速、条件付き、k ニアレストネイバーを使用したカルチャと芸術領域全体の芸術品の探索

前提条件

BallTree の概要

セットアップ

クエリ対象のカテゴリを定義する

条件付き KNN モデルを定義して適合する

照合と視覚化のメソッドを定義する

すべてを組み合わせる

Demo

フィードバック

その他のリソース

次の方法で共有

高速、条件付き、k ニアレストネイバーを使用したカルチャと芸術領域全体の芸術品の探索

前提条件

BallTree の概要

セットアップ

クエリ対象のカテゴリを定義する

条件付き KNN モデルを定義して適合する

照合と視覚化のメソッドを定義する

すべてを組み合わせる

Demo

関連するコンテンツ

フィードバック

その他のリソース