Explorando a arte através da cultura e do meio com vizinhos rápidos, condicionais e k-mais próximos
Este artigo serve como uma diretriz para encontrar correspondências via k-nearest-neighbors. Você configura um código que permite consultas envolvendo culturas e meios de arte acumulados do Metropolitan Museum of Art em Nova York e do Rijksmuseum em Amsterdã.
Pré-requisitos
- Ligue o seu bloco de notas a uma casa no lago. No lado esquerdo, selecione Adicionar para adicionar uma casa de lago existente ou criar uma casa de lago.
Visão geral do BallTree
A estrutura que funciona por trás do modelo KNN é uma BallTree, que é uma árvore binária recursiva onde cada nó (ou "bola") contém uma partição dos pontos de dados a serem consultados. A construção de um BallTree envolve a atribuição de pontos de dados para a "bola" cujo centro eles estão mais próximos (em relação a um determinado recurso especificado), resultando em uma estrutura que permite a travessia binária-árvore e se presta a encontrar vizinhos k-mais próximos em uma folha BallTree.
Configurar
Importe as bibliotecas Python necessárias e prepare o conjunto de dados.
from synapse.ml.core.platform import *
if running_on_binder():
from IPython import get_ipython
from pyspark.sql.types import BooleanType
from pyspark.sql.types import *
from pyspark.ml.feature import Normalizer
from pyspark.sql.functions import lit, array, array_contains, udf, col, struct
from synapse.ml.nn import ConditionalKNN, ConditionalKNNModel
from PIL import Image
from io import BytesIO
import requests
import numpy as np
import matplotlib.pyplot as plt
from pyspark.sql import SparkSession
# Bootstrap Spark Session
spark = SparkSession.builder.getOrCreate()
Nosso conjunto de dados vem de uma tabela contendo informações de obras de arte dos museus Met e Rijks. O esquema é o seguinte:
- id: Um identificador exclusivo para uma obra de arte
- Exemplo de Met id: 388395
- Exemplo Rijks id: SK-A-2344
- Título: Título da peça de arte, conforme escrito na base de dados do museu
- Artista: Artista de peças de arte, conforme escrito na base de dados do museu
- Thumbnail_Url: Localização de uma miniatura JPEG da obra de arte
- Image_Url Localização de uma imagem da obra de arte alojada no sítio Web do Met/Rijks
- Cultura: Categoria de cultura em que a obra de arte se enquadra
- Categorias de cultura de amostra: latino-americana, egípcia, etc.
- Classificação: Categoria de suporte em que a obra de arte se enquadra
- Categorias de meios de amostragem: marcenaria, pinturas, etc.
- Museum_Page: Link para a obra de arte no site do Met/Rijks
- Norm_Features: Incorporação da imagem da obra de arte
- Museu: Especifica de qual museu a peça se originou
# loads the dataset and the two trained CKNN models for querying by medium and culture
df = spark.read.parquet(
"wasbs://publicwasb@mmlspark.blob.core.windows.net/met_and_rijks.parquet"
)
display(df.drop("Norm_Features"))
Definir categorias a serem consultadas
Dois modelos KNN são usados: um para cultura e outro para meio.
# mediums = ['prints', 'drawings', 'ceramics', 'textiles', 'paintings', "musical instruments","glass", 'accessories', 'photographs', "metalwork",
# "sculptures", "weapons", "stone", "precious", "paper", "woodwork", "leatherwork", "uncategorized"]
mediums = ["paintings", "glass", "ceramics"]
# cultures = ['african (general)', 'american', 'ancient american', 'ancient asian', 'ancient european', 'ancient middle-eastern', 'asian (general)',
# 'austrian', 'belgian', 'british', 'chinese', 'czech', 'dutch', 'egyptian']#, 'european (general)', 'french', 'german', 'greek',
# 'iranian', 'italian', 'japanese', 'latin american', 'middle eastern', 'roman', 'russian', 'south asian', 'southeast asian',
# 'spanish', 'swiss', 'various']
cultures = ["japanese", "american", "african (general)"]
# Uncomment the above for more robust and large scale searches!
classes = cultures + mediums
medium_set = set(mediums)
culture_set = set(cultures)
selected_ids = {"AK-RBK-17525-2", "AK-MAK-1204", "AK-RAK-2015-2-9"}
small_df = df.where(
udf(
lambda medium, culture, id_val: (medium in medium_set)
or (culture in culture_set)
or (id_val in selected_ids),
BooleanType(),
)("Classification", "Culture", "id")
)
small_df.count()
Definir e ajustar modelos ConditionalKNN
Criar modelos ConditionalKNN para as colunas de meio e cultura; cada modelo inclui uma coluna de saída, coluna de feições (vetor de feição), coluna de valores (valores de célula sob a coluna de saída) e coluna de rótulo (a qualidade à qual a respetiva KNN está condicionada).
medium_cknn = (
ConditionalKNN()
.setOutputCol("Matches")
.setFeaturesCol("Norm_Features")
.setValuesCol("Thumbnail_Url")
.setLabelCol("Classification")
.fit(small_df)
)
culture_cknn = (
ConditionalKNN()
.setOutputCol("Matches")
.setFeaturesCol("Norm_Features")
.setValuesCol("Thumbnail_Url")
.setLabelCol("Culture")
.fit(small_df)
)
Definir métodos de correspondência e visualização
Após a configuração inicial do conjunto de dados e da categoria, prepare métodos que consultarão e visualizarão os resultados condicionais da KNN.
addMatches() cria um Dataframe com um punhado de correspondências por categoria.
def add_matches(classes, cknn, df):
results = df
for label in classes:
results = cknn.transform(
results.withColumn("conditioner", array(lit(label)))
).withColumnRenamed("Matches", "Matches_{}".format(label))
return results
plot_urls() chamadas plot_img para visualizar as principais partidas de cada categoria em uma grade.
def plot_img(axis, url, title):
try:
response = requests.get(url)
img = Image.open(BytesIO(response.content)).convert("RGB")
axis.imshow(img, aspect="equal")
except:
pass
if title is not None:
axis.set_title(title, fontsize=4)
axis.axis("off")
def plot_urls(url_arr, titles, filename):
nx, ny = url_arr.shape
plt.figure(figsize=(nx * 5, ny * 5), dpi=1600)
fig, axes = plt.subplots(ny, nx)
# reshape required in the case of 1 image query
if len(axes.shape) == 1:
axes = axes.reshape(1, -1)
for i in range(nx):
for j in range(ny):
if j == 0:
plot_img(axes[j, i], url_arr[i, j], titles[i])
else:
plot_img(axes[j, i], url_arr[i, j], None)
plt.savefig(filename, dpi=1600) # saves the results as a PNG
display(plt.show())
Juntar tudo
Defina test_all() para receber os dados, os modelos CKNN, os valores de id de arte para consultar e o caminho do arquivo para salvar a visualização de saída. Os modelos de meio e cultura foram previamente treinados e carregados.
# main method to test a particular dataset with two CKNN models and a set of art IDs, saving the result to filename.png
def test_all(data, cknn_medium, cknn_culture, test_ids, root):
is_nice_obj = udf(lambda obj: obj in test_ids, BooleanType())
test_df = data.where(is_nice_obj("id"))
results_df_medium = add_matches(mediums, cknn_medium, test_df)
results_df_culture = add_matches(cultures, cknn_culture, results_df_medium)
results = results_df_culture.collect()
original_urls = [row["Thumbnail_Url"] for row in results]
culture_urls = [
[row["Matches_{}".format(label)][0]["value"] for row in results]
for label in cultures
]
culture_url_arr = np.array([original_urls] + culture_urls)[:, :]
plot_urls(culture_url_arr, ["Original"] + cultures, root + "matches_by_culture.png")
medium_urls = [
[row["Matches_{}".format(label)][0]["value"] for row in results]
for label in mediums
]
medium_url_arr = np.array([original_urls] + medium_urls)[:, :]
plot_urls(medium_url_arr, ["Original"] + mediums, root + "matches_by_medium.png")
return results_df_culture
Demo
A célula a seguir executa consultas em lote com IDs de imagem desejados e um nome de arquivo para salvar a visualização.
# sample query
result_df = test_all(small_df, medium_cknn, culture_cknn, selected_ids, root=".")