Arricchire le tabelle Delta Lake con metadati personalizzati

  • Articolo

Databricks consiglia sempre di fornire commenti per tabelle e colonne nelle tabelle. È possibile generare questi commenti usando l’intelligenza artificiale. Vedere Aggiungere commenti generati dall’IA agli oggetti del catalogo unity.

Unity Catalog offre anche la possibilità di contrassegnare i dati. Vedere Applicare tag agli oggetti a protezione diretta del catalogo Unity.

È anche possibile registrare i messaggi per i singoli commit nelle tabelle in un campo nel log delle transazioni Delta Lake.

Impostare i metadati di commit definiti dall’utente

È possibile specificare stringhe definite dall’utente come metadati nei commit, usando l’opzione userMetadata DataFrameWriter o la configurazione spark.databricks.delta.commitInfo.userMetadatasparkSession . Se entrambi sono stati specificati, l’opzione assume la preferenza. Questi metadati definiti dall’utente sono leggibili nell’operazione DESCRIBE HISTORY . Vedere Usare la cronologia delle tabelle Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")