Referenční dokumentace systémových tabulek rodokmenu

Tento článek obsahuje přehled dvou systémových tabulek rodokmenu. Tyto systémové tabulky vycházejí z funkce rodokmenu dat v Unity Catalog, která umožňuje programově dotazovat data rodokmenu, aby se mohla rozhodovat o rozhodování a sestavách v Unity.

Tabulka rodokmenu tabulky

Systémová tabulka rodokmenu tabulky obsahuje záznam pro každou událost čtení nebo zápisu v tabulce nebo cestě katalogu Unity. To zahrnuje mimo jiné spuštění úloh, spuštění poznámkového bloku a řídicí panely aktualizované událostí čtení nebo zápisu.

Cesta k tabulce: Tato systémová tabulka se nachází na system.access.table_lineageadrese .

Tabulka rodokmenu sloupců

Tabulka rodokmenu sloupců neobsahuje události, které nemají zdroj. Pokud například vložíte do sloupce pomocí explicitních hodnot, nezachytí se. Pokud přečtete sloupec, zachytí se bez ohledu na to, jestli zapíšete výstup. Rodokmen sloupců není pro dynamické tabulky Delta podporován.

Cesta k tabulce: Tato systémová tabulka se nachází na system.access.column_lineageadrese .

Schéma systémové tabulky rodokmenu

Systémové tabulky rodokmenu používají následující schéma. Schéma rodokmenu tabulky nezahrnuje source_column_name a target_column_name.

Čtení systémových tabulek rodokmenu

Při analýze systémových tabulek rodokmenu si všimněte následujících aspektů:

• entity_typeAzure Databricks podporuje tabulky Delta Live, poznámkové bloky, úlohy, dotazy SQL Databricks a řídicí panely. Události z jiných entit se nepodporují.
• Pokud se zobrazí entity_type jako null, znamená to, že v události není zahrnuta žádná entita Azure Databricks. Může to být například výsledek dotazu JDBC nebo kliknutí na kartu Ukázková data v uživatelském rozhraní Azure Databricks.
• Pokud chcete zjistit, jestli byla událost čtením nebo zápisem, můžete zobrazit typ zdroje a cílový typ.
  • Jen pro čtení: Typ zdroje není null, ale cílový typ má hodnotu null.
  • Pouze zápis: Cílový typ není null, ale zdrojový typ má hodnotu null.
  • Čtení a zápis: Typ zdroje a cílový typ nemají hodnotu null.

Příklad systémové tabulky rodokmenu

Jako příklad, jak se rodokmen zaznamenává v systémových tabulkách, tady je příklad dotazu následovaný záznamy rodokmenu, který dotaz vytvoří:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

Záznam system.access.table_lineage by vypadal takto:

Záznam system.access.column_lineage by vypadal takto:

Řešení potíží s dotazy na externí tabulky

Pokud odkazujete na externí tabulku pomocí cesty ke cloudovému úložišti, přidružený záznam rodokmenu obsahuje pouze název cesty, nikoli název tabulky. Záznam rodokmenu pro tento dotaz by například obsahoval název cesty, nikoli název tabulky:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Pokud se pokoušíte dotazovat záznamy rodokmenu pro externí tabulku odkazovanou cestou, budete muset dotaz filtrovat pomocí source_path nebo target_path místo source_table_full_name nebo target_table_full_name. Například následující dotaz načítá všechny záznamy rodokmenu pro externí tabulku:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Příklad: Načtení záznamů rodokmenu na základě názvu externí tabulky

Pokud nechcete ručně načíst cestu ke cloudovému úložišti a najít rodokmen, můžete pomocí následující funkce získat data rodokmenu pomocí názvu tabulky. Pokud chcete dotazovat rodokmen sloupců, můžete funkci nahradit system.access.table_lineage system.access.column_lineage také funkcí.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Pak pomocí následujícího příkazu volejte funkci a zobrazte záznamy rodokmenu pro externí tabulku:

display(getLineageForTable("table_name"))