Referência das tabelas do sistema de linhagem

Esse artigo fornece uma visão geral das duas tabelas do sistema de linhagem. Essas tabelas do sistema se baseiam no recurso de linhagem de dados do Catálogo do Unity, permitindo que você consulte programaticamente dados de linhagem para alimentar a tomada de decisões e relatórios.

Tabela de linhagem de tabela

A tabela do sistema de linhagem de tabela inclui um registro para cada evento de leitura ou gravação em uma tabela ou caminho do Catálogo do Unity. Isso inclui, mas não se limita a execuções de trabalho, execuções de notebook e painéis atualizados com o evento de leitura ou gravação.

Caminho da tabela: Esta tabela do sistema está localizada em system.access.table_lineage.

Tabela de linhagem de coluna

A tabela de linhagem de coluna não inclui eventos que não têm uma origem. Por exemplo, se você inserir em uma coluna usando valores explícitos, ela não será capturada. Se você ler uma coluna, ela será capturada se você gravar ou não a saída. Não há suporte para a linhagem de coluna para o Tabelas Dinâmicas Delta.

Caminho da tabela: Esta tabela do sistema está localizada em system.access.column_lineage.

Esquema da tabela do sistema de linhagem

As tabelas do sistema de linhagem usam o esquema a seguir. O esquema de linhagem de tabela não inclui source_column_name e target_column_name.

Tabelas do sistema de linhagem de dados

Observe as seguintes considerações ao analisar tabelas do sistema de linhagem:

• Para o entity_type, o Azure Databricks é compatível com Tabelas Dinâmicas Delta, notebooks, trabalhos, consultas SQL do Databricks e painéis. Eventos de outras entidades não são compatíveis.
• Se você vir o entity_type como null, isso significa que nenhuma entidade do Azure Databricks está envolvida no evento. Por exemplo, pode ser o resultado de uma consulta JDBC ou de um usuário clicando na guia Dados de Exemplo na interface do usuário do Azure Databricks.
• Para determinar se o evento era uma leitura ou uma gravação, você pode exibir o tipo de origem e o tipo de destino.
  • Somente leitura: o tipo de origem não é nulo, mas o tipo de destino é nulo.
  • Somente gravação: o tipo de destino não é nulo, mas o tipo de origem é nulo.
  • Leitura e gravação: o tipo de origem e o tipo de destino não são nulos.

Exemplo de tabela do sistema de linhagem

Como exemplo de como a linhagem é registrada em tabelas do sistema, aqui está uma consulta de exemplo seguida pelos registros de linhagem que a consulta cria:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

O registro em system.access.table_lineage seria semelhante a:

O registro em system.access.column_lineage seria semelhante a:

Solução de problemas de consultas de tabela externa

Quando você referencia uma tabela externa usando seu caminho de armazenamento em nuvem, o registro de linhagem associado inclui apenas o nome do caminho e não o nome da tabela. Por exemplo, o registro de linhagem dessa consulta incluiria o nome do caminho e não o nome da tabela:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Se você estiver tentando consultar registros de linhagem de uma tabela externa referenciada por caminho, precisará filtrar a consulta usando source_path ou target_path em vez de source_table_full_name ou target_table_full_name. Por exemplo, a consulta a seguir extrai todos os registros de linhagem de uma tabela externa:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Exemplo: recuperar registros de linhagem com base no nome da tabela externa

Se você não quiser recuperar manualmente o caminho de armazenamento em nuvem para localizar a linhagem, poderá usar a seguinte função para obter dados de linhagem usando o nome da tabela. Você também pode substituir system.access.table_lineage por system.access.column_lineage na função se quiser consultar a linhagem da coluna.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Em seguida, use o seguinte comando para chamar a função e exibir registros de linhagem para a tabela externa:

display(getLineageForTable("table_name"))