Como obter linhagem do Azure Synapse Analytics no Microsoft Purview

Este documento explica as etapas necessárias para conectar um workspace Azure Synapse com uma conta do Microsoft Purview para acompanhar a linhagem de dados e ingerir fontes de dados. O documento também entra nos detalhes do escopo de cobertura da atividade e dos recursos de linhagem com suporte.

Quando você se conecta Azure Synapse Analytics ao Microsoft Purview, sempre que uma atividade de pipeline com suporte for executada, metadados sobre os dados de origem, os dados de saída e a atividade serão ingeridos automaticamente no Mapa de Dados do Microsoft Purview.

Se uma fonte de dados já tiver sido digitalizada e existir no mapa de dados, o processo de ingestão adicionará as informações de linhagem do Azure Synapse Analytics à fonte existente. Se a origem ou a saída não existir no mapa de dados e tiver suporte na linhagem Azure Synapse Analytics, o Microsoft Purview adicionará automaticamente seus metadados do Synapse Analytics ao mapa de dados na coleção raiz.

Essa pode ser uma excelente maneira de monitorar seu patrimônio de dados à medida que os usuários movem e transformam informações usando Azure Synapse Analytics.

Recursos de Azure Synapse com suporte

Atualmente, o Microsoft Purview captura a linhagem de runtime das seguintes atividades de pipeline Azure Synapse:

• Copiar Dados
• Fluxo de Dados

suporte atividade Copy

* O Microsoft Purview atualmente não dá suporte a consultas ou procedimentos armazenados para linhagem ou verificação. A linhagem é limitada apenas a fontes de tabela e exibição.

Se você usar o Integration Runtime auto-hospedado, observe a versão mínima com suporte de linhagem para:

• Qualquer caso de uso: versão 5.9.7885.3 ou posterior
• Copiar dados do Oracle: versão 5.10 ou posterior
• Copiar dados no Azure Synapse Analytics por meio do comando COPY ou PolyBase: versão 5.10 ou posterior

Limitações na linhagem de atividade de cópia

Atualmente, se você usar os seguintes recursos de atividade de cópia, a linhagem ainda não terá suporte:

• Copie dados em Azure Data Lake Storage Gen1 usando o formato Binário.
• Configuração de compactação para arquivos Binary, texto delimitado, Excel, JSON e XML.
• Opções de partição de origem para Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, análise de Azure Synapse, SQL Server e tabela SAP.
• Copie dados para o coletor baseado em arquivo com a configuração de linhas máximas por arquivo.
• No momento, não há suporte para linhagem de nível de coluna pela atividade de cópia quando a origem/coletor é definida.

Além da linhagem, o esquema de ativo de dados (mostrado na guia Ativo –> Esquema) é relatado para os seguintes conectores:

• Arquivos CSV e Parquet no Blob do Azure, Arquivos do Azure, ADLS Gen1, ADLS Gen2 e Amazon S3
• Banco de Dados do Azure Data Explorer, banco de dados SQL do Azure, Instância Gerenciada de SQL do Azure, análise de Azure Synapse, SQL Server, Teradata

suporte Fluxo de Dados

* O Microsoft Purview atualmente não dá suporte a consultas ou procedimentos armazenados para linhagem ou verificação. A linhagem é limitada apenas a fontes de tabela e exibição.

Limitações na linhagem de fluxo de dados

• A linhagem de fluxo de dados pode gerar um conjunto de recursos no nível da pasta sem visibilidade nos arquivos envolvidos.
• No momento, não há suporte para linhagem de nível de coluna quando a origem/coletor é definida.
• Para a linhagem da atividade de fluxo de dados, o Microsoft Purview só dá suporte a mostrar a origem e o coletor envolvidos. A linhagem detalhada para transformação de fluxo de dados ainda não tem suporte.

Conta do Microsoft Purview protegida de acesso

Se sua conta do Microsoft Purview estiver protegida por firewall, saiba como permitir que Azure Synapse acesse uma conta segura do Microsoft Purview por meio de pontos de extremidade privados do Microsoft Purview.

Trazer Azure Synapse linhagem para o Microsoft Purview

Etapa 1: conectar Azure Synapse workspace à sua conta do Microsoft Purview

Você pode conectar um workspace Azure Synapse ao Microsoft Purview e a conexão permite que Azure Synapse envie informações de linhagem por push para o Microsoft Purview. Siga as etapas no workspace Connect Synapse ao Microsoft Purview. Vários workspaces Azure Synapse podem se conectar a uma única conta do Microsoft Purview para acompanhamento de linhagem holística.

Etapa 2: executar pipeline no workspace Azure Synapse

Você pode criar pipelines com atividade Copy no workspace Azure Synapse. Você não precisa de nenhuma outra configuração para captura de dados de linhagem. Os dados de linhagem serão capturados automaticamente durante a execução das atividades.

Etapa 3: Monitorar status de relatórios de linhagem

Depois de executar o pipeline Azure Synapse, no modo de exibição de monitoramento de pipeline do Synapse, você pode marcar o relatório de linhagem status selecionando o botão lineage status a seguir. As mesmas informações também estão disponíveis na seção JSON –>reportLineageToPurvew saída de atividade.

Etapa 4: exibir informações de linhagem em sua conta do Microsoft Purview

Em sua conta do Microsoft Purview, você pode procurar ativos e escolher o tipo "Azure Synapse Analytics". Você também pode pesquisar o Catálogo de Dados usando palavras-chave.

Selecione a conta Synapse –> pipeline –> atividade, você pode exibir as informações de linhagem.

Monitorar os links do Azure Synapse Analytics

No portal de governança do Microsoft Purview, você pode monitorar os links do Azure Synapse Analytics.

Próximas etapas

Guia do usuário de linhagem de catálogo

Vincular ao Azure Data Share para linhagem