Criar um Azure Synapse Link for Dataverse com o Azure Data Lake

Artigo
05/15/2024

Você pode usar o Azure Synapse Link para conectar seus dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para habilitar vários cenários analíticos. Este artigo mostra como realizar as seguintes tarefas:

Conecte seus dados do Dataverse à sua conta do Azure Data Lake Storage Gen2 com o serviço Azure Synapse Link.
Gerenciar tabelas do Dataverse incluídas no Azure Synapse Link.
Monitore seu Azure Synapse Link.
Desvincular seu Azure Synapse Link.
Vincule novamente seu Azure Synapse Link.
Visualize seus dados no Azure Data Lake e entenda a estrutura de arquivos.

Observação

O Azure Synapse Link for Dataverse era conhecido anteriormente como Exportar para o data lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar namespace hierárquico para a configuração inicial e a sincronização delta. Permitir acesso à chave da conta de armazenamento é obrigatório apenas para a configuração inicial.

Observação

A conta de armazenamento deve ser criada no mesmo locatário do Microsoft Entra que seu locatário do Power Apps .
Para definir Habilitado a partir de redes virtuais e endereços IP selecionados para que a conta de armazenamento vinculada conceda acesso a partir de endereços IP selecionados, você deve criar um Azure Synapse Link com identidades gerenciadas.Use identidades gerenciadas para o Azure com seu Azure Data Lake Storage (sem identidades gerenciadas configuradas, você deve habilitar o acesso à rede pública para recursos do Azure para a configuração inicial e a sincronização delta.)
Você deve ter o direito de acesso Leitor ao grupo de recursos com a conta de armazenamento.
Para vincular o ambiente ao Azure Data Lake Storage Gen2, é necessário ter o direito de acesso de administrador do sistema do Dataverse.
Somente as tabelas que tenham o controle de alterações habilitado podem ser exportadas.
A criação de perfis do Azure Synapse Link em um único ambiente do Dataverse está limitada a um máximo de 10.

Conectar seu Dataverse ao Azure Data Lake Storage Gen2

Entre no Power Apps e selecione seu ambiente preferido.
No painel de navegação à esquerda, selecione Azure Synapse Link. Se o Azure Synapse Link não estiver visível no painel lateral, selecione ... Mais e selecione Descobrir tudo. O Azure Synapse Link está na seção Gerenciamento de Dados.
Na barra de comandos, selecione + Novo link para o data lake.
Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Verifique se a conta de armazenamento atende aos requisitos especificados na seção Pré-requisitos. Selecione Avançar

Observação

Como parte da vinculação do ambiente a um data lake, você concede ao serviço do Azure Synapse Link acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.
Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

Você pode seguir as etapas neste artigo para criar um link de um ambiente para vários Azure Data Lakes em sua assinatura do Azure. Da mesma forma, você pode criar um link de vários ambientes para o mesmo Azure Data Lake, tudo no mesmo locatário.

Observação

O serviço Azure Synapse Link for Dataverse é perfeitamente integrado ao Power Platform como um recurso pronto para uso. Ele atende aos padrões de segurança e governança definidos para o armazenamento de dados e governança do Power Platform. Mais informações: Armazenamento de dados e governança

Os dados exportados pelo serviço Azure Synapse Link são criptografados em trânsito usando-se o recurso TLS (Transport Layer Security) 1.2 ou posterior e criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure

Gerenciar dados da tabela para o data lake

Depois de configurar o Azure Synapse Link, você pode gerenciar as tabelas que são exportadas de duas maneiras:

No Maker Portal do Power Apps, na área Azure Synapse Link, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.
Na área Tabelas do Maker Portal do Power Apps, selecione … ao lado de uma tabela e selecione o data lake vinculado para o qual deseja exportar os dados da tabela.

Monitorar seu Azure Synapse Link

Depois que configurar o Azure Synapse Link, você poderá monitorar o Azure Synapse Link na guia Tabelas.

Monitoramento do Azure Synapse Link

Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
As colunas Somente acrescentar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvincular um Azure Synapse Link

Selecione o Azure Synapse Link desejado para desvincular.
Selecione Desvincular data lake na barra de comandos.
Para excluir o data lake e o sistema de arquivos, selecione Excluir sistema de arquivos do data lake.
Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Vincular novamente a um Azure Synapse Link

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o mesmo data lake. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

Acesse o Azure Data Lake.
Exclua o contêiner do Dataverse.
Acesse o Power Apps e vincule novamente o data lake.

Visualize seus dados no Azure Data Lake Storage Gen2

Selecione o Azure Synapse Link desejado e, em seguida, selecione Acessar o Azure Data Lake no painel superior.
Expanda Sistemas de Arquivos e, em seguida, selecione dataverse-environmentName-organizationUniqueName.

O arquivo model.json, junto com seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O arquivo model.json também inclui o status inicial da sincronização e o horário de conclusão da sincronização.

Uma pasta que inclui arquivos delimitados por vírgulas (formato CSV) de instantâneo é exibida para cada tabela exportada para o data lake. Dados da tabela no data lake.

Vincular um espaço de trabalho do Synapse a um perfil do Azure Synapse Link existente somente com data lake

Na barra de endereços do seu navegador da Web, acrescente ?athena.updateLake=true ao endereço Web que termina com exporttodatalake.
Selecione um perfil existente na área Azure Synapse Link e, em seguida, selecione a opção estendida.
Selecione Link para Espaço de Trabalho do Azure Synapse Analytics aguarde alguns minutos para que tudo seja vinculado.

Atualizações contínuas de instantâneos

Os dados do Microsoft Dataverse podem ser alterados continuamente por meio de transações de criação, atualização e exclusão. Os instantâneos fornecem uma cópia somente leitura dos dados que são atualizados em intervalos regulares, neste caso a cada hora. Isso garante que, a qualquer momento, um consumidor de análise de dados possa consumir dados de forma confiável no data lake.

Atualizações contínuas de instantâneos.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são gravados nos arquivos table.csv nas pastas correspondentes no data lake. Esse é o intervalo T1, em que um arquivo somente leitura de instantâneo chamado tabela-T1.csv — por exemplo, Conta-T1.csv ou Contatos-T1.csv — é criado. Além disso, o arquivo model.json é atualizado para apontar para os arquivos desse instantâneo. Abrindo o model.json, você pode exibir os detalhes do instantâneo.

Veja a seguir um exemplo de arquivo particionado Account.csv e pasta de instantâneo no data lake.

Instantâneo da tabela Contas.

As alterações no Dataverse são continuamente enviadas para os arquivos csv correspondentes usando o mecanismo de alimentação de fluxo. Esse é o intervalo T2, onde outro instantâneo é obtido. tabela-T2.csv — por exemplo, Contas-T2.csv ou Contatos-T2.csv (supondo que haja alterações para a tabela) — e model.json são atualizados para os novos arquivos de instantâneo. Qualquer outra pessoa que exibir os dados de instantâneo do T2 em diante é direcionada aos arquivos de instantâneo mais recentes. Dessa forma, o visualizador do instantâneo original pode continuar trabalhando nos arquivos T1 do instantâneo mais antigos, enquanto os visualizadores mais novos podem ler as atualizações mais recentes. Isso é útil em cenários com processos de downstream demorados.

Observação

Um novo arquivo de instantâneo é criado apenas quando os dados são atualizados. Somente os últimos cinco arquivos de instantâneo serão retidos. Os dados estagnados serão automaticamente removidos da sua conta Azure Data Lake Storage Gen 2.

Veja a seguir um exemplo do arquivo model.json, que sempre aponta para o arquivo de instantâneo mais recente da conta marcado.

Arquivo model.json de instantâneo de amostra.

O que vem a seguir?

Depois de usar o serviço do Azure Synapse Link for Dataverse com êxito, descubra como você pode analisar e consumir seus dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá para Power Apps > Azure Synapse Link. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.