Criar uma Azure Synapse Link for Dataverse com a sua Azure Synapse Workspace

  • Artigo

Pode usar o Azure Synapse Link para ligar os seus dados do Microsoft Dataverse ao Azure Synapse Analytics para explorar os seus dados e acelerar o tempo até às informações. Este artigo mostra como executar as tarefas seguintes:

  1. Ligue os seus dados Dataverse à sua área de trabalho Azure Synapse Analytics com o serviço Azure Synapse Link.
  2. Gerir tabelas Dataverse incluídas no Azure Synapse Link.
  3. Monitorize o seu Azure Synapse Link.
  4. Desassociar o Azure Synapse Link.
  5. Religar o seu Azure Synapse Link.
  6. Ver os seus dados no Azure Synapse Analytics.

Nota

O Azure Synapse Link for Microsoft Dataverse era anteriormente conhecido como o serviço Exportar para data lake. O serviço foi renomeado a partir de maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como Azure Synapse Analytics.

Pré-requisitos

  • Dataverse: Tem de ter o direito de acesso administrador de sistema do Dataverse. Além disso, as tabelas que pretende exportar através do Azure Synapse Link devem ter a propriedade Controlar alterações ativada. Mais informações: Opções avançadas

  • Azure Data Lake Storage Gen2: é necessário ter uma conta do Azure Data Lake Storage Gen2 e o direito de acesso Proprietário e Contribuidor de Dados do Blob de Armazenamento. A sua conta de armazenamento tem de permitir o Espaço de nomes hierárquico para a configuração inicial e para a sincronização delta. Permitir o acesso-chave à conta de armazenamento só é obrigatório para a configuração inicial.

  • Área de trabalho do Synapse: é necessário ter uma área de trabalho do Synapse e o direito de acesso Administrador do Synapse no Synapse Studio. A área de trabalho do Synapse tem de estar na mesma região que a sua conta do Azure Data Lake Storage Gen2. A conta de armazenamento deve ser adicionada como um serviço ligado dentro do Synapse Studio. Para criar uma área de trabalho do Synapse, aceda a Criar uma área de trabalho do Synapse.

Nota

  • A conta de armazenamento e a área de trabalho do Synapse têm de ser criadas no mesmo inquilino do Microsoft Entra que o inquilino do Power Apps.
  • Para definir Ativado a partir de redes virtuais e endereços IP selecionados para a conta de armazenamento e área de trabalho associados, deve criar um Azure Synapse Link com identidades geridas. Mais informações: Usar identidades geridas para o Azure com o seu Azure Data Lake Storage (sem identidades geridas configuradas, tem de ativar o acesso à rede pública para recursos do Azure para configuração inicial e para sincronização delta.)
  • Os áreas de trabalho do Synapse com pontos finais privados geridos, proteção contra exfiltração de dados ou redes virtuais geridas não são suportados.
  • Deve ter o acesso da função Leitor ao grupo de recursos com a conta de armazenamento e espaço de trabalho da Synapse.
  • Ao adicionar vários utilizadores à área de trabalho do Synapse, estes devem ter o direito de acesso Administrador do Synapse no Synapse Studio e a função Contribuidor na conta Azure Data Lake Storage Gen2.
  • A criação de perfis Synapse Link num único ambiente DV está limitada a um máximo de 10.

Ligar o Dataverse à área de trabalho do Synapse

  1. Inicie sessão no Power Apps e selecione o seu ambiente preferido.

  2. No painel de navegação esquerdo, selecione Azure Synapse Link. Se Azure Synapse Link não estiver visível no painel do painel lateral, selecione ... Mais e escolha Descobrir tudo. Selecione Azure Synapse Link na secção Gestão de Dados.

  3. Na barra de comandos, selecione + Nova ligação.

  4. Selecione a opção Ligar ao seu Azure Synapse workspace.

  5. Selecione Subscrição, Grupo de recursos, Nome da área de trabalho Conta de armazenamento. Certifique-se de que a área de trabalho e a conta de armazenamento do Synapse satisfazem os requisitos especificados na secção Pré-Requisitos. Selecione Seguinte.

    Ligar à sua área de trabalho.

    Nota

    Como parte da associação do ambiente a um data lake, concede o acesso à sua conta de armazenamento pelo serviço Azure Synapse Link. Certifique-se de que seguiu os pré-requisitos de criação e configuração da conta do Azure Data Lake Storage e que lhe concede uma função de proprietário na conta de armazenamento. Adicionalmente, concede aceeso ao serviço Power Platform Dataflows à sua conta de armazenamento. Mais informações: Preparação de dados personalizada com fluxos de dados.

  6. Adicione as tabelas que pretende exportar e, em seguida, selecione Guardar. Apenas as tabelas com controlo de alterações ativada podem ser exportadas. Mais informações: Ativar controlo de alterações.

    Adicione tabelas.

Pode seguir os passos acima para criar uma ligação de um ambiente para várias áreas de trabalho do Azure Synapse Analytics e Azure data lakes na sua subscrição do Azure, adicionando um Azure data lake como um serviço ligado numa área de trabalho do Synapse. Da mesma forma, poderia criar uma ligação de vários ambientes para a mesma área de trabalho do Azure Synapse Analytics e Azure data lake, tudo dentro do mesmo inquilino.

Nota

O serviço do Azure Synapse Link for Dataverse está perfeitamente integrado no Power Platform como uma funcionalidade pronta a usar. Cumpre os padrões de segurança e governação definidos para o armazenamento e governação de dados do Power Platform. Mais informações: Armazenamento e governação de dados

Os dados exportados pelo serviço do Azure Synapse Link são encriptados em trânsito utilizando a TLS (Transport Layer Security) 1.2 ou posterior e encriptados quando inativos no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blob também são encriptados em repouso. A encriptação em Azure Data Lake Storage Gen2 ajuda-o a proteger os seus dados, a implementar as políticas de segurança empresarial e satisfazer os requisitos de conformidade normativa. Mais informações: Criptografia de dados do Azure em repouso Mais informações: Configurar firewalls e redes virtuais do Armazenamento do Azure

Gerir os dados da tabela para a área de trabalho da Sinapse

Depois de configurar o Azure Synapse Link, pode gerir as tabelas que são exportadas de uma de duas formas:

  • Na área Azure Synapse Link do Power Apps (make.powerapps.com), selecione Gerir tabelas na barra de comando para adicionar ou remover uma ou mais tabelas associadas.

  • Na área Tabelas do Power Apps maker portal, selecione ... junto a uma tabela e, em seguida, selecione o data lake associado para o qual pretende exportar os dados da tabela.

    Selecionar uma tabela a exportar.

Depois de configurar o Azure Synapse Link, pode monitorizar o Azure Synapse Link no separador Tabelas.

Monitorizar um Azure Synapse Link

  • Haverá uma lista de tabelas que fazem parte dos selecionados Azure Synapse Link.
  • Existem diferentes fases por onde circula o estado de sincronização. NotStarted indica que a tabela está à espera de ser sincronizada. Uma vez Concluída a sincronização inicial da tabela, existe uma fase de pós-processamento onde não serão efetuadas atualizações incrementais. Dependendo do tamanho dos seus dados, poderá demorar algumas horas. À medida que as atualizações incrementais começarem a ocorrer, a data da última sincronização será regularmente atualizada.
  • A coluna Contagem mostra o número de linhas escritas. Quando Acrescentar apenas está definido como Não, este é o número total de registos. Quando Acrescentar Apenas está definido como Sim, este é o número total de alterações.
  • As colunas de Apenas anexar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

  1. Selecione o Azure Synapse Link desejado para desvincular.

  2. Selecione Desassociar na barra de comandos.

  3. Para eliminar tanto o sistema de ficheiros do data lake como a Base de Dados do Synapse, escreva o nome da ligação para confirmar.

  4. Selecione Sime aguarde alguns minutos para que tudo seja desassociado e eliminado.

Importante

Os objetos de base de dados personalizados que cria dentro da base de dados Azure Synapse Link são eliminados assim que a desassociação estiver concluída.

Você precisa implementar seu próprio controle de versão para seus scripts de objetos de banco de dados personalizados para garantir que você tenha um backup.

Se eliminar o sistema de ficheiros ao desvincular, siga os passos acima para voltar a ligar a mesma área de trabalho e o mesmo data lake Synapse. Se não eliminar o sistema de ficheiros ao desvincular, tem de limpar os dados para voltar a vincular:

  1. Navegar o Azure Synapse Analytics.

  2. Selecione a ... para a base de dados não ligada e selecione Novo caderno>Caderno vazio.

  3. Anexe o caderno a um conjunto do Apache Spark selecionando um conjunto do menu pendente. Se não tiver um conjunto do Apache Spark, selecione Gerir conjuntos para criar um.

  4. Introduza o seguinte script, substitua <DATABASE_NAME> pelo nome da base de dados para desvincular e executar o bloco de notas.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

  1. Depois de executar o caderno, atualize a lista de bases de dados do painel esquerdo. Se a base de dados ainda existir, tente clicar corretamente na base de dados e selecionar Eliminar.

  2. Navegue para Power Apps e torne a ligar a área de trabalho Synapse e o data lake.

Aceder a dados quase em tempo real e a dados de instantâneo só de leitura

Depois de criar uma Azure Synapse Link, serão sincronizadas duas versões dos dados de tabela no Azure Synapse Analytics e/ou no Azure Data Lake Storage Gen2 na sua subscrição do Azure por predefinição, de forma a garantir que pode consumir dados atualizados com confiança no lake a qualquer momento:

  • Dados quase em tempo real: fornece uma cópia dos dados sincronizados a partir do Dataverse através do Azure Synapse Link de uma forma eficiente detetando os dados que foram alterados desde que foram inicialmente extraídos ou sincronizados pela última vez.
  • Dados do instantâneo: fornece uma cópia só de leitura de dados quase em tempo real que são atualizados em intervalos regulares (neste caso, a cada hora). 

Nota

Para criar dados só de leitura do instantâneo, certifique-se de que a definição Âmbito permitido para operações de cópia está configurada para A partir de qualquer conta de armazenamento. Mais informações: Configurar o âmbito permitido para operações de cópia

  1. Selecione o Azure Synapse Link pretendido e, em seguida, selecione Ir para área de trabalho do Azure Synapse Analytics a partir do painel superior.
  2. Expanda Bases de dados do Lake a partir do painel esquerdo, selecione dataverse-environmentName-organizationUniqueName e, em seguida, expanda Tabelas.

Todas as Tabelas de Dados Em Quase Tempo Real estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName. Todas as Tabelas de Dados de Instantâneos estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName_partitioned.

Tabelas quase em tempo real e de instantâneos

O que se segue?

Depois de utilizar com êxito o serviço Azure Synapse Link for Dataverse, descubra como pode analisar e consumir os dados com o Centro de Deteção. Para aceder ao Centro de Deteção, aceda ao Power Apps>Azure Synapse Link. Selecione o seu serviço associado e, em seguida, selecione o separador Hub de Deteção. Aqui, encontrará ferramentas recomendadas e documentação organizada que o vão ajudar a tirar o máximo partido dos seus dados. Hub de Deteção.

Consulte também

Configurar o Azure Synapse Link for Dataverse com o Azure Data Lake

Configuração Avançada do Azure Synapse Link for Dataverse

FAQ sobre Azure Synapse Link

Blogue: Anúncio do Azure Synapse Link for Dataverse