Partilhar e receber dados da Base de Dados SQL do Azure e do Azure Synapse Analytics

APLICA-SE A: Banco de Dados SQL do Azure Azure Synapse Analytics (anteriormente Azure SQL DW) Azure Synapse Analytics (espaço de trabalho) Pool SQL

O Compartilhamento de Dados do Azure permite que você compartilhe com segurança instantâneos de dados do Banco de Dados SQL do Azure e dos recursos do Azure Synapse Analytics para outras assinaturas do Azure. Incluindo subscrições do Azure fora do seu inquilino.

Este artigo descreve o compartilhamento de dados do Banco de Dados SQL do Azure e do Azure Synapse Analytics.

Este artigo irá guiá-lo através de:

• Que tipos de dados podem ser partilhados
• Como preparar o seu ambiente
• Como criar uma partilha
• Como receber dados partilhados

Você pode usar o sumário para ir para a seção que você precisa, ou continuar com este artigo para seguir o processo do início ao fim.

O que é suportado

Partilhar dados

O Compartilhamento de Dados do Azure dá suporte ao compartilhamento de instantâneos de dados completos de vários recursos SQL no Azure. Atualmente, não há suporte para snapshots incrementais para esses recursos.

Receber dados

Os consumidores de dados podem optar por aceitar dados compartilhados em vários recursos do Azure:

• Armazenamento do Azure Data Lake Ger2
• Armazenamento de Blobs do Azure
• Base de Dados SQL do Azure
• Azure Synapse Analytics

Os dados compartilhados no Azure Data Lake Storage Gen 2 ou no Azure Blob Storage podem ser armazenados como um arquivo csv ou parquet. Os instantâneos de dados completos substituem o conteúdo do arquivo de destino, se já existir.

Os dados compartilhados no Banco de Dados SQL do Azure e no Azure Synapse Analytics são armazenados em tabelas. Se a tabela de destino ainda não existir, o Compartilhamento de Dados do Azure criará a tabela SQL com o esquema de origem. Se já existir uma tabela de destino com o mesmo nome, ela será descartada e substituída pelo instantâneo completo mais recente.

Tipos de dados suportados:

Quando você compartilha dados de uma fonte SQL, os mapeamentos a seguir são usados de tipos de dados do SQL Server para tipos de dados provisórios do Compartilhamento de Dados do Azure durante o processo de instantâneo.

Pré-requisitos para compartilhar dados

Para compartilhar instantâneos de dados de seus recursos SQL do Azure, primeiro você precisa preparar seu ambiente. Precisará:

• Uma assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Um Banco de Dados SQL do Azure ou o Azure Synapse Analytics (anteriormente Azure SQL DW) com tabelas e exibições que você deseja compartilhar.
• Uma conta de Compartilhamento de Dados do Azure.
• O endereço de email de entrada do Azure do destinatário dos dados (usar o alias de email não funcionará).
• Se o seu recurso SQL do Azure estiver numa subscrição do Azure diferente da sua conta de Partilha de Dados do Azure, registe o fornecedor de recursos Microsoft.DataShare na subscrição onde o recurso SQL do Azure de origem está localizado.

Pré-requisitos específicos da fonte

Há também pré-requisitos para compartilhamento que dependem de onde seus dados estão vindo. Selecione sua fonte de compartilhamento de dados e siga as etapas:

• Banco de Dados SQL do Azure ou Azure Synapse Analytics (anteriormente Azure SQL DW)
• Pool SQL do Azure Synapse Analytics (espaço de trabalho)

Pré-requisitos para compartilhar do Banco de Dados SQL do Azure ou do Azure Synapse Analytics (anteriormente Azure SQL DW)

Você pode usar um destes métodos para autenticar com o Banco de Dados SQL do Azure ou o Azure Synapse Analytics (anteriormente Azure SQL DW):

• Autenticação do Microsoft Entra
• Autenticação SQL

Autenticação do Microsoft Entra

Esses pré-requisitos abrangem a autenticação que você precisará para que o Compartilhamento de Dados do Azure possa se conectar ao seu Banco de Dados SQL do Azure:

• Você precisará de permissão para gravar nos bancos de dados no SQL Server: Microsoft.Sql/servers/databases/write. Esta permissão existe na função de Contribuidor.
• Permissões de administrador do SQL Server Microsoft Entra.
• Acesso ao Firewall do SQL Server:
  1. No portal do Azure, navegue até o servidor SQL. Selecione Firewalls e redes virtuais na navegação à esquerda.
  2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente pode mudar, portanto, talvez seja necessário adicionar o IP do cliente novamente na próxima vez que compartilhar dados do portal.
  4. Selecione Guardar.

Autenticação do SQL

Você pode seguir o vídeo de demonstração passo a passo para configurar a autenticação ou concluir cada um destes pré-requisitos:

• Permissão para gravar nos bancos de dados no servidor SQL: Microsoft.Sql/servers/databases/write. Esta permissão existe na função de Contribuidor.

• Permissão para a identidade gerenciada do recurso de Compartilhamento de Dados do Azure acessar o banco de dados:

  1. No portal do Azure, navegue até o servidor SQL e defina-se como o administrador do Microsoft Entra.

  2. Conecte-se ao Banco de Dados SQL/Data Warehouse do Azure usando o Editor de Consultas ou o SQL Server Management Studio com a autenticação do Microsoft Entra.

  3. Execute o script a seguir para adicionar a Identidade Gerenciada por Recursos de Compartilhamento de Dados como um db_datareader. Conecte-se usando o Ative Directory e não a autenticação do SQL Server.

     create user "<share_acct_name>" from external provider;     
     exec sp_addrolemember db_datareader, "<share_acct_name>"; 
     

     Nota

     O <share_acc_name> é o nome do seu recurso de Compartilhamento de Dados.

• Um Usuário do Banco de Dados SQL do Azure com acesso 'db_datareader' para navegar e selecionar as tabelas ou exibições que deseja compartilhar.

• Acesso ao Firewall do SQL Server:

  1. No portal do Azure, navegue até SQL server. Selecione Firewalls e redes virtuais na navegação à esquerda.
  2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente pode mudar, portanto, talvez seja necessário adicionar o IP do cliente novamente na próxima vez que compartilhar dados do portal.
  4. Selecione Guardar.

Pré-requisitos para compartilhamento do pool SQL do Azure Synapse Analytics (espaço de trabalho)

• Permissão para gravar no pool SQL no espaço de trabalho Synapse: Microsoft.Synapse/workspaces/sqlPools/write. Esta permissão existe na função de Contribuidor.

• Permissão para a identidade gerenciada do recurso de Compartilhamento de Dados acessar o pool SQL do espaço de trabalho Sinapse:

  1. No portal do Azure, navegue até seu espaço de trabalho Synapse. Selecione SQL Ative Directory admin na navegação à esquerda e defina-se como o administrador do Microsoft Entra.

  2. Abra o Synapse Studio, selecione Gerenciar na navegação à esquerda. Selecione Controle de acesso em Segurança. Atribua a si mesmo a função de administrador do SQL ou do espaço de trabalho.

  3. Selecione Desenvolver na navegação à esquerda no Synapse Studio. Execute o script a seguir no pool SQL para adicionar a Identidade Gerenciada por Recursos de Compartilhamento de Dados como um db_datareader.

     create user "<share_acct_name>" from external provider;     
     exec sp_addrolemember db_datareader, "<share_acct_name>"; 
     

     Nota

     O <share_acc_name> é o nome do seu recurso de Compartilhamento de Dados.

• Espaço de trabalho Synapse Acesso ao firewall:

  1. No portal do Azure, navegue até o espaço de trabalho Synapse. Selecione Firewalls na navegação à esquerda.
  2. Selecione ATIVADO para Permitir que os serviços e recursos do Azure acessem esse espaço de trabalho.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente pode mudar, portanto, talvez seja necessário adicionar o IP do cliente novamente na próxima vez que compartilhar dados do portal.
  4. Selecione Guardar.

Criar uma partilha

1. Navegue até a página Visão geral do compartilhamento de dados.

   

2. Selecione Começar a partilhar os seus dados.

3. Selecione Criar.

4. Preencha os detalhes da sua partilha. Especifique um nome, tipo de compartilhamento, descrição do conteúdo do compartilhamento e termos de uso (opcional).

   

5. Selecione Continuar.

6. Para adicionar conjuntos de dados ao seu compartilhamento, selecione Adicionar conjuntos de dados.

   

7. Selecione o tipo de conjunto de dados que você deseja adicionar. Haverá uma lista diferente de tipos de conjunto de dados, dependendo do tipo de compartilhamento (instantâneo ou in-loco) selecionado na etapa anterior.

   

8. Selecione seu servidor SQL ou espaço de trabalho Synapse. Se você estiver usando a autenticação do Microsoft Entra e a caixa de seleção Permitir compartilhamento de dados para executar o script SQL 'criar usuário' acima em meu nome for exibida, marque a caixa de seleção. Se estiver a utilizar a autenticação SQL, forneça credenciais e certifique-se de que seguiu os pré-requisitos para ter permissões.

   Selecione Avançar para navegar até o objeto que você gostaria de compartilhar e selecione 'Adicionar conjuntos de dados'. Você pode selecionar tabelas e exibições do Banco de Dados SQL do Azure e do Azure Synapse Analytics (anteriormente Azure SQL DW) ou tabelas do pool SQL dedicado do Azure Synapse Analytics (espaço de trabalho).

   

9. Na guia Destinatários, insira os endereços de e-mail do seu Consumidor de Dados selecionando '+ Adicionar Destinatário'. O endereço de email precisa ser o email de entrada do Azure do destinatário.

   

10. Selecione Continuar.

11. Se você selecionou o tipo de compartilhamento de instantâneo, poderá configurar o agendamento de instantâneo para fornecer atualizações de seus dados ao consumidor de dados.

    

12. Selecione uma hora de início e um intervalo de recorrência.

13. Selecione Continuar.

14. No separador Rever + Criar, reveja o Conteúdo do Pacote, Definições, Destinatários e Definições de Sincronização. Selecione Criar.

Seu Compartilhamento de Dados do Azure já foi criado e o destinatário do seu Compartilhamento de Dados agora pode aceitar seu convite.

Pré-requisitos para receber dados

Antes de aceitar um convite de compartilhamento de dados, você precisa preparar seu ambiente.

Confirme se todos os pré-requisitos estão completos antes de aceitar um convite de compartilhamento de dados:

• Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Um convite de Partilha de Dados: um convite do Microsoft Azure com um assunto intitulado "Convite de Partilha de Dados do Azure de yourdataprovider@domain.com".
• Registre o provedor de recursos Microsoft.DataShare na assinatura do Azure onde você criará um recurso de Compartilhamento de Dados e a assinatura do Azure onde seus armazenamentos de dados do Azure de destino estão localizados.
• Você precisará de um recurso no Azure para armazenar os dados compartilhados. Você pode usar estes tipos de recursos:
  • Armazenamento do Azure
  • Base de Dados SQL do Azure
  • Azure Synapse Analytics (anteriormente Azure SQL DW)
  • Azure Synapse Analytics (espaço de trabalho) pool SQL dedicado

Há também pré-requisitos para o recurso onde os dados recebidos serão armazenados. Selecione o tipo de recurso e siga as etapas:

• Pré-requisitos de armazenamento do Azure
• Pré-requisitos do Banco de Dados SQL do Azure ou do Azure Synapse Analytics (anteriormente Azure SQL DW)
• Pré-requisitos do pool SQL do Azure Synapse Analytics (espaço de trabalho)

Pré-requisitos para a conta de armazenamento de destino

Se você optar por receber dados no Armazenamento do Azure, preencha estes pré-requisitos antes de aceitar um compartilhamento de dados:

• Uma conta de Armazenamento do Azure.
• Permissão para gravar na conta de armazenamento: Microsoft.Storage/storageAccounts/write. Esta permissão existe na função de Contribuidor.
• Permissão para adicionar atribuição de função da identidade gerenciada do recurso de Compartilhamento de Dados à conta de armazenamento: que está presente em Microsoft.Authorization/role assignments/write. Esta permissão existe na função de Proprietário.

Pré-requisitos para receber dados no Banco de Dados SQL do Azure ou no Azure Synapse Analytics (anteriormente Azure SQL DW)

Para um servidor SQL em que você é o administrador do Microsoft Entra do servidor SQL, preencha estes pré-requisitos antes de aceitar um compartilhamento de dados:

• Um Banco de Dados SQL do Azure ou o Azure Synapse Analytics (anteriormente Azure SQL DW).
• Permissão para gravar nos bancos de dados no servidor SQL: Microsoft.Sql/servers/databases/write. Esta permissão existe na função de Contribuidor.
• Acesso ao Firewall do SQL Server:
  1. No portal do Azure, navegue até o servidor SQL. Selecione Firewalls e redes virtuais na navegação à esquerda.
  2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente pode mudar, portanto, talvez seja necessário adicionar o IP do cliente novamente na próxima vez que compartilhar dados do portal.
  4. Selecione Guardar.

Para um servidor SQL em que você não é o administrador do Microsoft Entra, preencha estes pré-requisitos antes de aceitar um compartilhamento de dados:

Você pode seguir o vídeo de demonstração passo a passo ou as etapas abaixo para configurar os pré-requisitos.

• Um Banco de Dados SQL do Azure ou o Azure Synapse Analytics (anteriormente Azure SQL DW).

• Permissão para gravar em bancos de dados no servidor SQL: Microsoft.Sql/servers/databases/write. Esta permissão existe na função de Contribuidor.

• Permissão para a identidade gerenciada do recurso de Compartilhamento de Dados acessar o Banco de Dados SQL do Azure ou o Azure Synapse Analytics:

  1. No portal do Azure, navegue até o servidor SQL e defina-se como o administrador do Microsoft Entra.

  2. Conecte-se ao Banco de Dados SQL/Data Warehouse do Azure usando o Editor de Consultas ou o SQL Server Management Studio com a autenticação do Microsoft Entra.

  3. Execute o script a seguir para adicionar a Identidade Gerenciada de Compartilhamento de Dados como um 'db_datareader, db_datawriter, db_ddladmin'.

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     Nota

     O <share_acc_name> é o nome do seu recurso de Compartilhamento de Dados.

• Acesso ao Firewall do SQL Server:

  1. No portal do Azure, navegue até o servidor SQL e selecione Firewalls e redes virtuais.
  2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente pode mudar, portanto, talvez seja necessário adicionar o IP do cliente novamente na próxima vez que compartilhar dados do portal.
  4. Selecione Guardar.

Pré-requisitos para receber dados no pool SQL do Azure Synapse Analytics (espaço de trabalho)

• Um pool SQL dedicado do Azure Synapse Analytics (espaço de trabalho). Atualmente, não há suporte para o recebimento de dados no pool SQL sem servidor.

• Permissão para gravar no pool SQL no espaço de trabalho Synapse: Microsoft.Synapse/workspaces/sqlPools/write. Esta permissão existe na função de Contribuidor.

• Permissão para a identidade gerenciada do recurso de Compartilhamento de Dados acessar o pool SQL do espaço de trabalho Sinapse:

  1. No portal do Azure, navegue até o espaço de trabalho Synapse.

  2. Selecione SQL Ative Directory admin na navegação à esquerda e defina-se como o administrador do Microsoft Entra.

  3. Abra o Synapse Studio, selecione Gerenciar na navegação à esquerda. Selecione Controle de acesso em Segurança. Atribua a si mesmo a função de administrador do SQL ou do espaço de trabalho.

  4. No Synapse Studio, selecione Desenvolver na navegação à esquerda. Execute o seguinte script no pool SQL para adicionar a Identidade Gerenciada por Recursos de Compartilhamento de Dados como um 'db_datareader, db_datawriter, db_ddladmin'.

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     Nota

     O <share_acc_name> é o nome do seu recurso de Compartilhamento de Dados.

• Espaço de trabalho Synapse Acesso ao firewall:

  1. No portal do Azure, navegue até o espaço de trabalho Synapse. Selecione Firewalls na navegação à esquerda.
  2. Selecione ATIVADO para Permitir que os serviços e recursos do Azure acessem esse espaço de trabalho.
  3. Selecione +Adicionar IP do cliente. O endereço IP do cliente está sujeito a alterações. Esse processo pode precisar ser repetido na próxima vez que você estiver compartilhando dados SQL do portal do Azure.
  4. Selecione Guardar.

Receber dados partilhados

Convite aberto

Você pode abrir o convite por email ou diretamente do portal do Azure.

Para abrir um convite por e-mail, verifique se há um convite do seu provedor de dados na sua caixa de entrada. O convite é do Microsoft Azure, intitulado Convite de Compartilhamento de Dados do Azure de yourdataprovider@domain.com. Selecione Exibir convite para ver seu convite no Azure.

Para abrir um convite diretamente do portal do Azure, procure Convites de Partilha de Dados no portal do Azure, que o leva à lista de convites de Partilha de Dados.

Se for um utilizador convidado num inquilino, terá de verificar o seu endereço de e-mail do inquilino antes de visualizar um convite de Partilha de Dados pela primeira vez. Uma vez verificado, o seu e-mail é válido por 12 meses.

Em seguida, selecione o compartilhamento que você gostaria de visualizar.

Aceitar convite

1. Certifique-se de que todos os campos são revisados, incluindo os Termos de Uso. Se concordar com os termos de utilização, ser-lhe-á pedido que marque a caixa para indicar que concorda.

   

2. Em Conta de Compartilhamento de Dados de Destino, selecione a Assinatura e o Grupo de Recursos no qual você implantará seu Compartilhamento de Dados.

3. Para o campo Conta de Partilha de Dados, selecione Criar nova se não tiver uma conta de Partilha de Dados existente. Caso contrário, selecione uma conta de Compartilhamento de Dados existente na qual você gostaria de aceitar seu compartilhamento de dados.

4. Para o campo Nome do compartilhamento recebido, você pode deixar o padrão especificado pelos dados fornecidos ou especificar um novo nome para o compartilhamento recebido.

5. Depois de concordar com os termos de uso e especificar uma conta de Compartilhamento de Dados para gerenciar seu compartilhamento recebido, selecione Aceitar e configurar. Será criada uma subscrição de ações.

   

Se não quiser aceitar o convite, selecione Rejeitar.

Configurar compartilhamento recebido

Siga as etapas abaixo para configurar onde deseja receber dados.

1. Selecione a guia Conjuntos de dados. Marque a caixa ao lado do conjunto de dados ao qual você deseja atribuir um destino. Selecione + Mapa para segmentar para escolher um armazenamento de dados de destino.

   

2. Selecione o recurso de destino para armazenar os dados compartilhados. Todos os arquivos de dados ou tabelas no armazenamento de dados de destino com o mesmo caminho e nome serão substituídos. Se você estiver recebendo dados em um repositório SQL e a caixa de seleção Permitir que o compartilhamento de dados execute o script SQL "criar usuário" acima em meu nome for exibida, marque a caixa de seleção. Caso contrário, siga as instruções em pré-requisitos para executar o script aparecem na tela. Isso dará permissão de gravação de recurso de Compartilhamento de Dados ao seu banco de dados SQL de destino.

   

3. Para compartilhamento baseado em instantâneo, se o provedor de dados tiver criado um agendamento de instantâneo para fornecer atualizações regulares aos dados, você também poderá habilitar o agendamento de instantâneo selecionando a guia Agenda de instantâneo. Marque a caixa ao lado da agenda de instantâneos e selecione + Ativar.

   Nota

   O primeiro instantâneo agendado começará dentro de um minuto da hora agendada e os próximos instantâneos começarão dentro de segundos da hora agendada.

   

Acionar um instantâneo

Essas etapas só se aplicam ao compartilhamento baseado em instantâneo.

1. Você pode acionar um instantâneo selecionando a guia Detalhes seguida por Disparar instantâneo. Aqui, você pode acionar um instantâneo completo de seus dados. Se for a primeira vez que recebe dados do seu fornecedor de dados, selecione cópia completa. Quando um snapshot estiver em execução, os próximos snapshots não serão iniciados até que o anterior seja concluído.

   

2. Quando o status da última execução for bem-sucedido, vá para o armazenamento de dados de destino para exibir os dados recebidos. Selecione Conjuntos de Dados e selecione o link no Caminho de Destino.

   

Ver histórico

Esta etapa só se aplica ao compartilhamento baseado em instantâneo. Para ver o histórico dos seus instantâneos, selecione o separador Histórico . Aqui você encontrará o histórico de todos os instantâneos que foram gerados nos últimos 30 dias.

Desempenho de snapshot

O desempenho do instantâneo SQL é afetado por muitos fatores. É sempre recomendável realizar seus próprios testes de desempenho. Abaixo estão alguns exemplos de fatores que afetam o desempenho.

• Os dados de origem ou destino armazenam operações de entrada/saída por segundo (IOPS) e largura de banda.
• Configuração de hardware (por exemplo: vCores, memória, DWU) do armazenamento de dados SQL de origem e destino.
• Acesso simultâneo aos armazenamentos de dados de origem e destino. Se você estiver compartilhando várias tabelas e exibições do mesmo armazenamento de dados SQL ou receber várias tabelas e exibições no mesmo repositório de dados SQL, o desempenho será afetado.
• Largura de banda de rede entre os armazenamentos de dados de origem e destino e localização dos armazenamentos de dados de origem e destino.
• Tamanho das tabelas e vistas que estão a ser partilhadas. O compartilhamento de instantâneos SQL faz uma cópia completa de toda a tabela. Se o tamanho da tabela crescer com o tempo, o snapshot levará mais tempo.

Para tabelas grandes onde atualizações incrementais são desejadas, você pode exportar atualizações para a conta de armazenamento e usar o recurso de compartilhamento incremental da conta de armazenamento para um desempenho mais rápido.

Solucionar problemas de falha de snapshot

A causa mais comum de falha de instantâneo é que o Compartilhamento de Dados não tem permissão para o armazenamento de dados de origem ou destino. Para conceder permissão de Compartilhamento de Dados ao Banco de Dados SQL do Azure de origem ou destino ou ao Azure Synapse Analytics (anteriormente Azure SQL DW), você deve executar o script SQL fornecido ao se conectar ao banco de dados SQL usando a autenticação do Microsoft Entra. Para solucionar problemas de outras falhas de instantâneo SQL, consulte Solucionar problemas de falha de instantâneo.

Próximos passos

Você aprendeu como compartilhar e receber dados de fontes SQL usando o serviço de Compartilhamento de Dados do Azure. Para saber mais sobre como compartilhar de outras fontes de dados, continue com os armazenamentos de dados suportados.