Tutorial: Aceitar e receber dados - Azure Data Share

Artigo
12/19/2023

Neste tutorial, você aprenderá a aceitar um convite de compartilhamento de dados usando o Compartilhamento de Dados do Azure. Você aprenderá como receber dados que estão sendo compartilhados com você e como habilitar um intervalo de atualização regular para garantir que você sempre tenha o instantâneo mais recente dos dados que estão sendo compartilhados com você.

Como aceitar um convite de Partilha de Dados do Azure
Criar uma conta de Partilha de Dados do Azure
Especifique um destino para os seus dados
Criar uma assinatura para seu compartilhamento de dados para atualização agendada

Pré-requisitos

Antes de aceitar um convite de compartilhamento de dados, você deve criar alguns recursos do Azure, listados abaixo.

Certifique-se de que todos os pré-requisitos estão completos antes de aceitar um convite de compartilhamento de dados.

Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
Um convite de Partilha de Dados: um convite do Microsoft Azure com um assunto intitulado "Convite de Partilha de Dados do Azure de yourdataprovider@domain.com".
Registre o provedor de recursos Microsoft.DataShare na assinatura do Azure onde você criará um recurso de Compartilhamento de Dados e a assinatura do Azure onde seus armazenamentos de dados do Azure de destino estão localizados.

Receber dados em uma conta de armazenamento

Uma conta de Armazenamento do Azure: se ainda não tiver uma, pode criar uma conta de Armazenamento do Azure.
Permissão para gravar na conta de armazenamento, que está presente em Microsoft.Storage/storageAccounts/write. Essa permissão existe na função de Colaborador da Conta de Armazenamento .
Permissão para adicionar atribuição de função à conta de armazenamento, que está presente em Microsoft.Authorization/role assignments/write. Esta permissão existe na função de Proprietário.

Receber dados em um destino baseado em SQL

Se você optar por receber dados no Banco de Dados SQL do Azure, Azure Synapse Analytics, abaixo está a lista de pré-requisitos.

Pré-requisitos para receber dados no Banco de Dados SQL do Azure ou no Azure Synapse Analytics (anteriormente Azure SQL DW)

Um Banco de Dados SQL do Azure ou o Azure Synapse Analytics (anteriormente Azure SQL DW).
Permissão para gravar em bancos de dados no servidor SQL, que está presente em Microsoft.Sql/servers/databases/write. Esta permissão existe na função de Contribuidor.
Microsoft Entra Admin do servidor SQL
Acesso ao Firewall do SQL Server. Isso pode ser feito através das seguintes etapas:
1. No SQL Server no portal do Azure, navegue até Firewalls e redes virtuais
2. Selecione Sim para Permitir que os serviços e recursos do Azure acessem este servidor.
3. Selecione +Adicionar IP do cliente. O endereço IP do cliente está sujeito a alterações. Esse processo pode precisar ser repetido na próxima vez que você estiver compartilhando dados SQL do portal do Azure. Você também pode adicionar um intervalo de IP.
4. Selecione Guardar.

Pré-requisitos para receber dados no pool SQL do Azure Synapse Analytics (espaço de trabalho)

Um pool SQL dedicado do Azure Synapse Analytics (espaço de trabalho). Atualmente, não há suporte para o recebimento de dados no pool SQL sem servidor.
Permissão para gravar no pool SQL no espaço de trabalho Synapse, que está presente em Microsoft.Synapse/workspaces/sqlPools/write. Esta permissão existe na função de Contribuidor.
Permissão para a identidade gerenciada do recurso de Compartilhamento de Dados para acessar o pool SQL do espaço de trabalho Sinapse. Isso pode ser feito através das seguintes etapas:
1. No portal do Azure, navegue até o espaço de trabalho Sinapse. Selecione Microsoft Entra admin na navegação à esquerda e defina-se como o administrador do Microsoft Entra.
2. Abra o Synapse Studio, selecione Gerenciar na navegação à esquerda. Selecione Controle de acesso em Segurança. Atribua a si mesmo a função de administrador do SQL ou do espaço de trabalho .
3. No Synapse Studio, selecione Desenvolver na navegação à esquerda. Execute o seguinte script no pool SQL para adicionar a Identidade Gerenciada do recurso de Compartilhamento de Dados como um 'db_datareader, db_datawriter, db_ddladmin'.
```
create user "<share_acc_name>" from external provider; 
exec sp_addrolemember db_datareader, "<share_acc_name>"; 
exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
exec sp_addrolemember db_ddladmin, "<share_acc_name>";
```
  O <share_acc_name> é o nome do seu recurso de Compartilhamento de Dados. Se você ainda não criou um recurso de Compartilhamento de Dados, poderá voltar a esse pré-requisito mais tarde.
Acesso ao firewall do espaço de trabalho Sinapse. Isso pode ser feito através das seguintes etapas:
1. No portal do Azure, navegue até o espaço de trabalho Sinapse. Selecione Firewalls na navegação à esquerda.
2. Selecione ATIVADO para Permitir que os serviços e recursos do Azure acessem esse espaço de trabalho.
3. Selecione +Adicionar IP do cliente. O endereço IP do cliente está sujeito a alterações. Esse processo pode precisar ser repetido na próxima vez que você estiver compartilhando dados SQL do portal do Azure. Você também pode adicionar um intervalo de IP.
4. Selecione Guardar.

Receba dados em um cluster do Azure Data Explorer:

Um cluster do Azure Data Explorer no mesmo data center do Azure que o cluster do Data Explorer do provedor de dados: se você ainda não tiver um, poderá criar um cluster do Azure Data Explorer. Se você não souber o data center do Azure do cluster do provedor de dados, poderá criar o cluster posteriormente no processo.
Permissão para gravar no cluster do Azure Data Explorer, que está presente em Microsoft.Kusto/clusters/write. Esta permissão existe na função de Contribuidor.

Inicie sessão no portal do Azure.

Convite aberto

Você pode abrir o convite por email ou diretamente do portal do Azure.

Para abrir um convite por e-mail, verifique se há um convite do seu provedor de dados na sua caixa de entrada. O convite é do Microsoft Azure, intitulado Convite de Compartilhamento de Dados do Azure de yourdataprovider@domain.com. Selecione Ver convite para ver o seu convite no Azure.

Para abrir o convite diretamente do portal do Azure, pesquise Convites de Compartilhamento de Dados no portal do Azure. Esta ação leva você à lista de convites de Compartilhamento de Dados.

Se for um utilizador convidado de um inquilino, ser-lhe-á pedido que verifique o seu endereço de e-mail do inquilino antes de visualizar o convite de Partilha de Dados pela primeira vez. Uma vez verificado, é válido por 12 meses.
Selecione o convite que deseja visualizar.

Prepare seu ambiente da CLI do Azure e exiba seus convites.

Comece por preparar o seu ambiente para a CLI do Azure:

Use o ambiente Bash no Azure Cloud Shell. Para obter mais informações, consulte Guia de início rápido para Bash no Azure Cloud Shell.
Se preferir executar comandos de referência da CLI localmente, instale a CLI do Azure. Se estiver a utilizar o Windows ou macOS, considere executar a CLI do Azure num contentor Docker. Para obter mais informações, consulte Como executar a CLI do Azure em um contêiner do Docker.
- Se estiver a utilizar uma instalação local, inicie sessão no CLI do Azure ao utilizar o comando az login. Para concluir o processo de autenticação, siga os passos apresentados no seu terminal. Para outras opções de entrada, consulte Entrar com a CLI do Azure.
- Quando solicitado, instale a extensão da CLI do Azure na primeira utilização. Para obter mais informações sobre as extensões, veja Utilizar extensões com o CLI do Azure.
- Execute o comando az version para localizar a versão e as bibliotecas dependentes instaladas. Para atualizar para a versão mais recente, execute o comando az upgrade.

Execute o comando az datashare consumer-invitation list-invitation para ver seus convites atuais:

az datashare consumer consumer-invitation list-invitation

Copie seu ID de convite para usar na próxima seção.

Comece preparando seu ambiente para o PowerShell. Você pode executar comandos do PowerShell localmente ou usando o ambiente Bash no Azure Cloud Shell.

Se você optar por usar o Azure PowerShell localmente:
- Instale a versão mais recente do módulo Az PowerShell.
- Conecte-se à sua conta do Azure usando o cmdlet Connect-AzAccount .
Se você optar por usar o Azure Cloud Shell:
- Consulte Visão geral do Azure Cloud Shell para obter mais informações.

Use o comando Connect-AzAccount para se conectar à sua conta do Azure.
```
Connect-AzAccount
```
Execute o comando Set-AzContext para definir a assinatura correta, se você tiver várias assinaturas.
```
Set-AzContext [SubscriptionID/SubscriptionName]
```
Execute o comando Get-AzDataShareReceivedInvitation para ver seus convites atuais:
```
Get-AzDataShareReceivedInvitation
```

Copie seu ID de convite para usar na próxima seção.

Aceitar convite

Certifique-se de que todos os campos são revisados, incluindo os Termos de Uso. Se concordar com os termos de utilização, ser-lhe-á pedido que marque a caixa para indicar que concorda.
Em Conta de Compartilhamento de Dados de Destino, selecione a Assinatura e o Grupo de Recursos no qual você implantará seu Compartilhamento de Dados.

Para o campo Conta de Partilha de Dados, selecione Criar nova se não tiver uma conta de Partilha de Dados existente. Caso contrário, selecione uma conta de Compartilhamento de Dados existente na qual você gostaria de aceitar seu compartilhamento de dados.

Para o campo Nome do compartilhamento recebido, você pode deixar o padrão especificado pelos dados fornecidos ou especificar um novo nome para o compartilhamento recebido.

Depois de concordar com os termos de uso e especificar uma conta de Compartilhamento de Dados para gerenciar seu compartilhamento recebido, selecione Aceitar e configurar. Será criada uma subscrição de ações.

Esta ação leva-o para a partilha recebida na sua conta de Partilha de Dados.

Se não quiser aceitar o convite, selecione Rejeitar.

Use o comando az datashare share-subscription create para criar o Compartilhamento de Dados.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

Use o comando New-AzDataShareSubscription para criar o compartilhamento de dados. O InvitationId será o ID que você reuniu na etapa anterior.

New-AzDataShareSubscription -ResourceGroupName share-rg -AccountName FabrikamDataShareAccount -Name "Fabrikam Solutions" -InvitationId "89abcdef-0123-4567-89ab-cdef01234567"

Siga as etapas abaixo para configurar onde deseja receber dados.

Selecione a guia Conjuntos de dados. Marque a caixa ao lado do conjunto de dados ao qual você deseja atribuir um destino. Selecione + Mapa para segmentar para escolher um armazenamento de dados de destino.
Selecione um tipo de armazenamento de dados de destino no qual você gostaria que os dados chegassem. Todos os arquivos de dados ou tabelas no armazenamento de dados de destino com o mesmo caminho e nome serão substituídos. Se você estiver recebendo dados no Banco de Dados SQL do Azure ou no Azure Synapse Analytics (anteriormente Azure SQL DW), marque a caixa de seleção Permitir Compartilhamento de Dados para executar o script "criar usuário" acima em meu nome.

Para compartilhamento in-loco, selecione um armazenamento de dados no Local especificado. O Local é o data center do Azure onde o armazenamento de dados de origem do provedor de dados está localizado. Depois que o conjunto de dados for mapeado, você poderá seguir o link no Caminho de Destino para acessar os dados.
Para compartilhamento baseado em instantâneo, se o provedor de dados tiver criado um agendamento de instantâneo para fornecer atualização regular aos dados, você também poderá habilitar o agendamento de instantâneo selecionando a guia Agenda de instantâneo. Marque a caixa ao lado do agendamento de instantâneo e selecione + Ativar. O primeiro instantâneo agendado começará dentro de um minuto da hora agendada e os instantâneos subsequentes começarão dentro de segundos da hora agendada.

Os metadados dos arquivos copiados não são mantidos após cada execução. Esta ação é propositada.

Use estes comandos para configurar onde você deseja receber dados.

Execute o comando az datashare consumer-source-data-set list para obter o ID do conjunto de dados:

az datashare consumer-source-data-set list --resource-group "share-rg" \
 --account-name "FabrikamDataShareAccount" \
   --share-subscription-name "fabrikamsolutions" \

Se você precisar de uma conta de armazenamento, execute o comando az storage account create para criar uma conta de armazenamento para este compartilhamento de dados:
```
az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
```

Use o comando az storage account show para obter o ID da conta de armazenamento:

az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
 --query "id"

Use o seguinte comando para obter o ID principal da conta:

az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
  --query "identity.principalId"

Use o comando az role assignment create para criar uma atribuição de função para a entidade de conta usando o ID da entidade de conta e o ID da conta de armazenamento:

az role assignment create --role "Contributor" \
  --assignee-object-id aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb 
  --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"

Crie uma variável para o mapeamento com base no ID do conjunto de dados da etapa 1:

$mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
  \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'

Use o comando az datashare data-set-mapping create para criar o mapeamento do conjunto de dados:

az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
 --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
 --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping

Execute o comando az datashare share-subscription synchronize para iniciar a sincronização do conjunto de dados.

az datashare share-subscription synchronize \
  --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
  --name "Fabrikam Solutions" --synchronization-mode "Incremental" \

Execute o comando az datashare share-subscription list-synchronization para ver uma lista de suas sincronizações:

az datashare share-subscription list-synchronization \
  --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
  --share-subscription-name "Fabrikam Solutions" \

Use o comando az datashare share-subscription list-source-share-synchronization-setting para ver as configurações de sincronização definidas em seu compartilhamento.

az datashare share-subscription list-source-share-synchronization-setting \
  --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
  --share-subscription-name "Fabrikam Solutions"

Use estes comandos para configurar onde você deseja receber dados.

Execute o comando Get-AzDataShareSourceDataSet para obter a ID do conjunto de dados:

Get-AzDataShareSourceDataSet -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"

Se ainda não tiver um local onde gostaria de armazenar os dados compartilhados, siga estas etapas para criar uma conta de armazenamento. Se já tiver armazenamento, pode saltar para os próximos passos.
1. Execute o comando New-AzStorageAccount para criar uma conta de Armazenamento do Azure:
```
$storageAccount = New-AzStorageAccount -ResourceGroupName "share-rg" -AccountName FabrikamStorageAccount -Location "East US 2" -SkuName Standard_GRS

$ctx = $storageAccount.Context
```
2. Execute o comando New-AzStorageContainer para criar um contêiner em sua nova conta de Armazenamento do Azure que armazenará seus dados:
```
$containerName = "StorageContainer"

New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
```
3. Execute o comando Set-AzStorageBlobContent para carregar um arquivo. O exemplo a seguir carrega textfile.csv da pasta D:\testFiles na memória local para o contêiner que você criou.
```
Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
```
Para obter mais informações sobre como trabalhar com o Armazenamento do Azure no PowerShell, siga este guia do PowerShell de Armazenamento do Azure.

Use o comando Get-AzStorageAccount para obter o ID da conta de armazenamento:

Get-AzStorageAccount -ResourceGroupName "share-rg" -Name FabrikamStorageAccount

Use a ID do conjunto de dados da primeira etapa e execute o comando New-AzDataShareDataSetMapping para criar o mapeamento do conjunto de dados:

New-AzDataShareDataSetMapping -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -Name "Fabrikam Solutions" -StorageAccountResourceId "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb"  -DataSetId "0123abcd-ef01-2345-6789-abcdef012345"  -Container "StorageContainer"

Execute o comando Start-AzDataShareSubscriptionSynchronization para iniciar a sincronização do conjunto de dados.

Start-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationMode "Incremental"

Execute o comando Get-AzDataShareSubscriptionSynchronization para ver uma lista das suas sincronizações:

Get-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"

Use o comando Get-AzDataShareSubscriptionSynchronizationDetail para ver as configurações de sincronização definidas em seu compartilhamento.

Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationId "a6ee5c8d-0ce0-485e-b2f2-966b187dc6c7"

Acionar um instantâneo

Essas etapas só se aplicam ao compartilhamento baseado em instantâneo.

Você pode acionar um instantâneo selecionando a guia Detalhes seguida por Disparar instantâneo. Aqui, você pode acionar um instantâneo completo ou incremental de seus dados. Se for a primeira vez que recebe dados do seu fornecedor de dados, selecione cópia completa.
Quando o status da última execução for bem-sucedido, vá para o armazenamento de dados de destino para exibir os dados recebidos. Selecione Conjuntos de Dados e selecione o link no Caminho de Destino.

Execute o comando az datashare trigger create para disparar um snapshot:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

Essas etapas só se aplicam ao compartilhamento baseado em instantâneo.

Execute o comando New-AzDataShareTrigger para disparar um instantâneo:

New-AzDataShareTrigger -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -Name "Fabrikam Solutions" -RecurrenceInterval "Day" -SynchronizationTime "2018-11-14T04:47:52.9614956Z"

Ver histórico

Esta etapa só se aplica ao compartilhamento baseado em instantâneo. Para ver o histórico dos seus instantâneos, selecione o separador Histórico . Aqui você encontrará o histórico de todos os instantâneos que foram gerados nos últimos 30 dias.

Clean up resources (Limpar recursos)

Quando o recurso não for mais necessário, vá para a página Visão Geral do Compartilhamento de Dados e selecione Excluir para removê-lo.

Próximos passos

Neste tutorial, você aprendeu como aceitar e receber um Compartilhamento de Dados do Azure. Para saber mais sobre os conceitos de Compartilhamento de Dados do Azure, continue para a Terminologia de Compartilhamento de Dados do Azure.

Conceitos de Compartilhamento de Dados do Azure

Partilhar via

Pré-requisitos

Receber dados em uma conta de armazenamento

Receber dados em um destino baseado em SQL

Pré-requisitos para receber dados no Banco de Dados SQL do Azure ou no Azure Synapse Analytics (anteriormente Azure SQL DW)

Pré-requisitos para receber dados no pool SQL do Azure Synapse Analytics (espaço de trabalho)

Receba dados em um cluster do Azure Data Explorer:

Convite aberto

Aceitar convite

Acionar um instantâneo

Ver histórico

Clean up resources (Limpar recursos)

Próximos passos

Comentários

Recursos adicionais

Partilhar via

Tutorial: Aceitar e receber dados usando o Compartilhamento de Dados do Azure

Pré-requisitos

Receber dados em uma conta de armazenamento

Receber dados em um destino baseado em SQL

Pré-requisitos para receber dados no Banco de Dados SQL do Azure ou no Azure Synapse Analytics (anteriormente Azure SQL DW)

Pré-requisitos para receber dados no pool SQL do Azure Synapse Analytics (espaço de trabalho)

Receba dados em um cluster do Azure Data Explorer:

Inicie sessão no portal do Azure

Convite aberto

Aceitar convite

Configurar compartilhamento recebido

Acionar um instantâneo

Ver histórico

Clean up resources (Limpar recursos)

Próximos passos

Comentários

Recursos adicionais