Serviços vinculados no Azure Data Factory e no Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve o que são serviços vinculados, como eles são definidos no formato JSON e como são usados em no Azure Data Factory e no Azure Synapse Analytics.

Para saber mais, leia o artigo introdutório do Azure Data Factory ou Azure Synapse.

Visão geral

O Azure Data Factory e o Azure Synapse Analytics podem ter um ou mais pipelines. Um pipeline é um agrupamento lógico de atividades que juntas executam uma tarefa. As atividades em um pipeline definem ações para executar em seus dados. Por exemplo, você pode usar uma atividade Copy para copiar dados do SQL Server para um Armazenamento de Blobs do Azure. Em seguida, poderá usar uma atividade do Hive que executa um script Hive em um cluster HDInsight do Azure a fim de processar dados do armazenamento de Blobs para gerar dados de saída. Por fim, você pode usar uma segunda atividade Copy para copiar os dados de saída para o Azure Synapse Analytics, em que as soluções de relatório de BI (business intelligence) são criadas. Para obter mais informações sobre pipelines e atividades, consulte Pipelines e atividades.

Por outro lado, um conjunto de dados é uma exibição nomeada de dados que simplesmente aponta ou faz referência aos dados que você deseja usar em suas atividades como entradas e saídas.

Antes de criar um conjunto de dados, crie um serviço vinculado para vincular seu armazenamento de dados ao Data Factory ou ao Espaço de trabalho do Synapse. Serviços vinculados são como cadeias de conexão, que definem as informações de conexão necessárias para que o serviço se conecte a recursos externos. Pense dessa maneira: o conjunto de dados representa a estrutura dos dados nos armazenamentos de dados vinculados e o serviço vinculado define a conexão à fonte de dados. Por exemplo, um serviço vinculado do Armazenamento do Microsoft Azure vincula uma conta de armazenamento ao serviço. Um conjunto de dados de Blob do Azure representa o contêiner de blob e a pasta na conta de Armazenamento do Azure que contém os blobs de entrada a serem processados.

Veja abaixo um cenário de exemplo. Para copiar dados do armazenamento de Blob em um Banco de Dados SQL, crie dois serviços vinculados: Armazenamento do Azure e Banco de Dados SQL do Azure. Em seguida, crie dois conjuntos de dados: O conjunto de dados de Blob do Azure (que se refere ao serviço vinculado do Armazenamento do Azure) e o conjunto de dados de Tabela do SQL do Azure (que se refere ao serviço vinculado do Banco de Dados SQL do Azure). Os serviços vinculados do Armazenamento do Microsoft Azure e do Banco de Dados SQL do Azure contêm cadeias de caracteres de conexão que o serviço usa em runtime para se conectar respectivamente ao Armazenamento do Microsoft Azure e ao Banco de Dados SQL do Azure. O conjunto de dados de Blob do Azure especifica o contêiner de blobs e a pasta de blobs que contém os blobs de entrada no armazenamento de Blobs. O conjunto de dados de Tabela do SQL do Azure especifica a tabela do SQL no Banco de Dados SQL no qual os dados serão copiados.

O seguinte diagrama mostra a relação entre pipeline, atividade, conjunto de dados e serviço vinculado no serviço:

Serviço vinculado com interface do usuário

JOSN de serviço vinculado

Um serviço vinculado é definido no formato JSON da seguinte maneira:

{
    "name": "<Name of the linked service>",
    "properties": {
        "type": "<Type of the linked service>",
        "typeProperties": {
              "<data store or compute-specific type properties>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

A tabela a seguir descreve as propriedades no JSON acima:

Exemplo de serviço vinculado

O seguinte é um serviço vinculado do Armazenamento do Azure. Observe que o tipo é definido como Armazenamento do Azure. As propriedades de tipo para o serviço vinculado do Armazenamento do Azure incluem uma cadeia de conexão. O serviço usa essa cadeia de conexão para se conectar ao armazenamento de dados em runtime.

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Criar serviços vinculados

Os serviços vinculados podem ser criados no Azure Data Factory UX por meio do hub de gerenciamento, assim como quaisquer atividades, conjuntos de dados ou fluxos de dado que façam referência a eles.

Você pode criar serviços vinculados usando uma dessas ferramentas ou SDKs: .NET API, PowerShell, API REST, Modelo do Azure Resource Manager e portal do Azure.

Ao criar um serviço vinculado, o usuário precisa de autorização apropriada para o serviço designado. Se o acesso suficiente não for concedido, o usuário não poderá ver os recursos disponíveis e precisará usar a opção de entrada manual.

Serviços vinculados do armazenamento de dados

Encontre a lista de armazenamentos de dados com suporte no artigo Visão geral do conector. Selecione um armazenamento de dados para saber as propriedades de conexão com suporte.

Serviços vinculados de computação

Referencie ambientes de computação com suporte para detalhes sobre diferentes ambientes de computação aos quais você pode se conectar do serviço e das diferentes configurações.

Conteúdo relacionado

• Saiba como usar credenciais de uma identidade gerenciada atribuída pelo usuário em um serviço vinculado.

Confira os tutoriais a seguir para obter instruções passo a passo para criar pipelines e conjuntos de dados usando uma destas ferramentas ou SDKs.

• Início rápido: criar um Data Factory usando o .NET
• Início rápido: criar um Data Factory usando o PowerShell
• Início rápido: criar um Data Factory usando a API REST
• Início rápido: criar um Data Factory usando o portal do Azure