Copiar e transformar dados no Armazenamento de Blobs do Azure usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade Copy nos pipelines do Azure Data Factory e do Azure Synapse para copiar dados de e para o Armazenamento de Blobs do Azure. Ele também descreve como usar a atividade Fluxo de Dados para transformar dados no Armazenamento de Blobs do Azure. Para saber mais, leia os artigos de introdução do Azure Data Factory e do Azure Synapse Analytics.

Funcionalidades com suporte

Este conector do Armazenamento de Blobs do Azure oferece suporte às seguintes funcionalidades:

Funcionalidades com suporte	IR	Ponto de extremidade privado gerenciado
Atividade de cópia (origem/coletor)	① ②	✓ Excluir a conta de armazenamento V1
Fluxo de dados de mapeamento (origem/coletor)	①	✓ Excluir a conta de armazenamento V1
Atividade de pesquisa	① ②	✓ Excluir a conta de armazenamento V1
Atividade GetMetadata	① ②	✓ Excluir a conta de armazenamento V1
Excluir atividade	① ②	✓ Excluir a conta de armazenamento V1

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para a atividade Copy, esse conector do Armazenamento de Blobs dá suporte a:

• Copiar blobs de e para contas de Armazenamento do Azure de uso geral e para armazenamento de blobs Quente/Frio.
• Copiar blobs usando chave de conta, assinatura de acesso compartilhado de serviço, entidade de serviço ou identidades gerenciadas para autenticações de recursos do Azure.
• Copiar blobs de blocos, acréscimos ou de páginas e copiar dados somente para blobs de blocos.
• Copiar blobs no estado em que se encontram ou analisando ou gerando blobs com os formatos de arquivo e codecs de compactação com suporte.
• Preservar os metadados do arquivo durante a cópia.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado de Armazenamento de Blobs do Azure usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado de Armazenamento de Blobs do Azure na interface de usuário do portal do Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados. Depois, selecione Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise o blob e selecione o conector do Armazenamento de Blobs do Azure.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções que se seguem fornecem detalhes sobre as propriedades que são usadas para definir entidades de pipeline do Data Factory e do Synapse específicas do armazenamento de blobs.

Propriedades do serviço vinculado

Este conector do Armazenamento de Blobs dá suporte aos seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes.

• Autenticação anônima
• Autenticação de chave de conta
• Autenticação de assinatura de acesso compartilhado
• Autenticação de entidade de serviço
• Autenticação de identidade gerenciada atribuída pelo sistema
• Autenticação de identidade gerenciada atribuída pelo usuário

Autenticação anônima

As propriedades a seguir têm suporte para autenticação de chave de conta de armazenamento nos pipelines do Azure Data Factory ou do Synapse:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir).	Sim
containerUri	Especifique o URI do contêiner de Blob do Azure que habilitou o acesso de leitura Anônimo usando o formato https://<AccountName>.blob.core.windows.net/<ContainerName> e configure o acesso de leitura público anônimo para contêineres e blobs	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	Não

Exemplo:

{
    "name": "AzureBlobStorageAnonymous",
    "properties": {
        "annotations": [],
        "type": "AzureBlobStorage",
        "typeProperties": {
            "containerUri": "https:// <accountname>.blob.core.windows.net/ <containername>",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplos de interface do usuário:

A experiência da interface do usuário é descrita na imagem a seguir. Esta amostra usa o conjunto de dados aberto do Azure como a origem. Caso você deseje obter o conjunto de dados aberto bing_covid-19_data.csv, basta escolher Tipo de autenticação como Anônimo e preencher o URI do Contêiner com https://pandemicdatalake.blob.core.windows.net/public.

Autenticação de chave de conta

As propriedades a seguir têm suporte para autenticação de chave de conta de armazenamento nos pipelines do Azure Data Factory ou do Synapse:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir).	Sim
connectionString	Especifique as informações necessárias para se conectar ao Armazenamento para a propriedade connectionString. Você também pode colocar a chave de conta no Azure Key Vault e efetuar pull da configuração accountKey da cadeia de conexão. Para obter mais informações, consulte os exemplos a seguir e o artigo Credenciais do Armazenamento no Azure Key Vault.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	No

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a chave de conta no Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de assinatura de acesso compartilhado

Uma assinatura de acesso compartilhado fornece acesso delegado aos recursos da sua conta de armazenamento. Você pode usar uma assinatura de acesso compartilhado para conceder a um cliente permissões limitadas para objetos em sua conta de armazenamento por determinado tempo.

Não é preciso compartilhar as chaves de acesso da conta. A assinatura de acesso compartilhado é um URI que engloba em seus parâmetros de consulta todas as informações necessárias para o acesso autenticado a um recurso de armazenamento. Para acessar recursos de armazenamento com a assinatura de acesso compartilhado, o cliente só precisa passar a assinatura de acesso compartilhado ao construtor ou método apropriado.

Para obter mais informações sobre assinaturas de acesso compartilhado, consulte Assinaturas de acesso compartilhado: Entender o modelo de assinatura de acesso compartilhado.

Há suporte para usar a autenticação de assinatura de acesso compartilhado para as seguintes propriedades:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir).	Sim
sasUri	Especifique o URI de assinatura de acesso compartilhado para os recursos de Armazenamento, como blob ou contêiner. Marque esse campo como SecureString para armazená-lo com segurança. Você também pode colocar o token SAS no Azure Key Vault para aproveitar a rotação automática e remover a parte do token. Para obter mais informações, consulte os exemplos a seguir e Credenciais do Armazenamento no Azure Key Vault.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	No

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a chave de conta no Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ao criar um URI de assinatura de acesso compartilhado, considere os seguintes pontos:

• Defina as permissões apropriadas de leitura/gravação em objetos com base em como o serviço vinculado (leitura, gravação, leitura/gravação) será usado.
• Defina o Tempo de expiração adequadamente. Certifique-se de que o acesso aos objetos de Armazenamento não expira dentro do período ativo do pipeline.
• O URI deve ser criado no contêiner ou blob correto com base na necessidade. Um URI de assinatura de acesso compartilhado a um blob permite que o pipeline do data factory ou do Synapse acesse o blob específico. Um URI de assinatura de acesso compartilhado para um contêiner de armazenamento de Blob permite que o pipeline do data factory ou do Synapse se reitere pelos blobs naquele contêiner. Para fornecer acesso a mais/menos objetos posteriormente, ou para atualizar o URI de assinatura de acesso compartilhado, lembre-se de atualizar o serviço vinculado ao novo URI.

Autenticação de entidade de serviço

Para obter informações gerais sobre a autenticação da entidade de serviço do Armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra.

Para usar a autenticação de entidade de serviço, siga estas etapas:

1. Registrar um aplicativo na plataforma de identidade da Microsoft. Para saber como, confira Início Rápido: registrar um aplicativo na plataforma de identidade da Microsoft. Anote estes valores; ele são usados para definir o serviço vinculado:

   • ID do aplicativo
   • Chave do aplicativo
   • ID do locatário

2. Conceda a permissão apropriada à entidade de serviço no Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

   • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
   • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage.	Sim
serviceEndpoint	Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/.	Sim
accountKind	Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage. Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.	Não
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Sim
servicePrincipalCredentialType	O tipo de credencial a ser usada para autenticação da entidade de serviço. Os valores permitidos são ServicePrincipalKey e ServicePrincipalCert.	Sim
servicePrincipalCredential	A credencial da entidade de serviço. Ao usar ServicePrincipalKey como o tipo de credencial, especifique a chave do aplicativo. Marque este campo como um SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault. Quando usar ServicePrincipalCert como credencial, faça referência a um certificado no Azure Key Vault e verifique se o tipo de conteúdo do certificado é PKCS nº 12.	Sim
locatário	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. Recupere-as passando o mouse no canto superior direito do portal do Azure.	Sim
azureCloudType	Para autenticação da entidade de serviço, especifique o tipo de ambiente em nuvem do Azure em que seu aplicativo do Microsoft Entra está registrado. Os valores permitidos são AzurePublic, AzureChina, AzureUsGovernment e AzureGermany. Por padrão, o data factory ou o ambiente de nuvem do pipeline do Synapse é usado.	Não
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	No

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo sistema

Um pipeline do data factory ou do Synapse pode ser associado a uma identidade gerenciada atribuída pelo sistema para recursos do Azure, que representa esse recurso para autenticação em outros serviços do Azure. Você pode usar essa identidade gerenciada atribuída pelo sistema diretamente para a autenticação do Armazenamento de Blobs da mesma maneira que usa a sua própria entidade de serviço. Ele permite que este recurso designado acesse e copie dados de ou para o Armazenamento de Blobs. Para saber mais sobre as identidades gerenciadas para os recursos do Azure, confira o artigo Identidades gerenciadas para recursos do Azure

Para obter informações gerais sobre a autenticação do Armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra. Para usar identidades gerenciadas para autenticação de recursos do Azure, siga estas etapas:

1. Recuperar identidade gerenciada atribuída pelo sistema copiando o valor da ID de objeto de identidade gerenciada atribuída pelo sistema gerado com o workspace do Factory ou do Synapse.

2. Conceda a permissão de identidade gerenciada no Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

   • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
   • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage.	Sim
serviceEndpoint	Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/.	Sim
accountKind	Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage. Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.	Não
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	Não

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo usuário

Um data factory pode ser atribuído com uma ou várias identidades gerenciadas atribuídas pelo usuário. Você pode usar essa identidade gerenciada atribuída pelo usuário para autenticação do Armazenamento de Blob, que permite acessar e copiar dados de ou para o armazenamento de blobs. Para saber mais sobre as identidades gerenciadas para os recursos do Azure, confira o artigo Identidades gerenciadas para recursos do Azure

Para obter informações gerais sobre a autenticação de armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra. Para usar a autenticação de identidade gerenciada atribuída pelo usuário, siga estas etapas:

1. Crie uma ou várias identidades gerenciadas atribuídas ao usuário e conceda permissão ao Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

   • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
   • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

2. Atribua uma ou várias identidades gerenciadas atribuídas pelo usuário a seu data factory e crie credenciais para cada identidade gerenciada atribuída pelo usuário.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como AzureBlobStorage.	Sim
serviceEndpoint	Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/.	Sim
accountKind	Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage. Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.	Não
credenciais	Especifique a identidade gerenciada atribuída pelo usuário como o objeto da credencial.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão.	Não

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As propriedades a seguir têm suporte para o Armazenamento de Blobs do Azure nas configurações de location em um conjunto de dados baseado no formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type do local no conjunto de dados precisa ser definida como AzureBlobStorageLocation.	Sim
contêiner	O contêiner de blob.	Sim
folderPath	O caminho para a pasta no contêiner fornecido. Se quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique isso nas configurações de origem da atividade.	Não
fileName	O nome do arquivo no contêiner e no caminho da pasta fornecidos. Se quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique isso nas configurações de origem da atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção apresenta uma lista das propriedades com suporte na origem e no coletor do Armazenamento de Blobs.

Armazenamento de blob como um tipo de fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As propriedades a seguir têm suporte no Armazenamento de Blobs do Azure nas configurações de storeSettings na origem da cópia baseada em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type em storeSettings deve ser configurada como AzureBlobStorageReadSettings.	Sim
Localize os arquivos a serem copiados:
OPÇÃO 1: caminho estático	Copie do caminho do contêiner ou da pasta/do arquivo especificado no conjunto de dados. Se você quiser copiar todos os blobs de um contêiner ou pasta, especifique também wildcardFileName como *.
OPÇÃO 2: prefixo do blob - prefix	Prefixo do nome do blob no contêiner fornecido configurado em um conjunto de dados para filtrar os blobs de origem. Os blobs cujos nomes começam com container_in_dataset/this_prefix são selecionados. Ele utiliza o filtro do lado do serviço para o Armazenamento de Blobs, que fornece melhor desempenho do que um filtro curinga. Quando você usa o prefixo e opta pela cópia para o coletor baseado em arquivo com a hierarquia de preservação, observe que o subcaminho após o último “/” no prefixo é preservado. Por exemplo, você tem a origem container/folder/subfolder/file.txt e configura o prefixo como folder/sub, então o caminho do arquivo preservado é subfolder/file.txt.	Não
OPÇÃO 3: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga no contêiner fornecido configurado em um conjunto de dados para filtrar as pastas de origem. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 3: curinga - wildcardFileName	O nome do arquivo com caracteres curinga no caminho do contêiner e da pasta (ou da pasta curinga) indicados para filtrar os arquivos de origem. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome do arquivo contiver um curinga ou esse caractere de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 4: uma lista de arquivos - fileListPath	Indica a cópia de um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar com um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados. Ao usar essa opção, não especifique um nome de arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.	Não
Configurações adicionais:
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursiva é definida como true e o coletor é um repositório baseado em arquivo, uma pasta vazia ou uma subpasta não é copiada nem criada no coletor. Os valores permitidos são true (padrão) e false. Essa propriedade não se aplica quando você configura fileListPath.	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão de arquivo é por arquivo. Portanto, quando ocorrer uma falha na atividade de cópia, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem. Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime. Essa propriedade não se aplica quando você configura fileListPath.	Não
modifiedDatetimeEnd	O mesmo que a propriedade anterior.	Não
enablePartitionDiscovery	Para os arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e incluí-las como colunas de origem extras. Os valores permitidos são false (padrão) e true.	No
partitionRootPath	Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados. Se não for especificado, será por padrão, – Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados. – Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga. -Quando você usa o prefixo, o caminho raiz da partição é o subcaminho antes do último "/". Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": – Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas month e day com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. – Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	No

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Armazenamento de blob como um tipo de coletor

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

As seguintes propriedades têm suporte no Armazenamento de Blobs do Azure nas configurações de storeSettings no coletor de cópia baseada no formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type em storeSettings seve ser definida como AzureBlobStorageWriteSettings.	Sim
copyBehavior	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Valores permitidos são: – PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. – FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente. – MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo ou do blob for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.	Não
blockSizeInMB	Especifique, em megabytes, o tamanho do bloco usado para gravar dados nos blobs de blocos. Saiba mais sobre Blobs de Blocos. O valor permitido é entre 4 MB e 100 MB. Por padrão, o serviço determina automaticamente o tamanho do bloco com base no tipo de armazenamento de origem e nos dados. Para cópia não binária no Armazenamento de Blobs, o tamanho de bloco padrão é 100 MB para que possa caber (no máximo) 4.95 TB de dados. Isso pode não ser ideal quando os dados não são grandes, especialmente quando você usa o runtime de integração auto-hospedada com conexões de rede inadequadas que resultam em problemas de desempenho ou de tempo limite da operação. Especifique um tamanho de bloco explicitamente, garantindo que blockSizeInMB*50000 seja grande o suficiente para armazenar os dados. Caso contrário, a execução da atividade Copy falhará.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não
metadata	Defina metadados personalizados ao copiar para o coletor. Cada objeto sob a matriz metadata representa uma coluna extra. O name define o nome chave dos metadados e value indica o valor de dados dessa chave. Se o recurso preservar atributos for usado, os metadados especificados serão unificados/substituídos pelos metadados do arquivo de origem. Os valores de dados permitidos são: - $$LASTMODIFIED: uma variável reservada indica armazenar a hora da última modificação dos arquivos de origem. Aplicar à fonte baseada em arquivo somente com formato binário. - Expressão - Valor estático	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante do caminho da pasta e do nome de arquivo com filtros curinga.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
container/Folder*	(vazio, usar padrão)	false	contêiner     FolderA         Arquivo1.csv         File2.json         Subpasta1             File3.csv             File4.json             File5.csv     OutraPastaB         Arquivo6.csv
container/Folder*	(vazio, usar padrão)	true	contêiner     FolderA         Arquivo1.csv         File2.json         Subpasta1             File3.csv             File4.json             File5.csv     OutraPastaB         Arquivo6.csv
container/Folder*	*.csv	false	contêiner     FolderA         Arquivo1.csv         Arquivo2.json         Subpasta1             File3.csv             File4.json             File5.csv     OutraPastaB         Arquivo6.csv
container/Folder*	*.csv	true	contêiner     FolderA         Arquivo1.csv         Arquivo2.json         Subpasta1             File3.csv             File4.json             File5.csv     OutraPastaB         Arquivo6.csv

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na origem da atividade Copy.

Suponha que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos em negrito:

Exemplo de estrutura de origem	Conteúdo em FileListToCopy.txt	Configuração
contêiner     FolderA         Arquivo1.csv         Arquivo2.json         Subpasta1             File3.csv             File4.json             File5.csv     Metadados         FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	No conjunto de dados: - Contêiner: container - Caminho da pasta: FolderA Na origem da atividade Copy: - Caminho da lista de arquivos: container/Metadata/FileListToCopy.txt O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar. Ela inclui um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados.

Alguns exemplos de recursive e copyBehavior

Esta seção descreve o comportamento resultante da operação de cópia para diferentes combinações de valores recursive e copyBehavior.

recursiva	copyBehavior	Estrutura de pasta de origem	Destino resultante
true	preserveHierarchy	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino Pasta1 é criada com a mesma estrutura da origem: Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5
true	flattenHierarchy	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino, Pasta1, é criada com a seguinte estrutura: Pasta1     nome gerado automaticamente para o Arquivo1     nome gerado automaticamente para o Arquivo2     nome gerado automaticamente para o Arquivo3     nome gerado automaticamente para o Arquivo4     nome gerado automaticamente para o Arquivo5
true	mergeFiles	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino, Pasta1, é criada com a seguinte estrutura: Pasta1     Os conteúdos de Arquivo1 + Arquivo2 + Arquivo3 + Arquivo4 + Arquivo5 são mesclados em um arquivo com um nome de arquivo gerado automaticamente.
false	preserveHierarchy	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino, Pasta1, é criada com a seguinte estrutura: Pasta1     Arquivo1     Arquivo2 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false	flattenHierarchy	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino, Pasta1, é criada com a seguinte estrutura: Pasta1     nome gerado automaticamente para o Arquivo1     nome gerado automaticamente para o Arquivo2 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false	mergeFiles	Pasta1     Arquivo1     Arquivo2     Subpasta1         Arquivo3         Arquivo4         Arquivo5	A pasta de destino, Pasta1, é criada com a seguinte estrutura: Pasta1     Os conteúdos de Arquivo1 + Arquivo2 são mesclados em um arquivo com um nome de arquivo gerado automaticamente. nome gerado automaticamente para o Arquivo1 A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.

Preservando metadados durante a cópia

Ao copiar arquivos do Amazon S3, do Armazenamento de Blobs do Azure ou do Azure Data Lake Storage Gen2 para o Azure Data Lake Storage Gen2 ou para o Armazenamento de Blobs do Azure, você pode optar por preservar os metadados do arquivo com os dados. Saiba mais em Preservar metadados.

Mapeamento de propriedades de fluxo de dados

Quando estiver transformando dados em fluxos de dados de mapeamento, você poderá ler e gravar arquivos do Armazenamento de Blobs do Azure nos seguintes formatos:

• Avro
• Texto delimitado
• Delta
• Excel
• JSON
• Parquet

As configurações de formato específico estão localizadas na documentação para esse formato. Para obter mais informações, consulte Transformação de origem no fluxo de dados de mapeamento e Transformação de coletor no fluxo de dados de mapeamento.

Transformação de origem

Na transformação de origem, você pode ler de um contêiner, uma pasta ou um arquivo individual no Armazenamento de Blobs do Azure. Use a guia Opções de origem para gerenciar como os arquivos são lidos.

Caminhos curinga: o uso de um padrão curinga instruirá o serviço a executar um loop em cada pasta e arquivo correspondentes em uma única transformação de origem. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo. Adicione vários padrões de correspondência de curinga com o sinal de adição que aparece ao passar o mouse sobre o padrão de curinga existente.

Em seu contêiner de origem, escolha uma série de arquivos que correspondem a um padrão. Somente o contêiner pode ser especificado no conjunto de dados. O caminho curinga, portanto, também precisa incluir o caminho da pasta raiz.

Exemplos de caracteres curinga:

• * Representa qualquer conjunto de caracteres.

• ** Representa o aninhamento de diretório recursivo.

• ? Substitui um caractere.

• [] Corresponde a um ou mais caracteres entre colchetes.

• /data/sales/**/*.csv Obtém todos os arquivos CSV em /data/sales.

• /data/sales/20??/**/ Obtém todos os arquivos no século XX.

• /data/sales/*/*/*.csv Obtém arquivos CSV dois níveis em /data/sales.

• /data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos CSV de dezembro de 2004 que começam com X ou Y prefixado por um número de dois dígitos.

Caminho raiz da partição: se você tiver pastas particionadas em sua fonte de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.

Use a configuração do caminho raiz da partição para definir qual é o nível superior da estrutura de pastas. Ao ver o conteúdo dos seus dados por meio de uma visualização de dados, você observará que o serviço adiciona as partições resolvidas encontradas em cada um dos níveis de pasta.

Lista de arquivos: é um conjunto de arquivos. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados. Aponte para este arquivo de texto.

Coluna para armazenar o nome do arquivo: armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.

Após a conclusão: Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem. Os caminhos para movimentação são relativos.

Para mover os arquivos de origem para outro local após o processamento, primeiro selecione "Mover" para a operação de arquivo. Em seguida, defina o diretório "de". Se você não estiver usando curingas para o caminho, a configuração "de" será a mesma pasta que a de origem.

Se você tiver um caminho de origem com curinga, a sintaxe será a seguinte:

/data/sales/20??/**/*.csv

Você pode especificar "de" como:

/data/sales

E você pode especificar "para" como:

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.

Filtrar pela última modificação: você pode filtrar os arquivos a serem processados especificando um intervalo de datas de quando eles foram modificados pela última vez. Todos os datetimes estão em UTC.

Habilitar captura de dados de alterações: se verdadeiro, você receberá arquivos novos ou alterados somente a partir da última execução. O carregamento inicial de dados de instantâneo completo sempre será obtido na primeira execução, seguido pela captura de arquivos novos ou alterados apenas nas próximas execuções.

Propriedades do coletor

Na transformação do coletor, você pode gravar em um contêiner ou em uma pasta no Armazenamento de Blobs do Azure. Use a guia Configurações para gerenciar como os arquivos são gravados.

Limpe a pasta: determina se a pasta de destino é limpa ou não antes de os dados serem gravados.

Opção do nome do arquivo: determina como os arquivos de destino são nomeados na pasta de destino. As opções de nome de arquivo são:

• Padrão: permitir que o Spark nomeie arquivos com base nos padrões de PART.
• Padrão: insira um padrão que enumere os arquivos de saída por partição. Por exemplo, loans[n].csv cria loans1.csv, loans2.csv etc.
• Por partição: insira um nome de arquivo por partição.
• Como dados na coluna: defina o arquivo de saída para o valor de uma coluna. O caminho é relativo ao contêiner de conjunto de dados, não à pasta de destino. Se você tiver um caminho de pasta no seu conjunto de dados, ele será substituído.
• Saída para um único arquivo: combine os arquivos de saída particionados em um único arquivo nomeado. O caminho é relativo à pasta do conjunto de dados. Lembre-se de que a operação de mesclagem pode falhar com base no tamanho do nó. Não recomendamos essa opção para grandes conjuntos de dados.

Citar tudo: determina se todos os valores devem ser delimitados por aspas.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, confira Atividade GetMetadata.

Excluir propriedades da atividade

Para saber mais detalhes sobre as propriedades, confira Atividade Delete.

Modelos herdados

Modelo de conjunto de dados herdado

Propriedade	Descrição	Obrigatório
type	A propriedade type do conjunto de dados deve ser definida como AzureBlob.	Sim
folderPath	Caminho para contêiner e pasta no Armazenamento de Blob. O filtro curinga é permitido para o caminho, excluindo o nome do contêiner. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape. Um exemplo é: myblobcontainer/myblobfolder/. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.	Sim para a atividade Copy ou Lookup, não para a atividade GetMetadata
fileName	Filtro de nome ou curinga para os blobs no valor folderPath especificado. Se você não especificar algum valor para essa propriedade, o conjunto de dados apontará para todos os blobs na pasta. Para o filtro, os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). – Exemplo 1: "fileName": "*.csv" – Exemplo 2: "fileName": "???20180427.txt" Use ^ como escape se o nome do arquivo contiver um curinga ou esse caractere de escape. Quando fileName não é especificado para um conjunto de dados de saída e preserveHierarchy não é especificado no coletor de atividade, a atividade Copy gera o nome do arquivo automaticamente com o seguinte formato: "Data.[activity run ID GUID].[GUID if FlattenHierarchy].[format if configured].[compression if configured] ". Por exemplo: "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz". Se você copiar da fonte tabular usando o nome da tabela em vez da consulta, o nome padrão será [table name].[format].[compression if configured]. Por exemplo, "MyTable.csv".	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". Lembre-se de que, ao habilitar essa configuração, o desempenho geral da movimentação de dados será afetado quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver um valor datetime, mas modifiedDatetimeStart for NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.	Não
modifiedDatetimeEnd	Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z". Lembre-se de que, ao habilitar essa configuração, o desempenho geral da movimentação de dados será afetado quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver um valor datetime, mas modifiedDatetimeStart for NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.	Não
format	Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas duas definições de conjunto de dados de entrada e de saída. Se você quer analisar ou gerar arquivos com um formato específico, os seguintes tipos de formato de arquivo são compatíveis: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type sob format para um desses valores. Para saber mais, veja as seções Formato de texto, Formato JSON, Formato Avro, Formato Orc e Formato Parquet.	Não (somente para o cenário de cópia binária)
compactação	Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte. Os tipos com suporte são: GZip, Deflate, BZip2 e ZipDeflate. Os níveis de suporte são Ideal e Mais rápido.	Não

Exemplo:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem herdado para a atividade Copy

Propriedade	Descrição	Obrigatório
type	A propriedade type da fonte da atividade Copy deve ser definida como BlobSource.	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursive é definido como true e o coletor é um repositório baseado em arquivo, uma pasta ou uma subpasta vazia não é copiada nem criada no coletor. Os valores permitidos são true (padrão) e false.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Modelo de coletor herdado para a atividade Copy

Propriedade	Descrição	Obrigatório
type	A propriedade type do coletor de atividade Copy deve ser definida como BlobSink.	Sim
copyBehavior	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Valores permitidos são: – PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. – FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente. – MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo ou do blob for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

captura de dados de alterações

O Azure Data Factory pode obter arquivos novos ou alterados somente do Armazenamento de Blobs do Azure habilitando-se a opção **Habilitar a captura de dados de alterações** na transformação da origem do fluxo de dados de mapeamento. Com essa opção de conector, você pode ler arquivos novos ou atualizados somente e aplicar transformações antes de carregar dados transformados nos conjuntos de dados de destino de sua escolha. Consulte Captura de dados de alterações para obter detalhes.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados que a atividade Copy suporta, como fontes e coletores, consulte Armazenamentos de dados compatíveis.