Obter atividade de metadados no Azure Data Factory ou no Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Você pode usar a atividade obtenção de metadados para recuperar os metadados de quaisquer dados no pipeline do Azure Data Factory ou do Synapse. Você pode usar a saída da atividade de obtenção de metadados em expressões condicionais para executar a validação ou consumir os metadados nas atividades subsequentes.

Criar uma atividade de obtenção de metadados com a interface do usuário

Para usar uma atividade de obtenção de metadados em um pipeline, conclua as seguintes etapas:

1. Procure Get Metadata no painel Atividades do pipeline e arraste uma atividade de obtenção de metadados para a tela do pipeline.

2. Selecione a nova atividade Obter Metadados na tela, se ainda não estiver selecionada, e sua guia Configurações, para editar seus detalhes.

3. Escolha um conjunto de um ou crie outro com o botão Novo. Em seguida, você pode especificar opções de filtro e adicionar colunas dos metadados disponíveis para o conjunto de dados.

   

4. Use a saída da atividade como uma entrada para outra atividade, como uma atividade Switch neste exemplo. Você pode fazer referência à saída da atividade de metadados em qualquer lugar que o conteúdo dinâmico tenha suporte na outra atividade.

   

5. No editor de conteúdo dinâmico, selecione a saída Get Metadata para fazer referência a ela na outra atividade.

   

Funcionalidades com suporte

A atividade de obtenção de metadados usa um conjunto de dados como uma entrada e retorna informações de metadados como saída. Atualmente, os seguintes conectores e metadados recuperáveis correspondentes são suportados. O tamanho máximo dos metadados retornados é de 4 MB.

Conectores com suporte

Armazenamento de arquivos

¹ Metadados lastModified:

• Para o Amazon S3, o armazenamento compatível Amazon S3, o Google Cloud Storage e o Oracle Cloud Storage, lastModified aplica-se ao bucket e à chave, mas não à pasta virtual, e exists aplica-se ao bucket e à chave, mas não ao prefixo ou à pasta virtual.
• Para o armazenamento de blobs do Azure, lastModified aplica-se ao contêiner e ao blob, mas não à pasta virtual.

O metadados ²structure e columnCount não têm suporte ao obter metadados de arquivos binários, JSON ou XML.

Os metadados ³exists: para Amazon S3, Armazenamento compatível com Amazon S3, Google Cloud Storage e Oracle Cloud Storage, exists aplica-se ao bucket e à chave, mas não ao prefixo ou à pasta virtual.

Observe o seguinte:

• Ao usar a atividade obtenção de metadados em uma pasta, verifique se você tem a permissão LISTAR/EXECUTAR na pasta especificada.

• O filtro de caracteres curingas em pastas/arquivos não tem suporte na atividade de obtenção de metadados.

• Conjunto de filtros modifiedDatetimeStart e modifiedDatetimeEnd no conector:

  • Essas duas propriedades são usadas para filtrar os itens filho ao obter metadados de uma pasta. Ele não se aplica ao obter metadados de um arquivo.
  • Quando esse filtro é usado, o childItems na saída inclui apenas os arquivos que são modificados dentro do intervalo especificado, mas não as pastas.
  • Para aplicar esse filtro, a atividade Obtenção de Metadados enumerará todos os arquivos na pasta especificada e verificará o horário modificado. Evite apontar para uma pasta com um grande número de arquivos, mesmo se a contagem de arquivos qualificados esperada for pequena.

Banco de dados relacional

Opções de metadados

Você pode especificar os seguintes tipos de metadados na lista de campos de atividade de obtenção de metadados para recuperar as informações correspondentes:

Syntax

Atividade de obtenção de metadados

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Conjunto de dados

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Propriedades de tipo

Atualmente, a atividade de Obtenção de Metadados pode devolver os seguintes tipos de informações de metadados:

Saída de exemplo

Os resultados da obtenção de metadados são mostrados na saída da atividade. A seguir temos dois exemplos que mostram opções extensivas de metadados. Para usar os resultados em uma atividade subsequente, use este padrão: @{activity('MyGetMetadataActivity').output.itemName}.

Obter metadados de um arquivo

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Obter metadados de uma pasta

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Conteúdo relacionado

Saiba como sobre outras atividades de fluxo de controle compatíveis:

• Atividade de execução de pipeline
• Atividade ForEach
• Atividade de pesquisa
• Atividade da Web