Obter atividade de metadados no Azure Data Factory ou no Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Você pode usar a atividade Obter metadados para recuperar os metadados de quaisquer dados no Azure Data Factory ou em um pipeline Synapse. Você pode usar a saída da atividade Obter metadados em expressões condicionais para executar a validação ou consumir os metadados em atividades subsequentes.

Criar uma atividade Obter metadados com a interface do usuário

Para usar uma atividade Obter metadados em um pipeline, conclua as seguintes etapas:

1. Procure Obter Metadados no painel Atividades do pipeline e arraste uma atividade Falha para a tela do pipeline.

2. Selecione a nova atividade Obter metadados na tela, se ainda não estiver selecionada, e sua guia Configurações para editar seus detalhes.

3. Escolha um conjunto de dados ou crie um novo com o botão Novo. Em seguida, você pode especificar opções de filtro e adicionar colunas dos metadados disponíveis para o conjunto de dados.

   

4. Use a saída da atividade como uma entrada para outra atividade, como uma atividade Switch neste exemplo. Você pode fazer referência à saída da Atividade de Metadados em qualquer lugar em que o conteúdo dinâmico seja suportado na outra atividade.

   

5. No editor de conteúdo dinâmico, selecione a saída da atividade Obter metadados para fazer referência a ela na outra atividade.

   

Capacidades suportadas

A atividade Obter metadados usa um conjunto de dados como entrada e retorna informações de metadados como saída. Atualmente, os seguintes conectores e os metadados recuperáveis correspondentes são suportados. O tamanho máximo dos metadados retornados é de 4 MB.

Conectores suportados

Armazenamento de ficheiros

1 Metadados lastModified:

• Para o Amazon S3, o Amazon S3 Compatible Storage, o Google Cloud Storage e o Oracle Cloud Storage se aplicam ao bucket e à chave, lastModified mas não à pasta virtual, e exists se aplicam ao bucket e à chave, mas não ao prefixo ou à pasta virtual.
• Para o armazenamento de Blob do Azure, aplica-se ao contêiner e ao blob, lastModified mas não à pasta virtual.

2 Metadados structure e columnCount não são suportados ao obter metadados de ficheiros binários, JSON ou XML.

3 Metadadosexists: Para o Amazon S3, o Amazon S3 Compatible Storage, o Google Cloud Storage e o Oracle Cloud Storage aplicam-se ao bucket e à chave, exists mas não ao prefixo ou à pasta virtual.

Tenha em atenção o seguinte:

• Ao usar a atividade Obter metadados em uma pasta, verifique se você tem permissão LIST/EXECUTE para a pasta fornecida.

• O filtro curinga em pastas/arquivos não é suportado para a atividade Obter metadados.

• modifiedDatetimeStart e modifiedDatetimeEnd conjunto de filtros no conector:

  • Essas duas propriedades são usadas para filtrar os itens filho ao obter metadados de uma pasta. Ele não se aplica ao obter metadados de um arquivo.
  • Quando esse filtro é usado, a childItems saída in inclui apenas os arquivos que são modificados dentro do intervalo especificado, mas não pastas.
  • Para aplicar esse filtro, a atividade GetMetadata enumerará todos os arquivos na pasta especificada e verificará o tempo modificado. Evite apontar para uma pasta com um grande número de arquivos, mesmo que a contagem de arquivos qualificados esperada seja pequena.

Base de dados relacional

Opções de metadados

Você pode especificar os seguintes tipos de metadados na lista de campos de atividade Obter metadados para recuperar as informações correspondentes:

Sintaxe

Obter atividade de metadados

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Conjunto de dados

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Propriedades do tipo

Atualmente, a atividade Obter metadados pode retornar os seguintes tipos de informações de metadados:

Saída de exemplo

Os resultados Obter metadados são mostrados na saída da atividade. Seguem-se dois exemplos que mostram opções de metadados abrangentes. Para usar os resultados em uma atividade subsequente, use este padrão: @{activity('MyGetMetadataActivity').output.itemName}.

Obter metadados de um ficheiro

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Obter metadados de uma pasta

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Conteúdos relacionados

Saiba mais sobre outras atividades de fluxo de controle suportadas:

• Executar atividade de pipeline
• Atividade ForEach
• Atividade de Pesquisa
• Atividade Web