Ottenere l'attività metadati in Azure Data Factory o Azure Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

È possibile usare l'attività Recupera metadati per recuperare i metadati di tutti i dati in Azure Data Factory o in una pipeline synapse. È possibile usare l'output dell'attività Recupera metadati nelle espressioni condizionali per eseguire la convalida o utilizzare i metadati nelle attività successive.

Creare un'attività Recupera metadati con l'interfaccia utente

Per usare un'attività Recupera metadati in una pipeline, seguire questa procedura:

1. Cercare Recupera metadati nel riquadro Attività pipeline e trascinare un'attività Fail nell'area di disegno della pipeline.

2. Selezionare la nuova attività Recupera metadati nell'area di disegno se non è già selezionata e la relativa scheda Impostazioni per modificarne i dettagli.

3. Scegliere un set di dati o crearne uno nuovo con il pulsante Nuovo. È quindi possibile specificare le opzioni di filtro e aggiungere colonne dai metadati disponibili per il set di dati.

   

4. Usare l'output dell'attività come input per un'altra attività, ad esempio un'attività Switch in questo esempio. È possibile fare riferimento all'output dell'attività metadati in qualsiasi punto in cui il contenuto dinamico è supportato nell'altra attività.

   

5. Nell'editor di contenuto dinamico selezionare l'output dell'attività Recupera metadati per farvi riferimento nell'altra attività.

   

Funzionalità supportate

L'attività Recupera metadati accetta un set di dati come input e restituisce le informazioni sui metadati come output. Attualmente sono supportati i connettori seguenti e i metadati recuperabili corrispondenti. La dimensione massima dei metadati restituiti è 4 MB.

Connettori supportati

Archiviazione file

¹ Metadati lastModified:

• Per Amazon S3, Amazon S3 Compatible Archiviazione, Google Cloud Archiviazione e Oracle Cloud Archiviazione, lastModified si applica al bucket e alla chiave ma non alla cartella virtuale e exists si applica al bucket e alla chiave ma non al prefisso o alla cartella virtuale.
• Per l'archiviazione BLOB di Azure, lastModified si applica al contenitore e al BLOB, ma non alla cartella virtuale.

² Metadati e columnCount non sono supportati quando si ottengono metadati structure da file binari, JSON o XML.

³ Metadatiexists: per Amazon S3, Amazon S3 Compatible Archiviazione, Google Cloud Archiviazione e Oracle Cloud Archiviazione, exists si applica al bucket e alla chiave ma non al prefisso o alla cartella virtuale.

Nota quanto segue:

• Quando si usa l'attività Recupera metadati su una cartella, assicurarsi di disporre dell'autorizzazione LIST/EXECUTE per la cartella specificata.

• Il filtro con caratteri jolly per cartelle/file non è supportato per l'attività Recupera metadati.

• modifiedDatetimeStart e modifiedDatetimeEnd filtrare impostati sul connettore:

  • Queste due proprietà vengono usate per filtrare gli elementi figlio quando si ottengono metadati da una cartella. Non si applica quando si ottengono metadati da un file.
  • Quando viene utilizzato tale filtro, nell'output childItems sono inclusi solo i file modificati all'interno dell'intervallo specificato, ma non le cartelle.
  • Per applicare tale filtro, l'attività GetMetadata enumera tutti i file nella cartella specificata e controlla l'ora modificata. Evitare di puntare a una cartella con un numero elevato di file anche se il numero di file qualificato previsto è ridotto.

Database relazionale

Opzioni dei metadati

È possibile specificare i tipi di metadati seguenti nell'elenco dei campi Attività Recupera metadati per recuperare le informazioni corrispondenti:

Sintassi

Attività GetMetadata

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Set di dati

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Proprietà del tipo

Attualmente, l'attività Recupera metadati può restituire i tipi di informazioni sui metadati seguenti:

Output di esempio

I risultati get metadata vengono visualizzati nell'output dell'attività. Di seguito sono riportati due esempi che mostrano opzioni di metadati complete. Per usare i risultati in un'attività successiva, usare questo modello: @{activity('MyGetMetadataActivity').output.itemName}.

Ottenere i metadati di un file

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Ottenere i metadati di una cartella

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Contenuto correlato

Informazioni su altre attività del flusso di controllo supportate:

• Attività ExecutePipeline
• Attività ForEach
• Attività Lookup
• Attività Web