Formato Parquet in Azure Data Factory e Azure Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Seguire questo articolo quando si vogliono analizzare i file Parquet o scrivere i dati in formato Parquet.

Il formato Parquet è supportato per i connettori seguenti:

• Amazon S3
• Archiviazione compatibili con Amazon S3
• BLOB di Azure
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• File di Azure
• File system
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Archiviazione
• SFTP

Per un elenco delle funzionalità supportate per tutti i connettori disponibili, vedere l'articolo Panoramica degli Connessione ors.

Uso del runtime di integrazione self-hosted

Per la copia in esecuzione nel runtime di integrazione self-hosted con serializzazione/deserializzazione dei file Parquet, il servizio individua il runtime Java controllando prima di tutto il Registro di sistema (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) per JRE, se non trovato, controllando in secondo luogo la variabile JAVA_HOME di sistema per OpenJDK.

• Per usare JRE: il runtime di integrazione a 64 bit richiede JRE a 64 bit. disponibile qui.
• Per usare OpenJDK: è supportato a partire dalla versione 3.13 del runtime di integrazione. Creare il pacchetto jvm.dll con tutti gli altri assembly necessari di OpenJDK nel computer del runtime di integrazione self-hosted e impostare la variabile di ambiente di sistema JAVA_HOME di conseguenza, quindi riavviare il runtime di integrazione self-hosted per rendere effettivo immediatamente.

Esempio: impostare la variabile _JAVA_OPTIONS con il valore -Xms256m -Xmx16g. Il flag Xms specifica il pool di allocazione della memoria iniziale per Java Virtual Machine (JVM), mentre Xmx specifica il pool di allocazione della memoria massima. JVM verrà quindi avviato con una quantità di memoria pari a Xms e potrà usare una quantità massima di memoria pari a Xmx. Per impostazione predefinita, il servizio usa min 64 MB e max 1G.

Proprietà del set di dati

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione dei set di dati, vedere l'articolo Set di dati. In questa sezione viene fornito un elenco delle proprietà supportate dal set di dati Parquet.

Di seguito è riportato un esempio di set di dati Parquet in Archiviazione BLOB di Azure:

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Proprietà dell'attività di copia

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere l'articolo sulle pipeline. In questa sezione viene fornito un elenco delle proprietà supportate dall'origine e dal sink Parquet.

Parquet come origine

Nella sezione *source* dell'attività di copia sono supportate le proprietà seguenti.

Parquet come sink

Nella sezione *sink* dell'attività di copia sono supportate le proprietà seguenti.

Impostazioni di scrittura Parquet supportate in formatSettings:

Proprietà del flusso di dati per mapping

Nei flussi di dati di mapping è possibile leggere e scrivere in formato parquet negli archivi dati seguenti: Archiviazione BLOB di Azure, Azure Data Lake Archiviazione Gen1, Azure Data Lake Archiviazione Gen2 e SFTP ed è possibile leggere il formato parquet in Amazon S3.

Proprietà di origine

Nella tabella seguente sono elencate le proprietà supportate da un'origine Parquet. È possibile modificare queste proprietà nella scheda Opzioni origine.

Esempio di origine

L'immagine seguente è un esempio di configurazione di origine Parquet nei flussi di dati di mapping.

Lo script del flusso di dati associato è:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

Proprietà sink

Nella tabella seguente sono elencate le proprietà supportate da un sink Parquet. È possibile modificare queste proprietà nella scheda Impostazioni.

Esempio di sink

L'immagine seguente è un esempio di configurazione sink parquet nei flussi di dati di mapping.

Lo script del flusso di dati associato è:

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Supporto dei tipi di dati

I tipi di dati complessi Parquet (ad esempio MAP, LIST, STRUCT) sono attualmente supportati solo in Flusso di dati, non nell'attività di copia. Per usare tipi complessi nei flussi di dati, non importare lo schema del file nel set di dati, lasciando vuoto lo schema nel set di dati. Quindi, nella trasformazione Origine, importare la proiezione.

Contenuto correlato

• Panoramica dell'attività di copia
• Flusso di dati per mapping
• Attività Lookup
• Attività GetMetadata