Format Parquet dans Azure Data Factory et Azure Synapse Analytics

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Suivez cet article si vous souhaitez analyser des fichiers Parquet ou écrire des données au format Parquet.

Le format Parquet est pris en charge pour les connecteurs suivants :

• Amazon S3
• Stockage compatible Amazon S3
• Blob Azure
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Azure Files
• Système de fichiers
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Storage
• SFTP

Pour obtenir la liste des fonctionnalités prises en charge pour tous les connecteurs disponibles, consultez l’article Vue d’ensemble des connecteurs.

Utilisation du runtime d’intégration auto-hébergé

Dans le cas de copies s’exécutant sur l’IR auto-hébergé avec sérialisation/désérialisation des fichiers Parquet, le service localise le runtime Java en vérifiant d’abord le registre (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) pour JRE puis, s’il ne le trouve pas, en vérifiant la variable système JAVA_HOME pour OpenJDK.

• Pour utiliser JRE : Le runtime d’intégration de 64 bits requiert la version 64 bits de JRE. Vous pouvez la récupérer ici.
• Pour utiliser OpenJDK : il est pris en charge à compter de la version 3.13 du runtime d’intégration. Empaquetez jvm.dll avec tous les autres assemblys requis d’OpenJDK dans la machine équipée du runtime d’intégration auto-hébergé et définissez la variable d’environnement système JAVA_HOME en conséquence, puis redémarrez le runtime d'intégration auto-hébergé pour un effet immédiat.

Exemple : donnez la valeur -Xms256m -Xmx16g à la variable _JAVA_OPTIONS. L’indicateur Xms spécifie le pool d’allocation de mémoire initial pour une Machine virtuelle Java (JVM), tandis que Xmx spécifie le pool d’allocation de mémoire maximal. En d’autres termes, JVM démarrera avec la quantité de mémoire Xms et pourra au maximum utiliser la quantité de mémoire Xmx. Par défaut, le service utilise min 64 Mo et max 1 Go.

Propriétés du jeu de données

Pour obtenir la liste complète des sections et propriétés disponibles pour la définition de jeux de données, consultez l’article Jeux de données. Cette section donne la liste des propriétés prises en charge par le jeu de données Parquet.

Voici un exemple de jeu de données Parquet sur Stockage Blob Azure :

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Propriétés de l’activité de copie

Pour obtenir la liste complète des sections et des propriétés disponibles pour la définition des activités, consultez l’article Pipelines. Cette section fournit la liste des propriétés prises en charge par Parquet en tant que source et récepteur.

Parquet en tant que source

Les propriétés prises en charge dans la section *source* de l’activité de copie sont les suivantes.

Parquet en tant que récepteur

Les propriétés prises en charge dans la section *récepteur* de l’activité de copie sont les suivantes.

Paramètres d’écriture Parquet pris en charge sous formatSettings :

Propriétés du mappage de flux de données

Dans les flux de données de mappage, vous pouvez lire et écrire des données au format parquet dans les magasins de données suivants : Stockage Blob Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 et SFTP, et vous pouvez lire le format parquet dans Amazon S3.

Propriétés sources

Le tableau ci-dessous liste les propriétés prises en charge par une source Parquet. Vous pouvez modifier ces propriétés sous l’onglet Options de la source.

Exemple de source

L’image ci-dessous est un exemple de configuration de source Parquet dans des flux de données de mappage.

Le script de flux de données associé est le suivant :

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

Propriétés du récepteur

Le tableau ci-dessous liste les propriétés prises en charge par un récepteur Parquet. Vous pouvez modifier ces propriétés sous l’onglet Paramètres.

Exemple de récepteur

L’image ci-dessous est un exemple de configuration de récepteur Parquet dans des flux de données de mappage.

Le script de flux de données associé est le suivant :

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Prise en charge des types de données

Les types de données complexes Parquet (par exemple, MAP, LIST, STRUCT) ne sont actuellement pris en charge que dans des Data Flows, et non dans l’activité de copie. Pour utiliser des types complexes dans des flux de données, n’importez pas le schéma de fichier dans le jeu de données, en laissant ainsi le schéma vide dans le jeu de données. Ensuite, dans la transformation de la source, importez la projection.

Contenu connexe

• Vue d’ensemble des activités de copie
• Mappage de flux de données
• Activité de recherche
• Activité GetMetadata