Copiez et transformez des données dans Microsoft Fabric Lakehouse à l'aide d'Azure Data Factory ou d'Azure Synapse Analytics

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Microsoft Fabric Lakehouse est une plateforme d’architecture de données permettant de stocker, de gérer et d’analyser des données structurées et non structurées dans un emplacement unique. Pour bénéficier d’un accès fluide aux données dans l’ensemble des moteurs de calcul dans Microsoft Fabric, reportez-vous à l’article Tables Lakehouse et Delta Lake pour en savoir plus. Par défaut, les données sont écrites dans Lakehouse Table dans V-Order, et vous pouvez accéder à l’optimisation de la table Delta Lake et V-Order pour plus d’informations.

Cet article décrit comment utiliser l'activité Copy pour copier des données depuis et vers Microsoft Fabric Lakehouse et comment utiliser Data Flow pour transformer des données dans Microsoft Fabric Lakehouse. Pour en savoir plus, lisez l’article d’introduction pour Azure Data Factory ou Azure Synapse Analytics.

Fonctionnalités prises en charge

Ce connecteur Microsoft Fabric Lakehouse est pris en charge pour les fonctionnalités suivantes :

① Runtime d’intégration Azure ② Runtime d’intégration auto-hébergé

Bien démarrer

Pour effectuer l’activité Copie avec un pipeline, vous pouvez vous servir de l’un des outils ou kits SDK suivants :

• L’outil Copier des données
• Le portail Azure
• Le kit SDK .NET
• Le kit SDK Python
• Azure PowerShell
• L’API REST
• Le modèle Azure Resource Manager

Créez un service lié à Microsoft Fabric Lakehouse à l’aide de l’interface utilisateur

Procédez comme suit pour créer un service lié à Microsoft Fabric Lakehouse dans l’interface utilisateur du portail Azure.

1. Accédez à l'onglet Gérer dans votre espace de travail Azure Data Factory ou Synapse, sélectionnez Services liés, puis sélectionnez Nouveau :

   • Azure Data Factory.
   • Azure Synapse

   

2. Recherchez Microsoft Fabric Lakehouse et sélectionnez le connecteur.

   

3. Configurez les informations du service, testez la connexion et créez le nouveau service lié.

   

Informations de configuration des connecteurs

Les sections suivantes fournissent des détails sur les propriétés utilisées pour définir les entités Data Factory spécifiques au connecteur Microsoft Fabric Lakehouse.

Propriétés du service lié

Le connecteur Microsoft Fabric Lakehouse prend en charge les types d’authentification suivants. Consultez les sections correspondantes pour plus d’informations :

• Authentification d’un principal du service

Authentification d’un principal du service

Pour l’authentification de principal de service, effectuez les étapes suivantes.

1. Enregistrez une application auprès de la plateforme Microsoft Identity Microsoft Identity et ajoutez une clé secrète client. Prenez ensuite note de ces valeurs, que vous utiliserez pour définir le service lié :

   • ID de l'application (client), correspondant à l'ID du principal du service lié.
   • Valeur de la clé secrète client, correspondant à la clé principale du service lié.
   • ID client

2. Accordez au moins le rôle Contributeur au principal du service dans l’espace de travail Microsoft Fabric. Procédez comme suit :

   1. Accédez à votre espace de travail Microsoft Fabric, sélectionnez Gérer l’accès dans la barre supérieure. Sélectionnez ensuite Ajouter des personnes ou des groupes.

      

      

   2. Dans le volet Ajouter des personnes, entrez le nom de votre principal de service et sélectionnez votre principal de service dans la liste déroulante.

      Remarque

      Le principal de service n’apparaît pas dans la liste Ajouter des personnes, sauf si les paramètres du locataire Power BI permettent aux principaux de service d’accéder aux API Fabric.

   3. Spécifiez le rôle en tant que Contributeur ou version ultérieure (Administrateur, Membre), puis sélectionnez Ajouter.

      

   4. Votre principal de service s’affiche dans le volet Gérer l’accès.

Ces propriétés sont prises en charge pour le service lié :

Exemple : utilisation de l’authentification de la clé du principal de service

Vous pouvez également stocker la clé du principal du service dans Azure Key Vault.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriétés du jeu de données

Le connecteur Microsoft Fabric Lakehouse prend en charge deux types de jeux de données : le jeu de données Microsoft Fabric Lakehouse Files et le jeu de données Microsoft Fabric Lakehouse Table. Pour plus d’informations, consultez les sections correspondantes.

• Jeu de données Microsoft Fabric Lakehouse Files
• Jeu de données Microsoft Fabric Lakehouse Table

Pour obtenir la liste complète des sections et propriétés disponibles pour la définition de jeux de données, consultez l’article sur les jeux de données.

Jeu de données Microsoft Fabric Lakehouse Files

Le connecteur Microsoft Fabric Lakehouse prend en charge les formats de fichiers suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format JSON
• Format ORC
• Format Parquet

Les propriétés suivantes sont prises en charge sous les paramètres location du jeu de données Microsoft Fabric Lakehouse Files basé sur le format :

Exemple :

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Jeu de données Microsoft Fabric Lakehouse Table

Les propriétés suivantes sont prises en charge pour le jeu de données Microsoft Fabric Lakehouse Table :

Exemple :

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "schema": "<schema_name>",
            "table": "<table_name>"   
        },
        "schema": [< physical schema, optional, retrievable during authoring >]
    } 
}

Propriétés de l’activité de copie

Les propriétés d’activité Copy du jeu de données Microsoft Fabric Lakehouse Files et du jeu de données Microsoft Fabric Lakehouse Table sont différentes. Pour plus d’informations, consultez les sections correspondantes.

• Microsoft Fabric Lakehouse Files dans l’activité Copy
• Microsoft Fabric Lakehouse Table dans l’activité Copy

Pour obtenir la liste complète des sections et des propriétés disponibles pour la définition des activités, consultez les articles Configurations des activités de copie et Pipelines et activités.

Microsoft Fabric Lakehouse Files dans l’activité Copy

Pour utiliser le type de jeu de données Microsoft Fabric Lakehouse Files en tant que source ou récepteur dans l’activité Copy, accédez aux sections suivantes pour connaître les configurations détaillées.

Microsoft Fabric Lakehouse Files en tant que type de source

Le connecteur Microsoft Fabric Lakehouse prend en charge les formats de fichiers suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format JSON
• Format ORC
• Format Parquet

Plusieurs options vous permettent de copier des données à partir de Microsoft Fabric Lakehouse en utilisant le jeu de données Microsoft Fabric Lakehouse Files :

• Copier à partir du chemin d’accès spécifié dans le jeu de données.
• Filtre de caractères génériques sur le chemin d’accès du dossier ou le nom du fichier, consultez wildcardFolderPath et wildcardFileName.
• Copier les fichiers définis dans un fichier texte donné en tant que jeu de fichiers, consultez fileListPath.

Les propriétés suivantes figurent sous les paramètres storeSettings de la source de copie basée sur le format lors de l’utilisation du jeu de données Microsoft Fabric Lakehouse Files :

Exemple :

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Files en tant que type de récepteur

Le connecteur Microsoft Fabric Lakehouse prend en charge les formats de fichiers suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format JSON
• Format ORC
• Format Parquet

Les propriétés suivantes figurent sous les paramètres storeSettings du récepteur de copie basé sur le format lors de l’utilisation du jeu de données Microsoft Fabric Lakehouse Files :

Exemple :

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Exemples de filtres de dossier et de fichier

Cette section décrit le comportement résultant de l’utilisation de filtres de caractères génériques dans les noms de fichier et les chemins de dossier.

Exemples de liste de fichiers

Cette section décrit le comportement résultant de l’utilisation du chemin d’accès à la liste de fichiers dans la source de l’activité de copie.

En supposant que vous disposez de la structure de dossiers source suivante et que vous souhaitez copier les fichiers en gras :

Quelques exemples de valeurs recursive et copyBehavior

Cette section décrit le comportement résultant de l’opération de copie pour différentes combinaisons de valeurs recursive et copyBehavior.

Microsoft Fabric Lakehouse Table dans l’activité Copy

Pour utiliser le jeu de données Microsoft Fabric Lakehouse Table en tant que source ou récepteur dans l’activité Copy, accédez aux sections suivantes pour connaître les configurations détaillées.

Microsoft Fabric Lakehouse Table en tant que type de source

Pour copier des données à partir de Microsoft Fabric Lakehouse en utilisant le jeu de données Microsoft Fabric Lakehouse Table, définissez la propriété type dans la source d’activité Copy sur LakehouseTableSource. Les propriétés suivantes sont prises en charge dans la section source de l’activité Copy :

Exemple :

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Table en tant que type de récepteur

Pour copier des données dans Microsoft Fabric Lakehouse en utilisant le jeu de données Microsoft Fabric Lakehouse Table, définissez la propriété type dans le récepteur d’activité Copy sur LakehouseTableSink. Les propriétés suivantes sont prises en charge dans la section récepteur de l’activité Copy :

Exemple :

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Propriétés du mappage de flux de données

Lors de la transformation des données dans le flux de données de mappage, vous pouvez lire et écrire dans des fichiers ou des tables de Microsoft Fabric Lakehouse. Pour plus d’informations, consultez les sections correspondantes.

• Microsoft Fabric Lakehouse Files dans le flux de données de mappage
• Microsoft Fabric Lakehouse Table dans le flux de données de mappage

Pour plus d’informations, consultez la transformation de la source et la transformation du récepteur dans le flux de données de mappage.

Microsoft Fabric Lakehouse Files dans le flux de données de mappage

Pour utiliser le jeu de données Microsoft Fabric Lakehouse Files en tant que source ou récepteur dans le flux de données de mappage, accédez aux sections suivantes pour connaître les configurations détaillées.

Fichiers Microsoft Fabric Lakehouse en tant que type de source ou récepteur

Le connecteur Microsoft Fabric Lakehouse prend en charge les formats de fichiers suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format de texte délimité
• Format JSON
• Format ORC
• Format Parquet

Pour utiliser le connecteur basé sur des fichiers Fabric Lakehouse dans le type de jeu de données inclus, vous devez choisir le bon type de jeu de données inclus pour vos données. Vous pouvez utiliser DelimitedText, Avro, JSON, ORC ou Parquet en fonction de votre format de données.

Microsoft Fabric Lakehouse Table dans le flux de données de mappage

Pour utiliser le jeu de données Microsoft Fabric Lakehouse Table en tant que source ou récepteur dans le flux de données de mappage, accédez aux sections suivantes pour connaître les configurations détaillées.

Microsoft Fabric Lakehouse Table en tant que type de source

Il n’existe aucune propriété configurable dans les options sources.

Microsoft Fabric Lakehouse Table en tant que type de récepteur

Les propriétés suivantes sont prises en charge dans la section récepteur de flux de données de mappage :

Exemple : Récepteur de Microsoft Fabric Lakehouse Table

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Pour le connecteur basé sur les tables Fabric Lakehouse dans le type de jeu de données inclus, il suffit d'utiliser Delta comme type de jeu de données. Cette action vous permet de lire et d'écrire des données à partir des tables Fabric Lakehouse.

Propriétés de l’activité Lookup

Pour en savoir plus sur les propriétés, consultez Activité Lookup.

Propriétés de l’activité GetMetadata

Pour en savoir plus sur les propriétés, consultez Activité GetMetadata.

Propriétés de l’activité Delete

Pour en savoir plus sur les propriétés, consultez Activité Delete.

Contenu connexe

Consultez les magasins de données pris en charge pour obtenir la liste des sources et magasins de données pris en charge en tant que récepteurs par l’activité de copie.