Copier des données depuis ou vers Azure Files à l’aide d’Azure Data Factory

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Cet article explique comment copier des données vers et depuis Azure Files. Pour en savoir plus sur Azure Data Factory, lisez l’article d’introduction.

Fonctionnalités prises en charge

Ce connecteur Azure Files est pris en charge pour les fonctionnalités suivantes :

① Runtime d’intégration Azure ② Runtime d’intégration auto-hébergé

Vous pouvez copier des données à partir d’Azure Files vers toute banque de données réceptrice ou copier des données depuis toute banque de données source prise en charge vers Azure Files. Pour obtenir la liste des magasins de données pris en charge en tant que sources et récepteurs pour l’activité de copie, consultez Magasins de données et formats pris en charge.

Plus précisément, ce connecteur Azure Files prend en charge ce qui suit :

• Copie de fichiers en utilisant des authentifications par clé de compte et par signature d’accès partagé (SAS) de service.
• Copie de fichiers en l'état ou analyse/génération de fichiers avec les formats de fichier et codecs de compression pris en charge.

Prise en main

Pour effectuer l’activité Copie avec un pipeline, vous pouvez vous servir de l’un des outils ou kits SDK suivants :

• L’outil Copier des données
• Le portail Azure
• Le kit SDK .NET
• Le kit SDK Python
• Azure PowerShell
• L’API REST
• Le modèle Azure Resource Manager

Créez un service lié à Azure Files à l’aide de l’interface utilisateur

Utilisez les étapes suivantes pour créer un service lié à Azure Files dans l’interface utilisateur du portail Azure.

1. Accédez à l’onglet Gérer dans votre espace de travail Azure Data Factory ou Synapse et sélectionnez Services liés, puis cliquez sur Nouveau :

   • Azure Data Factory.
   • Azure Synapse

   

2. Recherchez le fichier, puis sélectionnez le connecteur pour Azure Files nommé Stockage de fichiers Azure.

   

3. Configurez les informations du service, testez la connexion et créez le nouveau service lié.

   

Détails de configuration des connecteurs

Les sections suivantes fournissent des informations détaillées sur les propriétés utilisées pour définir les entités spécifiques d’Azure Files.

Propriétés du service lié

Le connecteur Azure Files prend en charge les types d’authentification suivants. Pour plus d’informations, consultez les sections correspondantes.

• Authentification par clé de compte
• Authentification avec une signature d’accès partagé
• Authentification d’identité managée affectée par le système
• Authentification d’identité managée affectée par l’utilisateur

Authentification par clé de compte

Pour l’authentification par clé de compte Azure Files, Data Factory prend en charge les propriétés suivantes :

Exemple :

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net;",
            "fileShare": "<file share name>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Exemple : stockage de la clé de compte dans Azure Key Vault

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "fileShare": "<file share name>",
            "accountKey": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }            
    }
}

Authentification avec une signature d’accès partagé

Une signature d'accès partagé fournit un accès délégué aux ressources de votre compte de stockage. Vous pouvez utiliser une signature d’accès partagé pour octroyer à un client des autorisations d’accès limité à des objets de votre compte de stockage pendant une période donnée. Pour plus d’informations sur les signatures d’accès partagé, consultez Signatures d’accès partagé : Comprendre le modèle de signature d’accès partagé.

Pour l’authentification par signature d’accès partagé, le service prend en charge les propriétés suivantes :

Exemple :

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the resource e.g. https://<accountname>.file.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemple : stocker le jeton SAP dans Azure Key Vault

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.file.core.windows.net/>"
            },
            "sasToken": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>" 
            },
            "fileShare": "<file share name>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Authentification d’identité managée affectée par le système

Une fabrique de données ou un pipeline de Synapse peut être associé à une identité managée attribuée par le système pour les ressources Azure, qui représente cette ressource pour l’authentification auprès d’autres services Azure. Vous pouvez utiliser cette identité managée affectée par le système pour l’authentification Azure Files. Pour en savoir plus sur les identités managées pour les ressources Azure, consultez Identités managées pour les ressources Azure.

Pour utiliser l’authentification par identité managée affectée par le système, effectuez les étapes suivantes :

1. Récupérez les informations d’identité managée affectée par le système en copiant la valeur de l’ID d’objet d’identité managée attribué par le système générée en même temps que votre fabrique ou espace de travail Synapse.

2. Accordez l’autorisation d’identité managée dans Azure Files. Pour plus d’informations sur les rôles, consultez cet article.

   • En tant que source, dans Contrôle d’accès (IAM), accordez au moins le rôle Lecteur privilégié des données du fichier de stockage.
   • En tant que récepteur, dans Contrôle d’accès (IAM), accordez au moins le rôle Contributeur privilégié des données du fichier de stockage.

Les propriétés suivantes sont prises en charge pour un service lié Azure Files :

Exemple :

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Authentification d’identité managée affectée par l’utilisateur

Une fabrique de données peut être affectée à une ou plusieurs identités managées par l’utilisateur. Vous pouvez utiliser cette identité managée affectée par l’utilisateur pour l’authentification Azure Files, ce qui permet l’accès aux données et leur copie depuis ou vers Azure Files. Pour en savoir plus sur les identités managées pour les ressources Azure, consultez Identités managées pour les ressources Azure.

Pour utiliser l’authentification par identité managée affectée par l’utilisateur, effectuez les étapes suivantes :

1. Créez une ou plusieurs identités managées affectées par l’utilisateur et accordez une autorisation dans Azure Files. Pour plus d’informations sur les rôles, consultez cet article.

   • En tant que source, dans Contrôle d’accès (IAM), accordez au moins le rôle Lecteur privilégié des données du fichier de stockage.
   • En tant que récepteur, dans Contrôle d’accès (IAM), accordez au moins le rôle Contributeur privilégié des données du fichier de stockage.

2. Attribuez une ou plusieurs identités managées affectées par l’utilisateur à votre fabrique de données et créez des informations d’identification pour chaque identité managée affectée par l’utilisateur.

Les propriétés suivantes sont prises en charge pour un service lié Azure Files :

Exemple :

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Modèle hérité

Exemple :

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "host": "\\\\<storage name>.file.core.windows.net\\<file service name>",
            "userid": "AZURE\\<storage name>",
            "password": {
                "type": "SecureString",
                "value": "<storage access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriétés du jeu de données

Pour obtenir la liste complète des sections et propriétés disponibles pour la définition de jeux de données, consultez l’article Jeux de données.

Azure Data Factory prend en charge les formats de fichier suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Les propriétés suivantes sont prises en charge pour Azure Files sous les paramètres location dans le jeu de données basé sur le format :

Exemple :

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureFileStorageLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriétés de l’activité de copie

Pour obtenir la liste complète des sections et des propriétés disponibles pour la définition des activités, consultez l’article Pipelines. Cette section fournit la liste des propriétés prises en charge par Azure Files en tant que source et récepteur.

Azure Files en tant que source

Azure Data Factory prend en charge les formats de fichier suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Les propriétés suivantes sont prises en charge pour Azure Files sous les paramètres storeSettings dans la source de copie basée sur le format :

Exemple :

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureFileStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Files en tant que récepteur

Azure Data Factory prend en charge les formats de fichier suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format JSON
• Format ORC
• Format Parquet

Les propriétés suivantes sont prises en charge pour Azure Files sous les paramètres storeSettings dans le récepteur de copie basée sur le format :

Exemple :

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureFileStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Exemples de filtres de dossier et de fichier

Cette section décrit le comportement résultant de l’utilisation de filtres de caractères génériques dans les noms de fichier et les chemins de dossier.

Exemples de liste de fichiers

Cette section décrit le comportement résultant de l’utilisation du chemin d’accès à la liste de fichiers dans la source de l’activité de copie.

En supposant que vous disposez de la structure de dossiers source suivante et que vous souhaitez copier les fichiers en gras :

exemples de valeurs recursive et copyBehavior

Cette section décrit le comportement résultant de l’opération de copie pour différentes combinaisons de valeurs recursive et copyBehavior.

Propriétés de l’activité Lookup

Pour en savoir plus sur les propriétés, consultez Activité Lookup.

Propriétés de l’activité GetMetadata

Pour en savoir plus sur les propriétés, consultez Activité GetMetadata.

Propriétés de l’activité Delete

Pour en savoir plus sur les propriétés, consultez Activité Delete.

Modèles hérités

Modèle de jeu de données hérité

Exemple :

{
    "name": "AzureFileStorageDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modèle hérité de la source d’activité de copie

Exemple :

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure File Storage input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Modèle hérité du récepteur d’activité de copie

Exemple :

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure File Storage output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Contenu connexe

Pour obtenir une liste des magasins de données pris en charge comme sources et récepteurs par l’activité de copie, consultez la section sur les magasins de données pris en charge.