Transformer des données à l’aide d’une activité Script dans Azure Data Factory ou Synapse Analytics

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Vous utilisez des activités de transformation dans un pipeline Data Factory ou Synapse pour transformer et traiter des données brutes en prévisions et en analyses. L’activité Script fait partie des activités de transformation prises en charge par les pipelines. Cet article s’ajoute à l’article Transformer des données qui présente une vue d’ensemble de la transformation de données et des activités de transformation prises en charge.

À l’aide de l’activité Script, vous pouvez exécuter des opérations courantes avec le langage de manipulation de données (DML) et le langage de définition de données (DDL). Les instructions DML telles que INSERT, UPDATE, DELETE et SELECT permettent aux utilisateurs d’insérer, de modifier, de supprimer et de récupérer des données dans la base de données. Les instructions DDL comme CREATE, ALTER et DROP permettent à un gestionnaire de bases de données de créer, modifier et supprimer des objets de base de données tels que des tables, des index et des utilisateurs.

Vous pouvez utiliser l’activité Script pour appeler un script SQL dans l’un des magasins de données suivants de votre entreprise ou sur une machine virtuelle Azure :

• Azure SQL Database
• Azure Synapse Analytics
• Base de données SQL Server Si vous utilisez SQL Server, installez le runtime d’intégration auto-hébergé sur l’ordinateur qui héberge la base de données ou sur un autre ordinateur ayant accès à la base de données. Le runtime d’intégration auto-hébergé est un composant qui connecte des sources de données locales ou se trouvant sur une machine virtuelle Azure à des services cloud de manière gérée et sécurisée. Pour plus d’informations, consultez l’article Runtime d’intégration autohébergé.
• Oracle
• Snowflake

Le script peut contenir une seule ou plusieurs instructions SQL s’exécutant de façon séquentielle. Vous pouvez utiliser la tâche de script aux fins suivantes :

• Tronquer une table pour la préparer à l'insertion de données.
• Créer, modifier et supprimer des objets de base de données tels que des tables et des vues.
• Recréer des tables de faits et de dimension avant d'y charger des données.
• Exécuter des procédures stockées. Si l'instruction SQL appelle une procédure stockée qui retourne des résultats à partir d'une table temporaire, utilisez l'option WITH RESULT SETS afin de définir les métadonnées du jeu de résultats.
• Enregistrez l’ensemble de lignes retourné par une requête en tant que sortie d’activité en vue d’une consommation en aval.

Détails de la syntaxe

Voici le format JSON permettant de définir une activité Script :

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

Le tableau suivant décrit ces paramètres JSON :

Sortie d'activité

Exemple de sortie :

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

Configurer l’activité Script à l’aide de l’interface utilisateur

Script en ligne

Les scripts en ligne s’intègrent parfaitement au pipeline CI/CD puisque le script est stocké dans le cadre des métadonnées du pipeline.

Journalisation

Options de journalisation :

• Désactiver : aucune sortie d’exécution n’est journalisée.
• Sortie de l’activité : la sortie de l’exécution du script est ajoutée à la sortie de l’activité. Les activités en aval peuvent ensuite l’utiliser. La taille de la sortie est limitée à 4 Mo.
• Stockage externe : conserve la sortie dans un stockage. Utilisez cette option si la taille de sortie est supérieure à 2 Mo ou si vous souhaitez conserver la sortie de manière explicite dans votre compte de stockage.

Contenu connexe

Consultez les articles suivants qui expliquent comment transformer des données par d’autres moyens :

• Activité U-SQL
• Activité Hive
• Activité pig
• Activité MapReduce
• Activité de diffusion en continu Hadoop
• Activité Spark
• Activité personnalisée .NET
• Activité de procédure stockée