Vue d’ensemble de la transformation de flux de données de mappage

  • Article

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Les flux de données sont disponibles à la fois dans les pipelines Azure Data Factory et Azure Synapse. Cet article s’applique aux flux de données de mappage. Si vous débutez dans le domaine des transformations, consultez l’article d’introduction Transformer des données avec un flux de données de mappage.

Vous trouverez ci-dessous la liste des transformations actuellement prises en charge dans le flux de données de mappage. Cliquez sur chaque transformation pour découvrir ses détails de configuration.

Name Category Description
Agrégat Modificateur de schéma Définissez les différents types d’agrégations telles que SUM, MIN, MAX et COUNT regroupées par colonnes calculées ou existantes.
Modification de ligne Modificateur de ligne Définissez des stratégies d’insertion, de suppression, de mise à jour et d’upsert sur des lignes.
Assert Modificateur de ligne Définissez des règles d’assertion pour chaque ligne.
Cast Modificateur de schéma Modifiez les types de données de colonne avec la vérification des types.
Fractionnement conditionnel Entrées/sorties multiples Routez des lignes de données vers différents flux en fonction de conditions de correspondance.
Colonne dérivée Modificateur de schéma Générez de nouvelles colonnes ou modifiez des champs existants à l’aide du langage d’expression des flux de données.
Appel externe Modificateur de schéma Appelez des points de terminaison externes ligne par ligne.
Exists Entrées/sorties multiples Vérifiez si vos données existent dans une autre source ou un autre flux.
Filter Modificateur de ligne Filtrez une ligne en fonction d’une condition.
Aplatir Formateurs Prenez des valeurs de tableau à l’intérieur de structures hiérarchiques, par exemple au format JSON, et déroulez-les en lignes individuelles.
Flowlet Flowlets Générez et incluez une logique de transformation réutilisable personnalisée.
Join Entrées/sorties multiples Combinez les données de deux sources ou flux.
Lookup Entrées/sorties multiples Référencez des données à partir d’une autre source.
Nouvelle branche Entrées/sorties multiples Appliquez plusieurs ensembles d’opérations et de transformations au même flux de données.
Analyser. Formateurs Analyser les colonnes de texte de votre flux de données qui sont des chaînes de texte JSON, du texte délimité ou du texte au format XML.
Tableau croisé dynamique Modificateur de schéma Agrégation où une ou plusieurs colonnes de regroupement voient leurs valeurs de lignes distinctes transformées en colonnes individuelles.
Rank Modificateur de schéma Générez un classement ordonné en fonction des conditions de tri
Select Modificateur de schéma Créez des alias pour les colonnes et les noms de flux, et supprimez ou réorganisez les colonnes
Section sink - Destination finale pour vos données
Sort Modificateur de ligne Triez les lignes entrantes sur le flux de données actuel.
Source - Source de données pour le flux de données
Stringifier Formateurs Transformer des types complexes en chaînes brutes
Clé de substitution Modificateur de schéma Ajoutez une valeur de clé arbitraire non professionnelle d’incrémentation.
Union Entrées/sorties multiples Combinez plusieurs flux de données verticalement.
Supprimer le tableau croisé dynamique Modificateur de schéma Créer un tableau croisé dynamique pour convertir des colonnes en valeurs de ligne
Window Modificateur de schéma Définissez des agrégations de colonnes basées sur des fenêtres dans vos flux de données.