Charger de façon incrémentielle des données d’un magasin de données source vers un magasin de données de destination
S’APPLIQUE À :
Azure Data Factory Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Dans une solution d’intégration de données, le chargement incrémentielle (ou delta) de données après un chargement initial complet de données est un scénario largement utilisé. Les tutoriels de cette section vous montrent différentes méthodes de chargement des données de façon incrémentielle à l’aide d’Azure Data Factory.
Chargement de données delta à partir d’une base de données à l’aide d’un filigrane
Dans ce cas, vous définissez un filigrane dans votre base de données source. Un filigrane est une colonne incluant une clé d’incrémentation ou l’horodatage de la dernière mise à jour. La solution de chargement delta charge les données modifiées entre un ancien filigrane et un nouveau filigrane. Le flux de travail de cette approche est illustré dans le diagramme suivant :
Pour des instructions pas à pas, consultez les didacticiels suivants :
- Copier de façon incrémentielle les données d’une table d’Azure SQL Database dans un stockage Blob Azure
- Copier de façon incrémentielle des données provenant de plusieurs tables d’une instance SQL Server vers Azure SQL Database
Pour les modèles, consultez ce qui suit :
Chargement de données delta à partir d’une base de données SQL à l’aide de la technologie Change Tracking
La technologie Change Tracking est une solution légère dans SQL Server et Azure SQL Database qui fournit un mécanisme de suivi des modifications efficace pour les applications. Elle permet à une application d’identifier facilement les données qui ont été insérées, mises à jour ou supprimées.
Le flux de travail de cette approche est illustré dans le diagramme suivant :
Pour obtenir des instructions pas à pas, consultez le tutoriel suivant :
Chargement des fichiers nouveaux et modifiés uniquement à l’aide de LastModifiedDate
Pour copier les fichiers nouveaux et modifiés, vous devez utiliser LastModifiedDate dans le magasin de destination. ADF analyse tous les fichiers du magasin source, applique le filtre de fichier par date de dernière modification et copie uniquement le nouveau fichier mis à jour depuis son dernier emplacement dans le magasin de destination. N’oubliez pas que si vous laissez ADF analyser d’énormes quantités de fichiers, mais que vous ne copiez que quelques fichiers vers la destination, cela peut prendre beaucoup de temps en raison du processus d’analyse de fichiers.
Pour obtenir des instructions pas à pas, consultez le tutoriel suivant :
Pour les modèles, consultez ce qui suit :
Chargement de nouveaux fichiers uniquement à l’aide d’un nom de dossier ou de fichier partitionné chronologiquement.
Vous pouvez copier les nouveaux fichiers uniquement, où les fichiers ou dossiers ont déjà été partitionnés chronologiquement avec des informations de tranches de temps comme composants du nom de fichier ou de dossier (par exemple, /aaaa/mm/jj/fichier.csv). Il s’agit là de l’approche la plus performante pour le chargement incrémentiel de nouveaux fichiers.
Pour obtenir des instructions pas à pas, consultez le tutoriel suivant :
Contenu connexe
Accéder au didacticiel suivant :