Planification de la gestion des coûts d’Azure Data Factory

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Cet article explique comment prévoir et gérer les coûts d’Azure Data Factory.

Au début du projet ETL, vous commencez par utiliser une combinaison de la tarification Azure et de la consommation par pipeline. Vous vous servez également de calculatrices de prix pour prévoir et estimer les coûts d’Azure Data Factory avant d’ajouter des ressources pour le service. Ensuite, lorsque vous ajoutez les ressources Azure, passez en revue les coûts estimés. Une fois que vous avez commencé à utiliser des ressources Azure Data Factory, exploitez les fonctionnalités de Cost Management pour définir des budgets et superviser les coûts. Vous pouvez également passer en revue les coûts prévus et les tendances des dépenses pour identifier les domaines où il serait pertinent d’agir. Les coûts liés à Azure Data Factory ne représentent qu’une partie des coûts mensuels qui apparaissent sur votre facture Azure. Notez que cet article explique uniquement comment planifier et gérer les coûts pour la fabrique de données. Tous les services et ressources Azure utilisés dans votre abonnement Azure vous sont facturés, y compris les services tiers.

Prérequis

Analyse des coûts dans Cost Management prend en charge la plupart des types de compte Azure, mais pas tous. Pour accéder à la liste complète des types de comptes pris en charge, voir Comprendre les données de Cost Management. Pour afficher les données de coût, vous avez au minimum besoin d’un accès en lecture pour un compte Azure. Pour plus d’informations sur l’attribution de l’accès aux données Azure Cost Management, consultez Assigner l’accès aux données.

Estimation des coûts avant d’utiliser Azure Data Factory

Utilisez la calculatrice de prix ADF pour estimer le coût d’exécution de votre charge de travail ETL dans Azure Data Factory. Pour utiliser la calculatrice, vous devez entrer des détails, tels que le nombre d’exécutions d’activité, le nombre d’heures d’unités d’intégration de données, le type de calcul utilisé pour Data Flow, le nombre de cœurs, le nombre d’instances, la durée d’exécution, etc.

L’une des questions les plus fréquemment posées sur la calculatrice de prix se rapporte aux valeurs à utiliser comme entrées. Pendant la phase de preuve de concept, vous pouvez effectuer des exécutions d’évaluation à l’aide d’exemples de jeux de données pour comprendre la consommation de divers compteurs Azure Data Factory. Ensuite, en fonction de la consommation de l’exemple de jeu de données, vous pouvez prévoir la consommation du jeu de données complet et la planification de mise en œuvre.

Supposons, par exemple, que vous deviez déplacer quotidiennement 1 To de données, de AWS S3 vers Azure Data Lake Gen2. Vous pouvez effectuer la preuve de concept du déplacement de 100 Go de données pour mesurer le débit d’ingestion de données, et comprendre la consommation de facturation correspondante.

Voici un exemple d’exécution de l’activité de copie (votre consommation réelle variera en fonction de la forme de votre jeu de données spécifique, des vitesses de réseau, des limites de sortie sur le compte S3, des limites d’entrée sur ADLS Gen2, entre autres facteurs).

En utilisant la supervision de la consommation au niveau de l’exécution du pipeline, vous pouvez voir les quantités de consommation des compteurs de déplacement de données correspondantes :

Par conséquent, le nombre total d’heures d’unités d’intégration de données (DIU) nécessaires au déplacement de 1 To par jour, et pour le mois entier, est le suivant :

1,2667 (heures DIU) * (1 To / 100 Go) * 30 (jours dans un mois) = 380 heures DIU

Vous pouvez maintenant intégrer 30 exécutions d’activité et 380 heures DIU dans la calculatrice de prix Azure Data Factory pour connaître l’estimation de votre facture mensuelle :

Présentation du modèle de facturation complet pour Azure Data Factory

Azure Data Factory s’exécute sur l’infrastructure Azure, qui génère des frais lorsque vous déployez de nouvelles ressources. Il est important de comprendre qu’il peut y avoir d’autres coûts d’infrastructure supplémentaires susceptibles de s’accumuler.

Modèle de facturation d’Azure Data Factory

Azure Data Factory est un service d’intégration de données élastique et serverless, conçu à l’échelle du cloud. Ainsi, il n’existe aucun calcul de taille fixe à planifier pour la charge maximale ; vous spécifiez plutôt la quantité de ressources à allouer sur demande par opération, ce qui vous permet de concevoir les processus ETL d’une manière beaucoup plus scalable. De plus, Azure Data Factory est facturé sur la base d’un plan de consommation, ce qui signifie que vous payez uniquement ce que vous utilisez.

Lorsque vous créez ou utilisez des ressources Azure Data Factory, les compteurs suivants peuvent vous être facturés :

• Exécutions d’activités d’orchestration : sur la base du nombre d’orchestrations d’exécutions d’activités.
• Heures d’unités d’intégration de données (DIU) : sur la base du nombre de DIU et de la durée d’exécution, pour les exécutions d’activités de copie sur Azure Integration Runtime.
• Heures de vCore : sur la base du type de calcul, du nombre de vCore et de la durée d’exécution, pour l’exécution et le débogage de flux de données.

À la fin de votre cycle de facturation, les frais associés à chaque compteur sont additionnés. Votre facture contient une section pour tous les coûts d’Azure Data Factory. Chaque compteur est représenté par un élément de ligne distinct.

Autres coûts possibles avec Azure Data Factory

Lorsque vous créez des ressources pour Azure Data Factory (ADF), des ressources pour d’autres services Azure sont également créées. Notamment :

• Exécution de l’activité de pipeline
• Exécution de l’activité de pipeline externe
• Création, modification, récupération et analyse des artefacts Data Factory
• Durée SSIS Integration Runtime (IR) en fonction du type d’instance et de la durée

Paiement anticipé Azure avec Azure Data Factory

Vous pouvez payer les frais Azure Data Factory avec votre crédit Paiement anticipé Azure. Vous ne pouvez cependant pas utiliser le crédit Paiement anticipé Azure pour payer des frais pour des produits et services tiers, y compris ceux de la Place de marché Azure.

Superviser les coûts

Les coûts d’Azure Data Factory peuvent être surveillés aux niveaux de l’usine, du pipeline, de l’exécution de pipeline et de l’exécution d’activité.

Surveiller les coûts au niveau de la fabrique avec l’analyse des coûts

À mesure que vous utilisez des ressources Azure avec Data Factory, vous générez des coûts. Les coûts unitaires d’utilisation des ressources Azure varient selon les intervalles de temps (secondes, minutes, heures et jours) et selon l’utilisation d’unités (octets, mégaoctets, etc.). Dès que l’utilisation de Data Factory démarre, des coûts sont générés, que vous pouvez voir dans Analyse des coûts.

Quand vous utilisez l’analyse des coûts, vous visualisez les coûts de Data Factory dans des graphes et des tableaux pour différents intervalles de temps. Par exemple, par jour, par année ou pour le mois en cours ou le mois précédent. Vous pouvez aussi afficher les coûts par rapport aux budgets et aux coûts prévus. Passez à des vues pour des périodes plus longues pour identifier les tendances des dépenses. Ceci vous permet de voir où des dépassements ont pu se produire. Si vous avez créé des budgets, vous pouvez aussi facilement voir à quel moment ils ont été dépassés.

Pour consulter les coûts de Data Factory dans l’analyse des coûts, procédez comme suit :

1. Connectez-vous au portail Azure.
2. Ouvrez l’étendue dans le portail Azure et sélectionnez Analyse des coûts dans le menu. Par exemple, accédez à Abonnements, sélectionnez un abonnement dans la liste, puis sélectionnez Analyse du coût dans le menu. Sélectionnez Étendue pour passer à une autre étendue dans l’analyse des coûts.
3. Par défaut, le coût des services est affiché dans le premier graphique en anneau. Dans le graphe, sélectionnez la zone intitulée Azure Data Factory v2.

Les coûts mensuels réels s’affichent lors de l’ouverture initiale de l’analyse des coûts. Voici un exemple qui montre tous les coûts d’utilisation mensuelle.

• Pour limiter les coûts à un seul service, comme Data Factory, sélectionnez Ajouter un filtre, puis Nom du service. Ensuite, sélectionnez Azure Data Factory v2.

Voici un exemple montrant les coûts de Data Factory uniquement.

Dans l’exemple précédent, vous avez pu voir le coût actuel du service. Les coûts par région Azure (localisation) et les coûts de Data Factory par groupe de ressources sont également présentés. À partir de là, vous pouvez explorer les coûts par vous-même.

Surveiller les coûts au niveau du pipeline avec l’analyse des coûts

Dans certains cas, vous souhaiterez peut-être une répartition granulaire du coût des opérations au sein de notre fabrique, par exemple, à des fins de rétrofacturation. Intégrant la plateforme d’analyse des coûts de facturation Azure, Data Factory peut séparer les frais de facturation pour chaque pipeline. En activant les rapports de facturation détaillés Azure Data Factory pour une fabrique, vous pouvez mieux comprendre le coût de chaque pipeline dans la fabrique en question.

Vous devez activer chaque fabrique pour laquelle vous souhaitez une facturation détaillée. Pour activer la fonctionnalité de facturation détaillée par pipeline,

1. Accéder au portail Azure Data Factory
2. Sous l’onglet Gérer, sélectionnez Paramètre d’usine dans la section Général
3. Sélectionnez Afficher le rapport de facturation par pipeline
4. Publier la modification

Une fois la fonctionnalité activée, chaque pipeline aura une entrée distincte dans notre rapport de facturation : il indique exactement les coûts de chaque pipeline dans l’intervalle de temps sélectionné. Cela vous permet d’identifier les tendances des dépenses et de remarquer les dépenses excessives, le cas échéant.

À l’aide des outils de graphe d’Analyse des coûts, vous obtenez des graphiques et des courbes de tendances similaires, comme indiqué ci-dessus, mais pour des pipelines individuels. Vous obtenez également la vue récapitulative par nom de fabrique, car le nom de la fabrique est inclus dans le rapport de facturation, ce qui permet un filtrage approprié si nécessaire.

Le changement affecte uniquement la façon dont les factures sont émises à l’avenir et ne change pas les frais passés. Veuillez attendre un moment avant que la modification ne soit renseignée dans le rapport de facturation : en règle générale, la modification est reflétée dans un délai de 1 jour.

Limites

Voici les limitations connues des fonctionnalités de facturation par pipeline. Ces compteurs de facturation ne sont pas placés sous le pipeline, mais sous un élément de ligne de repli pour votre fabrique.

• Frais d’opérations Data Factory, y compris la lecture/écriture et la surveillance
• Frais pour les nœuds Azure Data Factory SQL Server Integration Services (SSIS)
• Si vous avez configuré la durée de vie (TTL) pour Azure Integration Runtime (Azure IR), les activités Data Flow sur ces runtimes d’intégration ne sont pas enregistrées sous des pipelines individuels.

Surveiller la consommation au niveau de l’exécution du pipeline dans Azure Data Factory

En fonction des types d’activités que vous développez dans votre pipeline, de la quantité de données déplacées et transformées, et de la complexité de la transformation, l’exécution d’un pipeline fera tourner différents compteurs de facturation dans Azure Data Factory.

Vous pouvez afficher la quantité de consommation de différents compteurs pour des exécutions de pipeline individuels dans l’expérience utilisateur Azure Data Factory. Pour ouvrir l’expérience de surveillance, sélectionnez la vignette Surveiller et gérer dans le panneau de fabrique de données du Portail Azure. Si vous êtes déjà dans l’expérience utilisateur ADF, sélectionnez l’icône Superviser dans la barre latérale gauche. Une liste d’exécutions de pipeline constitue l’affichage de la supervision par défaut.

En cliquant sur le bouton Consommation situé en regard du nom du pipeline, vous affichez une fenêtre contextuelle ; celle-ci vous renseigne sur la consommation de l’exécution de votre pipeline en regroupant toutes les activités au sein du pipeline.

L’affichage de la consommation se rapportant à l’exécution du pipeline indique la quantité consommée sur chaque compteur Azure Data Factory de l’exécution du pipeline spécifique, mais il n’affiche pas le prix réel facturé, car le montant qui vous est facturé dépend du type de compte Azure dont vous disposez, et du type de devise utilisé. Pour accéder à la liste complète des types de comptes pris en charge, voir Comprendre les données de Cost Management.

Surveiller la consommation au niveau de l’exécution de l’activité dans Azure Data Factory

Une fois la consommation agrégée au niveau de l’exécution du pipeline comprise, il reste des scénarios dans lesquels vous devez approfondir l’exploration et identifier l’activité la plus coûteuse au sein du pipeline.

Pour consulter la consommation au niveau de l’exécution de l’activité, accédez à l’IU Créer et surveiller de votre fabrique de données. À partir de l’onglet Superviser, dans lequel vous affichez la liste des exécutions de pipeline, sélectionnez le lien du nom du pipeline pour accéder à la liste des exécutions d’activités dans l’exécution de pipeline. Sélectionnez le bouton Sortie en regard du nom de l’activité et recherchez la propriété billableDuration dans la sortie JSON :

Voici un exemple extrait d’une exécution de l’activité de copie :

Et voici un exemple extrait d’une exécution de l’activité de mappage de Data Flow :

Créer des budgets

Vous pouvez créer des budgets pour gérer les coûts et des alertes permettant d’avertir automatiquement des parties prenantes en cas d’anomalies de dépenses et de risques de dépenses excessives. Les alertes sont basées sur les dépenses par rapport aux seuils de budget et de coût. Les budgets et les alertes sont créés pour les abonnements et les groupes de ressources Azure : ils sont donc utiles dans le cadre d’une stratégie globale de supervision des coûts.

Vous pouvez créer des budgets avec des filtres pour des ressources ou des services spécifiques dans Azure si vous souhaitez disposer d’une plus grande granularité dans votre analyse. Les filtres vous permettent de vous assurer que vous ne créez pas accidentellement de nouvelles ressources entraînant un surcoût. Pour plus d’informations sur les options de filtre disponibles lorsque vous créez un budget, consultez Options de regroupement et de filtre.

Exporter des données de coûts

Vous pouvez également exporter vos données de coûts vers un compte de stockage. C’est utile quand vous ou d’autres personnes avez besoin d’effectuer une analyse supplémentaire des données concernant les coûts. Par exemple, les équipes financières peuvent analyser les données avec Excel ou Power BI. Vous pouvez exporter vos coûts selon une planification quotidienne, hebdomadaire ou mensuelle, et définir une plage de dates personnalisée. L’exportation des données des coûts est la méthode recommandée pour récupérer les jeux de données des coûts.

Contenu connexe

• Découvrez comment optimiser votre investissement cloud avec Azure Cost Management.
• Apprenez-en davantage sur la gestion des coûts avec l’analyse du coût.
• Découvrez comment éviter des coûts imprévus.
• Suivez le cours d’apprentissage guidé Cost Management.
• Page de tarification d’Azure Data Factory
• Comprendre Azure Data Factory par des exemples
• Calculatrice de prix d’Azure Data Factory