Surveiller visuellement Azure Data Factory

  • Article

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Une fois que vous avez créé et publié un pipeline dans Azure Data Factory, vous pouvez l’associer à un déclencheur ou lancer manuellement une exécution ad hoc. Vous pouvez surveiller l’ensemble de vos exécutions de pipeline en mode natif dans l’expérience utilisateur d’Azure Data Factory. Pour ouvrir l’expérience de surveillance, sélectionnez la vignette Surveiller et gérer dans le panneau de fabrique de données du Portail Azure. Si vous êtes déjà dans l’expérience utilisateur ADF, cliquez sur l’icône Surveiller dans la barre latérale gauche.

Par défaut, toutes les exécutions de fabrique de données sont affichées dans le fuseau horaire local du navigateur. Si vous changez le fuseau horaire, tous les champs d’heure et de date sont alignés sur le fuseau horaire sélectionné.

Surveiller des exécutions de pipelines

L’affichage de la surveillance par défaut est la liste des exécutions de pipeline déclenchées dans la période sélectionnée. Vous pouvez modifier l’intervalle de temps et filtrer par état, nom de pipeline ou annotation. Pointez sur l’exécution du pipeline spécifique pour recevoir des actions spécifiques de l’exécution, telles que réexécuter, et le rapport consommation.

Screenshot of list view for monitoring pipeline runs.

La grille d’exécution du pipeline contient les colonnes suivantes :

Nom de la colonne Description
Nom du pipeline Nom du pipeline
Démarrage de l’exécution Date et heure de début de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Fin de l’exécution Date et heure de fin de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration Durée d’exécution (HH:MM:SS)
Déclenché par Nom du déclencheur qui a démarré le pipeline
Statut Échec, Réussite, En cours, Annulée ou En file d'attente
Annotations Balises filtrables associées à un pipeline
Paramètres Paramètres d’exécution de pipeline (paires nom/valeur)
Error En cas d’échec du pipeline, l’erreur d’exécution
Exécuter Original, Réexécuter ou Réexécuter (exécution la plus récente)
ID d’exécution ID de l’exécution de pipeline

Vous devez cliquer manuellement sur le bouton Actualiser pour actualiser la liste des exécutions de pipelines et d’activités. L’actualisation automatique n’est pas prise en charge actuellement.

Screenshot of refresh button.

Pour afficher les résultats d’un débogage, sélectionnez l’onglet Débogage.

Screenshot of the view active debug runs icon.

Surveiller des exécutions d’activités

Pour obtenir une vue détaillée des activités individuelles d’un pipeline spécifique, cliquez sur le nom de celui-ci.

Screenshot of view activity runs.

La liste montre les exécutions d’activités correspondant à chaque exécution de pipeline. Pointez sur l’activité spécifique pour obtenir des informations spécifiques de son exécution, telles que l’entrée JSON, la sortie JSON et des expériences de surveillance détaillées spécifiques de l’activité.

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

Nom de la colonne Description
Nom de l’activité Nom de l’activité dans le pipeline
Type d’activité Type de l’activité, par exemple Copy, ExecuteDataFlow ou AzureMLExecutePipeline
Actions Icônes qui vous permettent de voir des informations d’entrée JSON, des informations de sortie JSON ou des expériences de surveillance détaillées sur les activités
Démarrage de l’exécution Date et heure de début de l’exécution de l’activité (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration Durée d’exécution (HH:MM:SS)
Statut Échec, Réussite, En cours ou Annulée
Runtime d’intégration Runtime d’intégration sur lequel l’activité a été exécutée
Propriétés de l’utilisateur Propriétés définies par l’utilisateur de l’activité
Error En cas d’échec de l’activité, l’erreur d’exécution
ID d’exécution ID de l’exécution d’activité

En cas d’échec d’une activité, vous pouvez voir le message d’erreur détaillé en cliquant sur l’icône dans la colonne d’erreur.

Screenshot of a notification with error details including error code, failure type, and error details.

Promouvoir les propriétés de l’utilisateur à superviser

Promouvez n’importe quelle propriété de l’activité de pipeline en tant que propriété d’utilisateur pour la surveiller. Ainsi, vous pouvez promouvoir les propriétés Source et Destination de l’activité de copie dans votre pipeline en tant que propriétés d’utilisateur.

Notes

Vous pouvez promouvoir jusqu’à cinq propriétés de l’activité de pipeline en tant que propriétés d’utilisateur.

Screenshot of create user properties.

Une fois les propriétés d’utilisateur créées, vous pouvez les superviser dans les listes de supervision.

Screenshot of add columns for user properties to the activity runs list.

Si la source de l’activité de copie est un nom de table, vous pouvez superviser le nom de table source en tant que colonne dans la liste des exécutions d’activités.

Screenshot of activity runs list with columns for user properties.

Réexécuter des pipelines et activités

Le comportement de réexécution des activités de conteneur est le suivant :

  • Wait : l’activité se comporte comme avant.
  • Set Variable : l’activité se comporte comme avant.
  • Filter : l’activité se comporte comme avant.
  • L’activité Until évalue l’expression et exécute une boucle jusqu’à ce que la condition soit satisfaite. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
  • L’activité Foreach exécute toujours une boucle sur les éléments qu’elle reçoit. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
  • If and switch : les conditions sont toujours évaluées. Toutes les activités internes seront évaluées. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution, mais les activités telles que Exécuter le pipeline réexécutent.
  • Execute pipeline activity : le pipeline enfant est déclenché, mais toutes les activités du pipeline enfant peuvent quand même être ignorées en fonction des règles de réexécution.

Pour réexécuter un pipeline depuis le début, pointez dessus, puis sélectionnez Réexécuter. Si vous sélectionnez plusieurs pipelines, vous pouvez utiliser le bouton Réexécuter pour les exécuter tous.

Screenshot of rerun a pipeline.

Si vous souhaitez réexécuter un pipeline à partir d’un point spécifique, vous pouvez le faire à partir de l’affichage des exécutions d’activité. Sélectionnez l’activité à partir de laquelle vous souhaitez, puis choisissez Réexécuter à partir d’une activité.

Screenshot of rerun an activity run.

Vous pouvez également réexécuter un pipeline et modifier les paramètres. Sélectionnez le bouton Nouveaux paramètres pour modifier les paramètres.

Screenshot of rerun an activity run with new parameters.

Remarque

La réexécution d’un pipeline avec de nouveaux paramètres est considérée comme une nouvelle exécution de pipeline. Elle ne s’affiche donc pas sous les regroupements de réexécution pour une exécution de pipeline.

Réexécuter à partir d’une activité ayant échoué

Si une activité échoue, expire ou est annulée, vous pouvez réexécuter le pipeline à partir de cette activité ayant échoué en sélectionnant Réexécuter à partir d’une activité ayant échoué.

Screenshot of rerun failed activity.

Voir l’historique des réexécutions

Vous pouvez voir l’historique des réexécutions de toutes les exécutions du pipeline en mode Liste.

Screenshot of view history.

Vous pouvez également voir l’historique des réexécutions d’une exécution de pipeline spécifique.

Screenshot of view history for a pipeline run.

Surveiller la consommation

Vous pouvez voir les ressources qu’une exécution de pipeline utilise en cliquant sur l’icône de consommation en regard de l’exécution.

Screenshot that shows where you can see the resources consumed by a pipeline.

Un clic sur l’icône ouvre un rapport consommation des ressources utilisées pour l’exécution de ce pipeline.

Screenshot of monitor consumption.

Vous pouvez connecter ces valeurs à la Calculatrice de prix Azure pour estimer le coût d’exécution du pipeline. Pour plus d’informations sur la tarification d’Azure Data Factory, consultez Compréhension de la tarification.

Notes

Ces valeurs retournées par la calculatrice de prix constituent une estimation. Celle-ci ne reflète pas le montant exact qu’Azure Data Factory vous facturera

Vues Gantt

Un diagramme de Gantt est un affichage qui vous permet de voir l’historique des exécutions sur un intervalle de temps. En basculant vers un affichage de Gantt, vous pouvez voir toutes les exécutions de pipeline regroupées par nom, affichées sous forme de barres proportionnelles au temps d’exécution. Vous pouvez également regrouper par annotations/balises que vous avez créées sur votre pipeline. L’affichage de Gantt est également disponible au niveau de l’exécution de l’activité.

Screenshot of an example of a Gantt chart.

La longueur de la barre indique la durée du pipeline. Vous pouvez également sélectionner la barre pour voir plus de détails.

Screenshot of a Gantt chart duration.

Alertes

Vous pouvez déclencher des alertes sur les métriques prises en charge dans Data Factory. Pour commencer, sélectionnez Superviser>Alertes et métriques dans la page de supervision de Data Factory.

Screenshot of the Data factory Monitor page.

Pour voir une présentation de sept minutes et la démonstration de cette fonctionnalité, regardez la vidéo suivante :

Créez des alertes

  1. Sélectionnez Nouvelle règle d’alerte pour créer une alerte.

    Screenshot of New Alert Rule button.

  2. Spécifiez le nom de la règle et sélectionnez la gravité de l’alerte.

    Screenshot of boxes for rule name and severity.

  3. Sélectionnez les critères d’alerte.

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    Vous pouvez créer des alertes sur différentes métriques, notamment celles relatives au nombre/à la taille des entités ADF, aux exécutions d’activité/de pipeline/de déclencheur, à l’utilisation de l’UC/à la mémoire/au nombre de nœuds/à la file d’attente du runtime d’intégration (IR), ainsi qu’aux exécutions de packages SSIS et aux opérations de démarrage/d’arrêt de l’IR SSIS.

  4. Configurez la logique d’alerte. Vous pouvez créer une alerte pour la métrique sélectionnée pour tous les pipelines et activités correspondantes. Vous pouvez également sélectionner un type d’activité, un nom d’activité, un nom de pipeline ou un type d’échec particulier.

    Screenshot of options for configuring alert logic.

  5. Configurez les notifications vocales, push, par e-mail et par SMS pour l’alerte. Choisissez ou créez un groupe d’actions pour les notifications d’alerte.

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. Créez la règle d’alerte

    Screenshot of options for creating an alert rule.

Contenu connexe

Pour en savoir plus sur la supervision et la gestion des pipelines, consultez l’article Surveiller et gérer les pipelines par programmation.