Démarrage rapide : Créer un travail Apache Airflow

  • Article

Remarque

Apache Airflow Job est basé sur Apache Airflow.
Apache Airflow est une plateforme open source utilisée pour créer, planifier et surveiller des travaux complexes par programmation. Elle vous permet de définir un ensemble de tâches, appelées opérateurs, qui peuvent être combinées en graphes orientés acyclique (DAG) pour représenter des pipelines de données.

Apache Airflow Job fournit un moyen simple et efficace de créer et gérer des environnements Apache Airflow, ce qui vous permet d’exécuter facilement vos travaux d’orchestration à grande échelle. Dans ce démarrage rapide, nous allons créer un travail Apache Airflow simple pour vous familiariser avec l’environnement et les fonctionnalités d’Apache Airflow Job.

Prérequis

  • Activez Apache Airflow Job dans votre locataire.

Remarque

Comme Apache Airflow Job est en préversion, vous devez l’activer via l’administrateur de votre locataire. Si vous voyez déjà Apache Airflow Job, c’est que l’administrateur de votre locataire peut l’avoir déjà activé.

  1. Accédez au portail d’administration –> Paramètres du locataire –> Sous Microsoft Fabric –> Développez la section « Les utilisateurs peuvent créer et utiliser Apache Airflow Job (préversion) ».
  2. Sélectionnez Appliquer.

Capture d’écran montrant comment activer Apache Airflow dans l’admin client.

Créer un travail Apache Airflow

  1. Vous pouvez utiliser un espace de travail existant ou créer un nouvel espace de travail.

  2. Développez le menu déroulant + New –> Cliquez sur Plus d’options –> Sous la section Data Factory –> Sélectionnez Apache Airflow Job (préversion)

    La capture d’écran montre un clic sur plus d’options.

    Capture d’écran de la sélection d’Apache Airflow Job.

  3. Donnez un nom approprié à votre projet, puis cliquez sur le bouton « Créer ».

Créer un fichier DAG

  1. Cliquez sur « Nouveau fichier DAG » carte –> donnez le nom au fichier, puis cliquez sur le bouton « Créer ».

    Capture d’écran montrant comment nommer le fichier DAG.

  2. Un code DAG standard vous est présenté. Vous pouvez modifier le fichier en fonction de vos besoins.

    Capture d’écran utilisant le fichier DAG standard dans Microsoft Fabric.

  3. Cliquez sur « l’icône Enregistrer ».

    Capture d’écran présentant comment enregistrer le fichier DAG dans Microsoft Fabric.

Exécuter un DAG

  1. Commencez par cliquer sur le bouton « Exécuter le DAG ».

    Capture d’écran illustrant l’exécution du DAG à partir de l’interface utilisateur (IU) des flux de données.

  2. Une fois lancée, une notification s’affiche rapidement indiquant que le DAG est en cours d’exécution.

  3. Pour surveiller la progression de l’exécution du DAG, cliquez simplement sur « Afficher les détails » dans le centre de notification. Cette action vous redirige vers l’interface utilisateur (IU) Apache Airflow, où vous pouvez suivre facilement l’état et les détails de l’exécution du DAG.

    Capture d’écran montrant comment accéder à l’interface utilisateur (IU) Apache Airflow à partir du centre de notification.

Surveiller votre DAG Apache Airflow dans l’interface utilisateur d’Apache Airflow

Les fichiers DAG enregistrés sont chargés dans l’interface utilisateur (IU) Apache Airflow. Vous pouvez les surveiller en cliquant sur le bouton « Surveiller dans Apache Airflow ».

Capture d’écran montrant comment surveiller le DAG Airflow.

Capture d’écran montrant le DAG Airflow chargé.

Contenu associé