クイック スタート: データ ワークフローを作成する

  • [アーティクル]

Note

データ ワークフローには Apache Airflow が搭載されています。
Apache Airflow は、複雑なデータ ワークフローをプログラムで作成、スケジュール、監視するために使用されるオープンソース プラットフォームです。 これにより、オペレーターと呼ばれる一連のタスクを定義でき、有向非循環グラフ (DAG) と組み合わせてデータ パイプラインを表すことができます。

データ ワークフローは、Apache Airflow 環境を作成および管理するためのシンプルで効率的な方法を提供し、データ ワークフローを簡単に大規模で実行できるようにします。 このクイック スタートでは、最初のデータ ワークフローを作成し、Directed Acyclic Graph (DAG) を実行して、データ ワークフローの環境と機能について理解します。

前提条件

  • テナントでデータ ワークフローを有効にします。

Note

データ ワークフローはプレビュー状態であるため、テナント管理者を通じて有効にする必要があります。データ ワークフローが既に表示されている場合は、テナント管理者が既に有効にした可能性があります。

  1. 管理 ポータルに移動 -> テナント 設定 -> Microsoft Fabric -> [ユーザーはデータ ワークフローを作成して使用できます (プレビュー)] セクションを展開します。
  2. 適用を選択します。

テナントで Apache Airflow を有効にするスクリーンショット。

データ ワークフローを作成する

  1. 既存のワークスペースを使用するか、新しいワークスペースを作成することができます。

  2. [展開] + New ドロップダウン -> [その他のオプション] をクリックする -> Data Factory セクション -> [データ ワークフローの選択] (プレビュー)

    その他のオプションのクリックを示すスクリーンショット。

    [データ ワークフロー] を選択するスクリーンショット。

  3. プロジェクトに適切な名前を付け、[作成] ボタンをクリックします。

DAG ファイルを作成する

  1. [新しい DAG ファイル] カードをクリック -> ファイルに名前を付け、[作成] ボタンをクリックします。

    DAG ファイルに名前を付けるスクリーンショット。

  2. 定型 DAG コードが表示されます。 ファイルは、実際の要件に応じて編集することができます。

    Microsoft Fabric の定型 DAG ファイルを示すスクリーンショット。

  3. [保存アイコン] をクリックします。

    Microsoft Fabric で DAG ファイルを保存する方法を示すスクリーンショット。

DAG を実行する

  1. まず、[DAG の実行] ボタンをクリックします。

    データ ワークフロー UI から DAG を実行するスクリーンショット。

  2. 開始されると、DAG が実行されていることを示す通知がすぐに表示されます。

  3. DAG 実行の進行状況を監視するには、通知センター内の [詳細の表示] をクリックします。 このアクションにより Apache Airflow UI にリダイレクトされます。この UI を使用すると、DAG 実行の状態と詳細を簡単に追跡できます。

    通知センターから Apache Airflow UI に移動するスクリーンショット。

Apache Airflow UI でデータ ワークフロー DAG を監視する

保存された dag ファイルは、Apache Airflow UI に読み込まれます。 それらを監視するには、[Apache Airflowで監視] ボタンをクリックします。

Airflow DAG を監視するスクリーンショット。

読み込まれた　Airflow DAG を示すスクリーンショット。

関連コンテンツ