ワークフロー オーケストレーション マネージャーの診断ログとメトリック

  • [アーティクル]

Note

ワークフロー オーケストレーション マネージャーは Apache Airflow を利用しています。

この記事では、その手順について説明します。

  • Azure Data Factory でワークフロー オーケストレーション マネージャーの診断ログとメトリックを有効にする
  • ログとメトリックを表示する
  • クエリを実行します。
  • メトリックを監視し、有向非巡回グラフ (DAG) の失敗でアラート システムを設定する

前提条件

Azure サブスクリプションが必要です。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料の Azure アカウントを作成してください。

ワークフロー オーケストレーション マネージャーの診断ログとメトリックを有効にする

  1. Data Factory リソースを開き、左端のウィンドウで [診断設定] を選択します。 次に [診断設定を追加する] を選択します。

    Data Factory 内の [診断ログ] タブの場所を示すスクリーンショット。

  2. 診断設定の名前を入力します。 Airflow ログの次のカテゴリを選択します。

    • Airflow task execution logs (Airflow タスク実行ログ)
    • Airflow worker logs (Airflow ワーカー ログ)
    • Airflow DAG 処理ログ
    • Airflow scheduler logs (Airflow スケジューラ ログ)
    • Airflow web logs (Airflow Web ログ)
    • AllMetrics を選択する場合、監視したりアラートを生成するためにさまざまな Data Factory メトリクスを利用できます。 これらのメトリックには、Data Factory アクティビティとワークフロー オーケストレーション マネージャー統合ランタイムのメトリック (AirflowIntegrationRuntimeCpuUsage や AirflowIntegrationRuntimeMemory など) が含まれます。

    Airflow 環境にどのログを選択するかを示すスクリーンショット。

  3. [宛先の詳細] で、[Send to Log Analytics workspace](Log Analytics ワークスペースに送信する) チェック ボックスをオンにします。

    診断ログの宛先として Log Analytics ワークスペースを選択することを示すスクリーンショット。

  4. [保存] を選択します。

ログを表示する

  1. 診断設定を追加すると、[診断設定] セクションに一覧表示されます。 ログにアクセスして表示するには、構成した Log Analytics ワークスペースを選択します。

    Log Analytics ワークスペースの URL を選択しているスクリーンショット。

  2. [Log Analytics エクスペリエンスを最大化する] セクションの下にある [ログの表示] を選択します。

    [ログの表示] を選択しているスクリーンショット。

  3. Log Analytics ワークスペースに移動し、選択したテーブルが自動的にワークスペースにインポートされたことが確認できます。

    Log Analytics ワークスペースを示すスクリーンショット。

スキーマに関するその他の役立つリンク:

クエリを記述する

  1. ADFAirflowTaskLogs 内のすべてのレコードを返す最も単純なクエリから始めましょう。 テーブル名をダブルクリックして、クエリ ウィンドウにそれを追加できます。 また、ウィンドウにテーブル名を直接入力することもできます。

    すべてのログを取得する Kusto クエリを示すスクリーンショット。

  2. 特定のタスク ID に基づいてフィルター処理するなど、検索結果を絞り込むには、次のクエリを使用できます。

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

同様に、LogManagement で利用可能なテーブルを使用して、ニーズに応じてカスタム クエリを作成できます。

詳細については、以下を参照してください:

監視メトリック

Data Factory は、Airflow 統合ランタイムの包括的なメトリックを提供するため、Airflow 統合ランタイムのパフォーマンスを効果的に監視し、必要に応じてアラート メカニズムを確立できます。

  1. Data Factory リソースを開きます。

  2. 左端のウィンドウの [監視] セクションで、[メトリック] を選択します。

    Data Factory 内の [メトリック] タブの場所を示すスクリーンショット。

  3. 監視する [スコープ]>[メトリック名前空間]>[メトリック] を選択します。

    選択するメトリックを示すスクリーンショット。

  4. Integration Runtime の CPU パーセンテージとエアフロー統合ランタイムの Dag Bag サイズを視覚化する複数折れ線グラフを確認します。

    メトリックの複数行グラフを示すスクリーンショット。

  5. メトリックが特定の条件を満たした場合にトリガーされるアラート ルールを設定できます。 詳細については、Azure Monitor アラートの概要に関するページを参照してください。

  6. グラフが完了した後、[ダッシュボードに保存] を選択します。それ以外の場合、グラフは消えます。

    [ダッシュボードに保存] を示すスクリーンショット。

Airflow メトリック

ワークフロー オーケストレーション マネージャーで使用できるメトリックを確認するには、サポートされるメトリック表に示されている Airflow メトリックを表示します。