診断ログを使用して Azure Data Explorer のインジェスト、コマンド、クエリ、テーブルを監視する

Azure Data Explorer は、アプリケーション、Web サイト、IoT デバイスなどからの大量のデータ ストリーミングをリアルタイムに分析するための高速でフル マネージドのデータ分析サービスです。 Azure Monitor 診断ログは、Azure リソースの動作状況に関するデータを提供します。 Azure Data Explorer は、診断ログを使用して、インジェスト、コマンド、クエリ、テーブルの分析情報を取得します。 操作ログを Azure Storage、イベント ハブ、または Log Analytics にエクスポートして、インジェスト、コマンド、およびクエリの状態を監視することができます。 Azure Storage と Azure Event Hubs からのログを Azure Data Explorer クラスター内のテーブルにルーティングして詳細な分析を行うことができます。

重要

診断ログ データには機密データが含まれている場合があります。 監視のニーズに応じて、ログの出力先のアクセス許可を制限します。

Note

Azure portal では、"メトリック" と "分析情報" ページ用の生のメトリック データは、Azure Monitor に格納されます。 これらのページのクエリは、生のメトリック データに直接クエリを実行して、最も正確な結果を提供します。 診断設定の機能を使う場合、生のメトリック データを Log Analytics ワークスペースに移行することができます。 移行する際、丸め誤差によりデータの精度が失われることがあります。そのため、クエリの結果が元のデータと若干異なる場合があります。 誤差の範囲は 1% 未満です。

前提条件

Azure Data Explorer クラスターの診断ログを設定する

診断ログを使用すると、以下のログ データの収集を構成できます。

Note

  • インジェスト ログは、Kusto クライアント ライブラリデータ コネクタを使用するデータ インジェスト URI へのキュー化インジェストに対してサポートされます。
  • インジェスト ログは、ストリーミング インジェスト、クラスター URI への直接インジェスト、クエリからのインジェスト、および .set-or-append コマンドに対してはサポートされません。

Note

失敗したインジェストのログは、取り込み操作の最終状態についてのみ報告されます。これは、内部で再試行される一時的なエラーに対して生成されるインジェストの結果メトリックとは異なります。

  • 成功したインジェスト操作: このログには、正常に完了したインジェスト操作に関する情報があります。
  • 失敗したインジェスト操作: このログには、失敗したインジェスト操作に関する詳細情報 (エラーの詳細を含む) があります。
  • インジェスト バッチ処理操作: これらのログには、インジェストの準備ができているバッチの詳細な統計情報 (期間、バッチ サイズ、BLOB 数、およびバッチ処理の種類) が含まれています。

ログ データを Log Analytics ワークスペースまたはストレージ アカウントに送信するか、イベント ハブにストリーミングするかを選択できます。

Traffic Manager で診断ログを有効にする

既定では、診断ログは無効になっています。 クラスターの診断ログを有効にするには、次の手順を使用します。

  1. Azure portal で、監視するクラスター リソースを選択します。

  2. [監視][診断設定] を選択します。

    診断ログを追加する。

  3. [診断設定の追加] を選択します。

  4. [診断設定] ウィンドウで以下を行います。

    [診断設定] 画面のスクリーンショット。Azure Data Explorer クラスターに関するどの監視データを収集するかをここで構成します。

    1. 診断設定の名前を入力します。
    2. 宛先として、Log Analytics ワークスペース、ストレージ アカウント、イベント ハブのうち 1 つ以上を選択します。
    3. どのログを収集するかを、[成功したインジェスト][失敗したインジェスト][インジェスト バッチ処理][コマンド][クエリ][テーブル使用状況統計][テーブルの詳細][ジャーナル] から選択します。
    4. 収集する [メトリック] を選択します (省略可能)。
    5. [保存] を選択して、新しい診断ログの設定とメトリックを保存します。

設定が完了すると、ログは構成済みの宛先 (ストレージ アカウント、イベント ハブ、または Log Analytics ワークスペース) に出力されるようになります。

Note

ログを Log Analytics ワークスペースに送信する場合に、SucceededIngestionFailedIngestionIngestionBatchingCommandQueryTableUsageStatisticsTableDetailsJournal のログはそれぞれ SucceededIngestionFailedIngestionADXIngestionBatchingADXCommandADXQueryADXTableUsageStatisticsADXTableDetailsADXJournal という名前の Log Analytics テーブルに格納されます。

診断ログのスキーマ

すべての Azure Monitor 診断ログは、共通の上位スキーマを使用します。 Azure Data Explorer のイベントには、次のスキーマ リファレンスで説明している独自のプロパティがあります。