Azure Stream Analytics 監視データ リファレンス
この記事には、このサービスに関するすべての監視リファレンス情報が含まれています。
Azure Stream Analytics 用に収集できるデータとその使用方法の詳細については、 Monitor Azure Stream Analytics を参照してください。
メトリック
このセクションには、このサービスに関して自動的に収集されるすべてのプラットフォーム メトリックが一覧表示されています。 これらのメトリックは、Azure Monitor でサポートされているすべてのプラットフォーム メトリックのグローバル リストにも含まれています。
メトリックのリテンション期間の詳細については、「Azure Monitor メトリックの概要」を参照してください。
Azure Stream Analytics には、クエリとジョブのパフォーマンスの監視とトラブルシューティングに使用できるメトリックが多数用意されています。 これらのメトリックのデータは、Azure portal の [概要] ページの [監視] セクションで確認できます。
特定のメトリックを確認する場合は、[監視]セクションで [メトリック] を選択します。 表示されるページで、[メトリック] を選択します。
Microsoft.StreamAnalytics/streamingjobs でサポートされているメトリック
次の表に、Microsoft.StreamAnalytics/streamingjobs リソースの種類で使用できるメトリックを示します。
- すべての列がすべてのテーブルに存在するわけではない場合があります。
- 一部の列がページの表示領域を超えている場合があります。 [テーブルの展開] を選択すると、使用可能なすべての列が表示されます。
テーブルの見出し
- カテゴリ - メトリック グループまたは分類。
- メトリック - Azure Portal に表示されるメトリックの表示名。
- REST API の名前 - REST API で参照されるメトリック名。
- 単位 - 測定単位。
- 集計 - 既定の集計の種類。 有効な値: 平均 (Avg)、最小 (Min)、最大 (Max)、合計 (Sum)、数。
- ディメンション - メトリックで使用できるディメンション。
- 時間グレイン - メトリックをサンプリングする間隔。 たとえば、
PT1Mは、メトリックを 1 分ごとに、PT30Mは 30 分ごとに、PT1Hは 1 時間ごとにサンプリングすることを示します。 - DS エクスポート - メトリックが診断設定を介して Azure Monitor ログにエクスポート可能かどうかを示します。 メトリックのエクスポートについては、「Azure Monitor で診断設定を作成する」を参照してください。
| カテゴリ | メトリック | REST API での名前 | 出荷単位 | 集計 | Dimensions | 期間粒度 | DS エクスポート |
|---|---|---|---|---|---|---|---|
| 失敗した関数の要求 失敗した関数の要求 |
AMLCalloutFailedRequests |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 関数のイベント 関数のイベント |
AMLCalloutInputEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 関数の要求 関数の要求 |
AMLCalloutRequests |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| データ変換エラー データ変換エラー |
ConversionErrors |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 逆シリアル化の入力エラー 逆シリアル化の入力エラー |
DeserializationError |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 順切れイベント 順不同のイベント |
DroppedOrAdjustedEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 初期入力イベント 初期入力イベント |
EarlyInputEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 実行時エラー 実行時エラー |
Errors |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 入力イベントのバイト数 入力イベントのバイト数 |
InputEventBytes |
バイト | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 入力イベント 入力イベント |
InputEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| バックログされた入力イベント バックログされた入力イベント |
InputEventsSourcesBacklogged |
カウント | Average、Maximum、Minimum | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 受信した入力ソース 受信した入力ソース |
InputEventsSourcesPerSecond |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 遅延入力イベント 遅延入力イベント |
LateInputEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 出力イベント 出力イベント |
OutputEvents |
Count | 合計 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| 基準値の遅延 透かしの遅延 |
OutputWatermarkDelaySeconds |
秒 | Average、Maximum、Minimum | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| CPU 使用率 (%) CPU 使用率 (%) |
ProcessCPUUsagePercentage |
パーセント | 「平均」「最大」「最小」 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい | |
| SU (メモリ) 使用率 (%) SU (メモリ) 使用率 (%) |
ResourceUtilization |
パーセント | 「平均」「最大」「最小」 | LogicalName、 PartitionId、 ProcessorInstance、 NodeName |
PT1M | はい |
メトリックの説明
Azure Stream Analytics には、ジョブの正常性を監視するための次のメトリックが用意されています。
| メトリック | 定義 |
|---|---|
| バックログされた入力イベント | バックログされた入力イベントの数。 このメトリックの 0 以外の値は、ジョブが受信イベントの数に追いつかないことを意味します。 この値がゆっくり増加する場合や一貫して 0 以外である場合は、ジョブをスケールアウトする必要があります。 詳細については、「ストリーミング ユニットの理解と調整」を参照してください。 |
| データ変換エラー | 想定の出力スキーマに変換できなかった出力イベントの数。 このシナリオに発生したイベントを削除するには、エラー ポリシーを Drop に変更します。 |
| CPU 使用率 (%) (プレビュー) | ジョブが使用する CPU の割合。 この値が非常に高い (90% 以上) 場合でも、このメトリックのみに基づいて SU の数を増やすことはしないでください。 バックログされた入力イベントまたは透かしの遅延数が増えた場合は、このメトリックを使用して、CPU がボトルネックであるかどうかを判断できます。 このメトリックには、断続的なスパイクがある可能性があります。 スケール テストを実行して、CPU ボトルネックのために入力がバックログに記録されたり、透かしの遅延が増加したりするまでのジョブの上限を判断することをお勧めします。 |
| 初期入力イベント | アプリケーション タイム スタンプが受信時間より 5 分以上早いイベント。 |
| 失敗した関数の要求 | 失敗した Azure Machine Learning 関数呼び出しの数 (存在する場合)。 |
| 関数のイベント | Azure Machine Learning 関数に送られたイベントの数 (存在する場合)。 |
| 関数の要求 | Azure Machine Learning 関数に対する呼び出しの数 (存在する場合)。 |
| 逆シリアル化の入力エラー | 逆シリアル化できなかった入力イベントの数。 |
| 入力イベントのバイト数 | Stream Analytics ジョブが受信するデータの量 (バイト単位)。 このメトリックを使用して、イベントが入力ソースに送信されていることを検証できます。 |
| 入力イベント | 入力イベントから逆シリアル化されたレコードの数。 この数には、逆シリアル化エラーが発生する受信イベントは含みません。 Stream Analytics では、内部復旧や自己結合などのシナリオで、同じイベントを複数回取り込むことができます。 ジョブに単純なパススルー クエリがある場合、入力イベント メトリックと 出力イベント メトリックが一致すると予期しないようにしてください。 |
| 受信した入力ソース | ジョブが受信するメッセージの数。 Azure Event Hubs の場合、メッセージは 1 つの EventData 項目です。 Azure Blob Storage の場合、メッセージは 1 つの BLOB です。 入力ソースは逆シリアル化の前にカウントされることにご注意ください。 逆シリアル化エラーが発生した場合、入力ソースは入力イベントよりも大きくなる場合があります。 それ以外の場合、各メッセージに複数のイベントが含まれる可能性があるため、入力ソースは入力イベント以下になる可能性があります。 |
| 遅延入力イベント | 構成済みの到着遅延許容期間より後に到着したイベント。 詳細については Azure Stream Analytics のイベントの順序に関する考慮事項を確認してください。 |
| 順不同のイベント | イベント順序ポリシーに基づいて、削除された、または調整されたタイムスタンプが付与された、順不同で受信したイベントの数。 このメトリックは、順不同の許容範囲ウィンドウ 設定の構成によって影響を受ける可能性があります。 |
| 出力イベント | Stream Analytics ジョブが出力ターゲットに送信するデータ量 (イベント数)。 |
| 実行時エラー | クエリ処理に関連するエラーの総数。 イベントの取り込み中や結果の出力中に見つかったエラーは除外されます。 |
| SU (メモリ) 使用率 (%) | ジョブが使用するメモリの割合。 このメトリックが常に 80% を超え、透かしの遅延が増加し、バックログされたイベントの数が増加している場合は、ストリーミング ユニット (SU) を増やすことを検討してください。 使用率が高い場合は、最大数に近い割り当てリソースがジョブによって使用されていることを示します。 |
| 基準値の遅延 | ジョブ内のすべての出力のすべてのパーティションにわたる最大の透かし遅延。 |
メトリック ディメンション
メトリック ディメンションについては、「多次元メトリック」を参照してください。
このサービスでは、次のディメンションがそのメトリックに関連付けられています。
| Dimension | 定義 |
|---|---|
| [論理名] | Stream Analytics ジョブの入力または出力の名前。 |
| パーティション ID | 入力ソースからの入力データ パーティションの ID。 たとえば、入力ソースがイベント ハブの場合、パーティション ID はイベント ハブのパーティション ID です。 驚異的並列ジョブの場合、出力のパーティション ID は入力と同じです。 |
| Node Name (ノード名) | ジョブの実行時にプロビジョニングされるストリーミング ノードの識別子。 ストリーミング ノードは、ジョブに割り当てられたコンピューティング リソースとメモリ リソースの量を表します。 |
論理名ディメンション
論理名は、Stream Analytics ジョブの入力または出力の名前です。 たとえば、Stream Analytics ジョブに 4 つの入力と 5 つの出力があるとします。 入力関連と出力関連のメトリックをこのディメンションで分割すると、4 つの論理入力と 5 つの論理出力がそれぞれに表示されます。
論理名ディメンションは、次のメトリックのフィルター処理と分割に使用できます。
- バックログされた入力イベント
- データ変換エラー
- 初期入力イベント
- 逆シリアル化の入力エラー
- 入力イベントのバイト数
- 入力イベント
- 受信した入力ソース
- 遅延入力イベント
- 順不同のイベント
- 出力イベント
- 基準値の遅延
ノード名ディメンション
ストリーミング ノードは、入力データの処理に使用される一連のコンピューティング リソースを表します。 6 つのストリーミング ユニット (SU) がそれぞれ 1 つのノードに変換され、そのノードがサービスによって自動的に管理されます。 ストリーミング ユニットとストリーミング ノードの関係について詳しくは、「ストリーミング ユニットの理解と調整」を参照してください。
ノード名は、ストリーミング ノード レベルのディメンションです。 特定のメトリックを特定のストリーミング ノード レベルにドリルダウンするのに役立ちます。 たとえば、CPU 使用率 (%) メトリックをストリーミング ノード レベルで分割して、個々のストリーミング ノードの CPU 使用率を確認できます。
ノード名ディメンションは、次のメトリックのフィルタリングと分割に使用できます。
- バックログされた入力イベント
- CPU 使用率 (%) (プレビュー)
- 入力イベント
- 出力イベント
- SU (メモリ) 使用率 (%)
- 基準値の遅延
パーティション ID ディメンション
ストリーミング データが Azure Stream Analytics サービスに取り込まれて処理される際、その入力データは、入力ソースのパーティションに従ってストリーミング ノードに分散されます。 パーティション ID ディメンションは、入力ソースからの入力データ パーティションの ID です。
たとえば、入力ソースがイベント ハブの場合、パーティション ID はイベント ハブのパーティション ID です。 入力のパーティション ID は、出力と同じです。
パーティション ID ディメンションは、次のメトリックのフィルタリングと分割に使用できます。
- バックログされた入力イベント
- データ変換エラー
- 初期入力イベント
- 逆シリアル化の入力エラー
- 入力イベントのバイト数
- 入力イベント
- 受信した入力ソース
- 遅延入力イベント
- 出力イベント
- 基準値の遅延
リソース ログ
このセクションでは、このサービス用に収集できるリソース ログの種類を一覧表示します。 このセクションでは、Azure Monitor でサポートされているすべてのリソース ログ カテゴリの種類のリストからプルされます。
Microsoft.StreamAnalytics/streamingjobs でサポートされているリソース ログ
| カテゴリ | カテゴリの表示名 | ログ テーブル | 基本ログ プランをサポート | インジェスト時間変換をサポート | クエリの例 | エクスポートするコスト |
|---|---|---|---|---|---|---|
Authoring |
Authoring | AzureDiagnostics 複数の Azure リソースからのログ。 |
いいえ | いいえ | クエリ | いいえ |
Execution |
実行 | AzureDiagnostics 複数の Azure リソースからのログ。 |
いいえ | いいえ | クエリ | いいえ |
リソース ログのスキーマ
すべてのログは JSON 形式で格納されます。 各エントリには、次の一般的な文字列フィールドが含まれています。
| 名前 | 内容 |
|---|---|
| time | ログのタイムスタンプ (UTC)。 |
| resourceId | 操作が行われたリソースの ID (大文字)。 サブスクリプション ID、リソース グループ、ジョブ名が含まれています。 例: /SUBSCRIPTIONS/6503D296-DAC1-4449-9B03-609A1F4A1C87/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT.STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB |
| category | ログのカテゴリ (実行または作成のいずれか)。 |
| operationName | ログに記録される操作の名前。 例: Send Events:SQL Output write failure to mysqloutput。 |
| status | 操作の状態。 たとえば、失敗または成功。 |
| level | ログ レベル。 たとえば、エラー、警告、または情報。 |
| properties | ログ エントリ固有の詳細。JSON 文字列としてシリアル化されています。 詳細については、この記事の次のセクションを参照してください。 |
実行ログ プロパティのスキーマ
実行ログには、Stream Analytics ジョブの実行中に発生したイベントに関する情報が含まれます。 プロパティのスキーマは、イベントがデータ エラーまたは汎用イベントのどちらであるかによって異なります。
データ エラー
ジョブがデータを処理している間に発生したエラーはすべて、ログのこのカテゴリに含まれます。 これらのログはほとんどの場合、データ読み取り、シリアル化、書き込み操作が実行されている間に作成されます。 このログには接続エラーが含まれません。 接続エラーは汎用イベントとして扱われます。 さまざまな入力および出力データ エラーの原因についてさらに学習することができます。
| 名前 | 説明 |
|---|---|
| source | エラーが発生したジョブ入出力の名前。 |
| Message | エラーに関連付けられているメッセージ。 |
| Type | エラーの種類。 たとえば、DataConversionError、CsvParserError、または ServiceBusPropertyColumnMissingError。 |
| Data | エラーの原因を正確に特定するうえで役に立つデータが含まれています。 サイズに応じて切り捨てられます。 |
データ エラーのスキーマは、operationName 値に応じて次のようになります。
シリアル化イベントはイベント読み取り操作中に発生します。 これらは、次のいずれかの理由で入力データがクエリ スキーマを満たしていない場合に発生します。
"イベントのシリアル化/逆シリアル化中の種類の不一致": エラーを引き起こしたフィールドが特定されます。
"イベントを読み取ることができない。無効なシリアル化": エラーが発生した入力データの場所に関する情報が一覧で表示されます。 ここには、BLOB 入力の BLOB 名、オフセット、データのサンプルが含まれます。
送信イベントは書き込み操作中に発生します。 エラーを引き起こしたストリーミング イベントが特定されます。
汎用イベント
汎用イベントには、上に挙げた以外のあらゆるイベントが含まれます。
| 名前 | 説明 |
|---|---|
| エラー | (省略可能) エラー情報。 使用できる場合は通常、例外情報です。 |
| Message | ログ メッセージ。 |
| Type | メッセージの種類。 エラーの内部カテゴリにマップされます。 たとえば、JobValidationError または BlobOutputAdapterInitializationFailure。 |
| 関連付け ID | ジョブの実行を一意に識別する GUID。 ジョブが開始されてから停止するまでに生成された実行ログ エントリすべてに、同じ関連付け ID の値が付けられます。 |
参考のために、Azure Monitor でサポートされているすべてのリソース ログのカテゴリの種類、または Azure Stream Analytics 用に収集できるリソース ログ カテゴリのすべての型のリストをご覧ください。
Azure Monitor ログ テーブル
このセクションでは、Kusto クエリを使用した Log Analytics によるクエリに使用できる、このサービスに関連するすべての Azure Monitor ログ テーブルを一覧表示します。 テーブルにはリソース ログ データが含まれており、収集されルーティングされる内容によっては、さらに多くのデータが含まれる場合があります。
Stream Analytics ジョブ
| カテゴリ | カテゴリの表示名 | ログ テーブル | 基本ログ プランをサポート | インジェスト時間変換をサポート | クエリの例 | エクスポートするコスト |
|---|---|---|---|---|---|---|
Authoring |
Authoring | AzureDiagnostics 複数の Azure リソースからのログ。 |
いいえ | いいえ | クエリ | いいえ |
Execution |
実行 | AzureDiagnostics 複数の Azure リソースからのログ。 |
いいえ | いいえ | クエリ | いいえ |
アクティビティ ログ
リンクされたテーブルには、このサービスのアクティビティ ログに記録できる操作が一覧表示されます。 これらの操作は、アクティビティ ログで使用可能なすべてのリソース プロバイダー操作のサブセットです。
アクティビティ ログ エントリのスキーマの詳細については、「アクティビティ ログのスキーマ」を参照してください。