Apache Spark の監視の概要
Microsoft Fabric Spark 監視は、実行中の Spark アプリケーションの進行状況と状態の監視、過去の Spark アクティビティの参照、パフォーマンスの分析と最適化、障害のトラブルシューティングを容易にするための豊富な機能を組み込んだ Web UI ベースのエクスペリエンスを提供するように設計されています。 Spark アプリケーションの詳細を参照、監視、および表示するには、複数のエントリ ポイントを使用できます。
監視ハブ
監視ハブは、アイテム全体で Spark アクティビティを参照するための一元化されたポータルとして機能します。 ノートブック、Spark ジョブ定義、パイプラインからトリガーされた進行中の Spark アプリケーションを一目で確認できます。 また、さまざまな条件に基づいて Spark アプリケーションを検索およびフィルター処理し、ドリルダウンして Spark アプリケーションの Spark 実行の詳細を表示することもできます。
アイテムの最近の実行
特定のアイテムで作業する場合、アイテムの [最近の実行] 機能を使用すると、アイテムの現在および最近のアクティビティを参照し、提出者、状態、期間、および自分や他のユーザーによって送信されたアクティビティのその他の情報に関する分析情報を得ることができます。
Notebook のコンテキスト監視
Notebook のコンテキスト監視では、Spark ジョブの作成、監視、デバッグを 1 か所で行える機能が提供されます。 Spark ジョブの進行状況を監視したり、Spark 実行タスクと Executor を表示したり、Notebook セル レベルでノートブック内の Spark ログにアクセスしたりできます。 Spark Advisor は Notebook にも組み込まれており、コードとセルの Spark の実行に関するリアルタイムのアドバイスを提供し、エラー分析を実行します。
Spark ジョブ定義のインライン監視
Spark ジョブ定義のインライン監視機能を使用すると、Spark ジョブ定義の送信と実行の状態をリアルタイムで表示したり、Spark ジョブ定義の過去の実行と構成を表示したりできます。 「Spark アプリケーションの詳細」ページに移動して、詳細を表示できます。
パイプライン Spark アクティビティのインライン監視
パイプライン Spark アクティビティのインライン監視の場合、パイプライン内の Notebook および Spark ジョブ定義アクティビティにディープ リンクが組み込まれています。 Spark アプリケーションの実行の詳細、それぞれの Notebook と Spark ジョブ定義のスナップショットを表示し、トラブルシューティングのために Spark ログにアクセスできます。 Spark アクティビティが失敗した場合、インライン エラー メッセージは Pipeline Spark アクティビティ内でも使用できます。