Fabric ノートブックの高コンカレンシー モードを構成する

  • [アーティクル]

Microsoft Fabric でノートブックを実行すると、Apache Spark セッションが開始され、ノートブックのセル実行の一部として送信されたクエリを実行するために使用されます。 高コンカレンシー モードを有効にすると、ノートブックを実行するたびに新しい Spark セッションを開始する必要はありません。

高コンカレンシー セッションが既に実行されている場合は、高コンカレンシー セッションにノートブックをアタッチして、すぐに Spark セッションを取得してクエリを実行し、より高いセッション使用率を実現できます。

ノートブックの高コンカレンシーを示すアニメーション。

Note

高コンカレンシー モードベースのセッション共有は、常に 1 つのユーザー境界内にあります。 ノートブックには、一致する Spark 構成が必要です。同じワークスペースに含める必要があります。同じ既定のレイクハウスとライブラリを共有して、1 つの Spark セッションを共有する必要があります。

セッションの共有条件

ノートブックで 1 つの Spark セッションを共有するには、次の条件を満たす必要があります。

  • 同じユーザーによって実行される。
  • 同じ既定のレイクハウスを使用する。 既定のレイクハウスを持たないノートブックは、既定のレイクハウスを持たない他のノートブックとセッションを共有できます。
  • 同じ Spark コンピューティング構成を使用する。
  • 同じライブラリ パッケージを使用する。 ノートブックのセルの一部として異なるインライン ライブラリをインストールしても、異なるライブラリ依存関係を持つノートブックとセッションを共有することができます。

高コンカレンシー モードを構成する

既定では、すべての Fabric ワークスペースが高コンカレンシー モードで有効になっています。 高コンカレンシー機能を構成するには、次の手順に従います。

  1. Fabric ワークスペースの [ワークスペース設定] オプションをクリックします

    ワークスペース設定へのナビゲーションを示すスクリーンショット。

  2. [Synapse] セクション >[Spark Compute]>[高コンカレンシー] の順に選択します

  3. [高コンカレンシー] セクションでは、設定を [有効] または [無効] にすることができます。

    ワークスペース設定の [高コンカレンシー] セクションを示すスクリーンショット。

  4. 高コンカレンシー オプションを有効にすると、ユーザーはノートブックで高コンカレンシー セッションを開始したり、既存の高コンカレンシー セッションにアタッチしたりできます。

  5. 高コンカレンシー モードを無効にすると、非アクティブ期間を構成するセクションが非表示になり、ノートブック メニューから新しい高コンカレンシー セッションを開始するオプションも非表示になります。

    ワークスペース設定で無効化された [高コンカレンシー] オプションを示すスクリーンショット。

高コンカレンシー セッションでノートブックを実行する

  1. Fabric ワークスペースを開く

  2. Notebook を作成するか、既存の Noteboook を開く

  3. メニュー リボンの [実行] タブに移動し、既定のオプションとして [Standard] が選択されている [セッションの種類] ドロップダウンを選択します。

    Notebook メニューの高コンカレンシーを示すスクリーンショット。

  4. [新しい高コンカレンシー セッション] を選択します。

  5. 高コンカレンシー セッションが開始されると、高コンカレンシー セッションに最大 5 個のノートブックを追加できるようになりました。

    Notebook メニューの新しい高コンカレンシー セッションを開始するオプションを示すスクリーンショット。

  6. 新しいノートブックを作成し、上記の手順で説明したように [実行] メニューに移動すると、ドロップダウン メニューに新しく作成された高コンカレンシー セッションが一覧表示されます。

  7. 既存の高コンカレンシー セッションを選択すると、2 番目のノートブックがセッションにアタッチされます。

    Notebook メニューの既存の高コンカレンシー セッションをアタッチするオプションを示すスクリーンショット。

  8. ノートブックがアタッチされたら、すぐにノートブック ステップの実行を開始できます。

  9. 高コンカレンシー セッションの状態は、任意の時点で特定のセッションにアタッチされているノートブックの数も表示します。

  10. 高コンカレンシー セッションにアタッチされたノートブックに、より多くの専用コンピューティングが必要だと感じる場合は、いつでも、[実行] メニュー タブの [高コンカレンシー] からノートブックをデタッチするオプションを選択して、ノートブックを標準セッションに切り替えることができます。

    Notebook メニューの高コンカレンシー セッションからデタッチするオプションを示すスクリーンショット。

  11. ステータス バーに移動することで、セッションの状態、種類、およびセッション ID を表示できます。[セッション ID] を選択すると、この高コンカレンシー セッションで実行されたジョブを探索し、監視の詳細ページで Spark セッションのログを表示できます。

    Notebook メニューの高コンカレンシー セッションのセッションの詳細を示すスクリーンショット。

高コンカレンシー セッションで実行されているノートブックの監視とデバッグ

多くの場合、監視とデバッグは、共有セッションで複数のノートブックを実行している場合、簡単な作業ではありません。 Fabric の高コンカレンシー モードの場合は、ログの分離が提供されます。これにより、ユーザーはさまざまなノートブックから Spark イベントによって出力されたログをトレースできます。

  1. セッションが進行中または完了状態の場合は、[実行] メニューに移動し、[すべての実行] オプションを選択してセッションの状態を表示できます

  2. これにより、現在アクティブな Spark セッションと履歴 Spark セッションの一覧が表示されたノートブックの実行履歴が開きます

    Notebook メニューの高コンカレンシー セッションの [すべての実行] ページを示すスクリーンショット。

  3. セッションを選択すると、ユーザーは監視詳細ビューにアクセスできます。このビューには、セッションで実行されているすべての Spark ジョブの一覧が表示されます。

  4. 高コンカレンシー セッションの場合、ユーザーは [関連ノートブック] タブを使用して、ジョブとその関連ログを識別できます。このタブには、そのジョブの実行元のノートブックが表示されます。

    監視詳細ビューの高コンカレンシー セッションのすべての関連ノートブックを示すスクリーンショット。

関連するコンテンツ

このドキュメントでは、ノートブックの高コンカレンシー モードを使用したセッション共有の基本的な理解を得ます。 次の記事に進み、レイクハウスと Notebooks を使用して独自の Data Engineering エクスペリエンスを作成して開始する方法を学習します。