Fabric の Apache Spark での高コンカレンシー モード
高コンカレンシー モードを使用すると、ユーザーは Data Engineering と Data Science のワークロード用に、Fabric の Spark で同じ Spark セッションを共有できます。 ノートブックのような項目は、その実行に標準の Spark セッションを使用します。 高コンカレンシー モードでは、Spark セッションは、Spark アプリケーション内に存在する個々の読み取り/eval-print ループ (REPL) コア内の複数の項目の独立した実行をサポートできます。 これらの REPL コアは、項目ごとに分離を提供し、同じセッションを共有する他のノートブックから同じ名前の変数によってローカル ノートブック変数が上書きされないようにします。
セッションが既に実行されているため、複数のノートブック間でセッションを再利用する際に、ユーザーにすぐに実行エクスペリエンスが提供されます。
Note
コンカレンシー モードが高いカスタム プールの場合、ユーザーは標準の Spark セッションに比べて 36 倍速いセッション開始エクスペリエンスを実現します。
重要
セッション共有条件は次のとおりです:
- セッションは、単一のユーザー境界内に存在する必要があります。
- セッションには、同じ既定のレイクハウス構成が必要です。
- セッションには、同じ Spark コンピューティング プロパティが必要です。
Spark セッションの初期化の一環として、REPL コアが作成されます。 新しい項目が同じセッションの共有を開始するたびに、Executor は、Spark アプリケーション内のこれらの REPL コアで実行されているこれらのノートブックに FAIR ベースの方法で割り当てられ、不足シナリオを防ぎます。
関連するコンテンツ
- ノートブックで高コンカレンシー モードの使用を開始するには、「Fabric Notebookの高コンカレンシー モードを構成する」を参照してください。