Spark 構成を Azure Synapse から Fabric に移行する
Apache Spark には、さまざまなシナリオでエクスペリエンスを強化するためにカスタマイズできる多数の構成が用意されています。 Azure Synapse Spark と Fabric Data Engineering では、これらの構成またはプロパティを柔軟に組み込んでエクスペリエンスを調整できます。 Fabric では、Spark 構成を環境に追加し、Spark ジョブ内で直接インライン Spark プロパティを使用できます。 Azure Synapse Spark プール構成を Fabric に移動するには、環境を使用します。
Spark の構成に関する考慮事項については、「Azure Synapse Spark と Fabricの違い」を参照してください。
前提条件
- まだ持っていない場合は、テナントに Fabric ワークスペースを作成します。
- まだ持っていない場合は、ワークスペースに環境 を作成します。
オプション 1: カスタム環境への Spark 構成の追加
環境内では、Spark プロパティを設定でき、それらの構成は選択した環境プールに適用されます。
- Synapse Studio を開く: Azure にサインインします。 Azure Synapse ワークスペースに移動し、Synapse Studio を開きます。
- Apache Spark 構成を見つける:
- [管理] 領域に移動し、[Apache Spark プール]を選択します。
- Apache Spark プールを見つけ、[Apache Spark 構成]を選択し、そのプールの Spark 構成名を見つけます。
- Spark 構成を取得する: これらのプロパティを取得するには、[構成の 表示] を選択するか、[構成 + ライブラリ]>[Apache Spark 構成] から構成 (.txt/.conf/.json 形式) をエクスポートします。
- Spark 構成を取得したら、Fabric の環境にカスタム Spark プロパティを追加します。
- 環境内で、[Spark コンピューティング]>[Spark のプロパティ] に移動します。
- Spark の構成を追加します。 それぞれを手動で追加することも、.yml からインポートすることもできます。
- [保存] をクリックして変更を [発行] します。
Spark 構成を環境に追加する方法の詳細について説明します。