Spark ライブラリを Azure Synapse から Fabric に移行する
Azure Synapse Spark プールには、さまざまなフィードとカスタム ライブラリのオプションが用意されています。 Fabric では、各ランタイムに、事前にインストールされている一連のライブラリ (組み込みライブラリ) が付属しています。 ただし、シナリオと特定のニーズに基づいて、環境ライブラリとインライン ライブラリを使用して他のライブラリを含めることもできます。 Azure Synapse Spark プール ライブラリを Fabric に移動するには、環境ライブラリを使用します。
Spark ライブラリの考慮事項については、Azure Synapse Spark と Fabric の違いに関するページを参照してください。
前提条件
- まだ持っていない場合は、テナントに Fabric ワークスペースを作成します。
- まだ持っていない場合は、ワークスペースに環境を作成します。
オプション 1: カスタム環境への Spark ライブラリの追加
Spark プール ライブラリは、次のように環境に移動できます。
- Synapse Studio を開く: Azure にサインインします。 Azure Synapse ワークスペースに移動し、Synapse Studio を開きます。
- Spark ライブラリを見つける:
- [管理] 領域に移動し、[Apache Spark プール]を選択します。
- Apache Spark プールを見つけ、[パッケージ] を選択し、プールの Spark ライブラリを見つけます。
- Spark ライブラリを取得する: プールにインストールされている requirements.txt、environment.yml、またはワークスペース パッケージを見つけます。 プールにインストールされているライブラリの一覧を取得します。
- Spark ライブラリを作成したら、Fabric の環境にカスタム Spark ライブラリを追加します。 ご使用の環境内で、[ライブラリ] に移動し、ライブラリを追加します。
- [パブリック ライブラリ] で、.yml ファイルをアップロードできます。 PyPI と Conda を使用してライブラリをインストールすることもできます。
- [カスタム ライブラリ] で、.jar/.whl/.tar.gz ファイルを使用してライブラリをインストールできます。
- [保存] をクリックして変更を [発行] します。
Spark ライブラリを環境に追加する方法の詳細について説明します。
Note
ライブラリのインストールには時間がかかる場合があります。