Spark でのライブラリ管理
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加使用条件」に記載されています。 この特定のプレビューの詳細については、「Azure HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新については、Azure HDInsight コミュニティのフォローをお願いいたします。
ライブラリ管理の目的は、お使いのクラスターで実行されているノートブックやジョブでオープンソースまたはカスタムのコードを使用できるようにすることです。 Python ライブラリは PyPI リポジトリからアップロードできます。 この記事では、クラスター UI でのライブラリの管理に重点を置いています。 Azure HDInsight on AKS では、クラスターに多くの一般的なライブラリが既に含まれています。 HDI on AKS クラスターに含まれているライブラリを確認するには、ライブラリ管理ページを確認してください。
ライブラリのインストール
ライブラリは次の 2 つのモードでインストールできます。
- クラスター インストール
- ノートブック スコープ
クラスター インストール
クラスターで実行されているすべてのノートブックがクラスター ライブラリを使用できます。 クラスター ライブラリは、PyPi などのパブリック リポジトリから直接インストールできます。 Maven リポジトリからのアップロード、クラウド ストレージからのカスタム ライブラリのアップロードがロードマップに含まれています。
ノートブック スコープ
Python と Scala で使用できるノートブック スコープのライブラリを使用すると、ライブラリをインストールし、ノートブック セッションにスコープを設定した環境を作成できます。 これらのライブラリは、同じクラスターで実行されている他のノートブックには影響しません。 ノートブック スコープのライブラリは保持されず、セッションごとに再インストールする必要があります。
Note
特定のノートブック用のカスタム環境が必要な場合に、ノートブック スコープのライブラリを使用してください。
ライブラリのインストールのモード
PyPI: インストール UI でライブラリ名とバージョンを指定して、オープンソースの PyPI リポジトリからライブラリをフェッチします。
インストールされているライブラリを表示する
概要ページで、[ライブラリ マネージャー] に移動します。
Spark クラスター マネージャーで、[ライブラリ マネージャー] をクリックします。
インストールされているライブラリの一覧は、ここから確認できます。
ライブラリ ウィジェットを追加する
PyPI
[PyPI] タブで、[パッケージ名] と [パッケージ バージョン] に入力します。
[インストール] をクリックします。
ライブラリのアンインストール
ライブラリを今後使用しない場合は、ライブラリ管理ページの [アンインストール] ボタンを使用してライブラリ パッケージを簡単に削除できます。
ライブラリ名を選択してクリックします
ウィジェットで [アンインストール] をクリックします
Note
- Jupyter Notebook からインストールされたパッケージは、Jupyter Notebook からのみ削除できます。
- ライブラリ マネージャーからインストールされたパッケージは、ライブラリ マネージャーからのみアンインストールできます。
- ライブラリまたはパッケージをアップグレードするには、ライブラリの現在のバージョンをアンインストールし、必要なバージョンのライブラリを再インストールしてください。
- Jupyter Notebook からのライブラリのインストールは、セッション固有のものです。 永続的ではありません。
- 重いパッケージは、そのサイズと複雑さによって、インストールに時間がかかる場合があります。