Databricks Runtime 4.1 ML (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks Runtime 4.1 ML は、機械学習とデータ サイエンスにすぐに利用できる環境を提供します。 TensorFlow、Keras、XGBoost など、複数の一般的なライブラリが含まれています。 Horovod を使用した TensorFlow 分散トレーニングもサポートします。

注意

このリリースは、2019 年 1 月 17 日に非推奨となりました。 使用するライブラリのバージョンに応じて、新しいバージョンの Databricks Runtime ML を使用することをお勧めします。

Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks Machine Learning の概要」を参照してください。

Note

Databricks Runtime ML リリースでは、Databricks Runtime の基本リリースのすべてのメンテナンス更新プログラムが取得されます。 すべてのメンテナンス更新プログラムのリストについては、Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み) に関する記事を参照してください。

ライブラリ

Databricks Runtime 4.1 ML は Databricks Runtime 4.1 の上に構築されています。 Databricks Runtime 4.1 の新機能については、「Databricks Runtime 4.1 (サポート期間終了)」のリリース ノートをご覧ください。 Databricks Runtime 4.1 の新機能に加えて、Databricks Runtime 4.1 ML には、機械学習をサポートする次のライブラリが含まれています。 これらの一部はベース Databricks Runtime 4.1 にも含まれており、そのように記載されています。

Category ライブラリ
分散型ディープ ラーニング Horovod と Spark を使用した分散型トレーニング:

* HorovodEstimator
* horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

分散型 TensorFlow と Keras 予測:

* spark-deep-learning 1.0 pre-release
* tensorframes 0.3.0
ディープ ラーニング [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow:

* (CPU クラスター) tensorflow 1.7.1
* (GPU クラスター) tensorflow-gpu 1.7.1

GPU ライブラリ:

* CUDA 9.0 (ベース Databricks Runtime にもインストールされています)
* cuDNN 7.0 (ベース Databricks Runtime にもインストールされています)
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-spark2.3-s_2.11
その他の機械学習ライブラリ * numpy 1.14.2 (ベース Databricks Runtime にもインストールされます。バージョンは異なる場合があります)
* scikit-learn 0.18.1 (ベース Databricks Runtime にもインストールされます)
* scipy (ベース Databricks Runtime にもインストールされます)