Databricks Runtime 5.2 ML

Databricks は、2019 年 1 月にこのバージョンをリリースしました。

Databricks Runtime 5.2 ML では、Databricks Runtime 5.2 (サポート期間終了) に基づいて、機械学習とデータ サイエンス用にすぐに利用できる環境が用意されています。 Databricks Runtime for ML には、TensorFlow、PyTorch、Keras、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Horovod を使用した TensorFlow 分散トレーニングもサポートします。

Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と Machine Learning」を参照してください。

新機能

Databricks Runtime 5.2 ML は Databricks Runtime 5.2 上に構築されています。 Databricks Runtime 5.2 の新機能については、「Databricks Runtime 5.2 (サポート期間終了)」のリリース ノートをご覧ください。 Databricks Runtime 5.2 ML では、ライブラリの更新プログラムに加えて、次の新機能が導入されています。

• GraphFrames では、Databricks のパフォーマンス最適化を使用した Pregel API (Python) がサポートされるようになりました。
• HorovodRunner によって以下の機能が追加されます。
  • GPU クラスターでは、トレーニング プロセスがワーカー ノードではなく GPU にマップされ、マルチ GPU インスタンスの種類のサポートが簡略化されます。 この組み込みサポートを使用すると、カスタム コードを使用せずにマルチ GPU マシン上のすべての GPU に配布できます。
  • HorovodRunner.run() では、最初のトレーニング プロセスから戻り値が返されます。

システム環境

Databricks Runtime 5.2 ML のシステム環境は、Databricks Runtime 5.2 とは次のように異なります。

• Python: Python 2 クラスターの場合は 2.7.15、Python 3 クラスターの場合は 3.6.5。
• DBUtils: Databricks Runtime 5.2 ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) が含まれていません。
• GPU クラスターの場合、NVIDIA GPU ライブラリは次のとおりです。
  • Tesla ドライバー 396.44
  • CUDA 9.2
  • CUDNN 7.2.1

ライブラリ

以下のセクションでは、Databricks Runtime 5.2 に含まれているものとは異なる、Databricks Runtime 5.2 ML に含まれるライブラリ一覧を示します。

Python ライブラリ

Databricks Runtime 5.2 ML では Python パッケージ管理に Conda を使用します。 そのため、プリインストールされている Python ライブラリには Databricks Runtime と大きな違いがあります。 Conda パッケージ マネージャーを使用してインストールされる、用意された Python パッケージとバージョンの全一覧を次に示します。

さらに、次の Spark パッケージには Python モジュールが含まれています。

R ライブラリ

R ライブラリは、Databricks Runtime 5.2 の R ライブラリと同じです。

Java と Scala のライブラリ (Scala 2.11 クラスター)

Databricks Runtime 5.2 ML には、Databricks Runtime 5.2 の Java および Scala ライブラリに加え、次の JAR が含まれています。