Databricks Runtime 10.1 for ML (サポート期間終了)

Databricks Runtime 10.1 for Machine Learning では、Databricks Runtime 10.1 (サポート期間終了) に基づく機械学習とデータ サイエンス向けのすぐに使用できる環境が提供されます。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 また、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされています。

Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と Machine Learning」を参照してください。

新機能と機能強化

Databricks Runtime 10.1 ML は Databricks Runtime 10.1 上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 10.1 の新機能については、Databricks Runtime 10.1 (サポート期間終了) リリース ノートを参照してください。

Databricks AutoML の機能強化

Databricks Runtime 10.1 では、Databricks AutoML に、セマンティック型検出の改善、トレーニング中の潜在的なデータの問題に関する新しいアラート、モデルのオーバーフィットを防ぐための新機能、および入力データセットをトレーニング、検証、およびテスト セットに時系列で分割する機能が含まれています。

追加のセマンティック型検出

AutoML では、追加のセマンティック型検出がサポートされるようになりました。

• カテゴリ ラベルを含む数値列は、カテゴリ型として扱われます。
• 英語のテキストを含む文字列列は、テキスト機能として扱われます。

また、注釈を追加して、列のデータ型を指定できるようになりました。 詳細については、「セマンティック型の検出」を参照してください。

データの潜在的な問題に関するトレーニング中のアラート

AutoML では、データセットに関する潜在的な問題のアラートを検出して生成するようになりました。 アラートの例として、サポートされていない列の型や高いカーディナリティ列などがあります。 これらのアラートは、新しい [アラート] タブの実験ページに表示されます。アラートに関する追加情報は、データ探索ノートブックに含まれています。 詳細については、「実験を実行して結果を確認する」を参照してください。

モデルのオーバーフィットの減少

次の 2 つの新機能により、AutoML の使用時でのモデルのオーバーフィットの可能性が少なくなります。

• AutoML では、検証とトレーニング メトリックに加え、テスト メトリックがレポートされるようになりました。
• AutoML では早期停止が使用されるようになりました。 検証メトリックが改善されなくなった場合、モデルのトレーニングとチューニングが停止されます。

データセットをトレーニング、検証、テスト セットに時系列で分割する

分類と回帰の問題については、データセットをトレーニング、検証、およびテスト セットに時系列で分割することができます。 詳細については、「データをトレーニング、検証およびテスト セットに分割する」を参照してください。

Databricks Feature Store の機能強化

Databricks Feature Store では、機能テーブルの追加のデータ型 (BinaryType、DecimalType、および MapType) がサポートされるようになりました。

Mlflow

次の機能強化は、Databricks Runtime 10.1 ML に含まれている Mlflow バージョン 1.21.0 以降で利用できます。

• [モデル] fastai v2 (2.4.1 以降) をサポートするように fastai モデル フレーバーをアップデートします。
• [モデル] Prophet 時系列モデルの mlflow.prophet モデル フレーバーを導入します。
• [スコアリング] date のような文字列を datetime オブジェクトに誤ってキャストするスキーマ適用エラーを修正します。

Hyperopt

SparkTrials では、fmin の early_stopping_fn パラメーターがサポートされるようになりました。 初期停止関数を使用して、評価の最大数に達する前に、Hyperopt でハイパーパラメーターのチューニングを停止する必要がある場合の条件を指定することができます。 たとえば、このパラメーターを使用して、目標関数が減少しなくなった場合にチューニングを終了できます。 詳細については、「fmin()」を参照してください。

Databricks Runtime ML Python 環境の大きな変更点

アップグレードされた Python パッケージ

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• holidays 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

追加された Python パッケージ

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

非推奨

Mllib 自動 MLflow 追跡は、Databricks Runtime 10.1 ML 以降を実行するクラスターでは非推奨となります。 代わりに、mlflow.pyspark.ml.autolog() を呼び出して、MLflow PySpark ML 自動ログ記録を使用してください。 自動ログ記録は、Databricks Autologging では既定で有効になっています。

システム環境

Databricks Runtime 10.1 ML のシステム環境は、Databricks Runtime 10.1 とは次のように異なります。

• DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) が含まれていません。 代わりに %pip コマンドを使用してください。 「ノートブック スコープの Python ライブラリ」を参照してください。
• GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

ライブラリ

以下のセクションでは、Databricks Runtime 10.1 に含まれているものとは異なる、Databricks Runtime 10.1 ML に含まれるライブラリ一覧を示します。

このセクションの内容は次のとおりです。

• 最上位層ライブラリ
• Python ライブラリ
• R ライブラリ
• Java および Scala ライブラリ (Scala 2.12 クラスター)

最上位層ライブラリ

Databricks Runtime 10.1 ML には、次の最上位層ライブラリが含まれています。

• GraphFrames
• Horovod と HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python ライブラリ

Databricks Runtime 10.1 ML では、Python パッケージ管理に Virtualenv が使用されており、多くの一般的な ML パッケージが含まれています。

以下のセクションで指定されているパッケージに加えて、Databricks Runtime 10.1 ML には次のパッケージも含まれています。

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

CPU クラスター上の Python ライブラリ

GPU クラスター上の Python ライブラリ

Python モジュールを含む Spark パッケージ

R ライブラリ

R ライブラリは、Databricks Runtime 10.1 の R ライブラリと同じです。

Java と Scala のライブラリ (Scala 2.12 クラスター)

Databricks Runtime 10.1 ML には、Databricks Runtime 10.1 の Java および Scala ライブラリに加え、次の JAR が含まれています。

CPU クラスター

GPU クラスター