Databricks Runtime 12.0 for Machine Learning (サポート期間終了)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks Runtime 12.0 for Machine Learning では、Databricks Runtime 12.0 (サポート期間終了) に基づく機械学習とデータ サイエンス向けのすぐに使用できる環境が提供されます。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。

Databricks Runtime ML クラスターの作成手順を含む詳細については、「Databricks 上の AI と Machine Learning」を参照してください。

新機能と機能強化

Databricks Runtime 12.0 ML は Databricks Runtime 12.0 上に構築されています。 Apache Spark MLlib や SparkR などの、Databricks Runtime 12.0 の新機能については、Databricks Runtime 12.0 (サポート期間終了) リリース ノートを参照してください。

Databricks AutoML の機能強化

  • 予測モデルで必要に応じて、国の休日を含めることができるようになりました。
  • 予測では、月次、四半期、年単位の頻度がサポートされるようになりました。
  • AutoML では、トレーニングに大規模なデータセットを使用できるようになりました。 AutoML は、大規模なデータセットに対してより多くの CPU コアを自動的に割り当てます。

Databricks AutoML の詳細については、AutoML とはを参照してください。

MLflow 2.0

Databricks Runtime 12.0 ML には、MLflow 2.0 が含まれています。 MLflow 2.0 は、MLflow の強力なプラットフォーム基盤に基づいており、広範なユーザー フィードバックを組み込んでデータ サイエンス ワークフローを簡素化し、MLOps 用の革新的なファースト クラスのツールを提供します。 機能と機能強化には、AutoML、ハイパーパラメーターチューニング、分類サポートなどの MLflow レシピ (旧称 MLflow Pipelines) に対する拡張機能、ML エコシステムとの最新化された統合、合理化された MLflow 追跡 UI、MLflow のプラットフォーム コンポーネント全体のコア API の更新などがあります。 詳細については、 MLflow 2.0 のドキュメントを参照するか、 ブログ記事をチェックアウトしてください。

scikit-learn 1.0

Databricks Runtime ML 12.0 には、scikit-learn バージョン 1.0 が含まれています。 この scikit-learn リリースでの変更については、scikit-learnドキュメントを参照してください。

システム環境

Databricks Runtime 12.0 ML のシステム環境は、Databricks Runtime 12.0 とは次のように異なります:

Databricks Runtime 12.0 ML には XGBoost 1.6.2 が含まれています。これは、コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。

ライブラリ

以降のセクションでは、Databricks Runtime 12.0 ML に含まれていて、Databricks Runtime 12.0 に含まれているものとは異なるライブラリリストを示します。

このセクションの内容は次のとおりです。

最上位層ライブラリ

Databricks Runtime 12.0 ML には、次の最上位層ライブラリが含まれています:

Python ライブラリ

Databricks Runtime 12.0 ML では、Python パッケージ管理に Virtualenv が使用されていて、多くの一般的な ML パッケージが含まれています。

以下のセクションで指定されているパッケージに加えて、Databricks Runtime 12.0 ML には次のパッケージも含まれています:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • automl 1.14.1

ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、requirements-12.0.txt ファイルをダウンロードして pip install -r requirements-12.0.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープン ソース ライブラリをインストールしますが、databricks-automldatabricks-feature-storehyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールしません。

CPU クラスター上の Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 catalogue 2.0.8 category-encoders 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 confection 0.0.3 configparser 5.2.0
convertdate 2.4.0 cryptography 3.4.8 cycler 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 entrypoints 0.4 ephem 4.1.3
executing 0.8.3 facets-overview 1.0.0 fastjsonschema 2.16.2
fasttext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
future 0.18.2 gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-converter 2.2.4
holidays 0.16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
imbalanced-learn 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.10.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.2
korean-lunar-calendar 0.3.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
ノートブック 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 パッケージング 21.3
pandas 1.4.2 pandas-profiling 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 9.0.1 pip 21.2.4 platformdirs 2.5.4
plotly 5.6.0 pmdarima 2.0.1 preshed 3.0.8
prometheus-client 0.13.1 prompt-toolkit 3.0.20 prophet 1.1.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.1
pycparser 2.21 pydantic 1.9.2 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 python-editor 1.0.4
pytz 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 regex 2022.3.15 requests 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
setuptools-git 1.2 shap 0.41.0 simplejson 3.17.6
6 1.16.0 slicer 0.0.7 smart-open 5.1.0
smmap 5.0.0 soupsieve 2.3.1 spacy 3.4.1
spacy-legacy 3.0.10 spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.5 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tabulate 0.8.9
tangled-up-in-unicode 0.2.0 tenacity 8.0.1 TensorBoard 2.10.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.10.0 tensorflow-estimator 2.10.0 tensorflow-io-gcs-filesystem 0.28.0
termcolor 2.1.1 terminado 0.13.1 testpath 0.5.0
thinc 8.1.5 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizers 0.13.2 tomli 1.2.2 torch 1.12.1+cpu
torchvision 0.13.1+cpu tornado 6.1 tqdm 4.64.0
traitlets 5.1.1 transformers 4.23.1 typer 0.4.2
typing_extensions 4.1.1 unattended-upgrades 0.1 urllib3 1.26.9
virtualenv 20.8.0 visions 0.7.5 wasabi 0.10.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 wheel 0.37.1 widgetsnbextension 3.6.1
wrapt 1.12.1 zipp 3.7.0

GPU クラスター上の Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.1 azure-cosmos 4.2.0
backcall 0.2.0 backports.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
blis 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools 4.2.2 catalogue 2.0.8 category-encoders 2.5.1.post0
certifi 2021.10.8 cffi 1.15.0 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.0.8 confection 0.0.3 configparser 5.2.0
convertdate 2.4.0 cryptography 3.4.8 cycler 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.13
databricks-cli 0.17.3 databricks-feature-store 0.8.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 entrypoints 0.4 ephem 4.1.3
executing 0.8.3 facets-overview 1.0.0 fastjsonschema 2.16.2
fasttext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 22.10.26 fonttools 4.25.0 fsspec 2022.2.0
future 0.18.2 gast 0.4.0 gitdb 4.0.9
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 grpcio 1.42.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.6.0 hijri-converter 2.2.4
holidays 0.16 horovod 0.25.0 htmlmin 0.1.12
huggingface-hub 0.11.0 idna 3.3 ImageHash 4.3.1
imbalanced-learn 0.8.1 importlib-metadata 4.11.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
joblibspark 0.5.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.10.0 Keras-Preprocessing 1.1.2 kiwisolver 1.3.2
korean-lunar-calendar 0.3.1 langcodes 3.3.0 libclang 14.0.6
lightgbm 3.3.3 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.0.1
multimethod 1.8 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 nltk 3.7
ノートブック 6.4.8 numba 0.55.1 numpy 1.21.5
oauthlib 3.2.0 opt-einsum 3.3.0 パッケージング 21.3
pandas 1.4.2 pandas-profiling 3.3.0 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.9.0
pathy 0.6.1 patsy 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare 0.7.5
Pillow 9.0.1 pip 21.2.4 platformdirs 2.5.4
plotly 5.6.0 pmdarima 2.0.1 preshed 3.0.8
prompt-toolkit 3.0.20 prophet 1.1.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.1 pycparser 2.21
pydantic 1.9.2 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.4 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor 1.0.4 pytz 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
regex 2022.3.15 requests 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 rsa 4.7.2 s3transfer 0.5.0
scikit-learn 1.0.2 scipy 1.7.3 seaborn 0.11.2
Send2Trash 1.8.0 setuptools 61.2.0 setuptools-git 1.2
shap 0.41.0 simplejson 3.17.6 6 1.16.0
slicer 0.0.7 smart-open 5.1.0 smmap 5.0.0
soupsieve 2.3.1 spacy 3.4.1 spacy-legacy 3.0.10
spacy-loggers 1.0.3 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.5 ssh-import-id 5.10 stack-data 0.2.0
statsmodels 0.13.2 tabulate 0.8.9 tangled-up-in-unicode 0.2.0
tenacity 8.0.1 TensorBoard 2.10.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.8.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.10.0
tensorflow-estimator 2.10.0 tensorflow-io-gcs-filesystem 0.28.0 termcolor 2.1.1
terminado 0.13.1 testpath 0.5.0 thinc 8.1.5
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.13.2
tomli 1.2.2 torch 1.12.1+cu113 torchvision 0.13.1+cu113
tornado 6.1 tqdm 4.64.0 traitlets 5.1.1
transformers 4.23.1 typer 0.4.2 typing_extensions 4.1.1
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
visions 0.7.5 wasabi 0.10.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
wheel 0.37.1 widgetsnbextension 3.6.1 wrapt 1.12.1
zipp 3.7.0

R ライブラリ

R ライブラリは、Databricks Runtime 12.0 の R ライブラリと同じです。

Java および Scala ライブラリ (Scala 2.12 クラスター)

Databricks Runtime 12.0 の Java および Scala ライブラリに加えて、Databricks Runtime 12.0 ML には次の JAR が含まれています:

CPU クラスター

グループ ID 成果物 ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU クラスター

グループ ID 成果物 ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.0.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0