Databricks Runtime 5.4 with Conda (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks Runtime 5.4 with Conda が導入されます。これにより、Conda を利用して Python ライブラリおよび環境を管理できます。 このランタイムでは、クラスター作成時に次の 2 つのルート Conda 環境オプションを提供します。

  • Databricks Standard 環境には、多くの一般的な Python パッケージの更新されたバージョンが含まれています。 この環境は、Databricks Runtime で実行される既存のノートブックの一時的な置き換えを目的としています。 これは、既定の Databricks Conda ベースのランタイム環境です。
  • Databricks Minimal 環境には、PySpark と Databricks Python ノートブックの機能に必要な最小数のパッケージが含まれています。 この環境は、さまざまな Python パッケージを使用してランタイムをカスタマイズする場合に最適です。

どちらにも Databricks ライブラリ ユーティリティ (dbutils.library) (レガシ) のサポートが含まれています。

Note

Databricks Runtime 5.4 with Conda 内の Scala、Java、R の各ライブラリは、Databricks Runtime 5.4 にあるものと同じです。 詳細については、Databricks Runtime 5.4 (サポート期間終了) のリリース ノートを参照してください。 Databricks Runtime with Conda の使用方法については、Conda のページをご覧ください。

システム環境

Databricks Runtime 5.4 with Conda のシステム環境は、次のとおり Databricks Runtime 5.4 と異なります。

  • Python: 3.7.x。 現在、Python 3 のみがサポートされています。

ライブラリ

以下は、Databricks Runtime 5.4 with Conda における既定のルート環境に対してエクスポートされる environment.yml ファイルです。

Databricks Standard

name: databricks-standard
channels:
  - defaults
dependencies:
  - asn1crypto=0.24.0=py37_0
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - boto=2.49.0=py37_0
  - boto3=1.9.111=py_0
  - botocore=1.12.112=py_0
  - ca-certificates=2018.03.07=0
  - certifi=2018.8.24=py37_1
  - cffi=1.11.5=py37he75722e_1
  - chardet=3.0.4=py37_1
  - cryptography=2.3.1=py37hc365091_0
  - cython=0.28.5=py37hf484d3e_0
  - decorator=4.3.0=py37_0
  - docutils=0.14=py37_0
  - idna=2.7=py37_0
  - ipython=6.5.0=py37_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.12.1=py37_0
  - jmespath=0.9.4=py_0
  - krb5=1.16.1=hc83ff2d_6
  - libedit=3.1.20170329=h6b74fdf_2
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.3=h5a2b251_3
  - libpq=10.5=h1ad7b7a_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.15.1=py37h99e49ec_0
  - numpy-base=1.15.1=py37h2f8d375_0
  - openssl=1.0.2p=h14c3975_0
  - pandas=0.23.4=py37h04863e7_0
  - parso=0.3.1=py37_0
  - patsy=0.5.0=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.4=py37_0
  - pip=10.0.1=py37_0
  - prompt_toolkit=1.0.15=py37_0
  - psycopg2=2.7.5=py37hb7f436b_0
  - ptyprocess=0.6.0=py37_0
  - pycparser=2.18=py37_1
  - pygments=2.2.0=py37_0
  - pyopenssl=18.0.0=py37_0
  - pysocks=1.6.8=py37_0
  - python=3.7.0=hc3d631a_0
  - python-dateutil=2.7.3=py37_0
  - pytz=2018.5=py37_0
  - readline=7.0=h7b6447c_5
  - requests=2.19.1=py37_0
  - s3transfer=0.2.0=py37_0
  - scikit-learn=0.19.2=py37h22eb022_0
  - scipy=1.1.0=py37he2b7bc3_2
  - setuptools=40.2.0=py37_0
  - simplegeneric=0.8.1=py37_2
  - six=1.11.0=py37_1
  - sqlite=3.24.0=h84994c4_0
  - statsmodels=0.9.0=py37h035aef0_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - urllib3=1.23=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.31.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - cycler==0.10.0
    - kiwisolver==1.1.0
    - matplotlib==2.2.3
    - pyarrow==0.12.0
    - pyparsing==2.4.0
    - seaborn==0.9.0
prefix: /databricks/conda/envs/databricks-standard

Databricks Minimal

name: databricks-minimal
channels:
  - defaults
dependencies:
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - ca-certificates=2018.03.07=0
  - certifi=2018.8.24=py37_1
  - decorator=4.3.0=py37_0
  - ipython=6.5.0=py37_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.12.1=py37_0
  - libedit=3.1.20170329=h6b74fdf_2
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.3=h5a2b251_3
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.15.1=py37h99e49ec_0
  - numpy-base=1.15.1=py37h2f8d375_0
  - openssl=1.0.2p=h14c3975_0
  - pandas=0.23.4=py37h04863e7_0
  - parso=0.3.1=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.4=py37_0
  - pip=10.0.1=py37_0
  - prompt_toolkit=1.0.15=py37_0
  - ptyprocess=0.6.0=py37_0
  - pygments=2.2.0=py37_0
  - python=3.7.0=hc3d631a_0
  - python-dateutil=2.7.3=py37_0
  - pytz=2018.5=py37_0
  - readline=7.0=h7b6447c_5
  - setuptools=40.2.0=py37_0
  - simplegeneric=0.8.1=py37_2
  - six=1.11.0=py37_1
  - sqlite=3.24.0=h84994c4_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.31.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - pyarrow==0.12.0
prefix: /databricks/conda/envs/databricks-minimal