サーバーレス コンピューティングのリリース ノート
この記事では、Notebooks とワークフローのサーバーレス コンピューティングで現在使用できる機能と動作について説明します。
サーバーレス コンピューティングの詳細については、「サーバーレス コンピューティングに接続する」を参照してください。
Databricks は、サーバーレス コンピューティングの更新プログラムを定期的にリリースし、サーバーレス コンピューティング ランタイムを自動的にアップグレードして、プラットフォームの機能強化とアップグレードをサポートします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。
近日公開される動作の変更
このセクションでは、次のサーバーレス コンピューティング バージョンで行われる動作の変更について説明します。 変更が運用環境にプッシュされると、リリース ノートに追加されます。
リリース ノート
このセクションには、サーバーレス コンピューティングのリリース ノートが含まれています。 リリース ノートは、年および週ごとに整理されます。 サーバーレス コンピューティングは、常に、ここに記載されている最新リリースバージョンを使用して実行されます。
サーバーレス コンピューティング バージョン 2024.15
2024 年 4 月 15 日
サーバーレス コンピューティング バージョン 2024.15 が運用環境にリリースされました。 これは、おおまかに Databricks Runtime 14.3 に対応する初期のサーバーレス コンピューティング バージョンであり、一部の非サーバーレス機能とレガシ機能のサポートを削除するいくつかの変更が加えられています。
このバージョンには、次の更新プログラムが含まれています。
- サポートされている Spark 構成パラメーター
- API および SQL コマンドのキャッシュはサポートされていません
- グローバル一時ビューはサポートされていません
- CREATE FUNCTION (外部) はサポートされていません
- Hive SerDe テーブルはサポートされていません
- Hive 変数はサポートされていません
- input_file 関数は非推奨です
- 動作の変更
サポートされている Spark 構成パラメーター
サーバーレス コンピューティングでの Spark の構成を自動化するため、Databricks ではほとんどの Spark 構成の手動設定のサポートが削除されました。 手動で設定できるのは、次の Spark 構成パラメーターのみです。
spark.sql.legacy.timeParserPolicy(既定値はEXCEPTIONです)spark.sql.session.timeZone(既定値はEtc/UTCです)spark.sql.shuffle.partitions(既定値はautoです)spark.sql.ansi.enabled(既定値はtrueです)
この一覧にない Spark 構成を設定した場合、サーバーレス コンピューティングでのジョブの実行は失敗します。
API および SQL コマンドのキャッシュはサポートされていません
DataFrame API と SQL キャッシュ API の使用はサポートされていません。 これらの API または SQL コマンドのいずれかを使用すると、例外が発生します。
サポートされていない API:
- df.cache(), df.persist()
- df.unpersist()
- spark.catalog.cacheTable()
- spark.catalog.uncacheTable()
- spark.catalog.clearCache()
サポートされていない SQL コマンド:
グローバル一時ビューはサポートされていません
グローバル一時ビューの作成はサポートされていません。 次のいずれかのコマンドを使用すると、例外が発生します。
代わりに、Databricks では、セッション一時ビューを使用するか、セッション間のデータの受け渡しが必要なテーブルを作成することをお勧めします。
CREATE FUNCTION (外部) はサポートされていません
CREATE FUNCTION (外部) コマンドはサポートされていません。 このコマンドを使うと、例外が発生します。
代わりに、Databricks では、CREATE FUNCTION (SQL および Python) を使用して UDF を作成することをお勧めします。
Hive SerDe テーブルはサポートされていません
Hive SerDe テーブルはサポートされていません。 さらに、Hive SerDe テーブルにデータを読み込む、対応する LOAD DATA コマンドはサポートされていません。 このコマンドを使用すると、例外が発生します。
データ ソースのサポートは、AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、ORC、TEXT、XML に限定されます。
Hive 変数はサポートされていません
Hive 変数 (たとえば、${env:var}、${configName}、${system:var}、spark.sql.variable)、または ${var} 構文を使用した config 変数の参照はサポートされていません。 Hive 変数を使用すると、例外が発生します。
代わりに、DECLARE VARIABLE、SET VARIABLE、SQL セッション変数の参照とパラメーター マーカー ('?' または ':var') を使用して、セッション状態を宣言、変更、参照します。 IDENTIFIER 句を使用して、多くの場合、オブジェクト名をパラメーター化することもできます。
input_file 関数は非推奨です
input_file_name()、input_file_block_length()、input_file_block_start() の各関数は非推奨となりました。 これらの関数の使用はお勧めできません。
代わりに、ファイル メタデータ列を使用してファイル メタデータ情報を取得します。
動作の変更
サーバーレス コンピューティング バージョン 2024.15 には、次の動作の変更が含まれています。
- unhex(hexStr) バグ修正:
unhex(hexStr)関数を使用すると、hexStr は常に左からバイト全体に埋め込まれます。 以前は、unhex 関数は最初の半バイトを無視しました。 たとえば、unhex('ABC')は、現在はx'0ABC'をx'BC'の代わりに生成します。 - 自動生成された列の別名の安定性の向上: 式の結果がユーザー指定の列別名なしで参照されると、この自動生成された別名が安定するようになりました。 新しいアルゴリズムでは、具体化されたビューなどの機能で使用されていた、以前に自動生成された名前が変更される可能性があります。
CHAR型フィールドを含むテーブル スキャンへの埋め込みの常時実行: Delta テーブル、特定の JDBC テーブル、外部データ ソースは、非埋め込み形式で CHAR データを格納します。 読み取り時に、Databricks は正しいセマンティクスを確保するために、スペースを使用して宣言された長さまでにデータを埋め込むようになりました。- BIGINT/DECIMAL から TIMESTAMP へのキャストで、オーバーフローした値の例外がスローされる: Databricks では、値を Unix エポックからの秒数として扱うことで、BIGINT と DECIMAL から TIMESTAMP へのキャストが可能になります。 以前は、Databricks はオーバーフローした値を返していましたが、オーバーフローの場合は例外をスローするようになりました。
try_castは、例外の代わりに NULL を返すために使用します。 - PySpark UDF の実行が、シングル ユーザー コンピューティングでの UDF 実行の正確な動作に合わせて改善: 次の変更が行われました。
- 文字列戻り値の型を持つ UDF は、文字列以外の値を文字列に暗黙的には変換しなくなりました。 以前は、戻り値の型
strが指定された UDF では、戻り値の実際のデータ型に関係なく、str(..)ラッパーが結果に適用されました。 - 戻り値の型
timestampを持つ UDF は、タイムゾーン変換をタイムスタンプに暗黙的には適用しなくなりました。
- 文字列戻り値の型を持つ UDF は、文字列以外の値を文字列に暗黙的には変換しなくなりました。 以前は、戻り値の型
システム環境
サーバーレス コンピューティングには、次のシステム環境が含まれます。
- オペレーティング システム: Ubuntu 22.04.3 LTS
- Python: 3.10.12
- Delta Lake: 3.1.0
インストールされている Python ライブラリ
既定では、次の Python ライブラリがサーバーレス コンピューティングにインストールされます。 追加の依存関係は、{環境} サイド パネルを使用してインストールできます。 「ノートブックの依存関係をインストールする」を参照してください。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | attrs | 22.1.0 |
| backcall | 0.2.0 | beautifulsoup4 | 4.11.1 | black | 22.6.0 |
| bleach | 4.1.0 | blinker | 1.4 | boto3 | 1.24.28 |
| botocore | 1.27.96 | cachetools | 5.3.2 | certifi | 2022.12.7 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| クリックし | 8.0.4 | comm | 0.1.2 | contourpy | 1.0.5 |
| cryptography | 39.0.1 | cycler | 0.11.0 | Cython | 0.29.32 |
| databricks-connect | 14.3.1 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.8 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | google-auth | 2.28.1 |
| googleapis-common-protos | 1.62.0 | grpcio | 1.62.0 | grpcio-status | 1.62.0 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipyflow-core | 0.0.198 | ipykernel | 6.25.0 | ipython | 8.14.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | jsonschema | 4.17.3 | jupyter-client | 7.3.4 |
| jupyter-server | 1.23.4 | jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| lxml | 4.9.1 | MarkupSafe | 2.1.1 | matplotlib | 3.7.0 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclassic | 0.5.2 |
| nbclient | 0.5.13 | nbconvert | 6.5.4 | nbformat | 5.7.0 |
| nest-asyncio | 1.5.6 | nodeenv | 1.8.0 | ノートブック | 6.5.2 |
| notebook_shim | 0.2.2 | numpy | 1.23.5 | oauthlib | 3.2.0 |
| パッケージング | 23.2 | pandas | 1.5.3 | pandocfilters | 1.5.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.3 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 9.4.0 |
| pip | 22.3.1 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 4.25.3 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py4j | 0.10.9.7 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pyasn1 | 0.5.1 |
| pyasn1-modules | 0.3.0 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | rsa | 4.9 |
| s3transfer | 0.6.2 | scikit-learn | 1.1.1 | scipy | 1.10.0 |
| seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| setuptools | 65.6.3 | 6 | 1.16.0 | sniffio | 1.2.0 |
| soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| statsmodels | 0.13.5 | tenacity | 8.1.0 | terminado | 0.17.1 |
| threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.7.1 |
| typing_extensions | 4.4.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.14 | virtualenv | 20.16.7 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.58.0 |
| whatthepatch | 1.0.2 | wheel | 0.38.4 | widgetsnbextension | 3.6.1 |
| yapf | 0.33.0 | Zipp | 1.0.0 |
サーバーレス コンピューティングの制限事項
サーバーレス コンピューティングの制限事項の一覧については、「サーバーレス コンピューティングの制限事項」を参照してください。
フィードバック
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「https://aka.ms/ContentUserFeedback」を参照してください。
フィードバックの送信と表示