Databricks Runtime 11.0 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.0 に関する情報が記載されています。 Databricks は、2022 年 6 月にこのバージョンをリリースしました。

新機能と機能強化

• 新しいバージョンの Apache Spark
• Python ノートブックで IPython カーネルが使用されるようになりました
• ipywidgets のサポート
• Synapse コネクタでは非レガシ モードで Parquet データが書き込まれるようになりました
• ABFS クライアントで SAS トークンを使用するときに HTTPS スキームが適用されるようになりました
• SQL: DESC が DESCRIBE のエイリアスになりました
• SQL: 新しい current_version 関数によってバージョンの詳細が出力されます
• 不足している Delta テーブル制約を削除するとエラーが発生するようになりました
• SQL: SELECT ステートメント内の新しい EXCEPT 句によって選択から列が除外されます
• Delta テーブルでの列の削除に対するサポート (パブリック プレビュー)
• COPY INTO 機能強化
• CONVERT TO DELTA が Unity Catalog 対応環境でサポートされるようになりました (パブリック プレビュー)

新しいバージョンの Apache Spark

Databricks Runtime 11.0 と Databricks Runtime 11.0 Photon には、Apache Spark 3.3.0 が含まれています。 詳細については、「Apache Spark」を参照してください。

Python ノートブックで IPython カーネルが使用されるようになりました

Databricks Runtime 11.0 以上では、Python ノートブックは IPython カーネルを使用して Python コードを実行します。 「IPython カーネル」を参照してください。

ipywidgets のサポート

ipywidgets を使用して、Databricks Python ノートブックを対話形式にできるようになりました。 「ipywidgets」を参照してください。

Synapse コネクタでは非レガシ モードで Parquet データが書き込まれるようになりました

Azure Synapse コネクタでは非レガシ モードで Parquet データが書き込まれるようになりました。 バッチとストリーミング ワークロードの両方で PolyBase と COPY コマンドを使用しているときは、INT96 タイムスタンプ形式が保持されます。

ABFS クライアントで SAS トークンを使用するときに HTTPS スキームが適用されるようになりました

Azure Blob File System (ABFS) クライアントで Shared Access Signature (SAS) トークンを使用すると、HTTPS スキームが適用されるようになりました。

SQL: DESC が DESCRIBE のエイリアスになりました

外部の場所またはストレージ資格情報を記述するときに、DESCRIBE のエイリアスとして DESC を使用できるようになりました。 次に例を示します。

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: 新しい current_version 関数によってバージョンの詳細が出力されます

新しい current_version 関数は、Databricks Runtime の現在のバージョン (使用可能な場合)、Databricks SQL の現在のバージョン (使用可能な場合)、およびその他の関連するバージョンの詳細を出力します。 この新しい関数を使用して、バージョンに関連した情報を照会します。 「current_version 関数」を参照してください。

不足している Delta テーブル制約を削除するとエラーが発生するようになりました

名前で Delta テーブル制約を削除しようとしたが、その制約が存在しない場合、エラーが発生するようになりました。 以前の動作 (制約が存在しなくても、エラーがスローされない) を取得するには、IF EXISTS ステートメントを使用する必要があります。 「ALTER TABLE」を参照してください。

SQL: SELECT ステートメント内の新しい EXCEPT 句によって選択から列が除外されます

SELECT ステートメントで、選択から列を除外する EXCEPT 句がサポートされるようになりました。 たとえば、SELECT * EXCEPT (x) FROM table では、x を除くすべての table の列が返されます。 入れ子になった列も許可されます。 たとえば、SELECT * EXCEPT (x.a) FROM table では、すべての table の列が返されますが、構造体 x からフィールド a が除外されます。

Delta テーブルでの列の削除に対するサポート (パブリック プレビュー)

メタデータのみの操作として Delta テーブルから列または列一覧を削除するには、それぞれ ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> または ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) を使用できます。 列は、基になる Parquet ファイルには残っているが、Delta テーブルには表示されなくなったため、事実上 "論理的に削除" されています。

REORG TABLE <table-name> APPLY (PURGE) を使用すると、削除された列などの論理的に削除されたデータを含むファイルに対してファイルの再書き込みをトリガーできます。

削除された列が含まれており、REORG TABLE によって再書き込みされている古いファイルを含め、削除されたファイルを物理ストレージから削除するには VACUUM を使用できます。

COPY INTO の強化機能

後で COPY INTO コマンドの実行中にスキーマが推論されるように、空のプレースホルダー Delta テーブルを作成できるようになりました。

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

上記の SQL ステートメントはべき等であり、Delta テーブルに 1 回だけデータを取り込むための実行をスケジュールできます。

破損の問題が原因で、取り込んでいるデータを読み取ることができない場合は、FORMAT_OPTIONS の ignoreCorruptFiles を true に設定して、破損しているファイルをスキップできます。

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

COPY INTO コマンドは、num_skipped_corrupt_files 列の破損が原因でスキップされたファイルの数を返します。 このメトリックは、Delta テーブルで DESCRIBE HISTORY を実行した後に numSkippedCorruptFiles の operationMetrics 列にも表示されます。

破損したファイルは COPY INTO によって追跡されないため、破損が修正された場合は、後続の実行で再読み込みできます。 VALIDATE モードで COPY INTO を実行すると、破損しているファイルを確認できます。

CONVERT TO DELTAが Unity Catalog 対応環境でサポートされるようになりました (パブリック プレビュー)

Unity Catalog 対応環境で、CONVERT TO DELTA を使って以下のことができるようになりました。

• 外部の場所にある Parquet ファイルを Delta Lake に変換する。
• Parquet 外部テーブルを Delta テーブルに変換する。

動作の変更

• SQL: lpad と rpad 関数でバイト シーケンスがサポートされるようになりました
• format_string と printf の文字列形式で %0$ が許可されなくなりました
• CSV ファイル内の null 値は、既定で、引用符で囲まれない空の文字列として書き込まれるようになりました
• テーブル プロパティ external は予約済みになりました
• Log4j が Log4j 1 から Log4j 2 にアップグレードされます
• Maven からインストールされたライブラリが、既定ではコンピューティング プレーンで解決されるようになりました

SQL: lpad と rpad 関数でバイト シーケンスがサポートされるようになりました

lpad と rpad 関数が更新され、文字列に加えてバイト シーケンスのサポートが追加されました。

format_string と printf の文字列形式で %0$ が許可されなくなりました

format_string と printf 関数で形式 %0$ を指定すると、既定でエラーがスローされるようになりました。 この変更は、以前のバージョンの Databricks Runtime および一般的なサード パーティ製データベースで想定される動作を維持するためです。 引数リスト内の引数の位置を示すために引数インデックスを使用する場合、最初の引数では常に %1$ を参照する必要があります。

CSV ファイル内の null 値は、既定で、引用符で囲まれない空の文字列として書き込まれるようになりました

CSV ファイル内の null 値は、以前は引用符で囲まれた空の文字列として書き込まれました。 このリリースでは、CSV ファイル内の null 値は、既定で、引用符で囲まれない空の文字列として書き込まれるようになりました。 以前の動作に戻すには、書き込み操作の nullValue オプションを "" に設定します。

テーブル プロパティ external は予約済みになりました

このプロパティ external は、既定で予約テーブル プロパティになりました。 CREATE TABLE ... TBLPROPERTIES と ALTER TABLE ... SET TBLPROPERTIES 句で external プロパティを使用すると、例外がスローされるようになりました。

Log4j が Log4j 1 から Log4j 2 にアップグレードされます

Log4j 1 は Log4j 2 にアップグレードされます。 Log4j 1 のレガシ依存関係は削除されます。

以前に Databricks Runtime 内に含まれていた Log4j 1 クラスに依存している場合、それらのクラスはもう存在しません。 依存関係を Log4j 2 にアップグレードする必要があります。

Log4j 2 に依存するカスタム プラグインまたは構成ファイルがある場合、このリリースの Log4j 2 のバージョンでは動作しなくなる可能性があります。 サポートについては、Azure Databricks アカウント チームにお問い合わせください。

Maven からインストールされたライブラリが、既定ではコンピューティング プレーンで解決されるようになりました

クラスターにライブラリをインストールするとき、Maven ライブラリが既定ではコンピューティング プレーンで解決されるようになりました。 クラスターには Maven Central へのアクセス権が必要です。 Spark 構成プロパティを設定して、以前の動作に戻すこともできます。

spark.databricks.libraries.enableMavenResolution false

バグの修正

• Apache Spark と Databricks Runtime 間のLeafNode、UnaryNode、BinaryNode のバイナリ互換性が修正され、これらのクラスは Apache Spark 3.3.0 以降との互換性を持つようになりました。 Databricks Runtime でサードパーティ製パッケージを使用しているときに Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected のようなメッセージが表示される場合は、Apache Spark 3.3.0 以降を使用してパッケージをリビルドします。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • platformdirs (2.5.1 から 2.5.2 へ)
  • protobuf (3.20.0 から 3.20.1 へ)
• アップグレードされた R ライブラリ:
  • BLOB (1.2.2 から 1.2.3 へ)
  • broom (0.7.12 から 0.8.0 へ)
  • caret (6.0-91 から 6.0-92 へ)
  • cli (3.2.0 から 3.3.0 へ)
  • dplyr (1.0.8 から 1.0.9 へ)
  • future (1.24.0 から 1.25.0 へ)
  • future.apply (1.8.1 から 1.9.0 へ)
  • gert (1.5.0 から 1.6.0 へ)
  • ggplot2 (3.3.5 から 3.3.6)
  • glmnet (4.1-3 から 4.1-4 へ)
  • haven (2.4.3 から 2.5.0 へ)
  • httr (1.4.2 から 1.4.3 へ)
  • knitr (1.38 から 1.39 へ)
  • magrittr (2.0.2 から 2.0.3 へ)
  • parallelly (1.30.0 から 1.31.1 へ)
  • ps (1.6.0 から 1.7.0 へ)
  • RColorBrewer (1.1-2 から 1.1-3 へ)
  • RcppEigen (0.3.3.9.1 から 0.3.3.9.2 へ)
  • readxl (1.3.1 から 1.4.0 へ)
  • rmarkdown (2.13 から 2.14 へ)
  • rprojroot (2.0.2 から 2.0.3 へ)
  • RSQLite (2.2.11 から 2.2.13 へ)
  • scales (1.1.1 から 1.2.0 へ)
  • testthat (3.1.2 から 3.1.4 へ)
  • tibble (3.1.6 から 3.1.7 へ)
  • tinytex (0.37 から 0.38 へ)
  • tzdb (0.2.0 から 0.3.0 へ)
  • uuid (1.0-4 から 1.1-0 へ)
  • vctrs (0.3.8 から 0.4.1 へ)
• アップグレードされた Java ライブラリ:
  • com.fasterxml.jackson.core.jackson-annotations (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.core.jackson-core (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.core.jackson-databind (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.module.jackson-module-paranamer (2.13.0 から 2.13.3 へ)
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.13.0 から 2.13.3 へ)
  • com.google.crypto.tink.tink (1.6.0 から 1.6.1 へ)
  • com.ning.compress-lzf (1.0.3 から 1.1 へ)
  • dev.ludovic.netlib.arpack (2.2.0 から 2.2.1 へ)
  • dev.ludovic.netlib.blas (2.2.0 から 2.2.1 へ)
  • dev.ludovic.netlib.lapack (2.2.0 から 2.2.1 へ)
  • io.netty.netty-all (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-buffer (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-codec (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-common (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-handler (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-resolver (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-tcnative-classes (2.0.46.Final から 2.0.48.Final へ)
  • io.netty.netty-transport (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-classes-epoll (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-classes-kqueue (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-native-epoll-linux-aarch_64 (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-native-epoll-linux-x86_64 (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-native-kqueue-osx-x86_64 (4.1.73.Final から 4.1.74.Final へ)
  • io.netty.netty-transport-native-unix-common (4.1.73.Final から 4.1.74.Final へ)
  • joda-time.joda-time (2.10.12 から 2.10.13 へ)
  • org.apache.commons.commons-math3 (3.4.1 から 3.6.1 へ)
  • org.apache.httpcomponents.httpcore (4.4.12 から 4.4.14 へ)
  • org.apache.orc.orc-core (1.7.3 から 1.7.4 へ)
  • org.apache.orc.orc-mapreduce (1.7.3 から 1.7.4 へ)
  • org.apache.orc.orc-shims (1.7.3 から 1.7.4 へ)
  • org.eclipse.jetty.jetty-client (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-continuation (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-http (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-io (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-jndi (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-plus (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-proxy (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-security (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-server (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-servlet (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-servlets (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-util (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-util-ajax (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-webapp (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.jetty-xml (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.websocket.websocket-api (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.websocket.websocket-client (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.websocket.websocket-common (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.websocket.websocket-server (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.eclipse.jetty.websocket.websocket-servlet (9.4.43.v20210629 から 9.4.46.v20220331 へ)
  • org.mariadb.jdbc.mariadb-java-client (2.2.5 から 2.7.4 へ)
  • org.postgresql.postgresql (42.2.19 から 42.3.3 へ)
  • org.roaringbitmap.RoaringBitmap (0.9.23 から 0.9.25 へ)
  • org.roaringbitmap.shims (0.9.23 から 0.9.25 へ)
  • org.rocksdb.rocksdbjni (6.20.3 から 6.24.2 へ)
  • org.slf4j.jcl-over-slf4j (1.7.32 から 1.7.36 へ)
  • org.slf4j.jul-to-slf4j (1.7.32 から 1.7.36 へ)
  • org.slf4j.slf4j-api (1.7.30 から 1.7.36 へ)

Apache Spark

Databricks Runtime 11.0 には、Apache Spark 3.3.0 が含まれています。

このセクションの内容は次のとおりです。

• Spark SQL と Core
• 構造化ストリーミング
• PySpark
• MLLIB
• SparkR
• UI
• 蓄積

Spark SQL と Core

ANSI モード

• ANSI モードでの新しい明示的なキャスト構文規則 (SPARK-33354)
• Elt() は、ANSI モードでインデックスが null の場合は null を返す (SPARK-38304)
• 配列またはマップに要素が存在しない場合、必要に応じて null の結果を返す (SPARK-37750)
• numeric 型と timestamp 型の間でのキャストを許可する (SPARK-37714)
• 既定で ANSI 予約キーワードを無効にする (SPARK-37724)
• 関数呼び出しの解決にストア割り当て規則を使用 (SPARK-37438)
• Datetime と Numeric の間のキャストを許可するための構成を追加 (SPARK-37179)
• 必要に応じて ANSI 予約キーワードを適用する構成を追加 (SPARK-37133)
• Interval と String リテラルの間でバイナリ操作を許可しない (SPARK-36508)

機能強化

• ANSI SQL INTERVAL 型をサポート (SPARK-27790)
• エラー メッセージの改善 (SPARK-38781)
• Spark SQL の隠しファイル メタデータのサポート (SPARK-37273)
• 生文字列リテラルのサポート (SPARK-36371)
• バッチ Dataset.observe() のヘルパー クラス (SPARK-34806)
• 再調整の初期パーティション番号の指定をサポート (SPARK-38410)
• dropNamespace API のカスケード モードをサポート (SPARK-37929)
• datetime 型の間でストア代入と暗黙的なキャストを許可 (SPARK-37707)
• collect、first、last は決定論的集計関数である必要がある (SPARK-32940)
• 複雑なオーバーロードを持つ関数のための ExpressionBuilder の追加 (SPARK-37164)
• unionByName に配列サポートを追加 (SPARK-36546)
• データフレームのメタデータを更新する糖衣構文である df. withmetadata を追加 (SPARK-36642)
• 生文字列リテラルのサポート (SPARK-36371)
• 既定のパターンを使用した日付またはタイムスタンプの解析で CAST を使用する (SPARK-36418)
• データセットの入れ子になったスキーマで値クラスをサポート (SPARK-20384)
• AS OF 構文のサポートを追加 (SPARK-37219)
• シードを指定するために TABLESAMPLE に REPEATABLE を追加 (SPARK-37165)
• 現在のカタログを変更するための ANSI 構文 set catalog xxx を追加 (SPARK-36841)
• ILIKE (ALL | ANY | SOME) のサポート - 大文字と小文字を区別しない LIKE (SPARK-36674、SPARK-36736、SPARK-36778)
• クエリ ステージで、書式設定された explain モードでランタイム統計の表示をサポート(SPARK-38322)
• 並べ替えマージ結合のスピル サイズ メトリックを追加 (SPARK-37726)
• SHOW FUNCTIONS の SQL 構文を更新 (SPARK-37777)
• DROP COLUMN [IF EXISTS] 構文をサポート (SPARK-38939)
• 新しい組み込み関数とその拡張機能 (SPARK-38783)
  • Datetime
    • TIMESTAMPADD() 関数を追加 (SPARK-38195)
    • TIMESTAMPDIFF() 関数を追加 (SPARK-38284)
    • TIMESTAMPDIFF() の DATEDIFF() 別名を追加 (SPARK-38389)
    • TIMESTAMPADD() の DATEADD() 別名を追加 (SPARK-38332)
    • convert\_timezone() 関数を追加 (SPARK-37552、SPARK-37568)
    • functions.scala での make_date 式の公開 (SPARK-36554)
  • AES 関数 (SPARK-12567)
    • aes_encrypt および aes_decrypt 組み込み関数を追加 (SPARK-12567)
    • aes\_encrypt()/aes\_decrypt() による GCM モードをサポート (SPARK-37591)
    • aes\_encrypt()/aes\_decrypt() で GCM を既定モードとして設定 (SPARK-37666)
    • aes\_encrypt()/aes\_decrypt() に mode と padding 引数を追加 (SPARK-37586)
  • ANSI 集計関数 (SPARK-37671)
    • ANSI 集計関数: regr_count をサポート (SPARK-37613)
    • ANSI 集計関数 regr_avgx と regr_avgy のサポート (SPARK-37614)
    • ANSI 集計関数: percentile_cont をサポート (SPARK-37676、SPARK-38219)
    • ANSI 集計関数: percentile_disc をサポート (SPARK-37691)
    • ANSI 集計関数: regr_count をサポート (SPARK-37613)
    • ANSI 集計関数: array_agg をサポート (SPARK-27974)
    • ANSI 集計関数: regr_r2 をサポート (SPARK-37641)
    • 新しい SQL 関数: try_avg (SPARK-38589)
  • コレクション
    • SQL 関数 ARRAY_SIZE を導入 (SPARK-38345)
    • 新しい SQL 関数: map_contains_key (SPARK-37584)
    • 新しい SQL 関数: try_element_at (SPARK-37533)
    • 新しい SQL 関数: try_sum (SPARK-38548)
  • Format
    • 新しい SQL 関数 to_binary を追加 (SPARK-37507、SPARK-38796)
    • 新しい SQL 関数: try_to_binary (SPARK-38590、SPARK-38796)
    • データ型書式設定関数: to\_number (SPARK-28137)
  • String または Binary
    • CONTAINS() 文字列関数を追加 (SPARK-37508)
    • startswith() と endswith() 文字列関数を追加 (SPARK-37520)
    • バイナリ文字列に lpad と rpad 関数を追加 (SPARK-37047)
    • split_part 関数のサポート (SPARK-38063)
  • floor と ceil 関数にスケール パラメーターを追加 (SPARK-37475)
  • 新しい SQL 関数: try_subtract と try_multiply (SPARK-38164)
  • 部分的な集計をサポートする histogram_numeric 集計関数を実装 (SPARK-16280)
  • max_by/min_by を sql.functions に追加 (SPARK-36963)
  • 新しい組み込み SQL 関数: SEC と CSC を追加 (SPARK-36683)
  • array_intersect で、重複する Double.NaN and Float.NaN を処理する (SPARK-36754)
  • Scala および Python 関数として cot を追加 (SPARK-36660)

パフォーマンスの向上

• ステージ全体のコード生成
  • グループ化キーがない並べ替え集計のために code-gen を追加 (SPARK-37564)
  • 完全外部並べ替えマージ結合のために code-gen を追加 (SPARK-35352)
  • 完全外部シャッフル ハッシュ結合のために code-gen を追加 (SPARK-32567)
  • 既存の並べ替えマージ結合のために code-gen を追加 (SPARK-37316)
• プッシュ ダウン (フィルター)
  • RebalancePartitions を使用してフィルターをプッシュ ダウンする (SPARK-37828)
  • ブール型の列フィルターをプッシュ ダウンする (SPARK-36644)
  • 結合条件が空の場合、左半/反結合の右側で制限 1 をプッシュ ダウンする (SPARK-37917)
  • より多くの標準集計関数をプッシュダウンのために変換する (SPARK-37527)
  • AGGREGATE/UNION を使用して空の関係の伝達をサポート (SPARK-35442)
  • 行レベルのランタイム フィルター処理 (SPARK-32268)
  • 行レベルのランタイム フィルターでの左半結合のサポート (SPARK-38565)
  • 重複除去された CTE の述語プッシュダウンと列の排除をサポート (SPARK-37670)
• ベクター化
  • ConstantColumnVector を実装し、隠しファイルのメタデータのパフォーマンスを向上 (SPARK-37896)
  • VectorizedPlainValuesReader.readBooleans のベクター化された読み取りを有効化 (SPARK-35867)
• ノードの結合/削除/置換
  • UNION 間にプロジェクトがある場合、それらを統合 (SPARK-37915)
  • 2 つのキャストを安全にアップキャストできる場合は、1 つのキャストに結合 (SPARK-37922)
  • RepartitionByExpression の子である場合は Sort を削除 (SPARK-36703)
  • 別名を持つストリーム側でのみ DISTINCT がある場合、外部結合を削除する (SPARK-37292)
  • 子が既に並べ替えられている場合はハッシュを並べ替え集計に置き換える (SPARK-37455)
  • 高コストの言語式を重複させない場合は、プロジェクトのみを折りたたむ (SPARK-36718)
  • RewritePredicateSubquery の後に冗長の別名を削除する (SPARK-36280)
  • 非相関スカラー サブクエリをマージする (SPARK-34079)
• パーティション分割
  • 静的パーティションの排除が存在する場合は、動的パーティションの排除を追加しない (SPARK-38148)
  • オプティマイザーのルールで RebalancePartitions を改善 (SPARK-37904)
  • パーティションを再調整する小さなパーティション係数を追加 (SPARK-37357)
• Join
  • DynamicJoinSelection でブロードキャスト ハッシュ結合を降格するロジックを微調整する (SPARK-37753)
  • SEMI/ANTI のシャッフルされたハッシュ結合の関係を構築するときに重複する結合キーを無視する (SPARK-36794)
  • 追加シャッフルを導入する場合でも、スキュー結合の最適化をサポート (SPARK-33832)
• AQE
  • AQE オプティマイザーでの制限の排除をサポート (SPARK-36424)
  • 通常の AQE オプティマイザーで 1 つの行プランを最適化 (SPARK-38162)
• Aggregate.groupOnly でたたみ込み可能な式をサポート (SPARK-38489)
• ByteArrayMethods の arrayEquals で、整列されていないプラットフォームでの整列チェックを高速スキップする (SPARK-37796)
• CTESubstitution ルールにツリー パターン排除を追加 (SPARK-37379)
• NOT 演算子の簡略化を追加 (SPARK-36665)
• UnwrapCastInBinaryComparison で BooleanType をサポート (SPARK-36607)
• 最初の Null 許容式の後に Coalesce ですべての式を削除 (SPARK-36359)
• 個別の属性を伝達する論理プラン ビジターを追加 (SPARK-36194)

組み込みコネクタの機能強化

• 一般
  • データソースからの datetime の厳密ではないシリアル化 (SPARK-38437)
  • CREATE/ALTER TABLE でパスの最初の文字がスラッシュの場合、テーブルの場所を絶対として扱う (SPARK-38236)
  • 空の静的数値型パーティションから先頭のゼロを削除する (SPARK-35561)
  • データ ソースのオプションで ignoreCorruptFiles と ignoreMissingFiles をサポート (SPARK-38767)
  • コマンド SHOW CATALOGS を追加 (SPARK-35973)
• Parquet
  • フィールド ID によるスキーマ列名の照合を有効にする (SPARK-38094)
  • Parquet でのデータの読み取り/書き込み時のフィールド名チェックを削除 (SPARK-27442)
  • Parquet DataPage V2 で RLE エンコードを使用したブール値のベクター化読み取りをサポート (SPARK-37864)
  • ベクター化されたパスに対して Parquet v2 のデータ ページ エンコード (DELTA_BINARY_PACKED) をサポート (SPARK-36879)
  • Parquet/Avro メタデータに保存されているセッション タイム ゾーンのタイムスタンプをリベース (SPARK-37705)
  • 集計のグループ化パーティション列をプッシュダウン (SPARK-36646)
  • Parquet での集計 (Min/Max/Count) のプッシュ ダウン (SPARK-36645)
  • Parquet: フィールド ID によるスキーマ列名の照合を有効にする (SPARK-38094)
  • G1GC と ON_HEAP が使用されている場合、LONG_ARRAY_OFFSET だけ既定のページ サイズを 縮小する (SPARK-37593)
  • Parquet V2 をサポートするために、ベクター化された DELTA_BYTE_ARRAY と DELTA_LENGTH_BYTE_ARRAY エンコードを実装 (SPARK-37974)
  • Parquet のベクター化リーダーで複合型をサポート (SPARK-34863)
• ORC
  • ORC での既存データの読み取り/書き込み時のフィールド名チェックを削除 (SPARK-37965)
  • ORC での集計のプッシュ ダウン (SPARK-34960)
  • ORC データソースに対する ANSI 間隔の読み取りと書き込みをサポート (SPARK-36931)
  • ORC データ ソースで数値のみの列名をサポート (SPARK-36663)
• JSON
  • JSON リーダーで引用符で囲まれた NAN と無限大の値を解析する際、allowNonNumericNumbers を尊重 (SPARK-38060)
  • CSV/JSON の datetime に既定で CAST を使用する (SPARK-36536)
  • JSON リーダーで MapType でサポートされていないキーの種類に対する配置エラー メッセージ (SPARK-35320)
• CSV
  • CSV の破損したレコード列を参照する修正を行う (SPARK-38534)
  • 既定で、null 値は、引用符で囲んだ空の文字列 "" ではなく、何もないものとして保存される (SPARK-37575)
• JDBC
  • DB2 言語の切り捨ての実装に IMMEDIATE ステートメントを追加 (SPARK-30062)
• Hive
  • Hive バケット化テーブル (Hive ハッシュを使用した Hive ファイル形式) の書き込みをサポート (SPARK-32712)
  • 式を使用してクライアント側で Hive パーティションをフィルター処理する (SPARK-35437)
  • HiveTableScanExec の動的パーティション排除をサポート (SPARK-36876)
  • InsertIntoHiveDir では、変換可能な場合、データ ソースを使用する (SPARK-38215)
  • Hive バケット化テーブル (Hive ハッシュを使用した Parquet/ORC 形式) の書き込みをサポート (SPARK-32709)

ノードの使用停止

• FallbackStorage では、任意の "remote" ホスト名の解決を試行しない (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved では、ExecutorDecommission を終了として処理する (SPARK-38023)

その他の注目すべき変更点

• BlockInfoManager にきめ細かいロックを追加 (SPARK-37356)
• Spark の gpu/fpga リソースの種類からカスタムの YARN リソースの種類へのマッピングをサポート (SPARK-37208)
• シャッフル ブロック サイズにスキューがある場合に正確なものを報告 (SPARK-36967)
• ネットワーク 層での Netty のログ記録をサポート (SPARK-36719)

構造化ストリーミング

主な機能

• 複数のバッチ内で Trigger.Once などのストリーミング クエリを実行するために Trigger.AvailableNow を導入 (SPARK-36533)

その他の注目すべき変更点

• 下位互換性を考慮してステートフル演算子に StatefulOpClusteredDistribution を使用 (SPARK-38204)
• キーのデータがあるのにバッチで flatMapGroupsWithState がタイムアウトする問題を修正 (SPARK-38320)
• RocksDB 状態ストア プロバイダーでのストリーム同士の外部結合の正確性の問題を修正 (SPARK-38684)
• Kafka データ ソースで Trigger.AvailableNow をサポート (SPARK-36649)
• RocksDB 状態ストア プロバイダーでの書き込みパスを最適化 (SPARK-37224)
• マイクロバッチごとに一貫した行のセットを提供するための新しいデータ ソースを導入 (SPARK-37062)
• 下位互換性を考慮してステートフル演算子に HashClusteredDistribution を使用 (SPARK-38204)

PySpark

Spark 上の Pandas API

主な改良点

• 既定に関する "分散シーケンス" インデックスの最適化 (SPARK-36559、SPARK-36338)
  • Spark 上の pandas API でのインデックスの種類と名前の指定をサポート (SPARK-36709)
  • Spark 上の pandas API 用である既定のインデックスの種類を SQL プランに表示 (SPARK-38654)

主な機能

• SparkSQL ネイティブ ps.merge_asof を実装 (SPARK-36813)
• Spark 上の pandas API で TimedeltaIndex をサポート (SPARK-37525)
• Python の timedelta をサポート (SPARK-37275、SPARK-37510)
• CategoricalAccessor/CategoricalIndex で関数を実装 (SPARK-36185)
• Spark 上の pandas API で SQL API に Python の標準文字列フォーマッタを使用 (SPARK-37436)
• timedelta Series/Index の基本的な操作をサポート (SPARK-37510)
• ps.MultiIndex.dtypes をサポート (SPARK-36930)
• Index.map を実装 (SPARK-36469)
• Series.xor と Series.rxor を実装 (SPARK-36653)
• 整数 ps.Series/Index の単項演算子 invert を実装 (SPARK-36003)
• DataFrame.cov を実装 (SPARK-36396)
• (Series|DataFrame).describe() で str と timestamp をサポート (SPARK-37657)
• DataFrame.rename のラムダ column パラメーターをサポート (SPARK-38763)

その他の注目すべき変更点

重大な変更

• docs および python/docs での Python 3.6 への参照のサポートを削除 (SPARK-36977)
• 組み込みの pickle を cloudpickle に置き換えて、namedtuple ハックを削除 (SPARK-32079)
• pandas の最小バージョンを 1.0.5 にバージョンアップ (SPARK-37465)
• 主な改良点
  • Python/Pandas UDF 用のプロファイラーを提供 (SPARK-37443)
  • PySpark で SQL API に Python の標準文字列フォーマッタを使用 (SPARK-37516)
  • PySpark 例外で SQL の状態とエラー クラスを公開 (SPARK-36953)
  • Python ワーカーがクラッシュしたときに faulthanlder のキャプチャを試行 (SPARK-36062)

主な機能

• Python で DataFrame.mapInArrow を実装 (SPARK-37228)
• PySpark で SQL API に Python の標準文字列フォーマッタを使用 (SPARK-37516)
• df.withMetadata pyspark API を追加 (SPARK-36642)
• Python の timedelta をサポート (SPARK-37275)
• pyspark.sql.catalog で tableExists を公開 (SPARK-36176)
• pyspark.sql.catalog で databaseExists を公開 (SPARK-36207)
• pyspark sql カタログで functionExists を公開 (SPARK-36258)
• Dataframe.observation を PySpark に追加 (SPARK-36263)
• max_by/min_by API を PySpark に追加 (SPARK-36972)
• DataFrame の作成時に、入れ子になった dict を構造体として推論することをサポート (SPARK-35929)
• bit/octet_length API を Scala、Python、R に追加 (SPARK-36751)
• Python で ILIKE API をサポート (SPARK-36882)
• Python DataFrame API に isEmpty メソッドを追加 (SPARK-37207)
• 複数の列の追加サポートを追加 (SPARK-35173)
• PySpark に SparkContext.addArchive を追加 (SPARK-38278)
• SQL の種類 reprs を評価できるようにする (SPARK-18621)
• python/pyspark/mllib の fpm.py のインライン型ヒント (SPARK-37396)
• SeriesGroupBy.value_counts の dropna パラメーターを実装 (SPARK-38837)

MLLIB

主な機能

• distanceMeasure パラメーターを trainKMeansModel に追加 (SPARK-37118)
• KMeans などの LogisticRegression.setInitialModel を公開 (SPARK-36481)
• CrossValidatorModel による各 paramMap でのメトリックの標準偏差の取得をサポート (SPARK-36425)

主な改良点

• 割り当てを遅らせることによって MLlib でいくつかの treeAggregates を最適化 (SPARK-35848)
• _shared_params_code_gen.py を ml/param/shared.py のインライン型ヒントに書き換え (SPARK-37419)

その他の注目すべき変更点

• breeze 1.2 に更新 (SPARK-35310)

SparkR

• SparkR ドキュメントを pkgdown に移行 (SPARK-37474)
• make_date 式を R で公開 (SPARK-37108)
• max_by/min_by API を SparkR に追加 (SPARK-36976)
• R で ILIKE API をサポート (SPARK-36899)
• sec と csc を R 関数として追加 (SPARK-36824)
• bit/octet_length API を Scala、Python、R に追加 (SPARK-36751)
• cot を R 関数として追加 (SPARK-36688)

UI

• ステージ レベルでの推論メトリックの概要 (SPARK-36038)
• StagePage で Shuffle Read Block Time を Shuffle Read Fetch Wait Time に統合 (SPARK-37469)
• UI での SQL 実行のための変更された構成を追加 (SPARK-34735)
• ThriftServer で spark.sql.redaction.string.regex が認識されるようにした (SPARK-36400)
• UI でアプリケーションが開始された後にハンドラーをアタッチして開始する (SPARK-36237)
• SQL タブのグラフ ノードにコミット時間を追加 (SPARK-34399)
• Spark History Server で RocksDB バックエンドをサポート (SPARK-37680)
• UI に Spark 上の Pandas API のオプションを表示 (SPARK-38656)
• SQL UI ページで "SQL" を "SQL / DataFrame" に名前変更 (SPARK-38657)

構築

• log4j 1 から log4j 2 への移行 (SPARK-37814)
• log4j2 を 2.17.2 にアップグレード (SPARK-38544)
• Py4J 0.10.9.5 にアップグレード (SPARK-38563)
• ORC を 1.7.4 に更新 (SPARK-38866)
• データテーブルを 1.10.25 に更新 (SPARK-38924)

メンテナンスの更新

「Databricks Runtime 11.0 (サポート期間終了)」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2022 年 5 月 6 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)