Databricks Runtime 10.3 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.2.1 で稼働する Databricks Runtime 10.3 と Databricks Runtime 10.3 に関する情報が記載されています。 Photon はパブリック プレビュー段階にあります。 Databricks は、2022 年 2 月にこのバージョンをリリースしました。

新機能と機能強化

• Parquet データ ソースのタイムスタンプをリベースするときに Parquet と Avro のライターで使用するタイム ゾーンがセッションのものに変更
• Spark SQL の新しい関数
• 低シャッフル マージの一般提供開始
• COPY INTO の新しい機能: 検証モードとスキーマの展開
• Delta テーブルで ID 列がサポートされるようになりました (パブリック プレビュー)

Parquet データ ソースのタイムスタンプをリベースするときに Parquet と Avro のライターで使用するタイム ゾーンがセッションのものに変更

legacy モードでタイムスタンプをリベースする間、Parquet と Avro のライターでは、JVM のタイム ゾーン (既定) を使用する代わりにセッションのタイム ゾーンを使用するようになりました。 既定では、セッションのタイム ゾーンは JVM のタイム ゾーンに設定されています。

Spark SQL の新しい関数

このリリースでは、次の Spark SQL 関数がサポートされるようになりました。

• aes_decrypt: AES を使用して入力を暗号化解除します。
• aes_encrypt: AES を使用して入力を暗号化します。
• contains: 式に別の式が含まれているかどうかを判定します。
• endswith: 式が別の式で終わるかどうかを判定します。
• percentile_cont: パーセンタイル値を返します。
• startswith: 式が別の式で始まるかどうかを判定します。

低シャッフル マージの一般提供開始

Delta の MERGE INTO コマンドでは、変更されていない行のシャッフルを削減する "低シャッフル マージ" と呼ばれる手法を使用します。 これによってコマンドのパフォーマンスが向上し、テーブルに対する既存のクラスタリング (Z オーダーなど) を保持するのに役立ちます。 この機能はパブリック プレビューとして Databricks Runtime 9.0 に導入されていましたが、このたび一般提供になりました。 低シャッフル マージを有効にするには、spark.databricks.delta.merge.enableLowShuffle を true に設定します。 「Azure Databricks での低シャッフル マージ」を参照してください。

COPY INTO の新しい機能: 検証モードとスキーマの展開

検証モード: COPY INTO で、VALIDATE モードがサポートされるようになりました。このモードでは、テーブルに読み込まれる予定のデータが検証されますが、テーブルへの書き込みは行われません。 次のような検証が行われます。

• データを解析できるかどうか。
• スキーマがテーブルのものと一致するかどうか、またはスキーマを展開する必要があるかどうか。
• NULL 値の許容と CHECK 制約がすべて満たされているかどうか。

使用例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

既定では、読み込まれるすべてのデータが検証されます。 VALIDATE 15 ROWS のように、ROWS キーワードを使用して、検証する行数を指定できます。 ROWS キーワードで 50 未満の数値を使用すると、COPY INTO ステートメントから、50 行以下のデータのプレビューが返されます。

スキーマの展開: COPY INTO で、COPY_OPTIONS の mergeSchema オプションを使用したスキーマの展開がサポートされるようになりました。 テーブルのスキーマを展開するには、テーブルに対する OWN アクセス許可を持っている必要があります。

使用例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

「COPY INTO」を参照してください。

Delta テーブルで ID 列がサポートされるようになりました (パブリック プレビュー)

Delta Lake で ID 列がサポートされるようになりました。 ID 列を定義する Delta テーブルに書き込み、その列の値を指定しない場合、Delta によって、一意で統計的に増減する値が自動的に割り当てられるようになりました。 「CREATE TABLE [USING]」を参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • distlib (0.3.3 から 0.3.4 へ)
  • filelock (3.4.0 から 3.4.2 へ)
  • numpy (1.19.2 から 1.20.1 へ)
  • plotly (5.3.1 から 5.5.0 へ)
• アップグレードされた R ライブラリ:
  • backports (1.4.0 から 1.4.1 へ)
  • brio (1.1.2 から 1.1.3 へ)
  • broom (0.7.10 から 0.7.11 へ)
  • class (7.3-19 から 7.3-20 へ)
  • cpp11 (0.4.1 から 0.4.2 へ)
  • DBI (1.1.1 から 1.1.2 へ)
  • devtools (2.4.2 から 2.4.3 へ)
  • digest (0.6.28 から 0.6.29 へ)
  • dtplyr (1.1.0 から 1.2.0 へ)
  • fansi (0.5.0 から 1.0.2 へ)
  • foreign (0.8-81 から 0.8-82 へ)
  • fs (1.5.0 から 1.5.2 へ)
  • gert (1.4.3 から 1.5.0 へ)
  • glue (1.5.0 から 1.6.0 へ)
  • httpuv (1.6.3 から 1.6.5 へ)
  • jsonlite (1.7.2 から 1.7.3 へ)
  • knitr (1.36 から 1.37 へ)
  • MASS (7.3-54 から 7.3-55 へ)
  • Matrix (1.3-4 から 1.4-0 へ)
  • nlme (3.1-152 から 3.1-155 へ)
  • nnet frm (7.3-16 から 7.3-17 へ)
  • openssl (1.4.5 から 1.4.6 へ)
  • parallelly (1.29.0 から 1.30.0 へ)
  • pkgbuild (1.2.0 から 1.3.1 へ)
  • pkgload (1.2.3 から 1.2.4 へ)
  • progressr (0.9.0 から 0.10.0 へ)
  • Rcpp (1.0.7 から 1.0.8 へ)
  • readr (2.1.0 から 2.1.1 へ)
  • remotes (2.4.1 から 2.4.2 へ)
  • RSQLite (2.2.8 から 2.2.9 へ)
  • sessioninfo (1.2.1 から 1.2.2 へ)
  • sparklyr (1.7.2 から 1.7.4 へ)
  • testthat (3.1.0 から 3.1.1 へ)
  • tinytex (0.35 から 0.36 へ)
  • usethis (2.1.3 から 2.1.5 へ)
  • vroom (1.5.6 から 1.5.7 へ)
  • withr (2.4.2 から 2.4.3 へ)
  • xfun (0.28 から 0.29 へ)
  • xml2 (1.3.2 から 1.3.3 へ)
• アップグレードされた Java ライブラリ:
  • dev.ludovic.netlib.arpack (1.3.2 から 2.2.1 へ)
  • dev.ludovic.netlib.blas (1.3.2 から 2.2.1 へ)
  • dev.ludovic.netlib.lapack (1.3.2 から 2.2.1 へ)
  • io.delta.delta-sharing-spark_2.12 (0.2.0 から 0.3.0 へ)

Apache Spark

Databricks Runtime 10.3 には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.2 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-37896] [SQL] ConstantColumnVector を実装し、隠しファイルのメタデータのパフォーマンスを向上
• [SPARK-37924] [SQL] VIEW (v1) に対する SHOW CREATE TABLE でキーによってテーブルのプロパティを並べ替える
• [SPARK-37636] [SQL] 既定で V2 コマンドを使用するように CREATE NAMESPACE を移行
• [SPARK-37381] [SQL] v1 と v2 の SHOW CREATE TABLE のテストを統合
• [SPARK-37876] [CORE][SQL] SpecificParquetRecordReaderBase.listDirectory を TestUtils に移動
• [SPARK-37854] [CORE] Spark コードで型チェックをパターン マッチングに置き換える
• [SPARK-36967] [CORE] 傾斜がある場合に正確なシャッフル ブロック サイズを報告
• [SPARK-37864] [SQL] Parquet DataPage V2 で RLE エンコードを使用したブール値のベクター化読み取りをサポート
• [SPARK-37862] [SQL] 整列されていないプラットフォームで RecordBinaryComparator が整列チェックを高速スキップしない
• [SPARK-37855] [SQL] 入れ子になった構造体内の配列を変換するときの IllegalStateException
• [SPARK-37858] [SQL] AES 関数からのエラー クラスで SparkRuntimeException をスロー
• [SPARK-37841] [SQL] スキップされたファイルの状態を BasicWriteTaskStatsTracker が誤って取得しようとする
• [SPARK-37860] [UI] ステージ ページのタスク イベント タイムラインで taskindex を修正
• [SPARK-36879] [SQL] ベクター化されたパスに対して Parquet v2 のデータ ページ エンコード (DELTA_BINARY_PACKED) をサポート
• [SPARK-37828] [SQL] RebalancePartitions を使用したフィルターのプッシュ ダウン
• [SPARK-37802] [SQL][3.2] 集計プッシュ ダウンで複合フィールド名が機能しない
• [SPARK-37826] [SQL] Hive ORC 実装用の ORC ファイル名で zstd コーデック名を使用
• [SPARK-37820] [SQL] 文字列関数の ApacheCommonBase64 を JavaBase64 に置き換える
• [SPARK-37832] [SQL] ORC 構造体コンバーターで、リンクされたリストではなく配列を使用してフィールド コンバーターを検索する必要がある
• [SPARK-37786] [SQL] StreamingQueryListener で、対応する SessionState の SQLConf を SQLConf.get を使用して取得する操作をサポート
• [SPARK-37527] [SQL] より多くの標準集計関数をプッシュダウンのために変換
• [SPARK-37777] [SQL] SHOW FUNCTIONS の SQL 構文を更新
• [SPARK-8582] [CORE] 実際にその実行を指示されたときのチェックポイントを厳格化
• [SPARK-37822] [SQL] StringSplit は null でない要素の配列を返す必要がある
• [SPARK-37812] [SQL] ORC 構造体を逆シリアル化するときに可能であれば結果行を再利用する
• [SPARK-37367] [SQL] DDLParserSuite.create ビューで例外テストを再有効化 – 基本
• [SPARK-37796] [SQL] 整列されていないプラットフォームで ByteArrayMethods arrayEquals が整列チェックを高速スキップしない
• [SPARK-37817] [SQL][Minor] complexTypeExtractors.scala 内の到達不能なコードを削除
• [SPARK-37807] [SQL] HttpAuthenticationException メッセージの誤字を修正
• [SPARK-37750] [SQL] ANSI モード: 配列またはマップに要素が存在しない場合に必要に応じて null の結果を返す
• [SPARK-37789] [SQL] DS V2 の一般的な集計関数を表すためのクラスを追加
• [SPARK-37785] [SQL][CORE] Utils.isInRunningSparkTask を追加
• [SPARK-37780] [SQL] QueryExecutionListener で、対応する SessionState の SQLConf を SQLConf.get を使用して取得する操作をサポート
• [SPARK-37783] [SS][SQL][CORE] 可能な限り末尾再帰を有効にする
• [SPARK-37726] [SQL] 並べ替えマージ結合のスピル サイズ メトリックを追加
• [SPARK-37800] [SQL] TreeNode.argString による Set[_] 型引数のフォーマットが正しくない
• [SPARK-37716] [SQL] LateralJoin に非決定論的な式があるときのエラー メッセージを改善
• [SPARK-37779] [SQL] ColumnarToRowExec プランが (逆) シリアル化後に正規化可能に
• [SPARK-37578] [SQL] タスク メトリックを ds v2 カスタム メトリックから更新
• [SPARK-37676] [SQL] ANSI 集計関数をサポート: percentile_cont
• [SPARK-37724] [SQL] ANSI モード: ANSI 予約キーワードを既定で無効化
• [SPARK-37705] [SQL][3.2] Parquet/Avro メタデータに保存されているセッション タイム ゾーンのタイムスタンプをリベース
• [SPARK-34755] [SQL] 数値形式の変換のためのユーティリティをサポート
• [SPARK-36703] [SQL] RepartitionByExpression の子である場合は Sort を削除
• [SPARK-37369] [SQL] InMemoryTableScan での冗長な ColumnarToRow 遷移を回避
• [SPARK-37450] [SQL] Generate から不要なフィールドを削除
• [SPARK-37728] [SQL] 入れ子になった列を ORC ベクター化リーダーで読み取ると ArrayIndexOutOfBoundsException が発生する可能性がある
• [SPARK-37564] [SQL] キーをグループ化せずに集計を並べ替えるための code-gen を追加
• [SPARK-37659] [UI][3.2] ログ情報の一覧表示と削除の間で FsHistoryProvider が競合状態に陥る現象を修正
• [SPARK-37727] [SQL] SparkSession.builder.getOrCreate で既に設定されている構成に関して、無視されている構成を表示し警告を非表示にする
• [SPARK-37391] [SQL] JdbcConnectionProvider がセキュリティ コンテキストを変更する場合にそのことが通知される
• [SPARK-37273] [SQL] Spark SQL で隠しファイルのメタデータ列をサポート
• [SPARK-36876] [SQL] HiveTableScanExec の動的パーティション排除をサポート
• [SPARK-37546] [SQL] V2 ReplaceTableAsSelect コマンドでは場所の修飾が必要
• [SPARK-37545] [SQL] V2 CreateTableAsSelect コマンドでは場所の修飾が必要
• [SPARK-37707] [SQL] datetime 型の間でストア代入と暗黙的なキャストを許可
• [SPARK-37644] [SQL] datasource v2 の完全な集計プッシュダウンをサポート
• [SPARK-37695] [CORE][SHUFFLE] プッシュベースのシャッフルからマージされたブロックの診断をスキップ
• [SPARK-35295] [ML] com.github.fommil.netlib を dev.ludovic.netlib:2.0 で完全に置き換え
• [SPARK-37694] [SQL] Spark SQL CLI でリソースの削除を禁止
• [SPARK-37330] [SQL] ReplaceTableStatement を v2 コマンドに移行
• [SPARK-27974] [SQL] ANSI 集計関数をサポート: array_agg
• [SPARK-36902] [SQL] CreateTableAsSelectStatement を v2 コマンドに移行
• [SPARK-37678] [PYTHON] _cleanup_and_return シグネチャを修正
• [SPARK-37613] [SQL] ANSI 集計関数をサポート: regr_count
• [SPARK-37689] [SQL] PropagateEmptyRelation で Expand のサポートが必要
• [SPARK-37654] [SQL] フィールドが Null の場合の Row.getSeq の NPE を修正
• [SPARK-37496] [SQL] ReplaceTableAsSelectStatement を v2 コマンドに移行
• [SPARK-37483] [SQL] トップ N から JDBC データ ソース V2 へのプッシュ ダウンをサポート
• [SPARK-37577] [SQL] ClassCastException を修正: ArrayType を StructType にキャストして排除を生成できない
• [SPARK-37310] [SQL] 既定で V2 コマンドを使用するように ALTER NAMESPACE … SET PROPERTIES を移行
• [SPARK-37501] [SQL] v2 コマンドの CREATE/REPLACE TABLE では場所の修飾が必要
• [SPARK-37343] [SQL] JDBC で createIndex、IndexExists、dropIndex を実装 (Postgres 方言)
• [SPARK-37060] [CORE][3.2] バックアップ マスターからのドライバー状態応答を処理
• [SPARK-37629] [SQL] Expression.canonicalized を高速化
• [SPARK-37633] [SQL] ダウンキャストが失敗した場合にキャストのラップ解除がスキップされない
• [SPARK-37631] [SQL] 数学関数で文字列を double 型に昇格するときのコード クリーンアップ
• [SPARK-37569] [SQL] 入れ子になったビュー フィールドを Null 許容としてマークしないこと
• [SPARK-37557] [SQL] 子が既に並べ替えられている場合はオブジェクト ハッシュを並べ替え集計に置き換える
• [SPARK-36850] [SQL] CreateTableStatement を v2 コマンド フレームワークに移行
• [SPARK-37592] [SQL] JoinSelection のパフォーマンスを改善
• [SPARK-37217] [SQL] 外部テーブルに書き込むときに動的パーティション数の早期チェックが必要
• [SPARK-37584] [SQL] 新しい SQL 関数: map_contains_key
• [SPARK-37455] [SQL] 子が既に並べ替えられている場合はハッシュを並べ替え集計に置き換える
• [SPARK-34735] [SQL][UI] UI での SQL 実行のための変更された構成を追加
• [SPARK-37540] [SQL] サポートされていないタイム トラベルの検出を強化
• [SPARK-37376] [SQL] 新しい DataSource V2 インターフェイス HasPartitionKey を導入
• [SPARK-37666] [SQL] aes_encrypt()/aes_decrypt() で GCM を既定のモードとして設定
• [SPARK-37573] [SQL] IsolatedClientLoader は (常に hadoop-2.7.4 ではなく) 適切なバージョンにフォールバックする必要がある
• [SPARK-37561] [SQL] ハイブの DelegationToken を取得するときにすべての関数を読み込むのを避ける
• [SPARK-37370] [SQL] 3.3 で新しく追加された結合 code-gen を制御するための SQL 構成を追加
• [SPARK-37311] [SQL] 既定で V2 コマンドを使用するように ALTER NAMESPACE … SET LOCATION を移行
• [SPARK-37192] [SQL] 既定で V2 コマンドを使用するように SHOW TBLPROPERTIES を移行
• [SPARK-37219] [SQL] AS OF 構文のサポートを追加
• [SPARK-37316] [SQL] 既存の並べ替えマージ結合のための code-gen を追加
• [SPARK-37591] [SQL] aes_encrypt()/aes_decrypt() による GCM モードをサポート
• [SPARK-37586] [SQL] mode および padding 引数を aes_encrypt()/aes_decrypt() に追加
• [SPARK-12567] [SQL] aes_encrypt および aes_decrypt 組み込み関数を追加
• [SPARK-37392] [SQL] Generate の制約を推論するときのパフォーマンスのバグを修正
• [SPARK-37481] [Core][WebUI] スキップしたステージが再試行後に消失する現象を修正
• [SPARK-37533] [SQL] 新しい SQL 関数: try_element_at
• [SPARK-37451] [SQL] spark.sql.legacy.allowNegativeScaleOfDecimal が有効な場合のキャスト文字列型を 10 進型に修正
• [SPARK-37062] [SS] マイクロバッチごとに一貫した行のセットを提供するための新しいデータ ソースを導入
• [SPARK-37552] [SQL] convert_timezone() 関数を追加
• [SPARK-37555] [SQL] spark-sql で最後の閉じていないコメントをバックエンドに渡す必要がある
• [SPARK-37286] [SQL] compileAggregates を JDBCRDD から JdbcDialect に移動
• [SPARK-37485] [CORE][SQL] 結果を生成しない式を含む map を foreach に置き換え
• [SPARK-37556] [SQL] Deser void クラスが Java シリアル化で失敗する
• [SPARK-37520] [SQL] startswith() および endswith() 文字列関数を追加
• [SPARK-37471] [SQL] 入れ子の角かっこで囲まれたコメント内の ; を spark-sql がサポート
• [SPARK-37360] [SQL] JSON データ ソースで TimestampNTZ をサポート
• [SPARK-37508] [SQL] CONTAINS() 文字列関数を追加
• [SPARK-37494] [SQL] SHOW CREATE TABLE コマンドの v1 および v2 オプションの出力を統合
• [SPARK-37524] [SQL] 動的なパーティションの排除をテストした後はすべてのテーブルを削除する必要がある。
• [SPARK-37389] [SQL] 閉じていないブラケット付きコメントのチェック
• [SPARK-37220] [SQL] 集計プッシュ ダウンで Parquet リーダー用の入力ファイルを分割しない
• [SPARK-37326] [SQL] CSV データ ソースで TimestampNTZ をサポート
• [SPARK-35867] [SQL] VectorizedPlainValuesReader.readBooleans のベクター化された読み取りを有効化
• [SPARK-37484] [CORE][SQL] get および getOrElse を getOrElse に置き換え
• [SPARK-37492] [SQL] withAllNativeOrcReaders を使用して ORC テスト コードを最適化
• [SPARK-37458] [SS] foreachBatch のプランから不要な SerializeFromObject を削除

メンテナンスの更新

「Databricks Runtime 10.3 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2022 年 1 月 19 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)