Databricks Runtime 13.3 LTS

次のリリース ノートには、Apache Spark 3.4.1 で稼働する Databricks Runtime 13.3 LTS に関する情報が記載されています。

Databricks は、2023 年 8 月にこのバージョンをリリースしました。

新機能と機能強化

• 共有クラスターに対する Scala のサポート
• Unity Catalog 共有クラスターでの init スクリプト、JAR、Maven 座標の許可リストはパブリック プレビュー段階です
• init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です
• Delta Lake 操作で既定で有効になっている安全なキャスト
• Unity Catalog を使用したタグの概要
• クエリの計画と実行の間にファイルが変更された場合、Databricks Runtime はエラーを返します
• 動的パーティションの上書きを使用する場合にスキーマの上書きをブロックする
• copyFile API を dbutils.fs.cp に統合する
• Databricks ODBC/JDBC ドライバーのサポート
• 名前なし (位置指定) パラメーター マーカーのサポート
• 時系列列のラベル付けを有効にする
• ビットマップ SQL の新しい関数
• 強化された暗号化機能
• REFRESH FOREIGN の Unity Catalog のサポート
• INSERT BY NAME
• 差分共有を使用して具体化されたビューを共有する

共有クラスターに対する Scala のサポート

Databricks Runtime 13.3 以降を使用している場合、Unity Catalog 対応の共有クラスターで Scala がサポートされるようになりました。

Unity Catalog 共有クラスターでの init スクリプト、JAR、Maven 座標の許可リストはパブリック プレビュー段階です

Unity Catalog allowlist を使用して、Databricks Runtime 13.3 以降を実行する共有アクセス モードを使用して、コンピューティングでの init スクリプト、JAR、Maven 座標のインストールを制御できるようになりました。 「共有コンピューティングの許可リスト ライブラリと init スクリプト」をご覧ください。

init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です

Unity Catalog ボリュームを使用して、Databricks Runtime 13.3 以降を実行する割り当てまたは共有アクセス モードを使用して、init スクリプトと JAR をコンピューティングに格納できるようになりました。 init スクリプトをインストールできる場所およびクラスター スコープ ライブラリに関する記事を参照してください。

Delta Lake 操作で既定で有効になっている安全なキャスト

ターゲット テーブル スキーマの型に値を安全にキャストできない場合、デルタ UPDATE と MERGE 操作でエラーが発生するようになりました。 Delta のすべての暗黙的なキャストは、spark.sql.ansi.enabled ではなく spark.sql.storeAssignmentPolicy に従うようになりました。 「Databricks Runtime での ANSI 準拠」をご覧ください。

Unity Catalog を使用したタグの導入

Databricks Runtime 13.3 LTS 以降では、セキュリティ保護可能なオブジェクトにタグを適用できます。 タグは、セキュリティ保護可能なオブジェクトを整理し、データ資産の検索と検出を簡素化するのに役立ちます。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。

クエリの計画と実行の間にファイルが変更された場合、Databricks Runtime はエラーを返します

クエリの計画と呼び出しの間にファイルが更新された場合、Databricks Runtime クエリでエラーが返されるようになりました。 この変更の前に、Databricks Runtime はこれらのステージ間でファイルを読み取り、予期しない結果になることがあります。

動的パーティションの上書きを使用する場合にスキーマの上書きをブロックする

overwriteSchema を Delta Lake の動的パーティションの上書きと組み合わせて true に設定することはできません。 これにより、スキーマの不一致によるテーブルの破損が防止されます。 「パーティションの動的な上書き」を参照してください。

copyFile API を dbutils.fs.cp に統合する

dbutils copy コマンド dbutils.fs.cp がより高速なコピー用に最適化されました。 この改善により、ファイル サイズに応じて、コピー操作を最大 100 倍高速にすることができます。 この機能は、Unity Catalog Volumes と Databricks Filesystem マウントを含め、Azure Databricks でアクセスできるすべてのファイル システムで使用できます。

Databricks ODBC/JDBC ドライバーのサポート

Azure Databricks では、過去 2 年間にリリースされた ODBC ドライバーと JDBC ドライバーがサポートされています。 「ODBC ドライバーのダウンロード」と「JDBC ドライバーのダウンロード」で最新のドライバーをダウンロードします。

名前なし (位置指定) パラメーター マーカーのサポート

SparkSession.sql() API では、:parm 構文を使用したパラメーター化クエリに加えて、? 構文を使用したパラメーター化クエリもサポートされるようになりました。 「パラメーター マーカー」を参照してください。

時系列列のラベル付けを有効にする

主キー制約を作成するときに時系列列にラベルを付けることができるようになりました。

ビットマップ SQL の新しい関数

Azure Databricks では、整数の数値をビットマップにマップして集計するために使用できる関数のセットが提供されました。 これは、個別の値の数を事前に計算するために使用できます。

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

強化された暗号化機能

初期化ベクトル (IV) と認証された追加データ (AAD) のサポートにより、aes_encrypt、aes_decrypt、および try_aes_decrypt 関数が改善されました。

REFRESH FOREIGN の Unity Catalog のサポート

REFRESH FOREIGN CATALOG、REFRESH FOREIGN SCHEMA および REFRESH FOREIGN TABLE を使用して、Unity Catalog の外部カタログ、スキーマ、およびテーブルを更新できるようになりました。 REFRESH FOREIGN (CATALOG、SCHEMA、または TABLE) を参照してください。

INSERT BY NAME

テーブルに行を挿入するときに、Azure Databricks でソース クエリの列とフィールドを、その名前でテーブルの列に自動的にマップできるようになりました。 「INSERT INTO」を参照してください。

Delta Sharing を使用して具体化されたビューを共有する

ALTER SHARE ステートメントで具体化されたビューがサポートされるようになりました。

重大な変更

MERGE INTO および UPDATE を使ってテーブルに行を格納するときの暗黙的キャストの変更

Azure Databricks は、テーブルに行を格納するときの暗黙的キャストについて、構成 spark.sql.storeAssignmentPolicy に従うようになりました。 既定値 ANSI では、オーバーフローする値を格納するとエラーがスローされます。 以前は、値は既定で NULL として格納していました。

次の例のように、エラーの原因となる列に対してより広範な型を使用するようにテーブルを書き直すことで、オーバーフローに対処できます。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet スキーマ推論の変更

Spark によって書き込まれていない Parquet ファイルからスキーマを推論する場合、isAdjustedToUTC=false で注釈が付けられた int64 タイムスタンプ列は、既定で TIMESTAMP_NTZ 型になります。 以前は、これらは TIMESTAMP 型として推論されていました。 この更新により、Parquet 型と Spark SQL 型のマッピングの精度が向上します。

その結果、外部 Parquet ファイルから Delta テーブルにデータを読み取ると、timestampNtz 機能が有効になっていないと、エラーが発生する可能性があります。 エラーは次のように表示されます。

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

以前の動作を維持し、このエラーを回避するには、Spark 構成パラメーター spark.sql.parquet.inferTimestampNTZ.enabled を false に設定します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • debugpy (1.5.1 から 1.6.0 へ)
  • distlib (0.3.6 から 0.3.7 へ)
  • fastjsonschema (2.16.3 から 2.18.0 へ)
  • filelock (3.12.0 から 3.12.2 へ)
• アップグレードされた R ライブラリ:
  • SparkR (3.4.0 から 3.4.1 へ)
• アップグレードされた Java ライブラリ:
  • org.apache.orc.orc-core (1.8.3-shaded-protobuf から 1.8.4-shaded-protobuf へ)
  • org.apache.orc.orc-mapreduce (1.8.3-shaded-protobuf から 1.8.4-shaded-protobuf へ)
  • org.apache.orc.orc-shims (1.8.3 から 1.8.4 へ)
  • org.eclipse.jetty.jetty-client (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-continuation (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-http (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-io (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-jndi (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.jetty-plus (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-proxy (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-security (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-server (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-util (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-util-ajax (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.jetty-webapp (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.jetty-xml (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-api (9.4.50.v20221201 から 9.4.51.v20230217)
  • org.eclipse.jetty.websocket.websocket-client (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-common (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-server (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.eclipse.jetty.websocket.websocket-サーブレット (9.4.50.v20221201 から 9.4.51.v20230217 へ)
  • org.xerial.snappy.snappy-java (1.1.8.4 から 1.1.10.1 へ)

Apache Spark

Databricks Runtime 13.3 には、Apache Spark 3.4.1 が含まれています。 このリリースには、Databricks Runtime 13.2 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

• Spark-snowflake コネクタ v2.12.0 を使用するようにクラスター環境変数 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 を設定できるようになりました。
• [SPARK-43380] [DBRRM-383] Revert "[SC-133100][SQL] Avro データ型の conver... を元に戻す
• [SPARK-44504] [Backport][13.2][13.x][13.3] プロバイダーをアンロードすると、メンテナンス タスク エラー時に DB インスタンスを強制的に閉じてリソースを解放する
• [SPARK-44059] [SC-137023] 組み込み関数の名前付き引数のアナライザー サポートを追加
• [SPARK-44485] [SC-137653][SQL] TreeNode.generateTreeString を最適化する
• [SPARK-42944] [SC-137164][SS][PYTHON] Python での ForeachBatch のストリーミング
• [SPARK-44446] [SC-136994][PYTHON] 必要なリストの種類の特殊なケースのチェックを追加する
• [SPARK-44439] [SC-136973][CONNECT][SS]ID のみをクライアントに送り返す listListeners を修正しました
• [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API をパブリックにする
• [SPARK-44201] [SC-136778][CONNECT][SS]Spark Connect 用 Scala でストリーミング リスナーのサポートを追加
• [SPARK-43915] [SC-134766][SQL] エラー クラス LEGACY_ERROR_TEMP[2438-2445] に名前を割り当てる
• [SPARK-43798] "[SC-133990][SQL][PYTHON] Python ユーザー定義テーブル関数をサポートする" を元に戻す
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-44476] [SC-137169][CORE][CONNECT] 関連する成果物のない JobArtifactState の成果物の作成を修正する
• [SPARK-44269] [SC-135817][SQL] エラー クラス LEGACY_ERROR_TEMP[2310-2314] に名前を割り当てる
• [SPARK-44395] [SC-136744][SQL] TABLE キーワードの後に識別子をかっこで囲む必要のある TVF 引数を更新する
• [SPARK-43915] [SC-134766][SQL] エラー クラス LEGACY_ERROR_TEMP[2438-2445] に名前を割り当てる
• [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] UDFRegistration のサポートを Connect Scala クライアントに追加する
• [SPARK-44109] [SC-134755][CORE] 各 RDD パーティションの重複する優先する場所を削除する
• [SPARK-44169] [SC-135497][SQL] エラー クラス LEGACY_ERROR_TEMP[2300-2304] に名前を割り当てる
• [SPARK-41487] [SC-135636][SQL] _LEGACY_ERROR_TEMP_1020 に名前を割り当てる
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-44153] [SC-134977][CORE][UI] Executors タブの Heap Histogram 列をサポート
• [SPARK-44044] [SC-135695][SS] ストリーミングを使用したウィンドウ関数のエラー メッセージの改善
• [SPARK-43914] [SC-135414][SQL] エラー クラス LEGACY_ERROR_TEMP[2433-2437] に名前を割り当てる
• [SPARK-44217] [SC-136805][PYTHON] fp の近似等価性のカスタム精度を許可する
• [SPARK-44370] [SC-136575][CONNECT] Buf リモート世代アルファをリモート プラグインに移行する
• [SPARK-44410] [SC-136930][PYTHON][CONNECT] 13.2 へのバックポート: getOrCreate だけでなく、作成でアクティブなセッションを設定します
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] 関連する変更を含む test_artifact を再有効化
• [SPARK-44145] [SC-136698][SQL] 実行の準備ができたときにコールバックする
• [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler クラス
• [SPARK-43986] [SC-135623][SQL] HyperLogLog 関数呼び出しエラーのエラー クラスを作成する
• [SPARK-44139] [SC-134967][SQL] グループベースの MERGE 操作で完全にプッシュダウンされたフィルターを破棄する
• [SPARK-44338] [SC-136718][SQL] ビュー スキーマの不一致エラー メッセージを修正
• [SPARK-44208] [SC-135505][CORE][SQL] 例外を直接使用するいくつかのロジックに明確なエラー クラス名を割り当てる
• [SPARK-44364] [SC-136773] [PYTHON] List[Row] データ型のサポートを追加
• [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils で ResolveTimeZone を適用する必要がある
• [SPARK-43389] [SC-136772][SQL] lineSep オプションに null チェックを追加しました
• [SPARK-44388] [SC-136695][CONNECT] UDF インスタンスが更新されたときの protobuf キャストの問題を修正する
• [SPARK-44352] [SC-136373][CONNECT] DataType で sameType とフレンドを元に戻す。
• [SPARK-43975] [SC-134265][SQL] DataSource V2: グループベースのソースの UPDATE コマンドを処理する
• [SPARK-44360] [SC-136461][SQL] 差分ベースの MERGE 操作でのスキーマの排除をサポート
• [SPARK-44138] [SC-134907][SQL] MERGE 条件で非決定的な式、サブクエリ、集計を禁止する
• [SPARK-43321] [SC-136678][Connect][Followup] Scala Client joinWith で使用される API の名前の改善
• [SPARK-44263] [SC-136447][CONNECT] カスタム インターセプターのサポート
• [SPARK-39851] [SC-123383][SQL] 一方の側で一意性を維持できる場合に結合統計の推定を改善する
• [SPARK-44390] [SC-136677][CORE][SQL] 名前を SparkSerDerseUtils から SparkSerDeUtils に変更
• [SPARK-44004] [SC-134751][SQL] 名前を割り当て、頻繁に発生するレガシ エラーのエラー メッセージを改善する。
• [SPARK-44322] [SC-136204][CONNECT] パーサーで SQLConf ではなく SqlApiConf を使用します。
• [SPARK-44271] [SC-136347][SQL] 既定値関数を StructType から ResolveDefaultColumns に移動する
• [SPARK-44332] [SC-136413][CORE][WEBUI] Executor UI ページの Executor ID 列の並べ替えエラーを修正する
• [SPARK-44282] [SC-135948][CONNECT] Spark Connect Scala Client で使用する DataType 解析を準備する
• [SPARK-44349] [SC-136581][R] SparkR に数学関数を追加する
• [SPARK-44397] [SC-136647][PYTHON] pyspark.testing.utils で assertDataFrameEqual を公開する
• [SPARK-42981] [SC-136620][CONNECT] 直接矢印シリアル化を追加する
• [SPARK-44373] [SC-136577][SQL] データセット API の Wrap withActive (構文解析ロジックあり)
• [SPARK-44340] [SC-136574][SQL] PartitionEvaluator API を使用してコンピューティング ロジックを定義し、WindowGroupLimitExec で使用する
• [SPARK-43665] [SC-136573][CONNECT][PS] PandasSQLStringFormatter.vformat を有効にして Spark Connect を操作する
• [SPARK-44325] [SC-136572][SQL] SortMergeJoinExec で PartitionEvaluator API を使用する
• [SPARK-44315] [SC-136171][SQL][CONNECT] DefinedByConstructorParams を sql/api に移動する
• [SPARK-44275] [SC-136184][CONNECT] Scala Spark Connect に構成可能な再試行メカニズムを追加する
• [SPARK-44326] [SC-136208][SQL][CONNECT] Scala クライアントから一般的なモジュールに使用されるユーティリティを移動する
• [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][CONNECT] SQL/API への移動に ScalaReflection を準備する
• [SPARK-44313] [SC-136081][SQL] スキーマに char/varchar 列がある場合に生成された列式の検証を修正
• [SPARK-43963] [SC-134145][SQL] DataSource V2: グループベースのソースの MERGE コマンドを処理する
• [SPARK-44363] [SC-136433] [PYTHON] DataFrame 比較で等しくない行の割合を表示する
• [SPARK-44251] [SC-136432][SQL] 完全外部 USING 結合の結合キーに null 許容を正しく設定する
• [SPARK-43948] [SC-133366][SQL] エラー クラス LEGACY_ERROR_TEMP[0050|0057|0058|0059] に名前を割り当てる
• [SPARK-44329] [SC-136326][CONNECT][PYTHON] Scala と Python にhll_sketch_agg、hll_union_agg、to_varchar、try_aes_decryptを追加する
• [SPARK-44351] [SC-136353][SQL] 構文を簡略化する
• [SPARK-44281] [SC-135963][SQL] DataType で使用される QueryCompilation エラーを DataTypeErrors として sql/api に移動する
• [SPARK-44283] [SC-136109][CONNECT] オリジンを SQL/API に移動する
• [SPARK-43926] [SC-135590][CONNECT][PYTHON] Scala と Python に array_agg、array_size、cardinlaity、count_min_sketch,mask,named_struct,json_* を追加する
• [SPARK-44327] [SC-136187][SQL][CONNECT] 関数 any と len を Scala に追加する
• [SPARK-44290] [SC-136300][CONNECT] Spark Connect のセッション ベースのファイルとアーカイブ
• [SPARK-44061] [SC-136299][PYTHON] assertDataFrameEqual util 関数を追加する
• [SPARK-44331] [SC-136324][CONNECT][PYTHON] Scala と Python にビットマップ関数を追加する
• [SPARK-44342] [SC-136334][SQL] SQLContext を GenTPCDSData の SparkSession に置き換える
• [SPARK-42583] [SC-124190][SQL] 外部結合がすべて個別の集計関数である場合は、外部結合を削除する
• [SPARK-44333] [SC-136206][CONNECT][SQL] EnhancedLogicalPlan を ParserUtils から移動する
• [SPARK-43824] [SC-132655][SPARK-43825] [SQL] エラー クラス LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][CONNECT][PYTHON] Scala と Python に try_* 関数を追加する
• [SPARK-44193] [SC-135886][CONNECT] 変換のために GRPC 例外インターセプトを実装する
• [SPARK-44284] [SC-136107][CONNECT] sql/api 用の単純な conf システムを作成する
• [SPARK-43913] [SC-133368][SQL] エラー クラス LEGACY_ERROR_TEMP[2426-2432] に名前を割り当てる
• [SPARK-44291] "[SC-135924][SPARK-43416][CONNECT] 範囲クエリの正しくないスキーマを修正する" を元に戻す
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] 環境変数を使用してユーザー エージェントを設定できるようにする
• [SPARK-44154] [SC-136060] ビットマップ関数を実装する
• [SPARK-43885] [SC-133996][SQL] DataSource V2: グループベースのソースの MERGE コマンドを処理する
• [SPARK-43924] [SC-135161][CONNECT][PYTHON] Scala と Python に misc 関数を追加する
• [SPARK-43969] [SC-134556][SQL] リファクタリングを行い、エラー クラス _LEGACY_ERROR_TEMP_1170 に名前を割り当てる
• [SPARK-44185] [SC-135730][SQL] カタログ操作とデータ操作の間の一貫性のないパスの修飾を修正
• [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Scala、Python、Connect に日付時刻関数を追加する - パート 2
• [SPARK-43942] [SC-134527][CONNECT][PYTHON] Scala と Python に misc 関数を追加する - パート 1
• [SPARK-44266] [SC-135813][SQL] Util.truncatedString を sql/api に移動する
• [SPARK-44195] [SC-135722][R] JobTag API を SparkR SparkContext に追加する
• [SPARK-44200] [SC-135736][SQL] TableValuedFunction の TABLE 引数パーサー ルールをサポートする
• [SPARK-44254] [SC-135709][SQL] DataType で使用される QueryExecutionErrors を DataTypeErrors として sql/api に移動する
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] 範囲クエリの正しくないスキーマを修正する
• [SPARK-43922] [SC-135612][SQL] 関数呼び出しのパーサーで名前付きパラメーターのサポートを追加する
• [SPARK-44300] [SC-135882][CONNECT] 削除スコープをセッション固有の成果物に制限するように成果物のクリーンアップを修正
• [SPARK-44293] [SC-135849][CONNECT] Spark Connect のカスタム JAR の無効な URI を修正
• [SPARK-44215] [SC-135850][SHUFFLE] num チャンクが 0 の場合、サーバーは RuntimeException をスローする必要があります
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests を説明専用にする必要がある
• [SPARK-44274] [SC-135814][CONNECT] ArtifactManager で使用される util 関数を common/utils に移動する
• [SPARK-44194] [SC-135815][PYTHON][CORE] JobTag API を PySpark SparkContext に追加する
• [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData のより明示的な Python 型の注釈
• [SPARK-44079] [SC-135486][SQL] 破損したレコードで PERMISSIVE モードを使用して配列を構造体として解析する場合の ArrayIndexOutOfBoundsException を修正
• [SPARK-44255] [SC-135809][SQL] StorageLevel を common/utils に再配置する
• [SPARK-42169] [SC-135795] [SQL] to_csv関数のコード生成を実装する (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] 戻り値の型を個別に送信するように PythonUDTFRunner をリファクターする
• [SPARK-43353] [SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する
• [SPARK-44211] [SC-135718][PYTHON][CONNECT] SparkSession.is_stopped を実装
• [SPARK-42784] マージ dir の subDir の数が conf より小さい場合、[SC-135691] で subDir を作成する必要がある
• [SPARK-41599] [SC-135616] InProcessLauncher を使用してクラスターをセキュリティで保護するアプリを送信するときの FileSystem.CACHE のメモリ リーク
• [SPARK-44241] [SC-135613][Core] io.connectionTimeout/connectionCreationTimeout を 0 または負の値に誤って設定すると、絶え間ない Executor の短所/破棄が発生する
• [SPARK-44133] [SC-134795][13.X][PYTHON] MyPy を 0.920 から 0.982 にアップグレードする
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
• [SPARK-44188] [SC-135173][CORE] ActiveJob の役に立たない resetAllPartitions メソッドを削除する
• [SPARK-43757] [SC-135418][CONNECT] クライアントの互換性を許可リストから拒否リストに変更する
• [SPARK-43474] [SC-135521] [SS] [CONNECT] SPARK Connect アクセスをランタイム データフレームに ID で追加します。
• [SPARK-44183] [SC-135209][PYTHON] PyArrow の最小バージョンを 4.0.0 に作成する
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] kafka ソース v2 に優先する場所を追加する
• [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Scala、Python、Connect API に日付時刻関数を追加する - パート 1
• [SPARK-44161] [SC-135326][Connect] UDF の行入力を処理する
• [SPARK-44227] [SC-135520][SQL] StructField から SchemaUtils を抽出する
• [SPARK-44064] [SC-135116][CORE][SQL] 新しい apply 関数を NonFateSharingCache に追加する
• [SPARK-44171] [SC-135269][SQL] エラー クラス LEGACY_ERROR_TEMP[2279-2282] に名前を割り当て、一部の使われていないエラー クラスを削除する
• [SPARK-44056] [SC-134758][SQL] 使用可能な場合に UDF の実行エラー エラー メッセージに UDF 名を含める
• [SPARK-44205] [SC-135422][SQL] DecimalType から Catalyst コードを抽出する
• [SPARK-44220] [SC-135484][SQL] StringConcat を sql/api に移動する
• [SPARK-44146] [SC-135230][CONNECT] Spark Connect セッション jar とクラスファイルを分離する
• [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][SQL] テスト ケースで解釈されたクエリが Codegen を実行する可能性がある問題を修正する
• [SPARK-44204] [SC-135253][SQL][HIVE] getPartitionNames の不足している recordHiveCall を追加する
• [SPARK-44237] [SC-135485][CORE] DirectByteBuffer コンストラクターの参照ロジックを簡略化する
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] sql() で位置指定パラメーターをサポート
• [SPARK-44140] [SC-134893][SQL][PYTHON] Python sql() で位置指定パラメーターをサポート
• [SPARK-44164] [SC-135158][SQL] StructField から Util クラスに toAttribute メソッドを抽出する
• [SPARK-44178] [SC-135113][CONNECT] sql() で位置指定パラメーターをサポート
• [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader は読み取り後にバリア クラス InputStream を閉じる必要がある
• [SPARK-43063] [SC-128382][SQL] df.show ハンドル null は null ではなく NULL を出力する必要がある
• [SPARK-42539] [SC-124464][SQL][HIVE] メタデータ クライアントに 'builtin' Hive バージョンを使用するときに別のクラスローダーを排除する
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Catalog.listFunctions の省略可能なパターンを追加する
• [SPARK-44066] [SC-134878][SQL] Scala/Java sql() で位置指定パラメーターをサポート
• [SPARK-44078] [SC-134869][CONNECT][CORE] クラスローダー/リソース分離のサポートを追加
• [SPARK-43470] [SC-135187][CORE] OS、Java、Python のバージョン情報をアプリケーション ログに追加する
• [SPARK-43136] [SC-135238][CONNECT][Followup] KeyAs のテストの追加
• [SPARK-39740] [SC-135093][UI]: VIS タイムライン を 7.7.2 にアップグレードして CVE-2020-28487 を修正する
• [SPARK-42298] [SC-133952][SQL] _LEGACY_ERROR_TEMP_2132 に名前を割り当てる
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Catalog.listFunctions の省略可能なパターンを追加する
• [SPARK-44026] [SC-135181] SQLMetrics の初期値の指定を許可する
• [SPARK-44202] [SC-135244][CORE] JobTag API を JavaSparkContext に追加する
• [SPARK-44030] [SC-135237][SQL] DataTypeExpression を実装して式に適用しない
• [SPARK-43876] "[SC-134603][SQL] 個別のクエリに対して高速ハッシュマップを有効にする" を元に戻す
• [SPARK-40082] [SC-126437] プッシュ マージの shuffleMapStage 再試行時に mergeFinalize をスケジュールするが、実行中のタスクがない
• [SPARK-43888] [SC-132893][CORE] 共通/ユーティリティへのログ記録の再配置
• [SPARK-43474] [SC-134400] [SS] [CONNECT] SparkConnectPlanner に SessionHolder を追加する
• [SPARK-43944] [SC-134490][CONNECT][PYTHON] Scala と Python に string 関数を追加する - パート 2
• [SPARK-44134] [SC-134954][CORE] spark-defaults.conf に設定されているリソース (GPU/FPGA) を 0 に設定する問題を修正
• [SPARK-44142] [SC-134947][PYTHON] python 型を spark 型に変換するユーティリティで型を tpe に置き換える
• [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] タグによるクエリキャンセル用の SparkContext API を追加する
• [SPARK-44000] [SC-133634][SQL] 結合の片側のブロードキャストとレプリケートを無効にするヒントを追加する
• [SPARK-43937] [SC-134362][CONNECT][PYTHON] ifnull,isnotnull,equal_null,nullif,nvl,nvl2 を Scala と Python に追加する
• [SPARK-43624] [13.x][SC-134557][PS][CONNECT] SparkConnectPlanner に EWM を追加する。
• [SPARK-44040] [SC-134366][SQL] QueryStageExec の上の AggregateExec ノードの場合のコンピューティング統計を修正する
• [SPARK-43485] [SC-131264][SQL] datetime add/diff 関数の unit 引数のエラー メッセージを修正
• [SPARK-43794] [SC-132561][SQL] エラー クラス_LEGACY_ERROR_TEMP_1335 に名前を割り当てる
• [SPARK-43511] [SC-134749][CONNECT][SS]Spark Connect 用に実装された MapGroupsWithState および FlatMapGroupsWithState API
• [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 式とコード クリーンアップをサポート
• [SPARK-44106] [SC-134750][PYTHON][CONNECT] GroupedData 用に __repr__ を追加
• [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 に名前を割り当てる
• [SPARK-43290] [SC-134388][SQL] aes_encrypt IV と AAD のサポートを追加
• [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Scala と Python に like 関数を追加 current する
• [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Scala と Python に regexp_* 関数を追加する
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] サポートされていない Column メソッドを自動補完から非表示にする
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
• [SPARK-43773] [SC-132659][CONNECT][PYTHON] python クライアントで 'levenshtein(str1, str2[, threshold])' 関数を実装する
• [SPARK-44125] [SC-134745][R] SparkR での Java 21 のサポート
• [SPARK-43919] [SC-133374][SQL] JSON 機能を行外に抽出する
• [SPARK-43769] [SC-132520][CONNECT] 'levenshtein(str1, str2[, threshold])' 関数を実装する
• [SPARK-44012] [SC-134662][SS] KafkaDataConsumer で読み取り状態を印刷する
• [SPARK-43876] [SC-134603][SQL] 個別のクエリに対して高速ハッシュマップを有効にする
• [SPARK-44024] [SC-134497][SQL] 単一の要素の抽出にのみ unzip を使用する場合に map を使用するように変更
• [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Scala、Python、Connect に bit 操作を追加する
• [SPARK-44092] [SC-134506][CORE] Java 21 で Utils.isJavaVersionAtLeast21 を追加し、core モジュールを渡す
• [SPARK-44018] [SC-134512][SQL] 一部の DS V2 式の hashCode と toString を改善する
• [SPARK-44105] [SC-134582][SQL] LastNonNull を遅延解決する必要がある
• [SPARK-44081] [SC-134434] PartitionedFileUtil API を少し簡略化する
• [SPARK-43791] [SC-132531][SQL] エラー クラス_LEGACY_ERROR_TEMP_1336 に名前を割り当てる
• [SPARK-44071] [SC-134435] 未解決の定義と使用[リーフ|単項]ノードの特徴。
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] エラー クラス _LEGACY_ERROR_TEMP_2418-2425 に名前を割り当てる
• [SPARK-43742] [SC-132684][SQL] 既定の列値解決をリファクターする
• [SPARK-43493] [SC-132063][SQL] levenshtein() 関数に最大距離引数を追加する
• [SPARK-44075] [SC-134382][CONNECT] transformStatCorr を遅延させる
• [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Scala、Python、Connect に一部、bool_or、bool_and、各を追加する
• [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Scala と Python に _* 関数を追加する
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] エラー クラス _LEGACY_ERROR_TEMP_24[06-10] に名前を割り当てる
• [SPARK-43962] [SC-133367][SQL] エラー メッセージを改善: CANNOT_DECODE_URL、CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、CANNOT_PARSE_DECIMAL、CANNOT_READ_FILE_FOOTER、CANNOT_RECOGNIZE_HIVE_TYPE
• [SPARK-43938] [SC-133887][CONNECT][PYTHON] Scala と Python に _* 関数を追加する
• [SPARK-44055] [SC-134321][CORE] CheckpointRDD から冗長な override 関数を削除する
• [SPARK-43802] [SC-132597][SQL] unhex と unbase64 の codegen を failOnError=true で修正
• [SPARK-43798] [SC-133990][SQL][PYTHON] Python ユーザー定義テーブル関数をサポートする
• [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、reduce to Scala、Python、Connect API
• [SPARK-43380] [SC-133100][SQL] Avro データ型変換の問題を修正して、正しくない結果が生成されないようにする
• [SPARK-43803] [SC-133729] [SS] [CONNECT] awaitTermination() を改善してクライアントの切断を処理する
• [SPARK-43179] [SC-129070][SHUFFLE] 外部シャッフル サービスによってメタデータが db に保存されるかどうかをアプリが制御できるようにする

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

• オペレーティング システム: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)