Databricks Runtime 15.2

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 15.2 に関する情報が記載されています。

これらのイメージは、Databricks から 2024 年 5 月にリリースされました。

動作の変更

バキューム でCOPY INTO メタデータ ファイルがクリーンアップされる

COPY INTO で書き込まれたテーブルに対して VACUUM を実行すると、取り込まれたファイルの追跡に関連付けられた参照されていないメタデータがクリーンアップされるようになりました。 COPY INTO の操作のセマンティクスには影響ありません。

Lakehouse Federation が一般提供 (GA) になる

Databricks Runtime 15.2 以降では、次のデータベースの種類に対する Lakehouse Federation コネクタが一般提供 (GA) になります。

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

このリリースでは、次の機能強化も導入されています。

• Snowflake および Microsoft SQL Server コネクタでのシングル サインオン (SSO) 認証のサポート。

• サーバーレス コンピューティング環境からの SQL Server コネクタに対する Azure Private Link のサポート。 「ステップ 3: プライベート エンドポイント規則を作成する」を参照してください。

• 追加のプッシュダウン (文字列、数学、その他の関数) のサポート。

• さまざまなクエリ シェイプでのプッシュダウン成功率が向上しました。

• 追加のプッシュダウン デバッグ機能:

  • EXPLAIN FORMATTED の出力では、プッシュダウンされたクエリ テキストが表示されます。
  • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーション ノード識別子、JDBC クエリの実行時間 (詳細モード) が表示されます。 「システム生成フェデレーション クエリを表示する」を参照してください。

ヘッダーなしの CSV ファイルでCOPY INTO を使用した列マッピングのための BY POSITION

Databricks Runtime 15.2 以降では、ヘッダーなしの CSV ファイルで COPY INTO に BY POSITION キー ワード (または代替構文 ( col_name [ , <col_name> ... ] )) を使用して、ソース列とターゲット テーブル列のマッピングを簡略化できます。 「パラメーター」を参照してください。

Resubmitted エラーで Spark タスクが失敗した場合のメモリ使用量の削減

Databricks Runtime 15.2 以降でタスクが Resubmitted エラーで失敗した場合、Spark TaskInfo.accumulables() メソッドの戻り値は空です。 以前、このメソッドは、以前に成功したタスク試行の値を返しました。 この動作変更は、次のコンシューマーに影響します。

• EventLoggingListener クラスを使用する Spark タスク。
• カスタム Spark リスナー。

以前の動作を復元するには、spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled を false に設定します。

アダプティブ クエリ実行プランのバージョン表示の無効化

メモリ使用量を減らすために、既定では、Spark UI でアダプティブ クエリ実行 (AQE) プランのバージョンが無効になっています。 Spark UI で AQE プランのバージョンを有効にするには、spark.databricks.sql.aqe.showPlanChangesInUI.enabled を true に設定します。

保持されるクエリの制限を引き下げることで Spark UI のメモリ使用量を削減

Databricks Runtime 15.2 以降では、Azure Databricks コンピューティングで Spark UI によるメモリ使用量を減らすために、UI に表示されるクエリの数の制限が 1000 から 100 に引き下げられています。 この制限を変更するには、spark.sql.ui.retainedExecutions Spark 構成を使用して新しい値を設定します。

DESCRIBE HISTORY が、リキッド クラスタリングを使用するテーブルへのクラスタリング列の表示を開始

DESCRIBE HISTORY クエリを実行すると、CREATE OR REPLACE 操作と OPTIMIZE 操作に対して、既定で clusterBy フィールドが operationParameters 列に表示されます。 リキッド クラスタリングを使用する Delta テーブルの場合、clusterBy フィールドには、テーブルのクラスタリング列が設定されます。 そのテーブルでリキッド クラスタリングが使用されていない場合、フィールドは空になります。

新機能と機能強化

主キーと外部キーのサポートの一般提供

Databricks Runtime の主キーと外部キーのサポートが一般提供されました。 この GA リリースには、主キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。

• 外部キーを定義するには、外部キーで参照される主キーを含むテーブルに対する SELECT 権限が必要です。 以前に必要だったように、主キーを含むテーブルを所有する必要はありません。
• CASCADE 句を使用して主キーを削除する場合、主キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。 以前は、参照元のテーブルを所有する必要がありました。
• 制約を含むテーブルを削除する場合に、制約を含まないテーブルを削除する場合と同じ権限が必要になりました。

テーブルまたはビューで主キーと外部キーを使用する方法については、「CONSTRAINT 句」、「ADD CONSTRAINT 句」、「DROP CONSTRAINT 句」を参照してください。

リキッド クラスタリングが一般提供に

リキッド クラスタリングのサポートが、Databricks Runtime 15.2 以上で一般公開されました。 「Delta テーブルに Liquid Clustering クラスタリングを使用する」を参照してください。

型の拡大がパブリック プレビュー段階

Delta Lake でサポートされているテーブルで、型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「型の拡大」を参照してください。

SQL マージ構文に追加されたスキーマ進化句

SQL マージ ステートメントに WITH SCHEMA EVOLUTION 句を追加して、操作のスキーマ進化を有効にできるようになりました。 「マージ用のスキーマ進化構文」を参照してください。

PySpark カスタム データ ソースがパブリック プレビューで利用可能

PySpark データソースは Python (PySpark) DataSource API を使用して作成できます。これにより、カスタム データ ソースからの読み取りと、Python を使用した Apache Spark のカスタム データ シンクへの書き込みが可能になります。 「PySpark カスタム データ ソース」を参照してください

applyInPandas と mapInPandas が、共有アクセス モードの Unity Catalog コンピューティングで使用できるようになりました

Databricks Runtime 14.3 LTS メンテナンス リリースの一環として、applyInPandas および mapInPandas の UDF の型が Databricks Runtime 14.3 以降を実行する共有アクセス モード コンピューティングでサポートされるようになりました。

dbutils.widgets.getAll() を使用してノートブック内のすべてのウィジェットを取得する

ノートブック内のすべてのウィジェット値を取得するには、dbutils.widgets.getAll() を使用します。 これは、Spark SQL クエリに複数のウィジェット値を渡す場合に特に役立ちます。

バキューム インベントリのサポート

Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 「OSS Delta ドキュメント」を参照してください。

Zstandard 圧縮関数のサポート

BINARY データの圧縮と展開を行うための zst_compress、zstd_decompress、try_zstd_decompress 関数を使用できるようになりました。

バグ修正

SQL UI のクエリ プランに PhotonWriteStage を正しく表示

SQL UI に表示した場合、クエリ プランの write コマンドで PhotonWriteStage が演算子として正しく表示されませんでした。 このリリースでは、UI が更新され、PhotonWriteStage はステージとして表示されます。 これは UI の変更のみであり、クエリの実行方法には影響しません。

Ray の更新により Ray クラスターの起動に関する問題を修正

このリリースには、Ray クラスターが Databricks Runtime for Machine Learning で開始されないようにしている破壊的変更を修正する、パッチが適用されたバージョンの Ray が含まれています。 この変更により、Ray の機能は、15.2 より前のバージョンの Databricks Runtime と同じになります。

GraphFrames の更新により Spark 3.5 による正しくない結果を修正

このリリースには、GraphFrames と Spark 3.5 を使用したときに一部のアルゴリズムに対して正しくない結果を引き起こす問題を修正する、GraphFrames パッケージに対する更新プログラムが含まれています。

DataFrame.sort() および DataFrame.sortWithinPartitions() 関数のエラー クラスを修正

このリリースには、0 がインデックス引数として渡されたときに ZERO_INDEX エラー クラスが確実にスローされるように、PySpark DataFrame.sort() および DataFrame.sortWithinPartitions() 関数に対する更新プログラムが含まれています。 以前は、エラー クラス INDEX_NOT_POSITIVE がスローされていました。

ipywidgets が 8.0.4 から 7.7.2 にダウングレード

Databricks Runtime 15.0 で ipywidgets を 8.0.4 にアップグレードすることで発生したエラーを修正するために、Databricks Runtime 15.2 では ipywidgets が 7.7.2 にダウングレードされます。 これは、以前の Databricks Runtime バージョンに含まれているバージョンと同じです。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • GitPython (3.1.42 から 3.1.43 へ)
  • google-api-core (2.17.1 から 2.18.0 へ)
  • google-auth (2.28.1 から 2.29.0 へ)
  • google-cloud-storage (2.15.0 から 2.16.0 へ)
  • googleapis-common-protos (1.62.0 から 1.63.0 へ)
  • ipywidgets (8.0.4 から 7.7.2 へ)
  • mlflow-skinny (2.11.1 から 2.11.3 へ)
  • s3transfer (0.10.0 から 0.10.1 へ)
  • sqlparse (0.4.4 から 0.5.0 へ)
  • typing_extensions (4.7.1 から 4.10.0 へ)
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • com.amazonaws.aws-java-sdk-autoscaling (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudformation (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudfront (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudhsm (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudsearch (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudtrail (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudwatch (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-codedeploy (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cognitoidentity (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-cognitosync (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-config (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-core (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-datapipeline (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-directconnect (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-directory (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-dynamodb (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-ec2 (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-ecs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-efs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elasticache (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elasticbeanstalk (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elasticloadbalancing (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-elastictranscoder (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-emr (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-glacier (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-glue (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-iam (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-importexport (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-kinesis (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-kms (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-lambda (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-logs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-machinelearning (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-opsworks (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-rds (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-redshift (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-route53 (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-s3 (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-ses (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-simpledb (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-simpleworkflow (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-sns (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-sqs (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-ssm from (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-storagegateway (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-sts (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-support (1.12.390 から 1.12.610 へ)
  • com.amazonaws.aws-java-sdk-workspaces (1.12.390 から 1.12.610 へ)
  • com.amazonaws.jmespath-java (1.12.390 から 1.12.610 へ)

Apache Spark

Databricks Runtime 15.2 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 15.1 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

• [SPARK-47941] [SC-163568] [SS] [Connect] PySpark の ForeachBatch worker 初期化エラーについてユーザーに伝える
• [SPARK-47412] [SC-163455][SQL] LPad/RPad の照合順序のサポートを追加する
• [SPARK-47907] [SC-163408][SQL] 構成の下にバングを配置する
• [SPARK-46820] [SC-157093][PYTHON] new_msg を復元してエラー メッセージの回帰を修正する
• [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/リソース マネージャー: 構造化ログの移行
• [SPARK-47890] [SC-163324][CONNECT][PYTHON] Scala と Python に variant 関数を追加する
• [SPARK-47894] [SC-163086][CORE][WEBUI] マスター UI に Environment ページを追加する
• [SPARK-47805] [SC-163459][SS] MapState に TTL を実装する
• [SPARK-47900] [SC-163326] 暗黙的な (UTF8_BINARY) 照合順序のチェックを修正する
• [SPARK-47902] [SC-163316][SQL]Compute Current Time* の式を折りたたみ可能にする
• [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] scala と python の split 関数で列の型をサポートする
• [SPARK-47754] [SC-162144][SQL] Postgres: 多次元配列の読み取りをサポートする
• [SPARK-47416] [SC-163001][SQL] CollationBenchmark #90339 に新しい関数を追加する
• [SPARK-47839] [SC-163075][SQL] RewriteWithExpression における集計のバグを修正する
• [SPARK-47821] [SC-162967][SQL] is_variant_null 式を実装する
• [SPARK-47883] [SC-163184][SQL] RowQueue で CollectTailExec.doExecute を遅延させる
• [SPARK-47390] [SC-163306][SQL] PostgresDialect が TIMESTAMP を TIMESTAMP_TZ と区別する
• [SPARK-47924] [SC-163282][CORE] DEBUG ロゴを DiskStore.moveFileToBlock に追加する
• [SPARK-47897] [SC-163183][SQL][3.5] scala 2.12 での ExpressionSet パフォーマンスの回帰を修正する
• [SPARK-47565] [SC-161786][PYTHON] PySpark worker プールのクラッシュの回復性
• [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource を pyspark-connect と互換性のあるものにする
• [SPARK-47887] [SC-163122][CONNECT] spark/connect/relations.proto から未使用のインポート spark/connect/common.proto を削除する
• [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark.worker_utils を pyspark-connect と互換性のあるものにする
• [SPARK-47691] [SC-161760][SQL] Postgres: 書き込み側で多次元配列をサポートする
• [SPARK-47617] [SC-162513][SQL] 照合順序用の TPC-DS テスト インフラストラクチャを追加する
• [SPARK-47356] [SC-162858][SQL] ConcatWs と Elt のサポートを追加する (すべての照合順序)
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
• [SPARK-47863] [SC-162974][SQL] ICU での startsWith と endsWith の照合順序に対応した実装を修正する
• [SPARK-47867] [SC-162966][SQL] JSON スキャンのバリアントをサポートする。
• [SPARK-47366] [SC-162475][SQL][PYTHON] PySpark の VariantVal を追加する
• [SPARK-47803] [SC-162726][SQL] バリアントへのキャストをサポートする。
• [SPARK-47769] [SC-162841][SQL] schema_of_variant_agg 式を追加する。
• [SPARK-47420] [SC-162842][SQL] テスト出力を修正する
• [SPARK-47430] [SC-161178][SQL] GROUP BY for MapType をサポートする
• [SPARK-47357] [SC-162751][SQL] Upper、Lower、InitCap のサポートを追加する (すべての照合順序)
• [SPARK-47788] [SC-162729][SS] ストリーミング ステートフル操作で同じハッシュ パーティション分割を行う
• [SPARK-47776] [SC-162291][SS] ステートフル演算子のキー スキーマでバイナリ非等値照合順序を使用できないようにする
• [SPARK-47673] [SC-162824][SS] ListState に TTL を実装する
• [SPARK-47818] [SC-162845][CONNECT] SparkConnectPlanner にプラン キャッシュを導入して、分析要求のパフォーマンスを向上させる
• [SPARK-47694] [SC-162783][CONNECT] クライアント側で最大メッセージ サイズを構成できるようにする
• [SPARK-47274] 元に戻す "[SC-162479][PYTHON][SQL] PySpark DataFrame…
• [SPARK-47616] [SC-161193][SQL] MySQL から Spark SQL データ型をマッピングするためのユーザー ドキュメントを追加する
• [SPARK-47862] [SC-162837][PYTHON][CONNECT] proto ファイルの生成を修正する
• [SPARK-47849] [SC-162724][PYTHON][CONNECT] リリース スクリプトを変更して pyspark-connect をリリースする
• [SPARK-47410] [SC-162518][SQL] UTF8String と CollationFactory をリファクターする
• [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml を pyspark-connect と互換性のあるものにする
• [SPARK-47707] [SC-161768][SQL] MySQL Connector/J 5.x の JSON 型の特別な処理
• [SPARK-47765] 元に戻す "[SC-162636][SQL] SET COLLATION をパーサー…
• [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Progress Handler の使いやすさを向上させる
• [SPARK-47289] [SC-161877][SQL] 拡張機能で Explain プランの拡張情報をログできるようにする
• [SPARK-47274] [SC-162479][PYTHON][SQL] PySpark DataFrame API エラーに関するより有用なコンテキストを提供する
• [SPARK-47765] [SC-162636][SQL] SET COLLATION をパーサー規則に追加する
• [SPARK-47828] [SC-162722][CONNECT][PYTHON] 無効なプランで DataFrameWriterV2.overwrite が失敗する
• [SPARK-47812] [SC-162696][CONNECT] ForEachBatch worker の SparkSession のシリアル化をサポートする
• [SPARK-47253] [SC-162698][CORE] イベント キューを完全にドレインせずに LiveEventBus を停止できるようにする
• [SPARK-47827] [SC-162625][PYTHON] 非推奨の機能に関する警告を表示しない
• [SPARK-47733] [SC-162628][SS] クエリの進行状況の transformWithState 演算子部分のカスタム メトリックを追加する
• [SPARK-47784] [SC-162623][SS] TTLMode と TimeoutMode を 1 つの TimeMode にマージする。
• [SPARK-47775] [SC-162319][SQL] バリアント仕様の残りのスカラー型をサポートする。
• [SPARK-47736] [SC-162503][SQL] AbstractArrayType のサポートを追加する
• [SPARK-47081] [SC-161758][CONNECT] クエリ実行の進行状況をサポートする
• [SPARK-47682] [SC-162138][SQL] バリアントからのキャストをサポートする。
• [SPARK-47802] [SC-162478][SQL] () の意味を struct() から * に戻す
• [SPARK-47680] [SC-162318][SQL] variant_explode 式を追加する。
• [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression が各 codegen モードのエラーを確認する必要がある
• [SPARK-41811] [SC-162470][PYTHON][CONNECT] SQLStringFormatter を WithRelations で実装する
• [SPARK-47693] [SC-162326][SQL] UTF8_BINARY_LCASE 照合順序で使用される UTF8String の小文字比較の最適化を追加する
• [SPARK-47541] [SC-162006][SQL] reverse、array_join、concat、map 操作をサポートする複合型の照合文字列
• [SPARK-46812] [SC-161535][CONNECT][PYTHON] mapInPandas / mapInArrow で ResourceProfile をサポートする
• [SPARK-47727] [SC-161982][PYTHON] SparkConf を SparkSession と SparkContext の両方のルート レベルにする
• [SPARK-47406] [SC-159376][SQL] MYSQLDialect の TIMESTAMP と DATETIME を処理する
• [SPARK-47081] 元に戻す "[SC-161758][CONNECT] クエリ実行の進行…
• [SPARK-47681] [SC-162043][SQL] schema_of_variant 式を追加する。
• [SPARK-47783] [SC-162222] 不足している SQLSTATEs をいくつか追加して、YY000 をクリーンアップし…
• [SPARK-47634] [SC-161558][SQL] マップ キーの正規化を無効にするためのレガシ サポートを追加する
• [SPARK-47746] [SC-162022] RocksDBStateEncoder に序数ベースの範囲エンコードを実装する
• [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec が常に context.session を使用する必要がある
• [SPARK-47643] [SC-161534][SS][PYTHON] python ストリーミング ソースの pyspark テストを追加する
• [SPARK-47582] [SC-161943][SQL] 変数を含む Catalyst logInfo を構造化ログ記録フレームワークに移行する
• [SPARK-47558] [SC-162007][SS] ValueState の状態 TTL のサポート
• [SPARK-47358] [SC-160912][SQL][COLLATION] 正しいデータ型を返すように繰り返し式のサポートを向上させる
• [SPARK-47504] [SC-162044][SQL] StringTypeCollated の AbstractDataType simpleStrings を解決する
• [SPARK-47719] 元に戻す "[SC-161909][SQL] spark.sql.legacy.timeParserPolicy の…
• [SPARK-47657] [SC-162010][SQL] ファイル ソースごとの照合順序フィルターのプッシュ ダウン サポートを実装する
• [SPARK-47081] [SC-161758][CONNECT] クエリ実行の進行状況をサポートする
• [SPARK-47744] [SC-161999] 範囲エンコーダーの負の値 (byte) のサポートを追加する
• [SPARK-47713] [SC-162009][SQL][CONNECT] 自己結合エラーを修正する
• [SPARK-47310] [SC-161930][SS] 状態ストアの値部分における複数の値に対するマージ操作のためのマイクロベンチマークを追加する
• [SPARK-47700] [SC-161774][SQL] treeNode を使用したエラー メッセージの書式設定を修正する
• [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas を pyspark-connect と互換性のあるものにする
• [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] 構造化ログ記録フレームワークに logWarning/logInfo API を実装する
• [SPARK-47107] [SC-161201][SS][PYTHON] python ストリーミング データ ソースのパーティション リーダーを実装する
• [SPARK-47553] [SC-161772][SS] transformWithState 演算子 API の Java サポートを追加する
• [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParserPolicy の既定値を CORRECTED に変更する
• [SPARK-47655] [SC-161761][SS] タイマーと state-v2 の初期状態処理を統合する
• [SPARK-47665] [SC-161550][SQL] SMALLINT を使用して ShortType を MYSQL に書き込む
• [SPARK-47210] [SC-161777][SQL] 不確定なサポートなしで暗黙的キャストを追加する
• [SPARK-47653] [SC-161767][SS] 負の数値型と範囲スキャン キー エンコーダーのサポートを追加する
• [SPARK-46743] [SC-160777][SQL] 定数のたたみ込み後にバグをカウントする
• [SPARK-47525] [SC-154568][SQL] マップ属性でのサブクエリ相関結合をサポートする
• [SPARK-46366] [SC-151277][SQL] BETWEEN で WITH 式を使用して、式の重複を回避する
• [SPARK-47563] [SC-161183][SQL] 作成時にマップ正規化を追加する
• [SPARK-42040] [SC-161171][SQL] SPJ: パーティション統計を報告する V2 入力パーティション用の新しい API を導入する
• [SPARK-47679] [SC-161549][SQL] HiveConf.getConfVars または Hive conf 名を直接使用する
• [SPARK-47685] [SC-161566][SQL] Dataset#groupBy の Stream 型のサポートを復元する
• [SPARK-47646] [SC-161352][SQL] 形式に誤りがある入力に対して try_to_number が NULL を返すようにする
• [SPARK-47366] [SC-161324][PYTHON] pyspark とデータフレームの parse_json エイリアスを追加する
• [SPARK-47491] [SC-161176][CORE] slf4j-api jar を最初にクラス パスに追加してから、jars ディレクトリの他のクラス パスに追加する
• [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty が CommandResults ローカルで出力する
• [SPARK-47364] [SC-158927][CORE] プラグインが一方向のメッセージに応答したときに PluginEndpoint が警告するようにする
• [SPARK-47280] [SC-158350][SQL] ORACLE TIMESTAMP WITH TIMEZONE のタイムゾーン制限を削除する
• [SPARK-47551] [SC-161542][SQL] variant_get 式を追加する。
• [SPARK-47559] [SC-161255][SQL] バリアント parse_json に対する Codegen サポート
• [SPARK-47572] [SC-161351][SQL] Window partitionSpec を順序付け可能にする。
• [SPARK-47546] [SC-161241][SQL] Parquet から Variant を読み取るときの検証を改善する
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
• [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] データフレーム API で照合順序を持つ列を作成する
• [SPARK-47641] [SC-161376][SQL] UnaryMinus と Abs のパフォーマンスを向上させる
• [SPARK-47631] [SC-161325][SQL] 無用な SQLConf.parquetOutputCommitterClass メソッドを削除する
• [SPARK-47674] [SC-161504][CORE] spark.metrics.appStatusSource.enabled を既定で有効にする
• [SPARK-47273] [SC-161162][SS][PYTHON] Python データ ストリーム ライター インターフェイスを実装する。
• [SPARK-47637] [SC-161408][SQL] errorCapturingIdentifier をより多くの場所で使用する
• [SPARK-47497] 元に戻す "元に戻す "[SC-160724][SQL] to_csv が array/struct/map/binary をプリティ文字列として出力できるようサポートする""
• [SPARK-47492] [SC-161316][SQL] lexer の空白規則を拡張する
• [SPARK-47664] [SC-161475][PYTHON][CONNECT] キャッシュされたスキーマで列名を検証する
• [SPARK-47638] [SC-161339][PS][CONNECT] PS での列名の検証をスキップする
• [SPARK-47363] [SC-161247][SS] 初期状態では State API v2 用の状態リーダーは実装しない。
• [SPARK-47447] [SC-160448][SQL] Parquet TimestampLTZ を TimestampNTZ として読み取ることができるようにする
• [SPARK-47497] 元に戻す "[SC-160724][SQL] to_csv が array/struct/map/binary をプリティ文字列として出力できるようサポートする"
• [SPARK-47434] [SC-160122][WEBUI] StreamingQueryPage の statistics リンクを修正する
• [SPARK-46761] [SC-159045][SQL] JSON パス内の引用符で囲まれた文字列は ? をサポートする必要がある characters
• [SPARK-46915] [SC-155729][SQL] UnaryMinusAbs を簡略化し、エラー クラスを配置する
• [SPARK-47431] [SC-160919][SQL] セッション レベルの既定の照合順序を追加する
• [SPARK-47620] [SC-161242][PYTHON][CONNECT] 列を並び替えるヘルパー 関数を追加する
• [SPARK-47570] [SC-161165][SS] 範囲スキャン エンコーダーの変更をタイマー実装と統合する
• [SPARK-47497] [SC-160724][SQL] to_csv が array/struct/map/binary をプリティ文字列として出力できるようサポートする
• [SPARK-47562] [SC-161166][CONNECT] plan.py から係数リテラル処理を除外する
• [SPARK-47509] [SC-160902][SQL] ラムダ関数と上位関数のサブクエリ式をブロックする
• [SPARK-47539] [SC-160750][SQL] メソッドの戻り値 castToString を Any => UTF8String にする
• [SPARK-47372] [SC-160905][SS] 状態ストア プロバイダーで使用する範囲スキャン ベースのキー状態エンコーダーのサポートを追加する
• [SPARK-47517] [SC-160642][CORE][SQL] サイズ表示で Utils.bytesToString を優先する
• [SPARK-47243] [SC-158059][SS] StateMetadataSource.scala のパッケージ名を修正する
• [SPARK-47367] [SC-160913][PYTHON][CONNECT] Spark Connect で Python データ ソースをサポートする
• [SPARK-47521] [SC-160666][CORE] 外部ストレージからシャッフル データを読み取る際に Utils.tryWithResource を使用する
• [SPARK-47474] [SC-160522][CORE] SPARK-47461 を元に戻し、いくつかのコメントを追加する
• [SPARK-47560] [SC-160914][PYTHON][CONNECT] キャッシュされたスキーマで列名を検証する RPC を回避する
• [SPARK-47451] [SC-160749][SQL] to_json(variant) をサポートする。
• [SPARK-47528] [SC-160727][SQL] DataTypeUtils.canWrite に UserDefinedType のサポートを追加する
• [SPARK-44708] 元に戻す "[SC-160734][PYTHON] assertDataFrameEqual を使用するために test_reset_index assert_eq を移行する"
• [SPARK-47506] [SC-160740][SQL] 照合されたデータ型のすべてのファイル ソース形式に対するサポートを追加する
• [SPARK-47256] [SC-160784][SQL] エラー クラス _LEGACY_ERROR_TEMP_102[4-7] に名前を割り当てる
• [SPARK-47495] [SC-160720][CORE] k8s クラスター モードで spark.jars に追加されたプライマリ リソース jar を 2 回修正する
• [SPARK-47398] [SC-160572][SQL] 機能拡張を可能にする InMemoryTableScanExec の特性を抽出する
• [SPARK-47479] [SC-160623][SQL] Optimize が複数パスのエラー ログとの関係にデータを書き込めない
• [SPARK-47483] [SC-160629][SQL] 照合文字列の配列に対する集計および結合操作のサポートを追加する
• [SPARK-47458] [SC-160237][CORE] バリア ステージの最大同時実行タスクの計算に関する問題を修正する
• [SPARK-47534] [SC-160737][SQL] o.a.s.variant を o.a.s.types.variant に移動する
• [SPARK-47396] [SC-159312][SQL] TIME WITHOUT TIME ZONE の一般的なマッピングを TimestampNTZType に追加する
• [SPARK-44708] [SC-160734][PYTHON] assertDataFrameEqual を使用するために test_reset_index assert_eq を移行する
• [SPARK-47309] [SC-157733][SC-160398][SQL] XML: 値タグのスキーマ推論テストを追加する
• [SPARK-47007] [SC-160630][SQL] MapSort 式を追加する
• [SPARK-47523] [SC-160645][SQL] 非推奨の JsonParser#getCurrentName を JsonParser#currentName に置き換える
• [SPARK-47440] [SC-160635][SQL] サポートされていない構文を MsSqlServer にプッシュするよう修正する
• [SPARK-47512] [SC-160617][SS] RocksDB 状態ストア インスタンスのロック取得/リリースで使用される操作の種類にタグ付けする
• [SPARK-47346] [SC-159425][PYTHON] Python planner worker の作成時にデーモン モードを構成可能にする
• [SPARK-47446] [SC-160163][CORE] removeBlockInternal の前に BlockManager が警告するようにする
• [SPARK-46526] [SC-156099][SQL] 述語が外部テーブルのみを参照する相関サブクエリに対する LIMIT をサポートする
• [SPARK-47461] [SC-160297][CORE] ExecutorAllocationManager からプライベート関数 totalRunningTasksPerResourceProfile を削除する
• [SPARK-47422] [SC-160219][SQL] 配列操作で照合文字列をサポートする
• [SPARK-47500] [SC-160627][PYTHON][CONNECT] plan.py から係数列名の処理を除外する
• [SPARK-47383] [SC-160144][CORE] spark.shutdown.timeout 構成をサポートする
• [SPARK-47342] [SC-159049]元に戻す "[SQL] TIMESTAMPNTZ for DB2 TIMESTAMP WITH TIME ZONE をサポートする"
• [SPARK-47486] [SC-160491][CONNECT] 未使用の非公開 ArrowDeserializers.getString メソッドを削除する
• [SPARK-47233] [SC-154486][CONNECT][SS][2/2] クライアント側ストリーミング クエリ リスナーのクライアントおよびサーバー ロジック
• [SPARK-47487] [SC-160534][SQL] AnsiTypeCoercion のコードを簡略化する
• [SPARK-47443] [SC-160459][SQL] 照合順序のウィンドウ集計サポート
• [SPARK-47296] [SC-160457][SQL][COLLATION] 非バイナリ照合順序でサポートされていない関数が失敗する
• [SPARK-47380] [SC-160164][CONNECT] SparkSession が同じであることをサーバー側で確認する
• [SPARK-47327] [SC-160069][SQL] 並べ替えキーのコンカレンシー テストを CollationFactorySuite に移動する
• [SPARK-47494] [SC-160495][Doc] Spark 3.3 以降の Parquet タイムスタンプ推論の動作変更に関する移行ドキュメントを追加する
• [SPARK-47449] [SC-160372][SS] リスト/タイマーの単体テストのリファクターと分割を行う
• [SPARK-46473] [SC-155663][SQL] getPartitionedFile メソッドを再利用する
• [SPARK-47423] [SC-160068][SQL] 照合順序 - 照合順序を持つ文字列に対する操作のサポートを設定する
• [SPARK-47439] [SC-160115][PYTHON] API リファレンス ページの Python データ ソース API に関するドキュメント
• [SPARK-47457] [SC-160234][SQL] Hadoop 3.4+ を処理するように IsolatedClientLoader.supportsHadoopShadedClient を修正する
• [SPARK-47366] [SC-159348][SQL] parse_json を実装する。
• [SPARK-46331] [SC-152982][SQL] DateTime 式と version() 式のサブセットから CodegenFallback を削除する
• [SPARK-47395] [SC-159404] 他の API に照合と照合順序を追加する
• [SPARK-47437] [SC-160117][PYTHON][CONNECT] DataFrame.sort* のエラー クラスを修正する
• [SPARK-47174] [SC-154483][CONNECT][SS][1/2] クライアント側ストリーミング クエリ リスナー用のサーバー側 SparkConnectListenerBusListener
• [SPARK-47324] [SC-158720][SQL] JDBC の入れ子にされた型に不足しているタイムスタンプ変換を追加する
• [SPARK-46962] [SC-158834][SS][PYTHON] python ストリーミング データ ソース API のインターフェイスを追加し、python worker を実装して python ストリーミング データ ソースを実行する
• [SPARK-45827] [SC-158498][SQL] データ型チェックを CreatableRelationProvider に移動する
• [SPARK-47342] [SC-158874][SQL] TIMESTAMPNTZ for DB2 TIMESTAMP WITH TIME ZONE をサポートする
• [SPARK-47399] [SC-159378][SQL] 照合順序を持つ式で生成された列を無効にする
• [SPARK-47146] [SC-158247][CORE] 並べ替えマージ結合の実行時にスレッド リークが発生する可能性がある
• [SPARK-46913] [SC-159149][SS] transformWithState 演算子を使用した処理/イベント時間ベースのタイマーのサポートを追加する
• [SPARK-47375] [SC-159063][SQL] タイムスタンプ マッピングのガイドラインを JdbcDialect#getCatalystType に追加する
• [SPARK-47394] [SC-159282][SQL] TIMESTAMP WITH TIME ZONE for H2Dialect をサポートする
• [SPARK-45827] 元に戻す "[SC-158498][SQL] データ型チェックを…
• [SPARK-47208] [SC-159279][CORE] ベース オーバーヘッド メモリのオーバーライドを許可する
• [SPARK-42627] [SC-158021][SPARK-26494][SQL] Oracle TIMESTAMP WITH LOCAL TIME ZONE をサポートする
• [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0 をアップグレードする
• [SPARK-46906] [SC-157205][SS] ストリーミングのステートフル演算子の変更のチェックを追加する
• [SPARK-47391] [SC-159283][SQL] JDK 8 のテスト ケースの回避策を削除する
• [SPARK-47272] [SC-158960][SS] State API v2 の MapState 実装を追加する。
• [SPARK-47375] [SC-159278][Doc][FollowUp] JDBC の preferTimestampNTZ オプション ドキュメントの誤記を修正する
• [SPARK-42328] [SC-157363][SQL] エラー クラスから _LEGACY_ERROR_TEMP_1175 を削除する
• [SPARK-47375] [SC-159261][Doc][FollowUp] JDBC ドキュメントの preferTimestampNTZ オプションの説明を修正する
• [SPARK-47344] [SC-159146] INVALID_IDENTIFIER エラーを拡張し、引用符で囲まれていない識別子の '-' をキャッチできるようにした "IS ! NULL" などを修正する
• [SPARK-47340] [SC-159039][SQL] StringType の型名の "照合" を小文字に変更する
• [SPARK-47087] [SC-157077][SQL] 構成値チェックでエラー クラスを使用して Spark の例外を発生させる
• [SPARK-47327] [SC-158824][SQL] ICU Collator のスレッド セーフの問題を修正する
• [SPARK-47082] [SC-157058][SQL] 境界外エラー状態を修正する
• [SPARK-47331] [SC-158719][SS] Arbitrary State API v2 の SQL エンコーダーに基づくケース クラス/プリミティブ/POJO を使用したシリアル化。
• [SPARK-47250] [SC-158840][SS] RocksDB 状態プロバイダーと列ファミリの使用に対する検証と NERF の変更を追加する
• [SPARK-47328] [SC-158745][SQL] UCS_BASIC 照合順序の名前を UTF8_BINARY に変更する
• [SPARK-47207] [SC-157845][CORE] spark.driver.timeout と DriverTimeoutPlugin をサポートする
• [SPARK-47370] [SC-158956][Doc] 移行ドキュメントの追加: Parquet ファイルでの TimestampNTZ の型の推定
• [SPARK-47309] [SC-158827][SQL][XML] スキーマ推論の単体テストを追加する
• [SPARK-47295] [SC-158850][SQL] startsWith 関数と endsWith 関数に ICU StringSearch を追加する
• [SPARK-47343] [SC-158851][SQL] sqlString 変数値が即時実行で null 文字列である場合に NPE を修正する
• [SPARK-46293] [SC-150117][CONNECT][PYTHON] protobuf の推移的な依存関係を使用する
• [SPARK-46795] [SC-154143][SQL] sql/core の UnsupportedOperationException を SparkUnsupportedOperationException に置き換える
• [SPARK-46087] [SC-149023][PYTHON] ドキュメントと開発要件に PySpark 依存関係を同期する
• [SPARK-47169] [SC-158848][SQL] 照合列のバケットを無効にする
• [SPARK-42332] [SC-153996][SQL] ComplexTypeMergingExpression の SparkException への要求を変更する
• [SPARK-45827] [SC-158498][SQL] データ型チェックを CreatableRelationProvider に移動する
• [SPARK-47341] [SC-158825][Connect] SparkConnectClientSuite のいくつかのテストでコマンドを関係に置き換える
• [SPARK-43255] [SC-158026][SQL] エラー クラス _LEGACY_ERROR_TEMP_2020 を内部エラーで置き換える
• [SPARK-47248] [SC-158494][SQL][COLLATION] 強化された文字列関数のサポート: contains
• [SPARK-47334] [SC-158716][SQL] withColumnRenamed が withColumnsRenamedの実装を再利用するようにする
• [SPARK-46442] [SC-153168][SQL] DS V2 が PERCENTILE_CONT と PERCENTILE_DISC のプッシュ ダウンをサポートする
• [SPARK-47313] [SC-158747][SQL] QueryExecution.toInternalError 内に scala.MatchError の処理を追加する
• [SPARK-45827] [SC-158732][SQL] Java 用のバリアント シングルトン型を追加する
• [SPARK-47337] [SC-158743][SQL][DOCKER] DB2 Docker イメージのバージョンを 11.5.8.0 にアップグレードする
• [SPARK-47302] [SC-158609][SQL] キーワードを識別子として照合する
• [SPARK-46817] [SC-154196][CORE] decommission コマンドを追加して spark-daemon.sh の使用方法を修正する
• [SPARK-46739] [SC-153553][SQL] エラー クラス UNSUPPORTED_CALL を追加する
• [SPARK-47102] [SC-158253][SQL] COLLATION_ENABLED 構成フラグを追加する
• [SPARK-46774] [SC-153925][SQL][AVRO] Avro 書き込みジョブで非推奨の mapred.output.compress の代わりに mapreduce.output.fileoutputformat.compress を使用する
• [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: worker が接続しない場合はタイムアウトする。
• [SPARK-46835] [SC-158355][SQL][Collations] 非バイナリ照合順序のサポートを結合する
• [SPARK-47131] [SC-158154][SQL][COLLATION] 文字列関数のサポート: contains、startswith、endswith
• [SPARK-46077] [SC-157839][SQL] JdbcDialect.compileValue で TimestampNTZConverter によって生成される型を考慮する。
• [SPARK-47311] [SC-158465][SQL][PYTHON] PySpark が Python パスにない Python 例外を抑制する
• [SPARK-47319] [SC-158599][SQL] missingInput の計算を改善する
• [SPARK-47316] [SC-158606][SQL] Postgres 配列の TimestampNTZ を修正する
• [SPARK-47268] [SC-158158][SQL][Collations] 照合順序での再パーティション分割をサポートする
• [SPARK-47191] [SC-157831][SQL] テーブル/ビューをキャッシュ解除するときに不要な関係検索を回避する
• [SPARK-47168] [SC-158257][SQL] 既定以外の照合順序文字列を操作するときに parquet フィルターのプッシュダウンを無効にする
• [SPARK-47236] [SC-158015][CORE] 既存以外のファイル入力をスキップする deleteRecursivelyUsingJavaIO を修正する
• [SPARK-47238] [SC-158466][SQL] WSCG で生成されたコードをブロードキャスト変数にすることで、Executor のメモリ使用量を削減する
• [SPARK-47249] [SC-158133][CONNECT] 実際の状態に関係なく、すべての接続実行が破棄されたと見なされるバグを修正する
• [SPARK-47202] [SC-157828][PYTHON] tzinfo で datetimes を壊す入力ミスを修正する
• [SPARK-46834] [SC-158139][SQL][Collations] 集計をサポートする
• [SPARK-47277] [SC-158351][3.5] PySpark util 関数 assertDataFrameEqual はストリーミング DF をサポートしない
• [SPARK-47155] [SC-158473][PYTHON] エラー クラスに関する問題を修正する
• [SPARK-47245] [SC-158163][SQL] INVALID_PARTITION_COLUMN_DATA_TYPE のエラー コードを改善する
• [SPARK-39771] [SC-158425][CORE] シャッフル ブロックの数が多すぎる場合に、Dependency に警告メッセージを追加します。
• [SPARK-47277] [SC-158329] PySpark util 関数 assertDataFrameEqual はストリーミング DF をサポートしない
• [SPARK-47293] [SC-158356][CORE] 1 つずつ追加するのではなく、sparkSchema を使用して batchSchema をビルドする
• [SPARK-46732] [SC-153517][CONNECT] サブクエリ/ブロードキャスト スレッドが Connect の成果物管理と動作するようにする
• [SPARK-44746] [SC-158332][PYTHON] 入力テーブルを受け入れる関数に関する Python UDTF ドキュメントを追加する
• [SPARK-47120] [SC-157517][SQL] null 比較が Parquet フィルターの NPE で生成されたサブクエリからのデータ フィルターをプッシュダウンする
• [SPARK-47251] [SC-158291][PYTHON] sql コマンドの args 引数から無効な型をブロックする
• [SPARK-47251] 元に戻す "[SC-158121][PYTHON] sql コマンドの args 引数から無効な型をブロックする"
• [SPARK-47015] [SC-157900][SQL] 照合列のパーティション分割を無効にする
• [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo を明示的に Serializable に拡張する
• [SPARK-46641] [SC-156314][SS] maxBytesPerTrigger しきい値を追加する
• [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner が内部関数を非公開にする
• [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate が入力と同じ型を返すようにする
• [SPARK-46961] [SC-158183][SS] ProcessorContext を使用してハンドルの保存と取得を行う
• [SPARK-46862] [SC-154548][SQL] 複数行モードで CSV 列の排除を無効にする
• [SPARK-46950] [SC-155803][CORE][SQL] not available codec エラー クラスを配置する
• [SPARK-46368] [SC-153236][CORE] REST Submission API で readyz をサポートする
• [SPARK-46806] [SC-154108][PYTHON] 引数の種類が正しくない場合の spark.table のエラー メッセージを改善する
• [SPARK-47211] [SC-158008][CONNECT][PYTHON] 無視された PySpark Connect 文字列照合順序を修正する
• [SPARK-46552] [SC-151366][SQL] catalyst の UnsupportedOperationException を SparkUnsupportedOperationException に置き換える
• [SPARK-47147] [SC-157842][PYTHON][SQL] PySpark の照合文字列変換エラーを修正する
• [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] collateId protobuf フィールドを追加して Spark Connect 照合順序エラーを修正する
• [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi をリトライ可能にし、ThriftServerWithSparkContextInHttpSuite の不安定性を修正する
• [SPARK-46696] [SC-153832][CORE] ResourceProfileManager では、変数宣言の後に関数呼び出しが行われる必要がある
• [SPARK-47214] [SC-157862][Python] 定数 NULL 引数とその他の種類の引数を区別する "分析" メソッド用の UDTF API を作成する
• [SPARK-46766] [SC-153909][SQL][AVRO] AVRO データソースの ZSTD バッファー プールをサポートする
• [SPARK-47192] [SC-157819] _LEGACY_ERROR_TEMP_0035 エラーを変換する
• [SPARK-46928] [SC-157341][SS] Arbitrary State API v2 で ListState のサポートを追加する。
• [SPARK-46881] [SC-154612][CORE] spark.deploy.workerSelectionPolicy をサポートする
• [SPARK-46800] [SC-154107][CORE] spark.deploy.spreadOutDrivers をサポートする
• [SPARK-45484] [SC-146014][SQL] 不適切な parquet 圧縮コーデック lz4raw を使用するバグを修正する
• [SPARK-46791] [SC-154018][SQL] JavaTypeInference で Java Set をサポートする
• [SPARK-46332] [SC-150224][SQL] CatalogNotFoundException をエラー クラス CATALOG_NOT_FOUND に移行する
• [SPARK-47164] [SC-157616][SQL] v2 の Wider Type Narrow Literal の既定値を v1 と同じように動作させる
• [SPARK-46664] [SC-153181][CORE] worker とアプリがゼロの場合に迅速に回復するように Master を改善する
• [SPARK-46759] [SC-153839][SQL][AVRO] コーデック xz と zstandard が avro ファイルの圧縮レベルをサポートする

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

• オペレーティング システム: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)