Databricks Runtime 15.3

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 15.3 に関する情報が記載されています。

Databricks は、2024 年 6 月にこれらのイメージをリリースしました。

新機能と機能強化

PySpark DataSources が、ストリームの読み取りと書き込みをサポートするようになりました

カスタム データ ソースからの読み取りと、カスタム データ シンクへの書き込みを可能にする PySpark DataSources が、ストリームの読み取りと書き込みをサポートするようになりました。 「PySpark カスタム データ ソース」を参照してください。

ドロップ機能を使用して列マッピングを無効にする

DROP FEATURE を使用して、Delta テーブルの列マッピングを無効化し、テーブル プロトコルをダウングレードできるようになりました。 「列マッピングの無効化」を参照してください。

パブリック プレビューのバリアント型の構文と関数

VARIANT 型として半構造化データを操作するためのネイティブ Apache Spark サポートが、Spark DataFrames と SQL で使用できるようになりました。 「バリアント データにクエリを実行する」を参照してください。

パブリック プレビューでの Delta Lake のバリアント型のサポート

VARIANT を使用して、Delta Lake によってサポートされるテーブルに半構造化データを格納できるようになりました。 「Delta Lake でのバリアントのサポート」を参照してください。

ビューでのスキーマ展開のさまざまなモードのサポート

CREATE VIEW と ALTER VIEW で、スキーマ バインド モードを設定できるようになりました。これにより、基になるオブジェクトのスキーマ変更をビューで処理する方法が強化されました。 この機能により、ビューは基になるオブジェクトのスキーマ変更を許容したり、適応したりできます。 これは、オブジェクト定義の変更によって生じるクエリ スキーマの変更に対応します。

Spark Connect Scala クライアントに追加された observe() メソッドのサポート

Spark Connect Scala クライアントで、Dataset.observe() メソッドがサポートされるようになりました。 これらのメソッドのサポートにより、ds.observe("name", metrics...) または ds.observe(observationObject, metrics...) メソッドを使用して、Dataset オブジェクトで監視するメトリックを定義できます。

自動ローダーのストリーム再起動待機時間の改善

このリリースには、自動ローダーのストリーム再起動待機時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、既に取り込まれたファイルの数が多いストリームなど、状態が大きいストリームの開始時刻が向上します。

DataFrame を pyarrow.Table として返す

Apache Arrow pyarrow.Table オブジェクトへの DataFrame の直接書き込みをサポートするために、このリリースには DataFrame.toArrow() 関数が含まれています。 PySpark で Arrow を使用する方法の詳細については、PySpark での Apache Arrow に関するページを参照してください。

一部のウィンドウ関数のパフォーマンス向上

このリリースには、一部の Spark ウィンドウ関数、特に ORDER BY 句や window_frame パラメーターを含まない関数のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて、集計関数を使用してクエリを実行できます。 この変更により、部分的な集計を使用し、ウィンドウ関数を実行するオーバーヘッドを回避することで、クエリの実行速度を向上させることができます。 Spark 構成パラメーター spark.databricks.optimizer.replaceWindowsWithAggregates.enabled はこの最適化を制御し、既定で true に設定されています。 この最適化をオフにするには、spark.databricks.optimizer.replaceWindowsWithAggregates.enabled を false に設定します。

try_mod 関数のサポートが追加されました

このリリースでは、PySpark try_mod() 関数のサポートが追加されました。 この関数は、2 つの数値を除算した場合の整数剰余の ANSI SQL 互換計算をサポートします。 除数引数が 0 の場合、try_mod() 関数は例外をスローする代わりに null を返します。 mod または % の代わりに try_mod() 関数を使用できます。これは、除数引数が 0 で ANSI SQL が有効な場合に例外をスローします。

list_secrets() での省略可能なスコープ パラメーターのサポート

このリリースでは、list_secrets() テーブル関数の結果を特定のスコープに制限できます。

バグ修正

Spark UI の WriteIntoDeltaCommand メトリックが正しく表示されるようになった

このリリースには、Execute WriteIntoDeltaCommand ノードの Spark UI の [SQL] タブに表示されるメトリックの修正プログラムが含まれています。 以前は、このノードに表示されるメトリックはすべて 0 でした。

Pandas API の groupby() 関数で as_index=False 引数が無視されていた

このリリースには、Spark 上の Pandas API の groupby() 関数に関する問題の修正が含まれています。 この修正前は、集計列のラベル変更と as_index=False 引数を使用した groupby() で、結果の DataFrame にグループ キーが含まれていませんでした。

他の関数からの出力を参照する複数のウィンドウ関数でエラーを解析する

このリリースでは、Spark クエリに複数の連続するウィンドウ関数が含まれていて、ウィンドウ関数が他のウィンドウ関数からの出力を参照する場合に発生する可能性がある問題が修正されています。 まれに、システムによっていずれかの参照が削除され、クエリの評価中にエラーが発生することがあります。 この修正により、これらの参照が投影され、クエリの評価が保証されます。 この変更は、既定で true に設定されている Spark 構成パラメーター spark.databricks.optimizer.collapseWindows.projectReferences によって制御されます。 この変更をオフにするには、spark.databricks.optimizer.collapseWindows.projectReferences を false に設定します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • filelock (3.13.1 から 3.13.4 へ)
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • org.rocksdb.rocksdbjni (8.3.2 から 8.11.4 へ)

Apache Spark

Databricks Runtime 15.3 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 15.2 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

• [SPARK-48288] [SC-166141] コネクタ キャスト式のソース データ型を追加する
• [SPARK-48175] [SC-166341][SQL][PYTHON] SER/DE の型ではなく、メタデータに照合順序情報を格納する
• [SPARK-48172] [SC-166078][SQL] JDBCDialects のエスケープの問題を修正する
• [SPARK-48186] [SC-165544][SQL] AbstractMapType のサポートを追加する
• [SPARK-48031] [SC-166523] レガシ ビューを SCHEMA BINDING に適用する
• [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] 関数 timestamp_add を追加する
• [SPARK-48330] [SC-166458][SS][PYTHON] トリガー間隔が長い python ストリーミング データ ソースのタイムアウトの問題を修正する
• [SPARK-48369] "[SC-166494][SQL][PYTHON][CONNECT] 関数 timestamp_add を追加する" を元に戻す
• [SPARK-48336] [SC-166495][PS][CONNECT] Spark Connect で ps.sql を実装する
• [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] 関数 timestamp_add を追加する
• [SPARK-47354] [SC-165546][SQL] バリアント式の照合順序のサポートを追加する
• [SPARK-48161] [SC-165325][SQL] 元に戻された PR (JSON 式の照合順序のサポートを追加する) を修正する
• [SPARK-48031] [SC-166391] viewSchemaMode 構成を分解し、SHOW CREATE TABLE のサポートを追加する
• [SPARK-48268] [SC-166217][CORE] SparkContext.setCheckpointDir の構成を追加する
• [SPARK-48312] [ES-1076198][SQL] Alias.removeNonInheritableMetadata のパフォーマンスを向上させる
• [SPARK-48294] [SC-166205][SQL] nestedTypeMissingElementTypeError で小文字を処理する
• [SPARK-47254] [SC-158847][SQL] エラー クラス _LEGACY_ERROR_TEMP_325[1-9] に名前を割り当てる
• [SPARK-47255] [SC-158749][SQL] エラー クラス _LEGACY_ERROR_TEMP_323[6-7] および _LEGACY_ERROR_TEMP_324[7-9] に名前を割り当てる
• [SPARK-48310] [SC-166239][PYTHON][CONNECT] キャッシュされたプロパティはコピーを返す必要がある
• [SPARK-48308] [SC-166152][Core] FileSourceStrategy でパーティション列のないデータ スキーマの取得を統合する
• [SPARK-48301] [SC-166143][SQL] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE の名前を CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE に変更する
• [SPARK-48287] [SC-166139][PS][CONNECT] 組み込みの timestamp_diff メソッドを適用する
• [SPARK-47607] [SC-166129] 構造化ログ フレームワークのドキュメントを追加する
• [SPARK-48297] [SC-166136][SQL] char/varchar で回帰 TRANSFORM 句を修正する
• [SPARK-47045] [SC-156808][SQL] sql/api の IllegalArgumentException を SparkIllegalArgumentException に置き換える
• [SPARK-46991] [SC-156399][SQL] catalyst の IllegalArgumentException を SparkIllegalArgumentException に置き換える
• [SPARK-48031] [SC-165805][SQL] ビュー スキーマの展開をサポートする
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] SQLExpression の足りない __repr__ メソッドを追加する
• [SPARK-48278] [SC-166071][PYTHON][CONNECT] Cast の文字列表現を改善する
• [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] 関数 timestamp_diff を追加する
• [SPARK-47798] [SC-162492][SQL] 10 進値の読み取りエラーのエラー メッセージを強化する
• [SPARK-47158] [SC-158078][SQL] 適切な名前と sqlState を _LEGACY_ERROR_TEMP_(2134|2231) に割り当てる
• [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient が NPE で FetchFailedException を引き起こす可能性がある
• [SPARK-48277] [SC-166066] ErrorClassesJsonReader.getErrorMessage のエラー メッセージを改善する
• [SPARK-47545] [SC-165444][CONNECT] Scala クライアント向けのデータセット observe サポート
• [SPARK-41794] [SC-171672][SQL] try_mod 関数を追加する
• [SPARK-43258] [SC-158151][SQL] エラー _LEGACY_ERROR_TEMP_202[3,5] に名前を割り当てる
• [SPARK-48267] [SC-165903][SS] SPARK-47305 を使用した回帰 e2e テスト
• [SPARK-48263] [SC-165925] 非 UTF8_BINARY 文字列の Collate 関数のサポート
• [SPARK-48260] [SC-165883][SQL] ParquetIOSuite の 1 つのテストで出力コミッターの調整を無効にする
• [SPARK-47834] [SC-165645][SQL][CONNECT] SQLImplicits の非推奨の関数を @deprecated でマークする
• [SPARK-48011] [SC-164061][Core] LogKey 名を値として格納して新しい文字列インスタンスを生成しないようにする
• [SPARK-48074] [SC-164647][Core] JSON ログの読みやすさを向上させる
• [SPARK-44953] [SC-165866][CORE] 別の DA でサポートされているメカニズムと共にシャッフル追跡が有効になっている場合に警告をログに記録する
• [SPARK-48266] [SC-165897][CONNECT] パッケージ オブジェクト org.apache.spark.sql.connect.dsl をテスト ディレクトリに移動する
• [SPARK-47847] [SC-165651][CORE] spark.network.remoteReadNioBufferConversion を非推奨にする
• [SPARK-48171] [SC-165178][CORE] o.rocksdb.Logger の非推奨コンストラクターの使用をクリーンアップする
• [SPARK-48235] [SC-165669][SQL] すべての引数の代わりに結合を getBroadcastBuildSide と getShuffleHashJoinBuildSide に直接渡す
• [SPARK-48224] [SC-165648][SQL] マップ キーがバリアント型であることを禁止する
• [SPARK-48248] [SC-165791][PYTHON] inferArrayTypeFromFirstElement のレガシ構成を考慮するように入れ子になった配列を修正する
• [SPARK-47409] [SC-165568][SQL] StringTrim 型の関数/式の照合順序のサポートを追加する (UTF8_BINARY および LCASE 用)
• [SPARK-48143] [ES-1095638][SQL] UnivocityParser と FailureSafeParser の間の制御フローに軽量例外を使用する
• [SPARK-48146] [SC-165668][SQL] With 式子アサーションの集計関数を修正する
• [SPARK-48161] "[SC-165325][SQL] JSON 式の照合順序のサポートを追加する" を元に戻す
• [SPARK-47963] [CORE] 外部 Spark エコシステムで構造化ログ メカニズムを使用できるようにする
• [SPARK-48180] [SC-165632][SQL] TABLE 引数を指定した UDTF 呼び出しで複数の PARTITION/ORDER BY 式のかっこを忘れた場合のエラーを改善する
• [SPARK-48002] [SC-164132][PYTHON][SS] PySpark StreamingQueryListener で観察されたメトリックのテストを追加する
• [SPARK-47421] [SC-165548][SQL] URL 式の照合順序のサポートを追加する
• [SPARK-48161] [SC-165325][SQL] JSON 式の照合順序のサポートを追加する
• [SPARK-47359] [SC-164328][SQL] 照合文字列を操作するための TRANSLATE 関数のサポート
• [SPARK-47365] [SC-165643][PYTHON] PySpark に toArrow() DataFrame メソッドを追加する
• [SPARK-48228] [SC-165649][PYTHON][CONNECT] ApplyInXXX で不足している関数検証を実装する
• [SPARK-47986] [SC-165549][CONNECT][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
• [SPARK-47963] "[CORE] 外部 Spark エコシステムで構造化ログ メカニズムを使用できるようにする" を元に戻す
• [SPARK-47963] [CORE] 外部 Spark エコシステムで構造化ログ メカニズムを使用できるようにする
• [SPARK-48208] [SC-165547][SS] 境界付きメモリ使用量が有効になっている場合に RocksDB からのメモリ使用状況メトリックの提供をスキップする
• [SPARK-47566] [SC-164314][SQL] 照合文字列を操作するための SubstringIndex 関数のサポート
• [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: 変数を含む logError を構造化ログ フレームワークに移行する
• [SPARK-48205] [SC-165501][PYTHON] Python データ ソースの private[sql] 修飾子を削除する
• [SPARK-48173] [SC-165181][SQL] CheckAnalysis にクエリ プラン全体が表示される
• [SPARK-48197] [SC-165520][SQL] 無効なラムダ関数のアサート エラーを回避する
• [SPARK-47318] [SC-162573][CORE] 標準の KEX プラクティスに従う AuthEngine キー派生に HKDF ラウンドを追加する
• [SPARK-48184] [SC-165335][PYTHON][CONNECT] クライアント側で常に Dataframe.sample のシードを設定する
• [SPARK-48128] [SC-165004][SQL] BitwiseCount/bit_count 式の場合にブール型入力の codegen 構文エラーを修正する
• [SPARK-48147] [SC-165144][SS][CONNECT] ローカル Spark セッションが削除されたときにクライアント側リスナーを削除する
• [SPARK-48045] [SC-165299][PYTHON] 複数の集計とラベル変更を伴う Pandas API の groupby が as_index=False を無視する
• [SPARK-48191] [SC-165323][SQL] 文字列エンコードとデコードで UTF-32 をサポート
• [SPARK-45352] [SC-137627][SQL] 折りたたみ式ウィンドウ パーティションを削除する
• [SPARK-47297] [SC-165179][SQL] フォーマット式の照合順序のサポートを追加する
• [SPARK-47267] [SC-165170][SQL] ハッシュ式の照合順序のサポートを追加する
• [SPARK-47965] [SC-163822][CORE] TypedConfigBuilder と OptionalConfigEntry で orNull を回避する
• [SPARK-48166] [SQL] VariantExpressionEvalUtils でユーザー向けのエラーとして BadRecordException を使用しないようにする
• [SPARK-48105] [SC-165132][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
• [SPARK-47922] [SC-163997][SQL] try_parse_json 式を実装する
• [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParse... を変更する
• [SPARK-48035] [SC-165136][SQL] セマンティックが加算/乗算と等しい try_add/try_multiply を修正する
• [SPARK-48107] [SC-164878][PYTHON] Python ディストリビューションからテストを除外する
• [SPARK-46894] [SC-164447][PYTHON] PySpark エラー状態をスタンドアロン JSON ファイルに移動する
• [SPARK-47583] [SC-163825][CORE] SQL core: 変数を含む logError を構造化ログ フレームワークに移行する
• [SPARK-48064] "[SC-164697][SQL] ルーチン関連のエラー クラスのエラー メッセージを更新する" を元に戻す
• [SPARK-48048] [SC-164846][CONNECT][SS] Scala のクライアント側リスナー サポートを追加済み
• [SPARK-48064] [SC-164697][SQL] ルーチン関連のエラー クラスのエラー メッセージを更新する
• [SPARK-48056] [SC-164715][CONNECT][PYTHON] SESSION_NOT_FOUND エラーが発生しても部分的な応答が受信されなかった場合にプランを再実行する
• [SPARK-48124] [SC-165009][CORE] Connect-Repl の構造化ログを既定で無効にする
• [SPARK-47922] "[SC-163997][SQL] try_parse_json 式を実装する" を元に戻す
• [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys が厳密過ぎる
• [SPARK-48114] [SC-164956][CORE] 不要な作業を回避するためにテンプレート正規表現をプリコンパイルする
• [SPARK-48067] [SC-164773][SQL] バリアントの既定の列を修正する
• [SPARK-47922] [SC-163997][SQL] try_parse_json 式を実装する
• [SPARK-48075] [SC-164709] [SS] PySpark avro 関数の型チェックを追加する
• [SPARK-47793] [SC-164324][SS][PYTHON] Python ストリーミング データ ソース用に SimpleDataSourceStreamReader を実装する
• [SPARK-48081] [SC-164719] 引数が折りたたみ不可能または間違った型の場合に NTile.checkInputDataTypes() の ClassCastException を修正する
• [SPARK-48102] [SC-164853][SS] ストリーミング クエリの進行状況を報告しながらソース/シンク メトリックを取得する期間を追跡する
• [SPARK-47671] [SC-164854][Core] log4j2.properties.template で構造化ログを有効にしてドキュメントを更新する
• [SPARK-47904] [SC-163409][SQL] enableStableIdentifiersForUnionType の使用時に Avro スキーマで大文字と小文字を区別する
• [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType DDL 文字列を解析する
• [SPARK-46922] [SC-156102][CORE][SQL] ランタイム ユーザー向けのエラーをラップしない
• [SPARK-48047] [SC-164576][SQL] 空の TreeNode タグのメモリ負荷を軽減する
• [SPARK-47934] [SC-164648] [CORE] HistoryServer URL リダイレクトで末尾のスラッシュを確実に追加する
• [SPARK-47921] [SC-163826][CONNECT] ExecuteHolder での ExecuteJobTag の作成を修正する
• [SPARK-48014] [SC-164150][SQL] EvaluatePython の makeFromJava エラーをユーザー側エラーに変更する
• [SPARK-47903] [SC-163424][PYTHON] PySpark バリアント ライブラリに残りのスカラー型のサポートを追加する
• [SPARK-48068] [SC-164579][PYTHON] mypy に --python-executable パラメーターが必要である
• [SPARK-47846] [SC-163074][SQL] from_json 式でバリアント型のサポートを追加する
• [SPARK-48050] [SC-164322][SS] クエリの開始時に論理プランをログに記録する
• [SPARK-47810] [SC-163076][SQL] 結合条件で同等の式を <=> に置き換える
• [SPARK-47741] [SC-164290] パーサーでスタック オーバーフロー処理を追加済み
• [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame でサポートされていないオプションを警告する必要がある
• [SPARK-47939] [SC-164171][SQL] ExplainCommand と DescribeQueryCommand 内で ParameterizedQuery を移動する新しいアナライザー ルールを実装する
• [SPARK-48063] [SC-164432][CORE] spark.stage.ignoreDecommissionFetchFailure を既定で有効にする
• [SPARK-48016] [SC-164280][SQL] 10 進数を使用する場合 try_divide 関数のバグを修正する
• [SPARK-48033] [SC-164291][SQL] 既定の列で使用されている RuntimeReplaceable 式を修正する
• [SPARK-48010] [SC-164051][SQL][ES-1109148] resolveExpression で conf.resolver を繰り返し呼び出さないようにする
• [SPARK-48003] [SC-164323][SQL] hll スケッチ集計の照合順序のサポートを追加する
• [SPARK-47994] [SC-164175][SQL] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正する
• [SPARK-47984] [SC-163837][ML][SQL] SparkSerDeUtils#serialize/deserialize を呼び出す MetricsAggregate/V2Aggregator#serialize/deserialize を変更する
• [SPARK-48042] [SC-164202][SQL] メソッド レベルでコピーを作成する代わりに、クラス レベルでタイムゾーンを持つタイムスタンプ フォーマッタを使用する
• [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] 構造化ログの移行
• [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] 構造化ログの移行
• [SPARK-47567] [SC-164172][SQL] 照合文字列を操作するための LOCATE 関数をサポートする
• [SPARK-47764] [SC-163820][CORE][SQL] ShuffleCleanupMode に基づくシャッフル依存関係をクリーンアップする
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] group.apply のエラー クラスを修正する
• [SPARK-47414] [SC-163831][SQL] 正規表現式の小文字照合順序のサポート
• [SPARK-47418] [SC-163818][SQL] 小文字の Unicode 対応の contains、startsWith、endsWith 用の手作業で作成された実装を追加し、UTF8_BINARY_LCASE を最適化する
• [SPARK-47580] [SC-163834][SQL] SQL catalyst: エラー ログ内の名前のない変数を削除する
• [SPARK-47351] [SC-164008][SQL] StringToMap とマスク文字列式の照合順序のサポートを追加する
• [SPARK-47292] [SC-164151][SS] safeMapToJValue は null 型指定された値を考慮する必要がある
• [SPARK-47476] [SC-164014][SQL] 照合文字列を操作するための REPLACE 関数をサポートする
• [SPARK-47408] [SC-164104][SQL] StringType を使用する mathExpressions を修正する
• [SPARK-47350] [SC-164006][SQL] SplitPart 文字列式の照合順序のサポートを追加する
• [SPARK-47692] [SC-163819][SQL] 暗黙的キャストでの既定の StringType の意味を修正する
• [SPARK-47094] [SC-161957][SQL] SPJ: バケット数が等しくない場合に動的に数を再調整する
• [SPARK-48001] [SC-164000][CORE] SparkContext から未使用の private implicit def arrayToArrayWritable を削除する
• [SPARK-47986] [SC-163999][CONNECT][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
• [SPARK-48019] [SC-164121] ディクショナリと null を使用して ColumnVector/ColumnarArray の不適切な動作を修正する
• [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] 構造化ログの移行
• [SPARK-47999] [SC-163998][SS] スナップショットの作成と HDFS でサポートされている状態ストア プロバイダーにおける状態キャッシュ マップへのエントリの追加/削除に関するログ記録を改善する
• [SPARK-47417] [SC-162872][SQL] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
• [SPARK-47712] [SC-161871][CONNECT] 接続プラグインによるデータセットの作成と処理を許可する
• [SPARK-47411] [SC-163351][SQL] 照合文字列を操作するための StringInstr および FindInSet 関数をサポートする
• [SPARK-47360] [SC-163014][SQL] 照合順序のサポート: Overlay、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [SC-163323][SQL] - 照合順序の substr/left/right にサポートを追加する
• [SPARK-47983] [SC-163835][SQL] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled を内部設定に降格する
• [SPARK-47964] [SC-163816][PYTHON][CONNECT] pyspark-connect で SQLContext と HiveContext を非表示にする
• [SPARK-47985] [SC-163841][PYTHON] lit で関数を簡略化する
• [SPARK-47633] [SC-163453][SQL] より一貫性のある正規化のために LateralJoin#allAttributes に右側のプラン出力を含める
• [SPARK-47909] "[PYTHON][CONNECT] 親 DataFrame クラス..." を元に戻す
• [SPARK-47767] [SC-163096][SQL] TakeOrderedAndProjectExec にオフセット値を表示する
• [SPARK-47822] [SC-162968][SQL] ハッシュ式でバリアント データ型のハッシュを禁止する
• [SPARK-47490] [SC-160494][SS] 非推奨の警告を回避するために RocksDB Logger コンストラクターの使用を修正する
• [SPARK-47417] "[SC-162872][SQL] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences" を元に戻す
• [SPARK-47352] [SC-163460][SQL] Upper、Lower、InitCap の照合順序認識を修正します
• [SPARK-47909] [PYTHON][CONNECT] Spark Connect と Spark Classic 用の親 DataFrame クラス
• [SPARK-47417] [SC-162872][SQL] 照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

• オペレーティング システム: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)