Databricks Runtime 11.2 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.2 に関する情報が記載されています。 Databricks は、2022 年 9 月にこのバージョンをリリースしました。

新機能と機能強化

• テーブル アクセス制御 (テーブル ACL) の ALTER TABLE アクセス許可に対する変更
• MERGE INTO の動的排除
• 動的ファイルの排除による Delta での競合検出の改善
• DSE/SQL ホームページの新しいオープン ソースの統合カード
• CONVERT TO DELTA パーティション検出の機能強化
• テーブル スキーマで列の既定値がサポートされるようになりました
• 新しい H3 地理空間関数
• 新しい Databricks Runtime の依存関係
• 独自のキーを持ち込む: Git 資格情報を暗号化する
• SQL: 新しい集計関数 any_value
• Databricks Utilities ファイル システム コマンドは、より多くのクラスターの種類で許可されます
• Unity Catalog のメタストアで CREATE 権限を付与できるようになりました
• Photon 対応クラスターでのパーティション分割されていないテーブルの書き込みの最適化
• Photon のサポート対象データ ソースの追加
• SQL: ALTER SHARE で START VERSION がサポートされるようになりました

テーブル アクセス制御 (テーブル ACL) の ALTER TABLE アクセス許可に対する変更

ALTER TABLE でテーブルのスキーマまたはプロパティを変更するためにユーザーに必要なアクセス許可は MODIFY のみになりました。 テーブルに対するアクセス許可の付与、その所有者と場所の変更、名前の変更には、引き続き所有権が必要です。 この変更により、テーブル ACL のアクセス許可モデルが Unity Catalog と整合するようになりました。 「ALTER TABLE」を参照してください。

MERGE INTO の動的排除

Photon 対応コンピューティングを使用する場合、必要に応じてパフォーマンスを向上させるために、MERGE INTO でファイルおよびパーティションの動的な排除が使用されるようになりました (たとえば、小さなソース テーブルをより大きなターゲット テーブルにマージする場合)。

動的ファイルの排除による Delta での競合検出の改善

コミット中に潜在的な競合をチェックする際、競合検出では、動的ファイルの排除によって排除されるが、静的フィルターによって排除されなかったファイルが考慮されるようになりました。 これにより、失敗するトランザクション数が減少します。

DSE/SQL ホームページの新しいオープン ソースの統合カード

Delta Live Tables や dbt Core などのオープンソースの統合オプションを表示する新しい ‘オープン ソースの統合’ カードが DSE/SQL ホームページに導入されました。

CONVERT TO DELTA パーティション検出の機能強化

CONVERT TO DELTA では、Hive メタストアまたは Unity Catalog に登録されている Parquet テーブルのパーティション スキーマが自動的に推論されるため、PARTITIONED BY 句を指定する必要がなくなります。

CONVERT TO DELTA では、メタストアからのパーティション情報を利用することで、ベース パス全体を一覧表示せずに Parquet テーブルのファイルを検出し、削除されたパーティションが Delta テーブルに追加されないようにします。

「Delta Lake に変換する」を参照してください。

テーブル スキーマで列の既定値がサポートされるようになりました

テーブル スキーマで列の既定値の設定がサポートされるようになりました。 これらの列の INSERT、UPDATE および DELETE コマンドでは、キーワード DEFAULT を使用してこれらの値を参照できます。 たとえば、CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET の後に INSERT INTO t VALUES (1, DEFAULT) を実行すると (1, 42) の行が付加されます。 この動作は、CSV、JSON、Orc、Parquet のデータ ソースでサポートされています。

新しい H3 地理空間関数

これで、28 個の新しい組み込み H3 式を使用して、SQL、Scala、Python で使用できる Photon 対応クラスターの地理空間処理を行うことができます。 「H3 地理空間の関数」を参照してください。

新しい Databricks Runtime の依存関係

Databricks Runtime が H3 Java ライブラリ バージョン 3.7.0 に依存するようになりました。

独自のキーを持ち込む: Git 資格情報を暗号化する

Azure Key Vault を使用して、Git 個人用アクセス トークン (PAT) またはその他の Git 資格情報を暗号化できます。

「Databricks Git フォルダー (Repos) を設定する」を参照してください。

SQL: 新しい集計関数 any_value

新しい any_value 集計関数は、行のグループに対して expr の任意のランダムな値を返します。 「any_value 集計関数」を参照してください。

Databricks Utilities ファイル システム コマンドは、より多くのクラスターの種類で許可されます

dbutils.fs コマンド (マウント関連コマンドを除く) は、Unity Catalog を使用するユーザー分離クラスターと、レガシ テーブル ACL クラスター (ユーザーが ANY FILE のアクセス許可を持っている場合) で許可されるようになりました。

Unity Catalog のメタストアで CREATE 権限を付与できるようになりました

CREATE CATALOG、CREATE EXTERNAL LOCATION、CREATE SHARE、CREATE RECIPIENT、CREATE PROVIDER の特権を Unity Catalog メタストアに付与できるようになりました。

Photon 対応クラスターでのパーティション分割されていないテーブルの書き込みの最適化

Unity Catalog のマネージド テーブルでは、パーティション分割されていないテーブルのサイズが適切に調整されたファイルが自動的に永続化されるため、クエリの速度が向上し、パフォーマンスが最適化されるようになりました。

Photon のサポート対象データ ソースの追加

Photon は、CSV や Avro を含め、より多くのデータ ソースをサポートするようになりました。キャッシュされたデータ フレームとの互換性もあります。 以前は、これらのデータ ソースをスキャンするということは、クエリの演算子や式に関係なく、クエリ全体を Photon 化できないということでした。 これらのデータ ソースをスキャンするクエリを Photon 化できるようになったことで、待ち時間と TCO が大幅に改善されます。

この機能は、spark.databricks.photon.photonRowToColumnar.enabled 構成によって既定で有効になっています。

制限事項:

• 型が入れ子になったスキーマ (つまり、配列、マップ、構造体) は、このリリースではサポートされていません。
• このリリースでは、ORC、RDD、Kinesis、Kafka、EventHub の各ソースはサポートされていません。

SQL: ALTER SHARE で START VERSION がサポートされるようになりました

ALTER SHARE コマンドは START VERSION をサポートし、プロバイダーは特定のテーブル バージョンからデータを共有できるようになりました。 「ALTER SHARE」を参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • distlib (0.3.4 から 0.3.5 へ)
  • filelock (3.7.1 から 3.8.0 へ)
  • plotly (5.8.2 から 5.9.0 へ)
  • protobuf (4.21.2 から 4.21.5 へ)
• アップグレードされた R ライブラリ:
  • broom (0.8.0 から 1.0.0 へ)
  • bslib (0.3.1 から 0.4.0 へ)
  • callr (3.7.0 から 3.7.1 へ)
  • caret (6.0-92 から 6.0-93 へ)
  • dbplyr (2.2.0 から 2.2.1)
  • devtools (2.4.3 から 2.4.4 へ)
  • evaluate (0.15 から 0.16 へ)
  • dtplyr (2.1.0 から 2.1.1 へ)
  • fontawesome (0.2.2 から 0.3.0 へ)
  • future (1.26.1 から 1.27.0 へ)
  • generics (0.1.2 から 0.1.3 へ)
  • gert (1.6.0 から 1.7.0 へ)
  • globals (0.15.1 から 0.16.0 へ)
  • googlesheets4 (1.0.0 から 1.0.1 へ)
  • hardhat (1.1.0 から 1.2.0 へ)
  • htmltools (0.5.2 から 0.5.3 へ)
  • parallelly (1.32.0 から 1.32.1 へ)
  • pillar (1.7.0 から 1.8.0 へ)
  • pkgload (1.2.4 から 1.3.0 へ)
  • processx (3.6.1 から 3.7.0 へ)
  • Rcpp (1.0.8.3 から 1.0.9 へ)
  • recipes (0.2.0 から 1.0.1 へ)
  • rlang (1.0.2 から 1.0.4 へ)
  • roxygen2 (7.2.0 から 7.2.1 へ)
  • RSQLite (2.2.14 から 2.2.15 へ)
  • sass (0.4.1 から 0.4.2 へ)
  • shiny (1.7.1 から 1.7.2 へ)
  • stringi (1.7.6 から 1.7.8 へ)
  • tibble (3.1.7 から 3.1.8 へ)
  • tidyverse (1.3.1 から 1.3.2 へ)
  • timeDate (3043.102 から 4021.104 へ)
  • xfun (0.31 から 0.32 へ)
• アップグレードされた Java ライブラリ:
  • org.apache.orc.orc-core (1.7.4 から 1.7.5 へ)
  • org.apache.orc.orc-mapreduce (1.7.4 から 1.7.5 へ)
  • org.apache.orc.orc-shims (1.7.4 から 1.7.5 へ)

Apache Spark

Databricks Runtime 11.2 には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] パーセンタイル関数からより広い ANSI 間隔型を返す
• [SPARK-40054] [SQL] try_cast() のエラー処理構文を復元する
• [SPARK-39489] [CORE] Json4s ではなく Jackson を使ってイベント ログ JsonProtocol のパフォーマンスを向上させる
• [SPARK-39319] [CORE][SQL] クエリ コンテキストを SparkThrowable の一部にする
• [SPARK-40085] [SQL] バグを示すために IllegalStateException ではなく INTERNAL_ERROR エラー クラスを使うようにする
• [SPARK-40001] [SQL] JSON DEFAULT 列への NULL 書き込みを、ストレージに 'null' を書き込むようにする
• [SPARK-39635] [SQL] DS v2 カスタム メトリック API でドライバー メトリックをサポートする
• [SPARK-39184] [SQL] 日付とタイムスタンプのシーケンスでサイズの小さい結果配列を処理するようにする
• [SPARK-40019] [SQL] ArrayType の containsNull のコメントをリファクタリングし、collectionOperator の式の containsNull に関する誤解を招くロジックをリファクタリングする
• [SPARK-39989] [SQL] 折り畳み可能な式の場合に列統計の推定をサポートする
• [SPARK-39926] [SQL] ベクトル化されていない Parquet スキャンに対する列の DEFAULT のサポートに含まれるバグを修正する
• [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader の直接バイト バッファーを処理するようにする
• [SPARK-40044] [SQL] キャスト オーバーフロー エラーのターゲット間隔の種類を修正する
• [SPARK-39835] [SQL] ローカルの並べ替えの下にあるグローバルの並べ替えが EliminateSorts によって削除される問題を修正する
• [SPARK-40002] [SQL] ウィンドウで ntile を使うと制限をプッシュ ダウンしない
• [SPARK-39976] [SQL] ArrayIntersect で左側の式に含まれる null を正しく処理するようにする
• [SPARK-39985] [SQL] DataFrames からの挿入で暗黙的な DEFAULT 列の値を有効にする
• [SPARK-39776] [SQL] JOIN の詳細文字列に結合の種類を追加するようにする
• [SPARK-38901] [SQL] DS V2 はプッシュダウンのその他の関数をサポートする
• [SPARK-40028] [SQL][FollowUp] 文字列関数の例を改善する
• [SPARK-39983] [CORE][SQL] ドライバーに非直列化ブロードキャスト関係をキャッシュしない
• [SPARK-39812] [SQL] toAggregateExpression を使って AggregateExpression を構築するコードを簡略化する
• [SPARK-40028] [SQL] 文字列式のバイナリ例を追加する
• [SPARK-39981] [SQL] Cast で例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert をスローする
• [SPARK-40007] [PYTHON][SQL] 関数に 'mode' を追加する
• [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポートする
• [SPARK-40003] [PYTHON][SQL] 関数に 'median' を追加する
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand で結果の関係を再キャッシュするようにする
• [SPARK-39951] [SQL] 入れ子になったフィールドの Parquet V2 の列チェックを更新する
• [SPARK-33236] [シャッフル] DBR 11.x のバックポート: 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする
• [SPARK-39836] [SQL] extract 共通メソッドによる V2ExpressionBuilder を簡略化する
• [SPARK-39873] [SQL] OptimizeLimitZero を削除し、EliminateLimits にマージする
• [SPARK-39961] [SQL] キャストが安全な場合の DS V2 のプッシュダウン変換キャスト
• [SPARK-39872] [SQL] VectorizedDeltaBinaryPackedReader の配列入力 API で BytePackerForLong#unpack8Values を使うように変更する
• [SPARK-39858] [SQL] 一部のルールで不要な AliasHelper や PredicateHelper を削除する
• [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンで部分条件または否定条件に対応する
• [SPARK-39904] [SQL] CSV データ ソースで inferDate の名前を prefersDate に変更し、オプションのセマンティクスを明確にする
• [SPARK-39958] [SQL] カスタム メトリック オブジェクトを読み込めない場合の警告ログを追加する
• [SPARK-39932] [SQL] WindowExec で最終パーティション バッファーをクリアするようにする
• [SPARK-37194] [SQL] 動的パーティションではない場合、v1 の書き込みで不要な並べ替えを回避する
• [SPARK-39902] [SQL] SparkUI で Spark プラン スキャン ノードにスキャンの詳細を追加する
• [SPARK-39865] [SQL] テーブル挿入時のオーバーフロー エラーで適切なエラー メッセージを表示する
• [SPARK-39940] [SS] DSv1 シンクを使ったストリーミング クエリでカタログ テーブルを更新する
• [SPARK-39827] [SQL] add_months() の int オーバーフローでエラー クラス ARITHMETIC_OVERFLOW を使う
• [SPARK-39914] [SQL] DS V2 フィルターから V1 フィルターへの変換を追加する
• [SPARK-39857] [SQL] 手動 DBR 11.x バックポート。V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う (#43454)
• [SPARK-39840] [SQL][PYTHON] PythonArrowOutput の対称として PythonArrowInput を因数分解する
• [SPARK-39651] [SQL] rand との比較が決定論的である場合にフィルター条件を取り除く
• [SPARK-39877] [PYTHON] PySpark DataFrame API にピボット解除を追加する
• [SPARK-39909] [SQL] JDBCV2Suite のプッシュダウン情報のチェックを整理する
• [SPARK-39834] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の統計情報と制約を含める
• [SPARK-39849] [SQL] Dataset.as(StructType) で新しい列が見つからない場合に null 値で埋める
• [SPARK-39860] [SQL] Predicate を拡張する式を増やす必要がある
• [SPARK-39823] [SQL][PYTHON] PySpark で Dataset.as の名前を Dataset.to に変更し、DataFrame.to を追加する
• [SPARK-39918] [SQL][MINOR] エラー メッセージの "un-comparable" という表現を "incomparable" に置き換える
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う
• [SPARK-39862] [SQL] DBR 11.x を対象とした PR 43654 の手動バックポート: SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS を更新して、ALTER TABLE ... ADD COLUMN コマンドを個別に許可または拒否するようにする
• [SPARK-39844] [SQL] DBR 11.x をターゲットとする PR 43652 の手動バックポート。
• [SPARK-39899] [SQL] InvalidUDFClassException へのメッセージ パラメーターの受け渡しを修正する
• [SPARK-39890] [SQL] TakeOrderedAndProjectExec を AliasAwareOutputOrdering を継承するようにする
• [SPARK-39809] [PYTHON] PySpark で CharType をサポートする
• [SPARK-38864] [SQL] データセットにピボット解除とメルトを追加する
• [SPARK-39864] [SQL] ExecutionListenerBus を遅延登録する
• [SPARK-39808] [SQL] 集計関数 MODE をサポートする
• [SPARK-39875] [SQL] final クラスの protected メソッドを private または package-visible に変更する
• [SPARK-39731] [SQL] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
• [SPARK-39805] [SS] Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる
• [SPARK-39784] [SQL] Catalyst Expression をデータ ソース フィルターに変換した後、リテラル値をデータ ソース フィルターの右側に配置する
• [SPARK-39672] [SQL][3.1] 相関サブクエリでフィルターする前にプロジェクトを削除する問題を修正する
• [SPARK-39552] [SQL] v1 と v2 の DESCRIBE TABLE を統合する
• [SPARK-39810] [SQL] 入れ子になった名前空間を Catalog.tableExists で処理するようにする
• [SPARK-37287] [SQL] FileFormatWriter から動的パーティション分割とバケットの並べ替えをプルする
• [SPARK-39469] [SQL] CSV のスキーマ推論の場合に日付型を推論する
• [SPARK-39148] [SQL] DS V2 集計のプッシュダウンで OFFSET または LIMIT を使用できる
• [SPARK-39818] [SQL] NULL フィールドの DEFAULT 値を持つ ARRAY、STRUCT、MAP の各型のバグを修正する
• [SPARK-39792] [SQL] 10 進数の平均に DecimalDivideWithOverflowCheck を追加する
• [SPARK-39798] [SQL] GenericArrayData のコンストラクターで toSeq.toArray を .toArray[Any] に置き換える
• [SPARK-39759] [SQL] JDBC で listIndexes を実装する (H2 言語)
• [SPARK-39385] [SQL] REGR_AVGX と REGR_AVGY のプッシュダウンをサポートする
• [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラー クラスを使用します
• [SPARK-39760] [PYTHON] PySpark で Varchar をサポートする
• [SPARK-39557] [SQL] DBR 11.x への手動バックポート: DEFAULT 値として ARRAY、STRUCT、MAP の型をサポートする
• [SPARK-39758] [SQL][3.3] 無効なパターンに対する正規表現関数の NPE を修正する
• [SPARK-39749] [SQL] ANSI SQL モード: 10 進数から文字列へのキャストでプレーンな文字列表現を使う
• [SPARK-39704] [SQL] JDBC (H2 言語) で createIndex、dropIndex、indexExists を実装する
• [SPARK-39803] [SQL] StringUtils.getLevenshteinDistance ではなく LevenshteinDistance を使う
• [SPARK-39339] [SQL] JDBC データ ソースで TimestampNTZ 型をサポートする
• [SPARK-39781] [SS] rocksdb 状態ストア プロバイダーに max_open_files を提供するためのサポートを追加する
• [SPARK-39719] [R] SparkR サポート 3L 名前空間に databaseExists と getDatabase を実装する
• [SPARK-39751] [SQL] ハッシュ集計キー プローブ メトリックの名前を変更する
• [SPARK-39772] [SQL] 古いコンストラクターでデータベースが null の場合、名前空間を null にするようにする
• [SPARK-39625] [SPARK-38904][SQL] Dataset.as(StructType) を追加する
• [SPARK-39384] [SQL] JDBC 言語の組み込み線形回帰集計関数をコンパイルする
• [SPARK-39720] [R] SparkR 内に 3L 名前空間の tableExists と getTable を実装する
• [SPARK-39744] [SQL] REGEXP_INSTR 関数を追加する
• [SPARK-39716] [R] SparkR の currentDatabase、setCurrentDatabase、listCatalogs を 3L 名前空間をサポートするようにする
• [SPARK-39788] [SQL] JdbcUtils の名前 catalogName を dialectName に変更する
• [SPARK-39647] [CORE] BlockManager を登録する前に、Executor を ESS に登録する
• [SPARK-39754] [CORE][SQL] 使用されていない import または不要な {} を削除する
• [SPARK-39706] [SQL] ParquetColumnVector の欠落している列に定数の defaultValue を設定する
• [SPARK-39699] [SQL] コレクション作成式について CollapseProject をよりスマートにする
• [SPARK-39737] [SQL] PERCENTILE_CONT と PERCENTILE_DISC は集計フィルターをサポートする必要がある
• [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists を 3 レイヤー名前空間と互換性のあるものにします
• [SPARK-39627] [SQL] JDBC V2 プッシュダウンでコンパイル API を統合する必要がある
• [SPARK-39748] [SQL][SS] DataFrame に由来する LogicalRDD の場合に、元の論理プランを含める
• [SPARK-39385] [SQL] 線形回帰の集計関数をプッシュダウン用に変換する
• [SPARK-39695] [SQL] REGEXP_SUBSTR 関数を追加する
• [SPARK-39667] [SQL] テーブルの構築とブロードキャストに十分なメモリがない場合の別の回避策を追加する
• [SPARK-39666] [ES-337834][SQL] ExpressionEncoder で UnsafeProjection.create を使用して spark.sql.codegen.factoryMode を考慮する
• [SPARK-39643] [SQL] DEFAULT 値でサブクエリ式を禁止する
• [SPARK-38647] [SQL] スキャン (DataSourceV2) のインターフェイスに SupportsReportOrdering ミックスを追加する
• [SPARK-39497] [SQL] マップ キー列が見つからない場合の分析例外を改善
• [SPARK-39661] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39713] [SQL] ANSI モード: INVALID_ARRAY_INDEX エラーの場合に try_element_at を使用する提案を追加する
• [SPARK-38899] [SQL] DS V2 でプッシュダウン日時関数をサポートする
• [SPARK-39638] [SQL] パーティション列を OrcColumnarBatchReader に格納するために ConstantColumnVector を使うように変更する
• [SPARK-39653] [SQL] ColumnVectorUtils から ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) をクリーンアップする
• [SPARK-39231] [SQL] パーティション列を VectorizedParquetRecordReader に格納するために On/OffHeapColumnVector ではなく ConstantColumnVector を使う
• [SPARK-39547] [SQL] V2SessionCatalog から loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにする
• [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast で AssertionError を回避する
• [SPARK-39492] [SQL] MISSING_COLUMN を修正する
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec で子の出力順を尊重するようにする
• [SPARK-39606] [SQL] 子の統計情報を使って順序演算子を推定する
• [SPARK-39611] [PYTHON][PS] array_ufunc の不適切な別名を修正する
• [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の不適切な名前空間を修正する
• [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' の構成をテスト目的から内部目的に変更する
• [SPARK-39139] [SQL] DS V2 で DS V2 UDF のプッシュダウンをサポートする
• [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイム エラー クエリ コンテキストを提供する
• [SPARK-39479] [SQL] DS V2 でプッシュダウンの数学関数 (非 ANSI) をサポートする
• [SPARK-39618] [SQL] REGEXP_COUNT 関数を追加する
• [SPARK-39553] [CORE] Scala 2.13 を使う場合、マルチスレッド登録解除シャッフルから NPE をスローしないようにする
• [SPARK-38755] [PYTHON][3.3] 欠落している pandas の一般的な関数に対応するためにファイルを追加する
• [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加する
• [SPARK-39316] [SQL] PromotePrecision と CheckOverflow を 10 進数のバイナリ演算にマージする
• [SPARK-39505] [UI] UI にレンダリングされるログの内容をエスケープする
• [SPARK-39448] [SQL] ReplaceCTERefWithRepartition を nonExcludableRules リストに追加する
• [SPARK-37961] [SQL] 一部の論理演算子で maxRows と maxRowsPerPartition をオーバーライドする
• [SPARK-35223] IssueNavigationLink の追加を元に戻す
• [SPARK-39633] [SQL] Dataframe オプションを使った TimeTravel で秒単位のタイムスタンプをサポートする
• [SPARK-38796] [SQL] {try_}to_number 関数を使った数値形式文字列のドキュメントを更新する
• [SPARK-39650] [SS] 下位互換性のあるストリーミング重複除去に含まれる不適切な値スキーマを修正する
• [SPARK-39636] [CORE][UI] オフ ヒープの StorageLevels と Task/Executor ResourceRequests に影響する JsonProtocol の複数のバグを修正する
• [SPARK-39432] [SQL] element_at(*, 0) から ELEMENT_AT_BY_INDEX_ZERO を返す
• [SPARK-39349] エラー パスの QA 用に一元化された CheckError メソッドを追加する
• [SPARK-39453] [SQL] DS V2 でプッシュダウンのその他の非集計関数 (非 ANSI) をサポートする
• [SPARK-38978] [SQL] DS V2 でプッシュダウンの OFFSET 演算子をサポートする
• [SPARK-39567] [SQL] パーセンタイル関数内の ANSI 間隔をサポートする
• [SPARK-39383] [SQL] V2 データ ソースに対して ALTER TABLE ALTER COLUMNS 内の DEFAULT 列をサポートする
• [SPARK-39396] [SQL] LDAP ログイン例外 'エラー コード 49 - 無効な資格情報' を修正する
• [SPARK-39548][SQL] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義にヒットして問題が見つからない
• [SPARK-39575] [AVRO] Avr… の ByteBuffer#get の後に ByteBuffer#rewind を追加する
• [SPARK-39543] v1 にフォールバックする場合、ストレージのプロパティに DataFrameWriterV2 のオプションを渡すようにする
• [SPARK-39564] [SS] ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する
• [SPARK-39582] [SQL] array_agg の "Since" マーカーを修正する
• [SPARK-39388] [SQL] Orc 述語のプッシュダウン時に orcSchema を再利用する
• [SPARK-39511] [SQL] 結合条件が空の場合、左半/反結合の右側でプッシュダウンのローカル制限 1 を強化する
• [SPARK-38614] [SQL] percent_rank を使っているウィンドウで制限をプッシュダウンしない
• [SPARK-39551] [SQL] AQE 無効プラン チェックを追加する
• [SPARK-39383] [SQL] V2 データ ソースに対して ALTER TABLE ADD COLUMNS 内の DEFAULT 列をサポートする
• [SPARK-39538] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ アナライザーの受け渡しをスキップするように DEFAULT 列のサポートをリファクタリングする
• [SPARK-39397] [SQL] 式による別名をサポートするように AliasAwareOutputExpression を緩和する
• [SPARK-39496] [SQL] Inline.eval の null 構造体を処理する
• [SPARK-39545] [SQL] Scala 2.13 で ExpressionSet の concat メソッドをオーバーライドしてパフォーマンスを向上させる
• [SPARK-39340] [SQL] DS v2 の集計プッシュダウンで最上位列の名前にドットを使用できるようにする
• [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡略化する
• [SPARK-38846] [SQL] Teradata の数値型と Spark の DecimalType の間に明示的なデータ マッピングを追加する
• [SPARK-39520] [SQL] Scala 2.13 で ExpressionSet の -- メソッドをオーバーライドする
• [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
• [SPARK-39477] [SQL] SQLQueryTestSuite のゴールデン ファイルから "クエリ数" の情報を削除する
• [SPARK-39419] [SQL] 比較子が null を返したときに例外をスローするように ArraySort を修正する
• [SPARK-39061] [SQL] Inline の出力属性に Null 許容を正しく設定する
• [SPARK-39320] [SQL] 集計関数 MEDIAN をサポートする
• [SPARK-39261] [CORE] エラー メッセージの改行形式を改善する
• [SPARK-39355] [SQL] 単一列で引用符を使用して UnresolvedAttribute を構築する
• [SPARK-39351] [SQL] SHOW CREATE TABLE でプロパティを編集する
• [SPARK-37623] [SQL] ANSI 集計関数をサポートする: regr_intercept
• [SPARK-39374] [SQL] ユーザーが指定した列リストに対するエラー メッセージを改善する
• [SPARK-39255] [SQL][3.3] エラー メッセージを改善する
• [SPARK-39321] [SQL] RuntimeReplaceable を使うように TryCast をリファクタリングする
• [SPARK-39406] [PYTHON] createDataFrame で NumPy の配列を受け入れる
• [SPARK-39267] [SQL] dsl の不要なシンボルをクリーンアップする
• [SPARK-39171] [SQL] キャスト式を統合する
• [SPARK-28330] [SQL] ANSI SQL のサポート: クエリ式の結果オフセット句
• [SPARK-39203] [SQL] データベース URI に基づいてテーブルの場所を絶対 URI に書き換える
• [SPARK-39313] [SQL] V2Expression を変換できない場合に toCatalystOrdering が失敗するようにする
• [SPARK-39301] [SQL][PYTHON] LocalRelation を利用し、Arrow の最適化を使う createDataFrame で Arrow のバッチ サイズを尊重する
• [SPARK-39400] [SQL] spark-sql で常にハイブ リソースを削除するようにする

メンテナンスの更新

Databricks Runtime 11.2 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2022 年 8 月 15 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)