Databricks Runtime 14.3 LTS

  • [アーティクル]

以下のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.3 LTS に関する情報が記載されています。

Databricks は、2024 年 2 月にこのバージョンをリリースしました。

Note

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

新機能と機能強化

共有クラスターでの PySpark ユーザー定義関数 (UDF) のワークスペース ファイル システムのサポート

共有クラスター上の PySpark UDF で、Python モジュールを Git フォルダー、ワークスペース ファイル、または UC ボリュームからインポートできるようになりました。

Git フォルダーまたはワークスペース ファイルでモジュールを使用する方法の詳細については、「Python と R のモジュールを使用する」を参照してください。

Photon を使用しない削除ベクトル MERGE 最適化のサポート

削除ベクトルの最適化を利用するための MERGE 操作に Photon が不要になりました。 「削除ベクトルとは」を参照してください。

共有アクセス モードで完全にサポートされるようになった Spark カタログ API

共有アクセス モードで構成されたコンピューティング上の Python と Scala の両方で、spark.catalog API のすべての関数を使用できるようになりました。

Delta UniForm が一般提供されるようになった

UniForm が一般提供になり、IcebergCompatV2 テーブル機能を使うようになりました。 既存のテーブルで UniForm を有効化またはアップグレードできるようになりました。 「UniForm を使用して Iceberg クライアントを使って Delta テーブルを読み取る」を参照してください。

新しい SQL 関数 EXECUTE IMMEDIATE

EXECUTE IMMEDIATE 構文を使用して、SQL でパラメーター化されたクエリをサポートできるようになりました。 「EXECUTE IMMEDIATE」を参照してください。

Delta テーブルの統計をスキップしてデータを再計算する

データのスキップに使用される列を変更した後、Delta ログに格納されている統計を再計算できるようになりました。 「Delta 統計の列を指定する」を参照してください。

ステートフル ストリーミング クエリについての状態情報のクエリを実行する

構造化ストリーミング状態データとメタデータに対してクエリを実行できるようになりました。 「構造化ストリーミング状態情報の読み取り」をご覧ください。

共有クラスターで Kafka 認証に Microsoft Entra ID を使用する

共有アクセス モードで構成されたコンピューティングで、Microsoft Entra ID を使用して OAuth 経由で Event Hubs サービスを認証できるようになりました。 「Microsoft Entra ID と Azure Event Hubs を使用したサービス プリンシパル認証」を参照してください。

ファイルとパーティションを排除してクエリのパフォーマンスを改善するために追加されたサポート

JOIN 条件で null トレラントの等価性に依存するクエリを高速化するために、JOIN の EqualNullSafe 演算子に対する DynamicFilePruning と DynamicPartitionPruning がサポートされるようになりました。

SQL セッションで一時変数を宣言する

このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。

未使用の機能を削除するための Thriftserver の更新プログラム

古い機能のコードを削除するために Thriftserver コードが更新されました。 これらの変更のため、次の構成はサポートされなくなりました。

  • hive.aux.jars.path プロパティを使用して構成された Hive 補助 JAR は、hive-thriftserver 接続ではサポートされなくなりました。
  • hive.server2.global.init.file.location プロパティまたは HIVE_CONF_DIR 環境変数を使用して場所が構成されている Hive グローバル init ファイル (.hiverc) は、hive-thriftserver 接続ではサポートされなくなりました。

Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用する

Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用して、Avro またはプロトコル バッファー データの Confluent スキーマ レジストリに対する認証を行えるようになりました。 Avro またはプロトコル バッファーのドキュメントをご参照ください。

ネイティブ XML ファイル形式のサポート (パブリック プレビュー)

ネイティブ XML ファイル形式のサポートは現在、パブリック プレビュー段階にあります。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データのインジェスト、クエリ、解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、from_xml などの SQL 式がサポートされ、XML ドキュメントを生成できます。 外部 jar は必要ありません。自動ローダー、read_files、COPY INTO、Delta Live Tables とシームレスに連携します。 「XML ファイルの読み取りと書き込み」をご参照ください。

Cloudflare R2 ストレージのサポート (パブリック プレビュー)

Unity Catalog に登録されたデータのクラウド ストレージとして Cloudflare R2 を使用できるようになりました。 Cloudflare R2 は主に、データがリージョンをまたがるときに、クラウド プロバイダーから課金されるデータ エグレス料金を回避しようと考える Delta Sharing のユース ケースを想定しています。 R2 ストレージは、AWS S3、Azure Data Lake Storage Gen2、および Google Cloud Storage でサポートされているすべての Databricks データと AI 資産をサポートします。 「Cloudflare R2 レプリカを使うか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。

共有アクセス Unity カタログ クラスターでのワークスペース ファイルへの Spark と dbutils アクセスのサポート

ワークスペース ファイルへの Spark および dbutils の読み取りおよび書き込みアクセスが、共有アクセス モードの Unity Catalog クラスターでサポートされるようになりました。 「ワークスペース ファイルを操作する」を参照してください。

共有アクセス Unity Catalog クラスターでの Init スクリプトとクラスター ライブラリのサポート

共有アクセス モードの Unity Catalog クラスターでのクラスター スコープの init スクリプトと Python および JAR ライブラリのインストール (クラスター ポリシーを使用したインストールを含む) が、一般提供されるようになりました。 Databricks では、Unity Catalog ボリュームから init スクリプトとライブラリをインストールすることをお勧めします。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • fastjsonschema (2.19.0 から 2.19.1 へ)
    • filelock (3.12.4 から 3.13.1 へ)
    • googleapis-common-protos (1.61.0 から 1.62.0 へ)
    • packaging (22.0 から 23.2 へ)
  • アップグレードされた R ライブラリ:
    • foreign (0.8-82 から 0.8-85 へ)
    • nlme (3.1-162 から 3.1-163 へ)
    • rpart (4.1.19 から 4.1.21 へ)
  • アップグレードされた Java ライブラリ:
    • com.databricks.databricks-sdk-java (0.7.0 から 0.13.0)
    • org.apache.orc.orc-core (1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へ)
    • org.apache.orc.orc-mapreduce (1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へ)
    • org.apache.orc.orc-shims (1.9.1 から 1.9.2 へ)
    • org.scala-lang.modules.scala-collection-compat_2.12 (2.9.0 から 2.11.0 へ)

Apache Spark

Databricks Runtime 14.3 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.2 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-46541] [SC-153546][SQL][CONNECT] 自己結合のあいまいな列参照を修正する
  • [SPARK-45433] "[SC-145163][SQL] CSV/JSON スキーマ推測の修正…" を元に戻す
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] addArtifact を再試行可能にする
  • [SPARK-46660] [SC-153391][CONNECT] ReattachExecute 要求によって SessionHolder の有効性が更新される
  • [SPARK-46670] [SC-153273][PYTHON][SQL] 静的な Python データ ソースとランタイム Python データ ソースを分離して DataSourceManager が自己複製できるようにする
  • [SPARK-46720] [SC-153410][SQL][PYTHON] 他の DSv2 組み込みデータ ソースに合わせて Python データ ソースをリファクターする
  • [SPARK-46684] [SC-153275][PYTHON][CONNECT] 引数を正しく渡すように CoGroup.applyInPandas/Arrow を修正する
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: 複数の XML データ ソースでエラーをスローする
  • [SPARK-46382] [SC-151881][SQL]XML: ignoreSurroundingSpaces の既定値を true にする
  • [SPARK-46382] [SC-153178][SQL] XML: ignoreSurroundingSpacesのドキュメントを更新する
  • [SPARK-45292] “[SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する” を元に戻す
  • [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する
  • [SPARK-46311] [SC-150137][CORE] Master.removeDriver 中にドライバーの最終的な状態をログに記録する
  • [SPARK-46413] [SC-151052][PYTHON] Arrow Python UDF の returnType を検証する
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] 長さ 0 のブロックを処理するように Avro リーダーを修正する
  • [SPARK-46537] [SC-151286][SQL] コマンドからの NPE とアサートを内部エラーに変換する
  • [SPARK-46179] [SC-151678][SQL] Postgres 以降、他の DBMS でゴールデン ファイルに対して他の DBMS を実行する CrossDbmsQueryTestSuites を追加する
  • [SPARK-44001] [SC-151413][PROTOBUF] protobuf の既知のラッパー型のラップ解除を許可するオプションを追加する
  • [SPARK-40876] [SC-151786][SQL] Parquet リーダー内の小数点以下桁数が大きい 10 進数の型の上位変換の拡大
  • [SPARK-46605] [SC-151769][CONNECT] connect モジュールの lit/typedLit 関数 が s.c.immutable.ArraySeq をサポートするようにする
  • [SPARK-46634] [SC-153005][SQL] リテラル検証を null フィールドにドリルダウンしてはならない
  • [SPARK-37039] [SC-153094][PS] 欠損値があるときに正常に動作するように Series.astype を修正する
  • [SPARK-46312] [SC-150163][CORE] store_types.proto で lower_camel_case を使用する
  • [SPARK-46630] [SC-153084][SQL] XML: 書き込み時に XML 要素名を検証する
  • [SPARK-46627] [SC-152981][SS][UI] ストリーミング UI でタイムライン ヒント コンテンツを修正する
  • [SPARK-46248] [SC-151774][SQL] XML: ignoreCorruptFiles および ignoreMissingFiles オプションのサポート
  • [SPARK-46386] [SC-150766][PYTHON] 観測 (pyspark.sql.observation) のアサーションを改善する
  • [SPARK-46581] [SC-151789][CORE] アキュムレータ V2 の isZero に関するコメントを更新する
  • [SPARK-46601] [SC-151785] [CORE] handleStatusMessage のログ エラーを修正する
  • [SPARK-46568] [SC-151685][PYTHON] Python データ ソース オプションを大文字と小文字を区別しないディクショナリにする
  • [SPARK-46611] [SC-151783][CORE] SimpleDateFormat を DateTimeFormatter に置き換えて ThreadLocal を削除する
  • [SPARK-46604] [SC-151768][SQL] Literal.apply が s.c.immuable.ArraySeq をサポートするようにする
  • [SPARK-46324] [SC-150223][SQL][PYTHON] pyspark.sql.functions.user と session_user の出力名を修正する
  • [SPARK-46621] [SC-151794][PYTHON] Py4J でキャプチャされた例外の Exception.getMessage からの null アドレス
  • [SPARK-46598] [SC-151767][SQL] 不足している列の列ベクトルを作成するときに OrcColumnarBatchReader がメモリ モードを考慮する必要がある
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Python データ ソースの例外に失敗した場合に完全な例外をログに記録する
  • [SPARK-46559] [SC-151364][MLLIB] パッケージ名の export をバッククォートでラップする
  • [SPARK-46522] [SC-151784][PYTHON] 名前の競合がある Python データ ソースの登録をブロックする
  • [SPARK-45580] [SC-149956][SQL] 入れ子になったサブクエリが存在結合になるケースを処理する
  • [SPARK-46609] [SC-151714][SQL] PartitioningPreservingUnaryExecNode での指数関数的なエクスプロージョンを回避する
  • [SPARK-46535] [SC-151288][SQL] 列統計なしで列に describe extended を実行する場合の NPE を修正する
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: 互換性チェックに TypeCoercion.findTightestCommonType を使用する
  • [SPARK-40876] [SC-151129][SQL] Parquet リーダー内の型の上位変換の拡大
  • [SPARK-46179] [SC-151069][SQL] SQLQueryTestSuite の再利用可能な関数にコードをプルする
  • [SPARK-46586] [SC-151679][SQL] MapObjects で s.c.immutable.ArraySeq を customCollectionCls としてサポートする
  • [SPARK-46585] [SC-151622][CORE] Executor でmutable.ArraySeq.toSeq を使用する代わりに metricPeaks を immutable.ArraySeq として直接構築した
  • [SPARK-46488] [SC-151173][SQL] タイムスタンプ解析中の trimAll 呼び出しのスキップ
  • [SPARK-46231] [SC-149724][PYTHON] 残りすべての NotImplementedError と TypeError を PySpark エラー フレームワークに移行する
  • [SPARK-46348] [SC-150281][CORE] spark.deploy.recoveryTimeout をサポートする
  • [SPARK-46313] [SC-150164][CORE] Spark HA 回復期間をログする
  • [SPARK-46358] [SC-150307][CONNECT] ResponseValidator#verifyResponse の条件チェックを簡略化する
  • [SPARK-46380] [SC-151078][SQL] インライン テーブル式を評価する前に現在の時刻/日付を置き換える
  • [SPARK-46563] [SC-151441][SQL] conf spark.sql.debug.maxToStringFields に従わない simpleString を表示する
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] (string|array).size を (string|array).length に置き換えてスタックの深さを減らす
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT (構造体のすべてのフィールド) が原因でアサーションが失敗する
  • [SPARK-46565] [SC-151414][PYTHON] Python データ ソースのエラー クラスとエラー メッセージを絞り込む
  • [SPARK-46576] [SC-151614][SQL] サポートされていないデータ ソース保存モードのエラー メッセージを改善する
  • [SPARK-46540] [SC-151355][PYTHON] Python データ ソースが Row オブジェクトという名前の関数出力を読み取るときに列名を考慮する
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite がハイブの SessionState をリークする
  • [SPARK-44556] [SC-151562][SQL] vectorizedReader を有効にするときに OrcTail を再利用する
  • [SPARK-46587] [SC-151618][SQL] XML: XSD の大きな整数変換を修正する
  • [SPARK-46382] [SC-151297][SQL] XML: 要素間に点在する値をキャプチャする
  • [SPARK-46567] [SC-151447][CORE] ReadAheadInputStream の ThreadLocal を削除する
  • [SPARK-45917] [SC-151269][PYTHON][SQL] 起動時の Python データ ソースの自動登録
  • [SPARK-28386] [SC-151014][SQL] GROUP BY および HAVING で ORDER BY 列を解決できない
  • [SPARK-46524] [SC-151446][SQL] 無効な保存モードのエラー メッセージを改善する
  • [SPARK-46294] [SC-150672][SQL] init とゼロ値のセマンティクスをクリーンアップする
  • [SPARK-46301] [SC-150100][CORE] spark.worker.(initial|max)RegistrationRetries をサポートする
  • [SPARK-46542] [SC-151324][SQL] ExternalCatalogUtils#needsEscaping から c>=0 のチェックを削除する (常に true であるため)
  • [SPARK-46553] [SC-151360][PS] オブジェクト dtype を使用した interpolate の FutureWarning
  • [SPARK-45914] [SC-151312][PYTHON] Python データ ソース書き込みのコミットおよび中止 API をサポートする
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] 空のフィールドに対して json_tuple が PySparkValueError をスローするようにする
  • [SPARK-46520] [SC-151227][PYTHON] Python データ ソース書き込みの上書きモードをサポートする
  • [SPARK-46502] [SC-151235][SQL] UnwrapCastInBinaryComparison 内のタイムスタンプ型をサポートする
  • [SPARK-46532] [SC-151279][CONNECT] ErrorInfo のメタデータにメッセージ パラメーターを渡す
  • [SPARK-46397] “[SC-151311][PYTHON][CONNECT] 関数 sha2 が無効な numBits に対して PySparkValueError を発生させる必要がある” を元に戻す
  • [SPARK-46170] [SC-149472][SQL] SparkSessionExtensions でアダプティブ クエリ投稿プランナー戦略ルールの挿入をサポートする
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable はテーブルを読み込んではならない
  • [SPARK-46397] [SC-151311][PYTHON][CONNECT] 関数 sha2 が無効な numBits に対して PySparkValueError を発生させる必要がある
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables はテーブルまたはビューが見つからないときに例外をスローしない
  • [SPARK-46272] [SC-151012][SQL] DSv2 ソースを使用して CTAS をサポートする
  • [SPARK-46480] [SC-151127][CORE][SQL] テーブル キャッシュ タスクの試行時に NPE を修正する
  • [SPARK-46100] [SC-149051][CORE][PYTHON] (string|array).size を (string|array).length に置き換えてスタックの深さを減らす
  • [SPARK-45795] [SC-150764][SQL] DS V2 がプッシュ ダウンをサポートする
  • [SPARK-46485] [SC-151133][SQL] V1Write は必要ないときに並べ替えを追加してはならない
  • [SPARK-46468] [SC-151121] [SQL] キーをグループ化せずに集計を使用して EXISTS サブクエリの COUNT バグを処理する
  • [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL のサポート
  • [SPARK-45618] [SC-146252][CORE] o.a.spark.util.Utils#getConfiguredLocalDirs から shuffleServiceEnabled を削除する
  • [SPARK-46440] [SC-150807][SQL] 既定でリベース構成を CORRECTED モードに設定する
  • [SPARK-45525] [SC-151120][SQL][PYTHON] DSv2 を使用した Python データ ソース書き込みのサポート
  • [SPARK-46505] [SC-151187][CONNECT] バイトしきい値を ProtoUtils.abbreviate で構成可能にする
  • [SPARK-46447] [SC-151025][SQL] SQL 構成をリベースするレガシ datetime を削除する
  • [SPARK-46443] [SC-151123][SQL] 10 進数の精度と小数点以下桁数を H2 言語で決定する必要がある
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] 構造化ストリーミング ページの操作期間スタック グラフを修正する
  • [SPARK-46207] [SC-151068][SQL] DataFrameWriterV2 で MergeInto をサポートする
  • [SPARK-46452] [SC-151018][SQL] DataWriter に新しい API を追加してレコードの反復子を書き込む
  • [SPARK-46273] [SC-150313][SQL] DSv2 ソースを使用して INSERT INTO/OVERWRITE をサポートする
  • [SPARK-46344] [SC-150267][CORE] ドライバーが正常に存在するがマスターが切断されているときに適切に警告する
  • [SPARK-46284] [SC-149944][PYTHON][CONNECT] session_user 関数を Python に追加する
  • [SPARK-46043] [SC-149786][SQL] DSv2 ソースを使用してテーブルの作成をサポートする
  • [SPARK-46323] [SC-150191][PYTHON] pyspark.sql.functions.now の出力名を修正する
  • [SPARK-46465] [SC-151059][PYTHON][CONNECT] Column.isNaN を PySpark に追加する
  • [SPARK-46456] [SC-151050][CORE] SparkContext のシャットダウンのブロックを解除するために Jetty サーバーの停止タイムアウトを設定する spark.ui.jettyStopTimeout を追加する
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: 符号なし整数型のアップキャストを許可する
  • [SPARK-46399] [SC-151013][14.x][Core] Spark リスナーを使用するためにアプリケーション終了イベントに終了状態を追加する
  • [SPARK-46423] [SC-150752][PYTHON][SQL] DataSource.lookupDataSourceV2 で Python データ ソース インスタンスを作成する
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Python データ ソースで Python メトリクスをサポートする
  • [SPARK-46330] [SC-151015] HybridStore が有効になっている場合の Spark UI ブロックの長時間読み込み
  • [SPARK-46378] [SC-150397][SQL] 集計をプロジェクトに変換した後も並べ替えを削除する
  • [SPARK-45506] [SC-146959][CONNECT] SparkConnect addArtifact に ivy URI のサポートを追加する
  • [SPARK-45814] [SC-147871][CONNECT][SQL] メモリ リークを回避するために ArrowConverters.createEmptyArrowBatch が close() を呼び出すようにする
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Python データ ソースの説明を簡単な説明に変更する
  • [SPARK-45597] [SC-150730][PYTHON][SQL] SQL (DSv2 exec) での Python データ ソースを使用したテーブルの作成をサポートする
  • [SPARK-46402] [SC-150700][PYTHON] getMessageParameters と getQueryContext のサポートを追加する
  • [SPARK-46453] [SC-150897][CONNECT] SessionHolder で internalError() からの例外をスローする
  • [SPARK-45758] [SC-147454][SQL] hadoop 圧縮コーデック用マッパーを導入する
  • [SPARK-46213] [PYTHON] エラー フレームワークの PySparkImportError を導入する
  • [SPARK-46230] [SC-149960][PYTHON] RetriesExceeded を PySpark エラーに移行する
  • [SPARK-45035] [SC-145887][SQL] 複数行 CSV/JSON を使用して ignoreCorruptFiles/ignoreMissingFiles を修正するとエラーが報告される
  • [SPARK-46289] [SC-150846][SQL] 解釈モードでの UDT の順序付けをサポートする
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Spark Connect で groupBy と cogroup に applyInArrow を追加する
  • [SPARK-46420] [SC-150847][SQL] SparkSQLCLIDriver で未使用の転送を削除する
  • [SPARK-46226] [PYTHON] 残りすべての RuntimeError を PySpark エラー フレームワークに移行する
  • [SPARK-45796] [SC-150613][SQL] MODE() WITHIN GROUP (ORDER BY 列) をサポートする
  • [SPARK-40559] [SC-149686][PYTHON][14.X] applyInArrow を groupBy と cogroup に追加する
  • [SPARK-46069] [SC-149672][SQL] タイムスタンプ型から日付型へのラップ解除をサポートする
  • [SPARK-46406] [SC-150770][SQL] エラー クラス _LEGACY_ERROR_TEMP_1023 に名前を割り当てる
  • [SPARK-46431] [SC-150782][SS] セッション反復子で IllegalStateException を internalError に変換する
  • [SPARK-45807] [SC-150751][SQL] ViewCatalog API を改善する
  • [SPARK-46009] [SC-149771][SQL][CONNECT] PercentileCont と PercentileDisc の解析ルールを functionCall にマージする
  • [SPARK-46403] [SC-150756][SQL] getBytesUnsafe メソッドを使用して Parquet バイナリをデコードする
  • [SPARK-46389] [SC-150779][CORE] checkVersion が例外をスローするときにに RocksDB/LevelDB インスタンスを手動で閉じる
  • [SPARK-46360] [SC-150376][PYTHON] 新しい getMessage API を使用してエラー メッセージのデバッグを強化する
  • [SPARK-46233] [SC-149766][PYTHON] 残りすべての AttributeError を PySpark エラー フレームワークに移行する
  • [SPARK-46394] [SC-150599][SQL] spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正する
  • [SPARK-45964] [SC-148484][SQL] Catalyst パッケージの下の XML および JSON パッケージのプライベート SQL アクセサーを削除する
  • [SPARK-45856] [SC-148691] ArtifactManager を Spark Connect から SparkSession (SQL/Core) に移動する
  • [SPARK-46409] [SC-150714][CONNECT] Fix spark-connect-scala-client 起動スクリプトを修正する
  • [SPARK-46416] [SC-150699][CORE] @tailrec を HadoopFSUtils#shouldFilterOutPath に追加する
  • [SPARK-46115] [SC-149154][SQL] encode() の文字セットを制限する
  • [SPARK-46253] [SC-150416][PYTHON] MapInArrow を使用して Python データ ソースの読み取りを計画する
  • [SPARK-46339] [SC-150266][SS] バッチ番号の名前を持つディレクトリをメタデータ ログとして扱ってはならない
  • [SPARK-46353] [SC-150396][CORE] RegisterWorker 単体テスト カバレッジを改善するためにリファクタリングする
  • [SPARK-45826] [SC-149061][SQL] DataFrame クエリ コンテキストにスタック トレース用の SQL 構成を追加する
  • [SPARK-45649] [SC-150300][SQL] OffsetWindowFunctionFrame の準備フレームワークを統合する
  • [SPARK-46346] [SC-150282][CORE] RegisterWorker メッセージでワーカーを UNKNOWN から ALIVE に更新するようにマスターを修正する
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis が query.resolved のパターン ガードを取得できない
  • [SPARK-46401] [SC-150609][CORE] RemoteBlockPushResolver のgetCardinality() > 0 の代わりにRoaringBitmap で !isEmpty() を使用する
  • [SPARK-46393] [SC-150603][SQL] JDBC テーブル カタログの例外を分類する
  • [SPARK-45798] [SC-150513][CONNECT] 補足情報: ServerSessionId を SessionHolderInfo に追加する
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: TimestampNTZType のサポートを追加する
  • [SPARK-46075] [SC-150393][CONNECT] SparkConnectSessionManager の機能強化
  • [SPARK-46357] [SC-150596] setConf の不適切なドキュメント使用を conf.set に置き換える
  • [SPARK-46202] [SC-150420][CONNECT] カスタム ターゲット ディレクトリをサポートする新しい ArtifactManager API を公開する
  • [SPARK-45824] [SC-147648][SQL] ParseException のエラー クラスを適用する
  • [SPARK-45845] [SC-148163][SS][UI] 削除された状態行の数をストリーミング UI に追加する
  • [SPARK-46316] [SC-150181][CORE] buf-lint-action を core モジュールで有効にする
  • [SPARK-45816] [SC-147656][SQL] タイムスタンプから整数へのキャスト中にオーバーフローしたときに NULL を返す
  • [SPARK-46333] [SC-150263][SQL] Catalyst で IllegalStateException を SparkException.internalError に置き換える
  • [SPARK-45762] [SC-148486][CORE] 起動順序を変更してユーザー jar で定義されているシャッフル マネージャーをサポートする
  • [SPARK-46239] [SC-149752][CORE] Jetty 情報を非表示にする
  • [SPARK-45886] [SC-148089][SQL] DataFrame コンテキストの callSite 内の完全スタック トレースを出力する
  • [SPARK-46290] [SC-150059][PYTHON] SaveMode を DataSourceWriter のブール値フラグに変更する
  • [SPARK-45899] [SC-148097][CONNECT] errorInfoToThrowable で errorClass を設定する
  • [SPARK-45841] [SC-147657][SQL] DataFrameQueryContext によるスタック トレースを公開する
  • [SPARK-45843] [SC-147721][CORE] REST Submission API で killall をサポートする
  • [SPARK-46234] [SC-149711][PYTHON] PySpark エラー フレームワークの PySparkKeyError を導入する
  • [SPARK-45606] [SC-147655][SQL] 多層ランタイム フィルターの制限をリリースする
  • [SPARK-45725] [SC-147006][SQL] 既定以外の IN サブクエリ ランタイム フィルターを削除する
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] 非推奨の API の使用 View.force と ScalaNumberProxy.signum をクリーンアップする
  • [SPARK-45805] [SC-147488][SQL] withOrigin をより汎用化する
  • [SPARK-46292] [SC-150086][CORE][UI] MasterPage のワーカーの概要を表示する
  • [SPARK-45685] [SC-146881][CORE][SQL] Stream の代わりに LazyList を使用する
  • [SPARK-45888] [SC-149945][SS] エラー クラス フレームワークを状態 (メタデータ) データ ソースに適用する
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed ではdict/map の順序を維持する必要がある
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] SeqOps.view および ArrayOps.view 変換をクリーンアップする
  • [SPARK-46029] [SC-149255][SQL] DS V2 プッシュダウンの一重引用符、_、% をエスケープする
  • [SPARK-46275] [SC-150189] Protobuf: 逆シリアル化が失敗したときに許容モードで null を返す。
  • [SPARK-46320] [SC-150187][CORE] spark.master.rest.host をサポートする
  • [SPARK-46092] [SC-149658][SQL] オーバーフローする Parquet 行グループフィルターをプッシュダウンしない
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] 完全なテスト カバレッジを持つ列で一致するマイナー動作を照合する
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Catalog.createExternalTable の非推奨に関する警告、テスト ケース、エラーを照合する
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] BufferedIterator/CanBuildFrom/Traversable の StringContext/StringOps/RightProjection/LeftProjection/Either と種類の使用に関連する非推奨の API の使用をクリーンアップする
  • [SPARK-33393] [SC-148407][SQL] v2 の SHOW TABLE EXTENDED をサポートする
  • [SPARK-45737] [SC-147011][SQL] SparkPlan#executeTake の不要な .toArray[InternalRow] を削除する
  • [SPARK-46249] [SC-149797][SS] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要である
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed は dict の順序を考慮する必要がある
  • [SPARK-46274] [SC-150043] [SQL] 変換する前に長い有効性をチェックするように範囲演算子 computeStats() を修正する
  • [SPARK-46040] [SC-149767][SQL][Python] 一般的な式をサポートするように ‘analyze’ の UDTF API のパーティション分割/順序付け列を更新する
  • [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty はすべてのデータ型で動作する必要がある
  • [SPARK-45678] [SC-146825][CORE] tryOrFetchFailedException の下の BufferReleasingInputStream.available/reset を対象に含める
  • [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] IterableOnceExtensionMethods に関連する非推奨の API の使用をクリーンアップする。
  • [SPARK-43980] [SC-148992][SQL] select * except 構文の概要
  • [SPARK-46269] [SC-149816][PS] より多くの NumPy 互換性関数テストを有効にする
  • [SPARK-45807] [SC-149851][SQL] createOrReplaceView(..) / replaceView(..) を ViewCatalog に追加する
  • [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Scala 配列を immutable.ArraySeq にラップするための暗黙的な関数を導入する
  • [SPARK-46205] [SC-149655][CORE] KryoSerializer を使用して PersistenceEngineのパフォーマンスを改善する
  • [SPARK-45746] [SC-149359][Python] UDTF の ‘analyze’ または ‘eval’ メソッドが正しくない値を受け入れるか返す場合は、特定のエラー メッセージを返す
  • [SPARK-46186] [SC-149707][CONNECT] ExecuteThreadRunner が開始前に中断されたときの不正な状態遷移を修正する
  • [SPARK-46262] [SC-149803][PS] Pandas-on-Spark オブジェクトの np.left_shift のテストを有効にする
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] AddArtifactHandler のエラー処理と変換を適切にサポートする
  • [SPARK-46188] [SC-149571][Doc][3.5] Spark ドキュメントで生成されたテーブルの CSS を修正する
  • [SPARK-45940] [SC-149549][PYTHON] DataSourceReader インターフェイスに InputPartition を追加する
  • [SPARK-43393] [SC-148301][SQL] アドレス シーケンス式のオーバーフローのバグに対処する。
  • [SPARK-46144] [SC-149466][SQL] 条件にサブクエリが含まれている場合に INSERT INTO … REPLACE ステートメント に失敗する
  • [SPARK-46118] [SC-149096][SQL][SS][CONNECT] SQLContext.conf の代わりに SparkSession.sessionState.conf を使用し、SQLContext.conf を非推奨としてマークする
  • [SPARK-45760] [SC-147550][SQL] 式で追加して式の重複を回避する
  • [SPARK-43228] [SC-149670][SQL] 結合キーも CoalesceBucketsInJoin の PartitioningCollection と一致する
  • [SPARK-46223] [SC-149691][PS] 未使用のコードをクリーンアップして SparkPandasNotImplementedError をテストする
  • [SPARK-46119] [SC-149205][SQL] UnresolvedAlias のtoString メソッドをオーバーライドする
  • [SPARK-46206] [SC-149674][PS] SQL プロセッサに対してより狭いスコープ例外を使用する
  • [SPARK-46191] [SC-149565][CORE] 既存のファイルの場合に FileSystemPersistenceEngine.persist エラー メッセージを改善する
  • [SPARK-46036] [SC-149356][SQL] raise_error 関数からのエラー クラスの削除
  • [SPARK-46055] [SC-149254][SQL] カタログ データベース API 実装を再書き込みする
  • [SPARK-46152] [SC-149454][SQL] XML: XML スキーマ推論で DecimalType のサポートを追加する
  • [SPARK-45943] [SC-149452][SQL] DetermineTableStats を解決ルールに移動する
  • [SPARK-45887] [SC-148994][SQL] Encodeの codegen と非 codegen の実装を配置する
  • [SPARK-45022] [SC-147158][SQL] データ セット API エラーのコンテキストを指定する
  • [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] toIterator を IterableOnce の iteratorに置き換える
  • [SPARK-46141] [SC-149357][SQL] spark.sql.legacy.ctePrecedencePolicy の既定値を CORRECTED に変更する
  • [SPARK-45663] [SC-146617][CORE][MLLIB] IterableOnceOps#aggregate を IterableOnceOps#foldLeft に置き換える
  • [SPARK-45660] [SC-146493][SQL] ComputeCurrentTime ルールでリテラル オブジェクトを再利用する
  • [SPARK-45803] [SC-147489][CORE] 使用されなくなった RpcAbortException を削除する
  • [SPARK-46148] [SC-149350][PS] pyspark.pandas.mlflow.load_model テスト (Python 3.12) を修正する
  • [SPARK-46110] [SC-149090][PYTHON] カタログ、構成、接続、観測、pandas モジュールでエラー クラスを使用する
  • [SPARK-45827] [SC-149203][SQL] codegen とベクトル化されたリーダーが無効になっている状態でのバリアント修正
  • [SPARK-46080] “[SC-149012][PYTHON] Cloudpickle を 3.0.0 にアップグレードする” を元に戻す
  • [SPARK-45460] [SC-144852][SQL] scala.collection.convert.ImplicitConversions を scala.jdk.CollectionConverters に置き換える
  • [SPARK-46073] [SC-149019][SQL] 特定のコマンドの UnresolvedNamespace の特別な解決を削除する
  • [SPARK-45600] [SC-148976][PYTHON] Python データ ソース登録セッション レベルを作成する
  • [SPARK-46074] [SC-149063][CONNECT][SCALA] UDF の失敗に関するエラー メッセージの詳細が不十分である
  • [SPARK-46114] [SC-149076][PYTHON] エラー フレームワークに PySparkIndexError を追加する
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] ヘルパー関数 DataFrame.withPlan を削除する
  • [SPARK-45927] [SC-148660][PYTHON] Python データ ソースのパスの処理を更新する
  • [SPARK-46062] [14.x][SC-148991][SQL] CTE 定義と参照の間で isStreaming フラグを同期する
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Buffer に関連する非推奨の API の使用をクリーンアップする
  • [SPARK-46064] [SC-148984][SQL][SS] EliminateEventTimeWatermark をアナライザーに移動し、解決された子に対してのみ有効になるように変更する
  • [SPARK-45922] [SC-149038][CONNECT][CLIENT] マイナー再試行のリファクタリング (複数のポリシーへのフォローアップ)
  • [SPARK-45851] [SC-148419][CONNECT][SCALA] scala クライアントで複数のポリシーをサポートする
  • [SPARK-45974] [SC-149062][SQL] RowLevelOperationRuntimeGroupFiltering に scan.filterAttributes の空でない判断を追加する
  • [SPARK-46085] [SC-149049][CONNECT] Scala Spark Connect クライアントの Dataset.groupingSets
  • [SPARK-45136] [SC-146607][CONNECT] Ammonite のサポートで ClosureCleaner を強化する
  • [SPARK-46084] [SC-149020][PS] カテゴリ型のデータ型キャスト操作をリファクタリングする
  • [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException を正規エラー API として作成する
  • [SPARK-46048] [SC-148982][PYTHON][CONNECT] Python Spark Connect で DataFrame.groupingSets をサポートする
  • [SPARK-46080] [SC-149012][PYTHON] Cloudpickle を 3.0.0 にアップグレードする
  • [SPARK-46082] [SC-149015][PYTHON][CONNECT] Spark Connect を使用した Pandas 関数 API の protobuf 文字列表現を修正する
  • [SPARK-46065] [SC-148985][PS] create_map を使用するように (DataFrame|Series).factorize() をリファクタリングする。
  • [SPARK-46070] [SC-148993][SQL] ホット ループ外で SparkDateTimeUtils.getZoneId の正規表現パターンをコンパイルする
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] cute、rollup、groupby、 pivot の引数の型に関連するエラー メッセージを改善する
  • [SPARK-44442] [SC-144120][MESOS] Mesos のサポートを削除する
  • [SPARK-45555] [SC-147620][PYTHON] 失敗したアサーションにデバッグ可能なオブジェクトが含まれる
  • [SPARK-46048] [SC-148871][PYTHON][SQL] DataFrame.groupingSets in PySpark をサポートする
  • [SPARK-45768] [SC-147304][SQL][PYTHON] faulthandler を SQL で Python を実行するためのランタイム構成にする
  • [SPARK-45996] [SC-148586][PYTHON][CONNECT] Spark Connect の適切な依存関係要件メッセージを表示する
  • [SPARK-45681] [SC-146893][UI] UI で一貫したエラー レンダリングを行うために UIUtils.errorMessageCell の js バージョンを複製する
  • [SPARK-45767] [SC-147225][CORE] TimeStampedHashMap とその UT を削除する
  • [SPARK-45696] [SC-148864][CORE] 特性 Promise のメソッド tryCompleteWith の修正は非推奨になった
  • [SPARK-45503] [SC-146338][SS] RocksDB 圧縮を設定するための構成を追加する
  • [SPARK-45338] [SC-143934][CORE][SQL] scala.collection.JavaConverters を scala.jdk.CollectionConverters に置き換える
  • [SPARK-44973] [SC-148804][SQL] conv() のArrayIndexOutOfBoundsException を修正する
  • [SPARK-45912] [SC-144982][SC-148467][SQL] XSDToSchema API の機能強化: クラウド ストレージ アクセシビリティの HDFS API に変更する
  • [SPARK-45819] [SC-147570][CORE] REST Submission API で clear をサポートする
  • [SPARK-45552] [14.x][SC-146874][PS] フレキシブル パラメータを assertDataFrameEqual に導入する
  • [SPARK-45815] [SC-147877][SQL][ストリーミング][14.x][CHERRY-PICK] _metadata 列を追加するために他のストリーミング ソースのインターフェイスを提供する
  • [SPARK-45929] [SC-148692][SQL] データフレーム API で groupingSets 操作をサポートする
  • [SPARK-46012] [SC-148693][CORE] アプリの状態ファイルが見つからない場合、EventLogFileReader はローリング ログを読み取ってはならない
  • [SPARK-45965] [SC-148575][SQL] DSv2 パーティション分割式を functions.partitioning に移動する
  • [SPARK-45971] [SC-148541][CORE][SQL] SparkCollectionUtils のパッケージ名を org.apache.spark.utilに修正する
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] MapOps に関連する非推奨の API の使用をクリーンアップし、method += in trait Growable is deprecated を修正する
  • [SPARK-45962] [SC-144645][SC-148497][SQL] treatEmptyValuesAsNulls を削除し、XML の代わりに nullValue オプションを使用する
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Python 3.11 以降で list GenericAlias を処理するために typehint を修正する
  • [SPARK-45999] [SC-148595][PS] cumprod で専用 PandasProduct を使用する
  • [SPARK-45986] [SC-148583][ML][PYTHON] Python 3.11 でpyspark.ml.torch.tests.test_distributor を修正する
  • [SPARK-45994] [SC-148581][PYTHON] description-file を description_file に変更する
  • [SPARK-45575] [SC-146713][SQL] df 読み取り API のタイム トラベル オプションをサポートする
  • [SPARK-45747] [SC-148404][SS] セッション ウィンドウ集計の読み取り状態を処理するために状態メタデータでプレフィックス キー情報を使用する
  • [SPARK-45898] [SC-148213][SQL] 未解決の論理プランを使用するようにカタログ テーブル API を書き換える
  • [SPARK-45828] [SC-147663][SQL] dsl で非推奨のメソッドを削除する
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Python 3.11 をサポートするように protobuf を 4.25.1 にアップグレードする
  • [SPARK-45911] [SC-148226][CORE] TLS1.3 を RPC SSL の既定値にする
  • [SPARK-45955] [SC-148429][UI] フレームグラフとスレッド ダンプの詳細のサポートを折りたたむ
  • [SPARK-45936] [SC-148392][PS] Index.symmetric_difference を最適化する
  • [SPARK-45389] [SC-144834][SQL][3.5] パーティション メタデータの取得に関する MetaException 一致規則を修正する
  • [SPARK-45655] [SC-148085][SQL][SS] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可する
  • [SPARK-45946] [SC-148448][SS] RocksDBSuite で既定の文字セットを渡すように非推奨の FileUtils 書き込みの使用を修正する
  • [SPARK-45511] [SC-148285][SS] 状態データ ソース - 閲覧者
  • [SPARK-45918] [SC-148293][PS] MultiIndex.symmetric_difference を最適化する
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] 観察したメトリックをコマンドから返す
  • [SPARK-45867] [SC-147916][CORE] spark.worker.idPattern をサポートする
  • [SPARK-45945] [SC-148418][CONNECT] parser にヘルパー関数を追加する
  • [SPARK-45930] [SC-148399][SQL] MapInPandas/MapInArrow で非決定論的 UDF をサポートする
  • [SPARK-45810] [SC-148356][Python] 入力テーブルからの行の使用を停止するために Python UDTF API を作成する
  • [SPARK-45731] [SC-147929][SQL] ANALYZE TABLE コマンドを使用してパーティション統計も更新する
  • [SPARK-45868] [SC-148355][CONNECT] Vanilla Spark と同じパーサーを spark.table が使用するようにする
  • [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec 伝達パーティション分割では CoalescedHashPartitioning を考慮する必要がある
  • [SPARK-45710] [SC-147428][SQL] エラー _LEGACY_ERROR_TEMP_21[59,60,61,62] に名前を割り当てる
  • [SPARK-45915] [SC-148306][SQL] PromoteStrings で 10 進数 (x, 0) を IntegralType と同じように扱う
  • [SPARK-45786] [SC-147552][SQL] 不正確な 10 進数の乗算と除算の結果を修正する
  • [SPARK-45871] [SC-148084][CONNECT] connect モジュールの .toBuffer に関連する最適化コレクション変換
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager が停止した sparkcontext を検索する場合がある
  • [SPARK-45913] [SC-148289][PYTHON] 内部属性を PySpark エラーから非公開にする。
  • [SPARK-45827] [SC-148201][SQL] Spark にバリアントデータ型を追加する。
  • [SPARK-44886] [SC-147876][SQL] CREATE/REPLACE TABLE に CLUSTER BY 句を導入する
  • [SPARK-45756] [SC-147959][CORE] spark.master.useAppNameAsAppId.enabled をサポートする
  • [SPARK-45798] [SC-147956][CONNECT] サーバー側のセッション ID をアサートする
  • [SPARK-45896] [SC-148091][SQL] 正しい予期される型を使用して ValidateExternalType を構築する
  • [SPARK-45902] [SC-148123][SQL] DataSource から使用されていない関数 resolvePartitionColumns を削除する
  • [SPARK-45909] [SC-148137][SQL] IsNotNull で安全にアップキャストできる場合は NumericType キャストを削除する
  • [SPARK-42821] [SC-147715][SQL] splitFiles メソッドの未使用のパラメーターを削除する
  • [SPARK-45875] [SC-148088][CORE] core モジュールから MissingStageTableRowData を削除する
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Spark Connect モードが有効になっているがリモート URL が設定されていない場合のエラー メッセージを改善する
  • [SPARK-45804] [SC-147529][UI] フレーム グラフのオン/オフを切り替えるための spark.ui.threadDump.flamegraphEnabled 構成を追加する
  • [SPARK-45664] [SC-146878][SQL] orc 圧縮コーデック用マッパーを導入する
  • [SPARK-45481] [SC-146715][SQL] parquet 圧縮コーデック用マッパーを導入する
  • [SPARK-45752] [SC-148005][SQL] 参照されていない CTE 関係をチェックするためにコードを簡略化する
  • [SPARK-44752] [SC-146262][SQL] XML: Spark ドキュメントを更新する
  • [SPARK-45752] [SC-147869][SQL] 参照されていない CTE はすべて CheckAnalysis0 でチェックする必要がある
  • [SPARK-45842] [SC-147853][SQL] アナライザーを使用するようにカタログ関数 API をリファクタリングする
  • [SPARK-45639] [SC-147676][SQL][PYTHON] DataFrameReader への Python データ ソースの読み込みをサポートする
  • [SPARK-45592] [SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題
  • [SPARK-45794] [SC-147646][SS] ストリーミング状態メタデータ情報クエリを実行するために状態メタデータ ソースを導入する
  • [SPARK-45739] [SC-147059][PYTHON] faulthandler に関して EOFException のみの代わりに IOException をキャッチする
  • [SPARK-45677] [SC-146700] 観測 API のエラー ログを改善する
  • [SPARK-45544] [SC-146873][CORE] SSL サポートを TransportContext に統合する
  • [SPARK-45654] [SC-147152][PYTHON] Python データ ソース書き込み API を追加する
  • [SPARK-45771] [SC-147270][CORE] spark.eventLog.rolling.enabled を既定で有効にする
  • [SPARK-45713] [SC-146986][PYTHON] Python データ ソースの登録をサポートする
  • [SPARK-45656] [SC-146488][SQL] 異なるデータ セットで同じ名前の観測値を指定した場合の観測を修正する
  • [SPARK-45808] [SC-147571][CONNECT][PYTHON] SQL 例外のエラー処理を改善する
  • [SPARK-45774] [SC-147353][CORE][UI] ApplicationPage の spark.master.ui.historyServerUrl をサポートする
  • [SPARK-45776] [SC-147327][CORE] SPARK-39553 に追加された MapOutputTrackerMaster#unregisterShuffle の防御 null チェックを削除する
  • [SPARK-45780] [SC-147410][CONNECT] InheritableThread ですべての Spark Connect クライアント の threadlocal を伝達する
  • [SPARK-45785] [SC-147419][CORE] アプリ番号を回転するように spark.deploy.appNumberModulo をサポートする
  • [SPARK-45793] [SC-147456][CORE] 組み込みの圧縮コーデックを改善する
  • [SPARK-45757] [SC-147282][ML] バイナライザーでの NNZ の再計算を回避する
  • [SPARK-45209] [SC-146490][CORE][UI] Executor スレッド ダンプ ページのフレーム グラフのサポート
  • [SPARK-45777] [SC-147319][CORE] LocalSchedulerBackend の spark.test.appId をサポートする
  • [SPARK-45523] [SC-146331][PYTHON] ショートカットを持つように null チェックをリファクタリングする
  • [SPARK-45711] [SC-146854][SQL] avro 圧縮コーデック用マッパーを導入する
  • [SPARK-45523] [SC-146077][Python] UDTF が null 非許容列に対して None を返した場合に役立つエラー メッセージを返す
  • [SPARK-45614] [SC-146729][SQL] エラー _LEGACY_ERROR_TEMP_215[6,7,8] に名前を割り当てる
  • [SPARK-45755] [SC-147164][SQL] グローバル制限 1 を適用して Dataset.isEmpty() を改善する
  • [SPARK-45569] [SC-145915][SQL] エラー _LEGACY_ERROR_TEMP_2153 に名前を割り当てる
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Duration 列を正しく並べ替えるように Spark History Server を修正する
  • [SPARK-45754] [SC-147169][CORE] spark.deploy.appIdPattern をサポートする
  • [SPARK-45707] [SC-146880][SQL] DataFrameStatFunctions.countMinSketch を CountMinSketchAgg で簡略化する
  • [SPARK-45753] [SC-147167][CORE] spark.deploy.driverIdPattern をサポートする
  • [SPARK-45763] [SC-147177][CORE][UI] Resource 列が存在する場合にのみ表示するように MasterPage を改善する
  • [SPARK-45112] [SC-143259][SQL] SQL データセット関数で UnresolvedFunction ベースの解決を使用します

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

メンテナンスの更新

「Databricks Runtime 14.3 メンテナンス更新プログラム」をご参照ください。 これは最初のリリースでコメント アウトされています。

システム環境

  • オペレーティング システム: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
ノートブック 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 パッケージング 23.2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
6 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob (blob) 1.2.4
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 キャレット 6.0-94 cellranger 1.1.0
chron 2.3-61 クラス 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 資格情報 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 ダイアグラム 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ライフサイクル 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
ツール 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
郵便番号 2.3.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1