Databricks Runtime 12.0 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.3.1 で稼働する Databricks Runtime 12.0 に関する情報が記載されています。

Databricks は、2022 年 12 月にこのバージョンをリリースしました。

新機能と機能強化

予測 I/O が一般提供

予測 I/O が一般提供されました。 詳しくは、「予測 I/O とは」をご覧ください。

Photon ライターで zstd 圧縮がサポート

spark.sql.parquet.compression.codec を zstd に設定して zstd が有効になっている場合に、Photon ネイティブ ライターで zstd 圧縮コーデックがサポートされるようになりました。

スタンドアロン クラスターのステージ レベルのタスク リソース プロファイルのサポート

動的割り当てが無効になっている場合に、スタンドアロン クラスターでステージ レベルのスケジュールを使用できるようになりました。 この機能を使用するには、ステージごとに ResourceProfileBuilder を使用してタスク リソースを指定します。

REPLACE WHERE を使用した選択的上書きの SQL サポート

次のパターンを使用して、Delta テーブル内の任意の式に一致するデータを選択的に上書きできるようになりました。

INSERT INTO table_name REPLACE WHERE predicate append_relation

replaceWhere を使用した任意の選択的上書きに関するページを参照してください。

ウォーターマークが SQL でサポートされるようになりました

Delta Live Tables SQL インターフェイスを使用し、ストリーミング DataFrames に対する SQL クエリで透かしを指定できるようになりました。 「WATERMARK 句」を参照してください。

PySpark メモリ プロファイリング

PySpark ユーザー定義関数のメモリ プロファイルが有効になりました。 これにより、ユーザー定義関数で、メモリの増分、メモリ使用量、コード行ごとの出現回数に関する情報が提供されます。

DELETE と UPDATE の動的排除

Photon 対応のコンピューティングを使用する場合、DELETE と UPDATE ではパフォーマンスが向上するファイルとパーティションの動的排除が使用されるようになりました。 たとえば、より小さいソース テーブルを使用して大きなテーブルの行を更新または削除するときに、動的排除が有効になります。

パーティション分割されたデータ操作言語操作の行レベルの削除メトリック

パーティション述語を使用して、ユーザーは、DELETE、TRUNCATE、replaceWhere などのデータ操作言語 (DML) 操作を実行するときに削除される行の数を監査できるようになりました。

バグの修正

すべての列が文字列として残されている自動ローダーでの JSON 解析に関する問題を修正しました。 以前は、cloudFiles.inferColumnTypes が設定されていないか、false に設定され、JSON には入れ子になったオブジェクトが含まれていました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • argon2-cffi (20.1.0 から 21.3.0 へ)
    • attrs 21.2.0 (から 21.4.0 へ)
    • backports.entry-points-selectable (1.1.1 から 1.2.0 へ)
    • bleach (4.0.0 から 4.1.0 へ)
    • boto3 (1.21.18 から 1.21.32 へ)
    • botocore (1.24.18 から 1.24.32 へ)
    • cffi (1.14.6 から 1.15.0 へ)
    • click (8.0.3 から 8.0.4 へ)
    • cycler (0.10.0 から 0.11.0 へ)
    • Cython (0.29.24 から 0.29.28 へ)
    • debugpy (1.4.1 から 1.5.1 へ)
    • decorator (5.1.0 から 5.1.1 へ)
    • entrypoints (0.3 から 0.4 へ)
    • idna 3.2 (から 3.3 へ)
    • ipykernel (6.12.1 から 6.15.3 へ)
    • ipython (7.32.0 から 8.5.0 へ)
    • ipywidgets (7.7.0 から 7.7.2 へ)
    • jedi 0.18.0 (から 0.18.1 へ)
    • joblib (1.0.1 から 1.1.0 へ)
    • jsonschema (3.2.0 から 4.4.0 へ)
    • kiwisolver (1.3.1 から 1.3.2 へ)
    • matplotlib (3.4.3 から 3.5.1 へ)
    • nbclient (0.5.3 から 0.5.13 へ)
    • nbconvert (6.1.0 から 6.4.4 へ)
    • nbformat (5.1.3 から 5.3.0 へ)
    • nest-asyncio (1.5.1 から 1.5.5 へ)
    • notebook (6.4.5 から 6.4.8 へ)
    • numpy (1.20.3 から 1.21.5 へ)
    • packaging (21.0 から 21.3 へ)
    • pandas (1.3.4 から 1.4.2 へ)
    • pandocfilters (1.4.3 から 1.5.0 へ)
    • parso (0.8.2 から 0.8.3 へ)
    • Pillow (8.4.0 から 9.0.1 へ)
    • platformdirs (2.5.2 から 2.5.4 へ)
    • plotly (5.9.0 から 5.6.0 へ)
    • prometheus-client (0.11.0 から 0.13.1 へ)
    • protobuf (4.21.5 から 3.19.4 へ)
    • pycparser (2.20 から 2.21 へ)
    • Pygments (2.10.0 から 2.11.2 へ)
    • pyodbc (4.0.31 から 4.0.32 へ)
    • pyzmq (22.2.1 から 22.3.0 へ)
    • requests (2.26.0 から 2.27.1 へ)
    • s3transfer (0.5.2 から 0.5.0 へ)
    • scikit-learn (0.24.2 から 1.0.2 へ)
    • scipy (1.7.1 から 1.7.3 へ)
    • statsmodels (0.12.2 から 0.13.2 へ)
    • terminado (0.9.4 から 0.13.1 へ)
    • tomli (2.0.1 から 1.2.2 へ)
    • traitlets (5.1.0 から 5.1.1 へ)
    • urllib3 (1.26.7 から 1.26.9 へ)
    • widgetsnbextension (3.6.0 から 3.6.1 へ)
  • アップグレードされた R ライブラリ:
    • base (4.1.3 から 4.2.2 へ)
    • brew (1.0-7 から 1.0-8 へ)
    • bslib (0.4.0 から 0.4.1 へ)
    • callr (3.7.2 から 3.7.3 へ)
    • chron (2.3-57 から 2.3-58 へ)
    • cli (3.3.0 から 3.4.1 へ)
    • cluster (2.1.3 から 2.1.4 へ)
    • commonmark (1.8.0 から 1.8.1 へ)
    • compiler (4.1.3 から 4.2.2 へ)
    • cpp11 (0.4.2 から 0.4.3 へ)
    • crayon (1.5.1 から 1.5.2 へ)
    • curl (4.3.2 から 4.3.3 へ)
    • data.table (1.14.2 から 1.14.4 へ)
    • datasets (4.1.3 から 4.2.2 へ)
    • desc (1.4.1 から 1.4.2 へ)
    • devtools (2.4.4 から 2.4.5 へ)
    • digest (0.6.29 から 0.6.30 へ)
    • e1071 (1.7-11 から 1.7-12 へ)
    • evaluate (0.16 から 0.18 へ)
    • fontawesome (0.3.0 から 0.4.0 へ)
    • future (1.28.0 から 1.29.0 へ)
    • future.apply (1.9.1 から 1.10.0 へ)
    • gargle (1.2.0 から 1.2.1 へ)
    • gert (1.8.0 から 1.9.1 へ)
    • ggplot2 (3.3.6 から 3.4.0 へ)
    • gh (1.3.0 から 1.3.1 へ)
    • gitcreds (0.1.1 から 0.1.2 へ)
    • graphics (4.1.3 から 4.2.2 へ)
    • grDevices (4.1.3 から 4.2.2 へ)
    • grid (4.1.3 から 4.2.2 へ)
    • httpuv (1.6.5 から 1.6.6 へ)
    • isoband (0.2.5 から 0.2.6 へ)
    • jsonlite (1.8.0 から 1.8.3 へ)
    • lava (1.6.10 から 1.7.0 へ)
    • lifecycle (1.0.1 から 1.0.3 へ)
    • lubridate (1.8.0 から 1.9.0 へ)
    • markdown (1.1 から 1.3 へ)
    • MASS (7.3-56 から 7.3-58 へ)
    • Matrix (1.4-1 から 1.5-1 へ)
    • methods (4.1.3 から 4.2.2 へ)
    • mgcv (1.8-40 から 1.8-41 へ)
    • nlme (3.1-157 から 3.1-160 へ)
    • nnet (7.3-17 から 7.3-18 へ)
    • openssl (2.0.2 から 2.0.4 へ)
    • parallel (4.1.3 から 4.2.2 へ)
    • pkgload (1.3.0 から 1.3.1 へ)
    • processx (3.7.0 から 3.8.0 へ)
    • ps (1.7.1 から 1.7.2 へ)
    • purrr (0.3.4 から 0.3.5 へ)
    • ragg (1.2.2 から 1.2.4 へ)
    • RcppEigen (0.3.3.9.2 から 0.3.3.9.3 へ)
    • readr (2.1.2 から 2.1.3 へ)
    • recipes (1.0.1 から 1.0.3 へ)
    • rlang (1.0.5 から 1.0.6 へ)
    • rmarkdown (2.16 から 2.18 へ)
    • rpart (4.1.16 から 4.1.19 へ)
    • RSQLite (2.2.16 から 2.2.18 へ)
    • shiny (1.7.2 から 1.7.3 へ)
    • SparkR (3.3.0 から 3.3.1 へ)
    • splines (4.1.3 から 4.2.2 へ)
    • stats (4.1.3 から 4.2.2 へ)
    • stats4 (4.1.3 から 4.2.2 へ)
    • sys (3.4 から 3.4.1 へ)
    • tcltk (4.1.3 から 4.2.2 へ)
    • testthat (3.1.4 から 3.1.5 へ)
    • tidyr (1.2.0 から 1.2.1 へ)
    • tidyselect (1.1.2 から 1.2.0 へ)
    • timeDate (4021.104 から 4021.106 へ)
    • tinytex (0.41 から 0.42 へ)
    • tools (4.1.3 から 4.2.2 へ)
    • utils (4.1.3 から 4.2.2 へ)
    • vctrs (0.4.1 から 0.5.0 へ)
    • vroom (1.5.7 から 1.6.0 へ)
    • xfun (0.32 から 0.34 へ)
    • yaml (2.3.5 から 2.3.6 へ)
    • zip (2.2.0 から 2.2.2 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-databind (2.13.4 から 2.13.4.2 へ)
    • org.apache.parquet.parquet-column (1.12.0-databricks-0007 から1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-common (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
    • org.apache.parquet.parquet-encoding (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-format-structures (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-hadoop (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-jackson (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
    • org.apache.yetus.audience-annotations (0.5.0 から 0.13.0 へ)

Apache Spark

Databricks Runtime 12.0 には、Apache Spark 3.3.1 が含まれています。 このリリースには、Databricks Runtime 11.3 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] “[SC-113542][SS] Kafka オフセット フェッチ構成のデフォルト値の反転” を元に戻す
  • [SPARK-40646] [SC-116061] "[SC-113379][SQL] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正" を元に戻す
  • [SPARK-41195] [SC-116305][SQL] 結合子を使用した PIVOT/UNPIVOT のサポート
  • [SPARK-41178] [SC-116139][SQL] JOIN とコンマの間のパーサー規則の優先順位を修正する
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] エラー クラス STREAM_FAILED を StreamingQueryException に追加する。
  • [SPARK-40921] “[SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を MERGE INTO に追加する" を元に戻す
  • [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-41055] [SC-115582][SQL] _LEGACY_ERROR_TEMP_2424 の名前を GROUP_BY_AGGREGATE に変更する
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF のメッセージ クラス名のサポート
  • [SPARK-40956] [SC-115867] Dataframe overwrite コマンドの SQL 同等コマンド
  • [SPARK-41095] [SC-115659][SQL] 未解決の演算子を内部エラーに変換する
  • [SPARK-41144] [SC-115866][SQL] 未解決のヒントでクエリエラーが発生しないようにする
  • [SPARK-41137] [SC-115858][SQL] LATERAL_JOIN_OF_TYPE の名前を INVALID_LATERAL_JOIN_TYPE に変更する
  • [SPARK-40998] [SC-114754][SQL] エラー クラス _LEGACY_ERROR_TEMP_0040 の名前を INVALID_IDENTIFIER に変更する
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] データ ジェネレーターの UnitTest null チェック
  • [SPARK-40769] [SC-114923][CORE][SQL] 集計式の型チェック エラーをエラー クラスに移行する
  • [SPARK-41043] [SC-115183][SQL] エラー クラス _LEGACY_ERROR_TEMP_2429 の名前を NUM_COLUMNS_MISMATCH に変更する
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Protobuf インポートのサポートとエラー クラスの移動。
  • [SPARK-41019] [SC-114987][SQL] クエリ コンテキストを failAnalysis() に提供する
  • [SPARK-41027] [SC-115131][SQL] MAP_FROM_ENTRIES_WRONG_TYPE ではなく UNEXPECTED_INPUT_TYPE を使用する
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] ALS のシャッフル サイズを縮小する
  • [SPARK-41134] [SC-115851][SQL] 内部エラーのエラー メッセージを改善する
  • [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-41109] [SC-115788][SQL] エラー クラス _LEGACY_ERROR_TEMP_1216 の名前を INVALID_LIKE_PATTERN に変更する
  • [SPARK-40984] [SC-115844][CORE][SQL] FRAME_LESS_OFFSET_WITHOUT_FOLDABLE の代わりに NON_FOLDABLE_INPUT を使用する
  • [SPARK-41029] [SC-115828][SQL] Scala 2.13 の GenericArrayData のコンストラクターの使用を最適化する
  • [SPARK-40697] [SC-113648][SQL] 外部データ ファイルをカバーする読み取り側の char パディングを追加する
  • [SPARK-40978] [SC-114574][SQL] コンテキストのない failAnalysis() をエラー クラスに移行する
  • [SPARK-40663] [SC-114586][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: 行レベルのコマンドでのランタイム グループ フィルター処理をサポートする
  • [SPARK-40372] [SC-115668][SQL] 配列型チェックの失敗をエラー クラスに移行する
  • [SPARK-41038] [SC-115371][SQL] MULTI_VALUE_SUBQUERY_ERROR の名前を SCALAR_SUBQUERY_TOO_MANY_ROWS に変更する
  • [SPARK-40965] [SC-114443][SQL] エラー クラス _LEGACY_ERROR_TEMP_1208 の名前を FIELD_NOT_FOUND に変更する
  • [SPARK-40748] [SC-114696][SQL] 条件の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40371] [SC-114557][SQL] NthValue と NTile の型チェックの失敗をエラー クラスに移行する
  • [SPARK-41092] [SC-115547][SQL] 識別子を使用して間隔の単位を照合しない
  • [SPARK-41009] [SC-115360][SQL] エラー クラス _LEGACY_ERROR_TEMP_1070 の名前を LOCATION_ALREADY_EXISTS に変更する
  • [SPARK-37980] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-40967] [SC-114448][SQL] failAnalysis() をエラー クラスに移行する
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] SQL メトリックを使用して Python UDF をインストルメント化する
  • [SPARK-41012] [SC-114873][SQL] _LEGACY_ERROR_TEMP_1022 の名前を ORDER_BY_POS_OUT_OF_RANGE に変更する
  • [SPARK-41042] [SC-115142][SQL] PARSE_CHAR_MISSING_LENGTH の名前を DATATYPE_MISSING_SIZE に変更する
  • [SPARK-40752] [SC-114442][SQL] misc 式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-37945] [SC-115534][SQL][CORE] 算術演算の実行エラーでエラー クラスを使用する
  • [SPARK-40374] [SC-114705][SQL] 型作成者の型チェックの失敗をエラー クラスに移行する
  • [SPARK-41056] [SC-115354][R] R 4.2 で導入された新しいR_LIBS_SITE 動作を修正する
  • [SPARK-41041] [SC-115357][SQL] _LEGACY_ERROR_TEMP_1279 を TABLE_OR_VIEW_ALREADY_EXISTS に統合する
  • [SPARK-40663] [SC-114852][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] エラー クラス _LEGACY_ERROR_TEMP_1019 の名前を STAR_GROUP_BY_POS に変更する
  • [SPARK-41035] [SC-115233][SQL] RewriteDistinctAggregates で集計関数の折りたたみ可能な子に修正を適用しない
  • [SPARK-39778] [SC-114353][SQL] エラー クラスとメッセージを改善する
  • [SPARK-40798] [SC-113782][SQL] パーティションの変更で storeAssignmentPolicy に従って値を確認する必要がある
  • [SPARK-40810] [SC-113533][SQL] CreateDatabaseCommand & AlterDatabaseSetLocationCommand で IllegalArgumentException の代わりに SparkIllegalArgumentException を使用する
  • [SPARK-40921] [SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を MERGE INTO に追加する
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS とN OT_FOUND の例外
  • [SPARK-41007] [SC-115085][SQL] java.math.BigInteger の不足しているシリアライザーを追加する
  • [SPARK-40751] [SC-114254][SQL] 上位の関数の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40248] [SC-114704][SQL] より多くのビットを使用してブルーム フィルターを構築する
  • [SPARK-41040] [SC-115145][SS] readStream.table を使用するときの自己結合ストリーミング クエリ エラーを修正する
  • [SPARK-32380] [SC-114966][SQL] Spark からの Hive 経由の HBase テーブルのアクセスを修正する
  • [SPARK-40749] [SC-114860][SQL] ジェネレーターの型チェックの失敗をエラー クラスに移行する
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] ステートフル演算子の遅延を修正する
  • [SPARK-40654] [SC-112783] 一時ログ行を削除する
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] ジェネリック型に関連する Java コンパイルの警告を修正する
  • [SPARK-40657] [SC-113642][Cherry-pick] Protob で Java クラスのサポートを追加する
  • [SPARK-40898] [SC-113932][SQL] データ型の不一致エラーで関数名を引用符で囲む
  • [SPARK-40760] [SC-113750][SQL] 間隔式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-36114] [SC-113771][SQL] 相関非等値述語でのサブクエリのサポート
  • [SPARK-40856] [SC-113738][SQL] WRONG_NUM_PARAMS のエラー テンプレートを更新する
  • [SPARK-40759] [SC-114251][SQL] 時間ウィンドウの型チェックの失敗をエラー クラスに移行する
  • [SPARK-40750] [SC-113812][SQL] math 式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40756] [SC-113749][SQL] string 式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40768] [SC-113640][SQL] bloom_filter_agg() の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40369] [SC-113402][SQL] リフレクションを介した呼び出しの型チェックの失敗をエラー クラスに移行する
  • [SPARK-39445] [SQL] 列の排除で windowExpressions が空の場合にウィンドウを削除する
  • [SPARK-40761] [SC-113245][SQL] percentile 式の型チェックの失敗をエラー クラスに移行する
  • [SPARK-40361] [SC-112789][SQL] 算術型チェックの失敗をエラー クラスに移行する
  • [SPARK-40714] [SC-112576][SQL] PartitionAlreadyExistsException を削除
  • [SPARK-40702] [SC-112437][SQL] PartitionsAlreadyExistException のパーティション スペックを修正する
  • [SPARK-40358] [SC-112631][SQL] コレクションの型チェックの失敗をエラー クラスに移行する
  • [SPARK-40910] [SC-114259][SQL] UnsupportedOperationException を SparkUnsupportedOperationException に置き換える
  • [SPARK-39876] [SC-112429][SQL] UNPIVOT を SQL 構文に追加する
  • [SPARK-39783] [SC-113389][SQL] エラー メッセージの列候補のバッククォートを修正するために qualifiedName を引用符で囲む
  • [SPARK-40663] [SC-112520][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] エラー クラス _LEGACY_ERROR_TEMP_0021 の名前を UNSUPPORTED_TYPED_LITERAL に変更する
  • [SPARK-37935] [SC-114472][SQL] 個別のエラー サブクラス フィールドを排除する
  • [SPARK-40944] [SC-114530][SQL] CREATE TABLE 列オプションの順序制約を緩和する
  • [SPARK-40815] [SC-114528][SQL] 回避策 SymlinkTextInputSplit のバグに DelegateSymlinkTextInputFormat を追加する
  • [SPARK-40933] [SC-114441][SQL] 組み込みの sql 関数を使用して df.stat.{cov, corr} を再実装する
  • [SPARK-40932] [SC-114439][CORE] allGather の問題メッセージがオーバーライドされる問題を修正する
  • [SPARK-39312] [SQL] フィルター プッシュ ダウンで Parquet ネイティブ In 述語を使用する
  • [SPARK-40862] [SC-114352][SQL] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートする
  • [SPARK-40963] [SC-114446][SQL] ExtractGenerator によって作成されたプロジェクトで Null 許容を正しく設定する
  • [SPARK-40663] [SC-112295][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] window_time ルールの要件を緩和する - 複数の window_time 呼び出しを許可する
  • [SPARK-40540] [SC-111639][SQL] コンパイルエラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] 入力に奇数の記号がある場合の Unhex を修正する
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] ウィンドウ列からイベント時間を抽出するための window_time 関数を導入する
  • [SPARK-40800] [SC-113772][SQL] OptimizeOneRowRelationSubquery で常に式をインラインにする
  • [SPARK-40900] [SC-114006][SQL] データフレーム操作を使用して frequentItems を再実装する
  • [SPARK-40735] [SC-114022][SC-112657] スクリプトで /usr/bin/env bash を使用して bash を継続的に呼び出し、コードの移植性を高める
  • [SPARK-40773] [SC-113091][SQL] checkCorrelationsInSubquery をリファクタリングする
  • [SPARK-40615] [SC-113400][SQL] サブクエリを関連付け解除するときにサポートされていないデータ型を確認する
  • [SPARK-40660] [SC-112293][CORE][SQL] XORShiftRandom に切り替えて要素を配布する
  • [SPARK-40540] [SC-113926][SC-111331][SQL] コンパイル エラーをエラー クラスに移行する
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: デルタベースの行レベル操作用の API を追加する
  • [SPARK-39391] [SC-110676][CORE] パーティショナー クラスを再利用する
  • [SPARK-40368] [SC-113396][SQL] ブルーム フィルターの型チェックの失敗をエラー クラスに移行する
  • [SPARK-39146] [SC-111814][CORE][SQL] 再利用できる ObjectMapper のローカル シングルトンを導入する
  • [SPARK-40357] [SC-113786][SC-111352][SQL] ウィンドウの型チェックの失敗をエラー クラスに移行する
  • [SPARK-40874] [SC-113756][PYTHON] 暗号化が有効になっている場合の Python UDF でのブロードキャストを修正する
  • [SPARK-40359] [SC-113770][SC-111146][SQL] CSV/JSON 式での型チェックの失敗をエラー クラスに移行する
  • [SPARK-40880] [SC-113764][SQL] データフレーム操作を使用して summary を再実装する
  • [SPARK-40877] [SC-113763][SQL] データフレーム操作を使用して crosstab を再実装する
  • [SPARK-40382] [SC-113098][SQL] RewriteDistinctAggregates で意味的に等価な子によって個別の集計式をグループ化する
  • [SPARK-40826] [SC-113532][SS] チェックポイントの名前変更ファイル チェックを追加する
  • [SPARK-40829] [SC-113426][SQL] CREATE TABLE LIKE ビューの STORED AS serde が機能しない
  • [SPARK-40844] [SC-113542][SS] Kafka オフセット フェッチ構成のデフォルト値を反転させる
  • [SPARK-40488] [SC-113568][SC-111160] データソースの書き込みが失敗したときにスローされる例外をラップしない
  • [SPARK-40560] [SC-113631][SC-111335][SQL] エラーの STANDARD フォーマットの message の名前を messageTemplate に変更する。
  • [SPARK-40618] [SC-113096][SQL] 参照追跡を使用して入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正する
  • [SPARK-40530] [SC-113528][SC-111332][SQL] エラー関連の開発者 API を追加する
  • [SPARK-40806] [SC-113250][SQL] 入力ミスの修正: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646][SC-113379][SQL] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正する
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Spark の Protobuf サポート - 以降...
  • [SPARK-40753] [SC-113539][SQL] カタログ ディレクトリ操作のテスト ケースのバグを修正する
  • [SPARK-40765] [SC-113056][SQL] CommandUtils#calculateSingleLocationSize#getPathSize メソッドでの冗長 fs 操作を最適化する
  • [SPARK-40114] [ES-479282][R][11.X] SparkR での Arrow 9.0.0 のサポート
  • [SPARK-40479] [SC-110935][SQL] 予期しない入力型エラーをエラー クラスに移行する
  • [SPARK-40473] [SC-113388][SC-111141][SQL] 解析エラーをエラー クラスに移行する
  • [SPARK-39853] [SC-111867][CORE] 動的割り当てが無効になっている場合にスタンドアロン クラスターのステージ レベルのタスク リソース プロファイルをサポートする (PR-47157 からのバック ポート)
  • [SPARK-40407] [SC-111161][SQL] df.repartition によって発生する可能性のあるデータ スキューを修正する
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE でテーブル参照を実行する必要がない
  • [SPARK-40703] [SC-113242][SQL] 並列処理を改善するために SinglePartition でシャッフルを導入する
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil を使用して Hadoop/Hive 構成オプションの配信元を設定する
  • [SPARK-39062] [11.x][CORE] スタンドアロン クラスターのステージ レベルのリソース スケジュールのサポートを追加する
  • [SPARK-33861] [SC-109877]"[SQL] 述語の条件付きを簡略にする" を元に戻す
  • [SPARK-40667] [SC-113136][SQL] ファイル データ ソース オプションをリファクタリングする
  • [SPARK-40370] [SC-110677][SQL] CAST で型チェックの失敗をエラー クラスに移行する
  • [SPARK-40611] [SC-113105][SQL] UnsafeRow の setInterval & getInterval のパフォーマンスを向上させる
  • [SPARK-40733] [SC-113126][SQL] ShowCreateTableAsSerdeCommand の結果内の SERDEPROPERTIES のコンテンツを固定順序にする
  • [SPARK-40585] [SC-112180][SQL] 二重引用符で囲まれた識別子のサポート
  • [SPARK-40772] [SC-112992][SQL] Double 値をサポートするように spark.sql.adaptive.skewJoin.skewedPartitionFactor を改善する
  • [SPARK-40565] [SC-112417][SQL] 非決定論的フィルターを V2 ファイル ソースにプッシュしない
  • [SPARK-8731] [SC-112784] バックグラウンドで開始されたときに、Beeline が -e オプションで動作しない
  • [SPARK-35242] [SC-111398][SQL] セッション カタログの既定のデータベースの変更をサポート
  • [SPARK-40426] [SC-110672][SQL] SparkThrowable.getMessageParameters からマップを返す
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] keys.zipWithIndex.toMap コード パターンのパフォーマンスを最適化する
  • [SPARK-40521] [SC-112430][SQL] Hive の作成パーティションから PartitionsAlreadyExistException に存在するパーティションのみを返す
  • [SPARK-40705] [SC-112567][SQL] Scala 2.13 の行を JSON に変換するときに変更可能な配列を使用するケースを処理する
  • [SPARK-39895] [SC-112590][SQL][PYTHON] 複数列の削除をサポート
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] 冗長文字列補間操作を削除する
  • [SPARK-40420] [SC-112604][SC-110569][SQL] JSON 形式での名前によるエラー メッセージ パラメーターのサポート
  • [SPARK-40403] [SC-110564][SQL] longs を使用して安全でない配列サイズを計算し、エラー メッセージが負のサイズになることを回避する
  • [SPARK-40482] [SC-110831][SQL] SPARK-24544 Print actual failure cause when look up function failed を元に戻す
  • [SPARK-40400] [SC-112555][SC-110397][SQL] エラー メッセージ パラメーターをマップとして例外に渡す
  • [SPARK-40628] [SC-112414][SQL] プロジェクトを通じて複雑な左半結合/反結合条件をプッシュしない
  • [SPARK-40562] [SC-111455][SQL] spark.sql.legacy.groupingIdWithAppendedUserGroupBy を追加
  • [SPARK-40501] [SC-111333][SQL] オプティマイザーの PushProjectionThroughLimit を追加する
  • [SPARK-39200] [SC-111244][CORE] フォールバック ストレージをコンテンツで readFully にする
  • [SPARK-38717] [SC-111241][SQL] 動作を維持する Hive のバケット スペック ケースを処理する
  • [SPARK-40385] [SC-111123][SQL] コンパニオン オブジェクト コンストラクターの解釈パスを修正する
  • [SPARK-40216] [SC-112413][SQL] ParquetFileFormat と ParquetWrite で共通 ParquetUtils.prepareWrite メソッドを抽出してコードを重複除去する
  • [SPARK-40636] [SC-112160][CORE] BlockManagerDecommissioner で残っている間違ったシャッフル ログを修正する
  • [SPARK-40617] [SC-112009] ExecutorMetricsPoller のステージ TCMP エントリの処理での競合状態を修正する
  • [SPARK-40618] [SC-112046][SQL]入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正する
  • [SPARK-40612] [SC-111933][CORE] YARN 以外のリソース マネージャーでの委任トークンの更新に使用されるプリンシパルを修正する
  • [SPARK-40595] [SC-111662][SQL] 未使用の CTE 関係のエラー メッセージを改善する
  • [SPARK-40314] [SC-111879][SQL][PYTHON] インラインおよび inline_outer の scala と python のバインドを追加する
  • [SPARK-40416] [SC-110945][SQL] 新しいエラー フレームワークを使用するためにサブクエリ式 CheckAnalysis エラー メッセージを移動する
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() は子から例外をスローする必要がある
  • [SPARK-40509] [SC-111644][SS][PYTHON] applyInPandasWithState の例を追加する
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() は子からの例外をスローする必要がある
  • [SPARK-40016] [SQL] try_sum() の実装で不要な TryEval を削除する
  • [SPARK-40527] [SC-111224][SQL] CreateStruct で構造体フィールド名またはマップ キーを保持する
  • [SPARK-38098] [SC-111178][PYTHON] 入れ子になった StructType の ArrayType のサポートを矢印ベースの変換に追加する
  • [SPARK-40324] [SC-111359][SC-110293][SQL] AnalysisException でクエリ コンテキストを提供する
  • [SPARK-40492] [SC-111324][SS] StateStore アンロードのストリーミングの前にメンテナンスを実行する
  • [SPARK-40487] [SC-111124][SQL] 並列実行する BroadcastNestedLoopJoinExec で defaultJoin を作成する
  • [SPARK-40474] [SC-111273][SQL] 日付とタイムスタンプが混在する列での CSV スキーマの推論とデータ解析の動作を修正する
  • [SPARK-40508] [SC-111066][SQL] 不明なパーティション分割を UnknownPartitioning として扱う
  • [SPARK-40496] [SC-111234][SC-111013][SQL] "enableDateTimeParsingFallback" を制御する構成を修正する
  • [SPARK-40435] [SC-111214][SS][PYTHON] PySpark で applyInPandasWithState のテスト スイートを追加する
  • [SPARK-40434] [SC-111125][SS][PYTHON] PySpark で applyInPandasWithState を実装する

メンテナンスの更新

Databricks Runtime 12.0 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
クリックし 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0.4 executing 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
ノートブック 6.4.8 numpy 1.21.5 パッケージング 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

インストールされている R ライブラリ

R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.3
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 キャレット 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 資格情報 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ライフサイクル 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1