Databricks Runtime 11.3 LTS

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.3 LTS に関する情報が記載されています。 Databricks は、2022 年 10 月にこのバージョンをリリースしました。

Note

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

[破壊的変更] 新しい Python バージョンでは、Databricks Connect V1 Python クライアントを更新する必要があります

必要なセキュリティ パッチを適用するため、Databricks Runtime 11.3 LTS の Python バージョンが 3.9.5 から 3.9.19 にアップグレードされます。 これらの変更により、特定の PySpark 関数を使用するクライアントでエラーが発生する可能性があるため、Databricks Runtime 11.3 LTS で Databricks Connect V1 for Python を使用するすべてのクライアントを Python 3.9.7 以降に更新する必要があります。

新機能と機能強化

構造化ストリーミングの 1 回だけのトリガーは非推奨

この Trigger.Once 設定は非推奨になりました。 Databricks では Trigger.AvailableNow を使用することをお勧めします。 「構造化ストリーミングのトリガー間隔を構成する」を参照してください。

自動ローダーのソース パスを変更する

新しいチェックポイント ディレクトリを選択しなくても、ディレクトリ一覧モードで構成された自動ローダーのディレクトリ入力パスを変更できるようになりました。 「自動ローダーのソース パスを変更する」を参照してください。

Databricks Kinesis コネクタで、EFO モードでの Kinesis データ ストリームからの読み取りがサポートされるようになりました。

Databricks Runtime 11.3 LTS の Databricks Kinesis Structured Streaming ソースを使用して、拡張ファンアウト モードで Kinesis データ ストリームから読み取るクエリを実行できるようになりました。 これにより、シャードごとおよびコンシューマーごとの専用スループット、およびプッシュ モードでのレコード配信が可能になります。

新しい H3 地理空間関数と、すべての H3 関数に Photon のサポートが追加されました。

4 つの新しい H3 関数 h3_maxchild、h3_minchild、h3_pointash3、および h3_pointash3string について説明します。 これらの関数は、SQL、Scala、Python で使用できます。 すべての H3 式が Photon でサポートされるようになりました。 「H3 地理空間の関数」を参照してください。

予測 I/O の新機能

Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW を使用してフレームを実行するための範囲モードがサポートされています。 さらに Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING } を使用してフレームを拡大するための範囲モードもサポートされています。

選択的クエリをスキャンするために初期パーティションを増やす

Photon 対応クラスターの take/tail/limit と Databricks SQL のLIMIT で選択的クエリで、スキャンする初期パーティションの値が 10 に増加しました。 10 個のパーティションを使用すると、複数の小さなジョブを起動し、スケールアップが遅くなるオーバーヘッドを回避できます。 spark.sql.limit.selectiveInitialNumPartitions を介してこれを構成することもできます。

新しい AQE プランバージョンの視覚化

アダプティブ クエリ実行 (AQE) からランタイム プランの更新を視覚化できる AQE プランのバージョンを紹介します。

新しい非同期進行状況の追跡モードとログ消去モード

非同期進行状況追跡と非同期ログ消去と呼ばれる構造化ストリーミング モードの導入。 非同期ログ消去モードでは、バックグラウンドで進行状況の追跡に使用されるログを削除することで、ストリーミング クエリの待機時間が短縮されます。

Unity Catalog での構造化ストリーミングが display() をサポートするようになりました

構造化ストリーミングを使用して Unity カタログに登録されたテーブルを操作するときに、display() を使用できるようになりました。

パイプライン イベントが JSON 形式でログに記録されるようになりました

Azure Databricks は、JSON 形式でドライバー ログにパイプライン イベントを書き込むようになりました。 各イベントは JSON で解析できますが、大きなイベントにすべてのフィールドが含まれていないか、フィールドが切り捨てられる可能性があります。 各イベントは、プレフィックス Event received: が付いた単一の行に記録されます。 イベントの例を次に示します。

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python の構造化ストリーミングでの自由裁量によるステートフル処理

PySpark で任意のステートフル処理を実行するために使用できる applyInPandasWithState 関数を紹介します。 これは、Java API の flatMapGroupsWithState 関数と同じです。

CSV ファイルの日付推論

CSV ファイルの日付型列の推論の改善について紹介します。 列のレコード間で日付形式が一貫している場合、それらの列は DateType のように推論できます。 異なる列に日付形式を組み合わせることもできます。 Azure Databricks では、各列の日付形式を自動的に推論できます。 Databricks Runtime 11.3 LTS より前の CSV ファイルの日付列は、StringType のように残されています。

Apache Parquet テーブルと Apache Iceberg テーブルのサポートを複製する (パブリック プレビュー)

複製を使用して、Apache Parquet テーブルと Apache Iceberg テーブルをミラー化する Delta テーブルを作成および増分更新できるようになりました。 clone コマンドを使用して、ソース Parquet テーブルを更新し、その変更を複製された Delta テーブルに増分適用できます。 「Parquet テーブルと Iceberg テーブルを Delta Lake に増分複製する」を参照してください。

SQL を使用して、Unity Catalog マネージド テーブルのスキーマ レベルとカタログ レベルのストレージの場所を指定する

MANAGED LOCATION SQL コマンドを使用して、カタログ レベルとスキーマ レベルでマネージド テーブルのクラウド ストレージの場所を指定できるようになりました。 「CREATE CATALOG」と「CREATE SCHEMA」を参照してください。

動作の変更

Databricks Connect 11.3.2

Databricks Connect クライアント更新プログラム 11.3.2 がサポートされるようになりました。 「Databricks Connect」および「Databricks Connect リリース ノート」を参照してください。

更新された Azure Databricks Snowflake コネクタ

Azure Databricks Snowflake コネクタは、オープンソース リポジトリ Snowflake Data Source for Apache Spark から最新バージョンのコードに更新されました。 オープンソース バージョンのすべての機能を維持しながら、述語プッシュダウンや内部クエリ プランのプッシュダウンなど、Databricks Runtime 11.3 LTS との完全な互換性を実現しました。

S3A の Hadoop キャッシュが無効になりました

S3A の Hadoop キャッシュ (FileSystem Apache Hadoop Main 3.3.4 API) が無効になりました。 これは、他のクラウド ストレージ コネクタと揃えるためです。 ファイル システムのキャッシュに依存するワークロードの場合は、新しく作成されたファイル システムに、資格情報プロバイダーを含む適切な Hadoop 構成が提供されていることを確認します。

Delta Lake 統計コレクション スキーマがテーブル スキーマ定義の列の順序と一致するようになりました

この変更は、DataFrame とテーブル列の順序が一致していないために列の統計が収集されなかった Delta Lake プロトコルのバグに対処します。 場合によっては、以前に追跡されていないフィールドの統計収集が原因で、書き込みパフォーマンスが低下することがあります。 「Delta Lake に対するデータのスキップ」を参照してください。

applyInPandasWithState は、演算子の後にクエリにシャッフルがある場合にエラーをスローする

演算子の後にクエリに shuffle がある場合、演算子 applyInPandasWithState はエラーをスローします。 これは、ユーザーが操作の後に shuffle を追加するか、オプティマイザーまたはシンクが暗黙的に shuffle を追加した場合に発生します。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • distlib (0.3.5 から 0.3.6 へ)
  • アップグレードされた R ライブラリ:
    • broom (1.0.0 から 1.0.1 へ)
    • callr (3.7.1 から 3.7.2 へ)
    • dplyr (1.0.9 から 1.0.10 へ)
    • dtplyr (1.2.1 から 1.2.2 へ)
    • forcats (0.5.1 から 0.5.2 へ)
    • future (1.27.0 から 1.28.0 へ)
    • future.apply (1.9.0 から 1.9.1 へ)
    • gert (1.7.0 から 1.8.0 へ)
    • globals (0.16.0 から 0.16.1 へ)
    • globals (0.3.0 から 0.3.1 へ)
    • haven (2.5.0 から 2.5.1 へ)
    • hms (1.1.1 から 1.1.2 へ)
    • httr (1.4.3 から 1.4.4 へ)
    • knitr (1.39 から 1.40 へ)
    • modelr (0.1.8 から 0.1.9 へ)
    • pillar (1.8.0 から 1.8.1 へ)
    • progressr (0.10.1 から 0.11.0 へ)
    • readxl (1.4.0 から 1.4.1 へ)
    • reprex (2.0.1 から 2.0.2 へ)
    • rlang (1.0.4 から 1.0.5 へ)
    • rmarkdown (2.14 から 2.16 へ)
    • RSQLite (2.2.15 から 2.2.16 へ)
    • rstudioapi (0.13 から 0.14 へ)
    • rversions (2.1.1 から 2.1.2 へ)
    • rvest (1.0.2 から 1.0.3 へ)
    • scales (1.2.0 から 1.2.1 へ)
    • sparklyr (1.7.7 から 1.7.8 へ)
    • stringr (1.4.0 から 1.4.1 へ)
    • survival (3.2-13 から 3.4-0 へ)
    • tinytex (0.40 から 0.41 へ)
    • viridisLite (0.4.0 から 0.4.1 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-annotations (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.core.jackson-core (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.core.jackson-databind (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.module.jackson-module-paranamer (2.13.3 から 2.13.4 へ)
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.13.3 から 2.13.4 へ)
    • org.apache.hadoop.hadoop-client-api (3.3.2-databricks から 3.3.4-databricks へ)
    • org.apache.hadoop.hadoop-client-runtime (3.3.2 から 3.3.4 へ)
    • org.apache.orc.orc-core (1.7.5 から 1.7.6 へ)
    • org.apache.orc.orc-mapreduce (1.7.5 から 1.7.6 へ)
    • org.apache.orc.orc-shims (1.7.5 から 1.7.6 へ)
    • org.apache.parquet.parquet-column (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-common (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-encoding (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-format-structures (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-hadoop (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.apache.parquet.parquet-jackson (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-client (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-common (2.34 から 2.36 へ)
    • org.glassfish.jersey.core.jersey-server from (2.34 から 2.36 へ)
    • org.glassfish.jersey.inject.jersey-hk2 (2.34 から 2.36 へ)

Apache Spark

Databricks Runtime 11.3 LTS には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.2 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] ドライバーが ExecutorExecutCode を受信できるように onDisconnected を遅らせる
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] LaunchTask プロセスを向上して、LaunchTask メッセージの送信失敗によるステージ エラーを回避する
  • [SPARK-40474] [SC-106248][Cherry-Pick] datetime 列の CSV スキーマ推論動作を修正し、日付フィールドの自動検出を導入する
  • [SPARK-40535] [SC-111243][SQL] 入力行が空の場合、アグリゲーティングAccumulator のバッファーが作成されないバグを修正
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] PySpark で applyInPandasWithState を実装する
  • [SPARK-40460] [SC-110832][SS] 選択時にストリーミング メトリックを修正する_metadata
  • [SPARK-40324] [SC-109943][SQL] ParseException のクエリ コンテキストを指定する
  • [SPARK-40466] [SC-110899][SS] DSv1 を使用することができない間に DSv2 が無効になった場合のエラー メッセージを改善する
  • [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext を繰り返し呼び出すことは安価である
  • [SPARK-40169] [SC-110772][SQL] データ スキーマへの参照がない Parquet フィルターをプッシュダウンしない
  • [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState を複数のテスト スイートに分割する
  • [SPARK-40468] [SC-110813][SQL] _corrupt_record が選択されている場合、CSV での列の削除を修正する
  • [SPARK-40291] [SC-110085][SQL] group by 句エラーに含まれていない列のメッセージを改善する
  • [SPARK-40398] [SC-110762][CORE][SQL] Arrays.stream api の代わりにループを使用する
  • [SPARK-40433] [SC-110684][SS][PYTHON] PythonSQLUtils で toJVMRow を追加してピクルスされた PySpark 行を JVM 行に変換する
  • [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput と PythonArrowOutput のより多くのジェネリック型
  • [SPARK-40352] [SC-109945][SQL] 関数エイリアスの追加は、 len、datepart、dateadd、date_diff、curdate
  • [SPARK-40470] [SC-110761][SQL] "arrays_zip" 関数で GetArrayStructFields と GetMapValue を処理する
  • [SPARK-40387] [SC-110685][SQL] Spark Decimal の実装を改善する
  • [SPARK-40429] [SC-110675][SQL] 参照される列が出力内にある場合にのみ KeyGroupedPartitioning を設定する
  • [SPARK-40432] [SC-110716][SS][PYTHON] PySpark で GroupStateImpl と GroupStateTimeout を導入する
  • [SPARK-39915] [SC-110496][SQL] 出力パーティション分割が AQE でユーザー指定されていることを確認する
  • [SPARK-29260] [SQL] HMS でサポートされている場合の ALTER DATABASE SET LOCATION のサポート
  • [SPARK-40185] [SC-110056][SQL] 候補リストが空のときに列候補を削除する
  • [SPARK-40362] [SC-110401][SQL] BinaryComparison の正規化を修正する
  • [SPARK-40411] [SC-110381][SS] FlatMapGroupsWithStateExec をリファクタリングして親特性を持つ
  • [SPARK-40293] [SC-110084][SQL] V2 テーブルのエラー メッセージをより意味のあるものにする
  • [SPARK-38734] [SC-110383][SQL] エラー クラスを削除するINDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][SQL] 入れ子になった構造体から配列が参照されている場合の "arrays_zip" 関数の列名を修正する
  • [SPARK-40276] [SC-109674][CORE] RDD.takeOrdered の結果サイズを小さくする
  • [SPARK-40197] [SC-109176][SQL] クエリ プランをMULTI_VALUE_SUBQUERY_ERROR のコンテキストに置き換える
  • [SPARK-40300] [SC-109942][SQL] エラー クラスに移行するDATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][SQL] Project を介してメタデータ列を伝達する
  • [SPARK-40280] [SC-110146][SQL] 注釈付き int と long の parquet プッシュダウンのサポートを追加
  • [SPARK-40220] [SC-110143][SC-109175][SQL] エラー メッセージ パラメーターの空のマップを出力しない
  • [SPARK-40295] [SC-110070][SQL] 書き込みディストリビューション/順序付けのリテラル引数を持つ v2 関数を許可する
  • [SPARK-40156] [SC-109264][SQL][SQL]url_decode() がエラー クラスを返す必要がある
  • [SPARK-39195] [SQL] コミットされたファイルがタスクの状態と一致しない場合、Spark OutputCommitCoordinator はステージを中止する必要がある
  • [SPARK-40260] [SC-109424][SQL] ポジションによるグループのコンパイル エラーでエラー クラスを使用する
  • [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO のクエリ コンテキストを提供する
  • [SPARK-40112] [SC-109676][SQL] TO_BINARY() 関数を改善する
  • [SPARK-40209] [SC-109081][SQL] エラー時に changePrecision() での 10 進数の間隔値を変更しないでください
  • [SPARK-40319] [SC-109873][SQL] PARSE_DATETIME_BY_NEW_PARSER の重複したクエリ実行エラー メソッドを削除する
  • [SPARK-40222] [SC-109209][SQL] 数値try_add/try_divide/try_subtract/try_multiply は子からエラーをスローする
  • [SPARK-40183] [SC-108907][SQL] 10 進数変換のオーバーフローにエラー クラス NUMERIC_VALUE_OUT_OF_RANGE を使用する
  • [SPARK-40180] [SC-109069][SQL] spark-sql によるエラー メッセージを次の形式で書式設定する
  • [SPARK-40153] [SC-109165][SQL] 解決関数とテーブル値関数を統合する
  • [SPARK-40308] [SC-109880][SQL] str_to_map 関数への折りたたみ不可の区切り文字引数を許可する
  • [SPARK-40219] [SC-110052][SC-109663][SQL] 冗長参照を回避するために、解決されたビュー論理プランでスキーマを保持する必要がある
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Thrift サーバーでのエラー メッセージの書式設定
  • [SPARK-39917] [SC-109038][SQL] 数値/間隔の算術オーバーフローに異なるエラー クラスを使用する
  • [SPARK-40033] [SC-109875][SQL] element_at により入れ子になったスキーマの排除のサポート
  • [SPARK-40194] [SC-109660][SQL] 空の正規表現の SPLIT 関数は、末尾の空の文字列を切り捨てる必要があります。
  • [SPARK-40228] [SC-109835][SQL] 子がチープな式でない場合は multiLike を簡略化しない
  • [SPARK-40039] [SC-109896][SC-109260][SS] Hadoop の Abortable インターフェイスに基づくストリーミング チェックポイント ファイル マネージャーの導入
  • [SPARK-40285] [SC-109679][SQL] Spark Decimal の roundTo[Numeric] を簡素化する
  • [SPARK-39896] [SC-109658][SQL] In/InSet ダウンキャストのリテラルが失敗したときに UnwrapCastInBinaryComparison が機能する必要がある
  • [SPARK-40040] [SC-109662][SQL] 結合条件が空の場合、ローカル制限を両側にプッシュする
  • [SPARK-40055][SC-109075][SQL] listCatalogs は、spark_catalog 実装が defaultSessionCatalog の場合でもspark_catalog を返す必要がある
  • [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) で N 個のパーティションが AQE 以外の部分を作成しない場合がある
  • [SPARK-40207] [SC-109401][SQL] データ型がデータソースでサポートされていない場合に列名を指定します
  • [SPARK-40245] [SC-109295][SQL] パーティションまたはデータ フィルター列が読み取られない場合の FileScan の等価性チェックを修正する
  • [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 インターフェイスの実装
  • [SPARK-40211] [SC-109226][CORE][SQL] take() 動作で初期パーティション数のカスタマイズを許可する
  • [SPARK-40252] [SC-109379][SQL] Stream.collect(Collectors.joining) を StringJoiner API に置き換える
  • [SPARK-40247] [SC-109272][SQL] BitSet の等価性チェックを修正する
  • [SPARK-40067] [SQL] Scan#name() 代わりに Table#name() を使用して SparkUI の BatchScan ノード内のテーブル名を設定する
  • [SPARK-39966] [SQL] SupportsDelete で V2 フィルターを使用する
  • [SPARK-39607] [SC-109268][SQL][DSV2] 配布および順序付けでは、V2 関数が書き込みでサポートされる
  • [SPARK-40224] [SC-109271][SQL] 並べ替えベースにフォールバックするときに ObjectHashAggregateExec のメモリを一括で解放する
  • [SPARK-40013] [SQL] DS V2 式に既定値を設定する必要がある toString
  • [SPARK-40214] [SC-109079][PYTHON][SQL] 関数に 'get' を追加する
  • [SPARK-40192] [SC-109089][SQL][ML] 冗長グループを削除する
  • [SPARK-40146] [SC-108694][SQL] 単にマップ値を取得するコードゲン
  • [SPARK-40109][SQL] 新しい SQL 関数: get()
  • [SPARK-39929] [SQL] DS V2 でプッシュダウン文字列関数がサポートされている (ANSI 以外)
  • [SPARK-39819] [SQL] DS V2 集計プッシュダウンは、上位 N またはページング (式による並べ替え) で動作できる
  • [SPARK-40213] [SC-109077][SQL] ラテン 1 文字の ASCII 値変換をサポート
  • [SPARK-39887] [SQL] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
  • [SPARK-39764] [SQL] PhysicalOperation を ScanOperation と同じにする
  • [SPARK-39964] [SQL] DS V2 プッシュダウンで翻訳パスを統一する必要がある
  • [SPARK-39528] [SQL] SupportsRuntimeFiltering で V2 フィルターを使用する
  • [SPARK-40066] [SQL] ANSI モード: マップ列への無効なアクセスで常に null を返す
  • [SPARK-39912] [SPARK-39828][SQL] CatalogImpl の修正
  • [SPARK-39833] [SC-108736][SQL] DSv1 の Parquet 列インデックスを無効にして、パーティション列とデータ列が重複する場合の正確性の問題を修正する
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS コマンドは、v1 などの修飾関数名を出力する必要がある
  • [SPARK-39767] [SQL] UnresolvedDBObjectName を削除し、UnresolvedIdentifier を追加する
  • [SPARK-40163] [SC-108740][SQL] SparkSession.config(マップ) が含まれる
  • [SPARK-40136] [SQL] SQL クエリ コンテキストのフラグメントを修正する
  • [SPARK-40107] [SC-108689][SQL] FileFormatWriter から empty2null 変換をプルする
  • [SPARK-40121] [PYTHON][SQL] Python UDF に使用されるプロジェクションを初期化する
  • [SPARK-40128] [SQL] VectorizedColumnReader にスタンドアロン列エンコードとしてDELTA_LENGTH_BYTE_ARRAYを認識させる
  • [SPARK-40132] [ML] rawPredictionCol を MultilayerPerceptronClassifier.setParams に復元する
  • [SPARK-40050] [SC-108696][SQL] による並べ替えの削除をサポートするように拡張EliminateSortsLocalLimit
  • [SPARK-39629] [SQL] v2 SHOW FUNCTIONS のサポート
  • [SPARK-39925] [SC-108734][SQL] DataFrame 操作にarray_sort(列、比較子) オーバーロードを追加する
  • [SPARK-40117] [PYTHON][SQL] DataFrameWriterV2.overwrite で条件を java に変換する
  • [SPARK-40105] [SQL] ReplaceCTERefWithRepartition での再パーティションの改善
  • [SPARK-39503] [SQL] v1 データベース テーブルと関数のセッション カタログ名を追加する
  • [SPARK-39889] [SQL] 数値/間隔に異なるエラー クラスを 0 で除算して使用する
  • [SPARK-39741][SQL] URL エンコード/デコードを組み込み関数としてサポートし、URL 関連の関数を整理する
  • [SPARK-40102] [SQL] SparkPlan で IllegalStateException の代わりに SparkException を使用する
  • [SPARK-40014] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
  • [SPARK-39776] [SQL][FOLLOW] ANSI モードで PlanStabilitySuite の UT を更新する
  • [SPARK-39963] [SQL] 簡略化 SimplifyCasts.isWiderCast

メンテナンスの更新

Databricks Runtime 11.3 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.19
  • R: 4.1.3
  • Delta Lake: 2.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.3 cryptography 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0.3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.4.5 numpy 1.20.3
パッケージング 21.0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
6 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

インストールされている R ライブラリ

R ライブラリは、2022 年 9 月 8 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
キャレット 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 資格情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
generics 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ライフサイクル 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progress 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
scales 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1