Databricks Runtime 8.4 (EoS)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.1.2 で稼働する Databricks Runtime 8.4 と Databricks Runtime 8.4 Photon に関する情報が記載されています。 Databricks は、2021 年 7 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。

新機能と機能強化

Delta Lake の機能と機能強化

Delta テーブルの変更データ フィード (GA)

Delta テーブルの変更データ フィードが一般提供されました。 これは、テーブルの異なるバージョン間の行レベルの変更を表します。 有効にすると、テーブルに対する書き込み操作ごとに行レベルの変更に関する追加情報が記録されます。 「Azure Databricks で Delta Lake 変更データ フィードを使用する」を参照してください。

Databricks Runtime を使用して共有 Delta テーブルを簡単に読み込む

Delta Sharing 0.1.0 用の Apache Spark コネクタが Databricks Runtime に付属するようになりました。 Delta Sharing の Spark コネクタをクラスターにアタッチせずに、spark.read.format("deltaSharing").load(uri) を使用して共有テーブルを直接読み込むことができます。

動的なファイルの排除を活用できるテーブルの追加

動的なファイルの排除機能が、ファイル数が少ないテーブルに対してトリガーするように調整されました。 「動的なファイルの排除」を参照してください。

ターゲット ファイルサイズの自動チューニングによるパフォーマンスの向上

Delta テーブルのターゲット ファイル サイズが、テーブルのサイズに基づいて自動的に調整されるようになりました。 以前は、OPTIMIZE と OPTIMIZE ZORDER BY のターゲット ファイル サイズは 1 GB でした。 テーブル サイズに基づく自動調整を使用すると、最大 2.56 TB の Delta テーブルではターゲット サイズとして 256 MB が使用されます。 10 TB を超えるテーブルでは、以前と同じ 1 GB が使用されます。 これらの間のサイズのテーブルで使用されるターゲット サイズは、テーブル サイズに比例して増大します。 「データ ファイル サイズを制御するように Delta Lake を構成する」を参照してください。

DeltaTable.forName でテーブルを指定する方法の追加

DeltaTable.forName で、delta.`<path>` を使用してテーブルを特定できるようになりました。

foreachBatch を使用した堅牢な複数テーブルのストリーミング書き込み

foreachBatch() コマンド内でべき等差分ストリーミング書き込みがサポートされるようになりました。 詳細については、「べき等な複数テーブルの書き込み」を参照してください。

チェックポイントの調整による特定のワークロードでの読み取りクエリのパフォーマンス向上

Delta Lake で拡張チェックポイントを実行する頻度が調整されるようになりました。 Delta で、固定の間隔でチェックポイント処理が行われるのではなく、特定のイベント トリガーに基づいてチェックポイントの頻度が動的に調整されるようになりました。 これにより、一部のデータ スキップ最適化をこれまで適用できなかったワークロードでの読み取りクエリのパフォーマンスが向上します。 この最適化を使用するには、Delta Lake に書き込むジョブを Databricks Runtime 8.4 にアップグレードしてください。 「構造化ストリーミング クエリの拡張チェックポイントを有効にする」を参照してください。

GroupState を作成してユーザー定義の構造化ストリーミング関数をテスト

これまでは、構造化ストリーミング エンジンのみが GroupState のインスタンスを作成できました。 そのため、ユーザー定義関数のすべての単体テストは、Apache Spark でストリーミング クエリを実行する必要がありました。

TestGroupState.create(…) を使用して GroupState のインスタンスを作成できるようになりました。 これにより、Spark の実行を必要としない単純な単体テストでユーザー定義関数をテストできます。 mapGroupsWithState 更新関数のテストに関するページを参照してください。 具体的には、インターフェイス GroupState を拡張して、ユーザー定義関数が適用された後の内部状態を調べるメソッドを追加した型 TestGroupState のインスタンスを生成します。

自動ローダーの機能と機能強化

不足しているファイルをキャプチャするためのバックフィルの構成

自動ローダーでは、バックフィルを非同期的に実行して、ファイル通知で見つからなかった可能性のあるファイルをキャプチャする機能がサポートされるようになりました。 ファイル ストレージ システムと通知システムでは、すべてのファイル イベントの 100% の配信を保証することはできません。 そのため、Databricks では、定期的なバックフィルを有効にし、自動ローダーを使用してすべてのデータをキャプチャする方法をお勧めします。 データに対する定期的なバックフィルをスケジュールするには、cloudFiles.backfillInterval オプションを使用します。 「一般的な自動ローダー オプション」を参照してください。

大容量ストリームに対するストレージ占有領域の制限

チェックポイントの場所のストレージ占有領域を制限するために、RocksDB のエントリを期限切れにして削除するように自動ローダーを構成できるようになりました。 Databricks では、1 時間に数百万ファイル単位のデータを取り込む場合でない限り、使用を推奨しません。 このオプションを誤って設定するか、調整を試みると、処理が厳密に 1 回のみ行われるのではなく、未処理のファイルが無視されたり、一部のファイルが重複したりするなど、多くのデータ品質の問題が発生する可能性があります。 詳細については、「イベントの保持」を参照してください。

パスなしサポートによる簡略化された構成

S3 バケット

複数のパスまたは S3 バケットからイベントを受信する SQS キューを指定できるようになりました。 SQS キュー URL を指定した場合、このユース ケースでは path オプションは必要ありません。 自動ローダーは、S3 イベントのバケットとキーを使用して S3 パスを構築します。 DBFS マウント ポイント経由でファイルを読み取る場合は、cloudFiles.pathRewrites を使用してパス プレフィックスを DBFS に変更できます。 AssumeRole を使用して異なるアカウントのデータにアクセスする場合でない限り、これは必要ありません。

「ファイル通知オプション」を参照してください。

Azure Data Lake Storage Gen2 コンテナー

複数のコンテナーからイベントを受信する Azure キューを指定できるようになりました。 Azure キュー名を指定する場合、path オプションは必要ありません。 既定では、自動ローダーは、ファイル イベントのコンテナーとキーを使用して、Azure Data Lake Storage Gen2 パスを構築します。 WASB パスまたは DBFS マウント ポイントを使用する場合は、cloudFiles.pathRewrites を使用してパス プレフィックスを変更できます。

「ファイル通知オプション」を参照してください。

コネクタのアップグレード

  • Snowflake Spark コネクタが v2.9.0 に更新されました。
  • Redshift コネクタの UNLOAD ステートメントで KMS 暗号化がサポートされるようになりました。

バグの修正

  • テーブル アクセス制御が有効になっているクラスターで、ユーザーにファイル アクセス許可がない場合でも select * from folder によりフォルダーの内容を表示できる問題を修正しました。
  • 管理者以外のデータベース所有者が、データベース内の非所有テーブルを削除できるようになりました。 これにより、非所有テーブルがデータベースに存在する場合にデータベース所有者がデータベースを削除できなかった問題が修正されます。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • certifi が 2020.12.5 から 2021.5.30 にアップグレードされました
    • distill が 0.3.1 から 0.3.2 にアップグレードされました
    • koalas が 1.8.0 から 1.8.1 にアップグレードされました
    • protobuf が 3.17.0 から 3.17.3 にアップグレードされました
  • アップグレードされた R ライブラリ:
    • base が 4.0.4 から 4.1.0 に
    • boot が 1.3-27 から 1.3-28 に
    • class が 7.3-18 から 7.3-19 に
    • cluster が 2.1.1 から 2.1.2 に
    • compiler が 4.0.4 から 4.1.0 に
    • datasets が 4.0.4 から 4.1.0 に
    • graphics が 4.0.4 から 4.1.0 に
    • grDevices が 4.0.4 から 4.1.0 に
    • grid が 4.0.4 から 4.1.0 に
    • KernSmooth が 2.23-18 から 2.23-20 に
    • lattice が 0.20-41 から 0.20-44 に
    • MASS が 7.3-53.1 から 7.3-54 に
    • Matrix が 1.3-2 から 1.3-3 に
    • methods が 4.0.4 から 4.1.0 に
    • mgcv が 1.8-33 から 1.8-35 に
    • nnet が 7.3-15 から 7.3-16 に
    • parallel が 4.0.4 から 4.1.0 に
    • Rserve が 1.8-7 から 1.8-8 に
    • SparkR が 3.1.1 から 3.1.2 に
    • splines が 4.0.4 から 4.1.0 に
    • stats が 4.0.4 から 4.1.0 に
    • stats4 が 4.0.4 から 4.1.0 に
    • survival が 3.2-7 から 3.2-11 に
    • tcltk が 4.0.4 から 4.1.0 に
    • tools が 4.0.4 から 4.1.0 に
    • utils が 4.0.4 から 4.1.0 に
  • アップグレードされた Java ライブラリ:
    • snowflake-jdbc が 3.12.8 から 3.13.3 に
    • spark-snowflake_2.12 が 2.8.1-spark_3.0 から 2.9.0-spark_3.1 に
    • RoaringBitmap が 0.9.0 から 0.9.14 に
    • shims が 0.9.0 から 0.9.14 に
    • rocksdbjni が 6.2.2 から 6.20.3 に

Apache Spark

Databricks Runtime 8.4 には、Apache Spark 3.1.2 が含まれています。 このリリースには、Databricks Runtime 8.3 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。

  • [SPARK-35792] [SQL] ビューは RelationConversions で使用される構成をキャプチャしない
  • [SPARK-35700][SQL] 外部システムによって作成され、書き込まれた char/varchar ORC テーブルの読み取り
  • [SPARK-35636] [SQL] ラムダ キーをラムダ関数の外部で参照しない
  • [SPARK-35800] [Cherry Pick] TestGroupState の導入による GroupState のテストの容易性の向上
  • [SPARK-35391] ExecutorAllocationListener のメモリ リークの修正
  • [SPARK-35799] [CherryPick] FlatMapGroupsWithStateExec での allUpdatesTimeMs メトリック測定の修正
  • [SPARK-35763] [SS] StateStoreCustomMetric サブクラス列挙の依存関係の削除
  • [SPARK-35791 [SQL] NULL 値対応の ANTI 結合に対して進行中のマップを適切に解放
  • [SPARK-35695] [SQL] キャッシュと、アダプティブ実行のサブツリーから観測されたメトリックを収集
  • [SPARK-35767] [SQL] CoalesceExec での子プランの 2 回実行の回避
  • [SPARK-35746] [UI] ステージ ページのタスク イベントのタイムラインの taskid を修正
  • [SPARK-35673] [SQL] サブクエリでのユーザー定義のヒントと認識されないヒントを修正
  • [SPARK-35714] [CORE] 実行プログラムのシャットダウン中のデッドロックのバグ修正
  • [SPARK-35689] [SS] keyWithIndexToValue が null 値を返したときにログ警告を追加
  • [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint が更新中にインデックスのみのシャッフル ファイルを無視しない
  • [SPARK-35643] [PYTHON] functions.py column () のあいまいな参照を修正
  • [SPARK-35652] [SQL] 同じものから生成された 2 つのテーブルの joinwith
  • [SPARK-35679] [SQL] instantToMicros のオーバーフロー
  • [SPARK-35602] [SS] 長さの長い JSON を受け入れることができるように状態スキーマを更新
  • [SPARK-35653] [SQL] ケース クラスがキーまたは値としてマップされていると CatalystToExternalMap で解釈されたパスがエラーになる問題を修正
  • [SPARK-35296] [SQL] タスクの CollectMetricsExec が複数のパーティションを処理しても Dataset.observe が機能できるようにする
  • [SPARK-35659] [SS] null を StateStore に書き込まないようする
  • [SPARK-35665] [SQL] CollectMetrics での UnresolvedAlias を解決
  • [SPARK-35558] 複数の分位点取得のために最適化
  • [SPARK-35621] [SQL] ルール ID の排除を TypeCoercion ルールに追加
  • [SPARK-35077] [SQL] 残りのオプティマイザー ルールについて transformWithPruning に移行
  • [SPARK-35610] [CORE] 実行プログラムの停止シャットダウン フックによって導入されたメモリ リークを修正
  • [SPARK-35544] [SQL] アナライザー ルールにツリー パターン排除を追加
  • [SPARK-35566] [SS] StateStoreRestoreExec 出力行を修正
  • [SPARK-35454] [SQL] [3.1] 1 つの LogicalPlan を複数のデータセット ID と対応させることができる
  • [SPARK-35538] [SQL] transformAllExpressionsWithPruning を使用するように transformAllExpressions 呼び出しサイトを移行
  • [SPARK-35106] [Core] [SQL] 宛先ディレクトリが存在しないことによる名前変更の失敗を回避
  • [SPARK-35287] [SQL] DataSourceV2ScanRelation に対する UnsafeRow を生成する ProjectExec を RemoveRedundantProjects が保持できるようにする
  • [SPARK-35495] [R] CRAN に対する SparkR メンテナンス ツールを変更
  • [SPARK-27991] [CORE] Netty OOM に対するフェッチ要求を遅延
  • [SPARK-35171] [R] マークダウン パッケージを SparkR パッケージの依存関係として宣言
  • [SPARK-35454] [SQL] 1 つの LogicalPlan を複数のデータセット ID と対応させることができる
  • [SPARK-35298] [SQL] Optimizer.scala 内のルールについて transformWithPruning に移行
  • [SPARK-35480] [SQL] percentile_approx がピボットで機能するようにする
  • [SPARK-35093] [SQL] AQE が再利用のためにキャッシュされたやりとりを検索するためのキーとして newQueryStage プランを使用
  • [SPARK-35146] [SQL] finishAnalysis.scala 内のルールについて transformWithPruning または resolveWithPruning に移行
  • [SPARK-35411] [SQL] TreeNode を json にシリアル化するときに必要な情報を追加
  • [SPARK-35294] [SQL] オプティマイザーで専用ファイルを使用したツリー トラバーサルの排除をルールに追加
  • [SPARK-34897] [SQL] [3.1] 入れ子になった列の排除後のインデックスに基づいたスキーマ調整のサポート
  • [SPARK-35144] [SQL] オブジェクトルールについて transformWithPruning に移行
  • [SPARK-35155] [SQL] アナライザー ルールにルール ID の排除を追加
  • [SPARK-35382] [Python] Python API の入れ子になったデータフレーム関数でのラムダ変数名の問題を修正
  • [SPARK-35359] [SQL] char/varchar データ型を使用したデータ挿入が長さの制限を超えたときに失敗する
  • [SPARK-35381] [R] R API の入れ子になった上位の関数のラムダ変数名の問題を修正

システム環境

  • オペレーティング システム: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0.3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 6 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 キャレット 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 資格情報 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 ライフサイクル 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52