Databricks Runtime 7.3 LTS (EoS)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2020 年 9 月にこのバージョンをリリースしました。 2020 年 10 月に、長期サポート (LTS) として宣言されました。

次のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.3 LTS に関する情報が記載されています。

Databricks Runtime 6.x からの移行については、「Databricks Runtime 7.x 移行ガイド (EoS)」を参照してください。

新機能

Delta Lake の機能と機能強化

このリリースでは、次の Delta Lake の機能と機能強化が提供されています。

このセクションの内容

Delta Lake のパフォーマンスの最適化によるオーバーヘッドの大幅な削減

このリリースでは、Delta Lake 操作のオーバーヘッドを数秒から数十ミリ秒に減らす最適化のコレクションが可能になります。 これらの最適化を有効にするには、デルタ テーブルに書き込み、読み取るすべてのクラスターを、Databricks Runtime 7.3 LTS 以上にアップグレードする必要があります。

詳細と注意事項については、「低待機時間クエリの拡張チェックポイント」を参照してください。

メトリックを複製できるようになりました

複製操作のメトリックが記録されるようになり、DESCRIBE HISTORY を実行すると表示されるようになりました。 詳細については、「describe detail を使用して Delta Lake テーブルの詳細を確認する」を参照してください。

Delta Lake MERGE INTO の機能強化

  • マージでは、任意の数の MATCHED および NOT MATCHED 句がサポートされるようになりました。
  • 一致した行を無条件で削除するマージ クエリでは、複数の一致でエラーがスローされなくなりました。

Delta Lake 構造化ストリーミング ソースの初期位置を指定します

Delta Lake 構造化ストリーミング コネクタでは、テーブル全体を処理することなくストリーミング クエリの開始点を指定する startingVersion オプションと startingTimestamp オプションがサポートされるようになりました。 詳細については、「初期位置の指定」を参照してください。

アダプティブ クエリの実行

アダプティブ クエリの実行 (AQE) は、収集された実行時の統計に基づいてクエリ プランを動的に調整するクエリ再最適化フレームワークです。 Databricks Runtime 7.3 LTS では、既定で AQE が有効になっています。 AQE のすべての機能を試すことができるようになりました。 詳細については、「アダプティブ クエリの実行」を参照してください。

機能強化

自動ローダー

  • ディレクトリ リスティング モードでの Azure Data Lake Storage Gen1 をサポートするようになりました
  • ファイル形式が text または binaryFile の場合、スキーマを指定する必要がなくなります。 この 2 つのファイル形式には固定スキーマがあるため、自動ローダーは固定スキーマを自動的に使用できます。

新しい Azure Synapse Analytics コネクタの列の長さの制御

新しいパラメーター maxbinlength を使用して、BinaryType 列の列の長さを制御できるようになりました。 このパラメーターは、VARBINARY(maxbinlength) として変換されます。

以前の (構成できない) 既定値は VARBINARY(MAX) で、バイナリ列を含むテーブルを作成するときに問題が発生し、既定のインデックス作成スキームが使用されていました。 具体的には、テーブルの作成が失敗します。既定の列ストア インデックスでは、MAX の文字列列とバイナリ列がサポートされていないためです。

pandas から Spark DataFrame への変換の簡略化

次の機能強化を有効にするには、Spark 構成 spark.databricks.execution.pandasZeroConfConversion.enabled を設定します。

  • createDataFrame(pandas_df) は Azure Databricks に対して最適化されています。
  • 変換を効率的に実行できない場合、または変換できない場合は、警告が表示されます。

toPandas() 呼び出しの新しい maxResultSize

新しい構成設定 (spark.databricks.driver.localMaxResultSize) を使用すると、df.toPandas() 呼び出しの maxResultSize を制御できます。 この制限は一時的に max (spark.driver.maxResultSize、spark.databricks.driver.localMaxResultSize) に変更されます。 構成設定の既定値は、物理メモリのサイズを 4 で割った値です。

df.toPandas() の結果のサイズが spark.driver.maxResultSize より大きく、spark.databricks.driver.localMaxResultSize より小さい場合、警告が表示されます。

この構成設定は、df.toPandas() 呼び出しによって作成された DataFrames にのみ影響します。

注意

spark.databricks.driver.localMaxResultSize は spark.databricks.execution.pandasZeroConfConversion.enabled が true の場合にのみ有効になります。

pandas と PySpark UDF のデバッグ可能性

Azure Databricks ノートブックで pandas または PySpark UDF が失敗した場合、エラー メッセージに、コードが失敗した行番号と根本原因に関する情報が含まれるようになりました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • koalas が 1.1.0 から 1.2.0 にアップグレードされました。
    • pyarrow が 0.15.1 から1.0.1 にアップグレードされました。
  • インストールされている複数の R ライブラリをアップグレードしました。 「インストールされている R ライブラリ」を参照してください。
  • OpenJDK 8 ビルドが Ubuntu Openjdk 8 から Zulu Openjdk 8 に変更されました。

Apache Spark

Databricks Runtime 7.3 LTS には、Apache Spark 3.0.1 が含まれています。 このリリースには、Databricks Runtime 7.2 (EoS) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。

  • [SPARK-32302] [SPARK-28169] [SQL] 結合/パーティションを使用して選言述語を部分的にプッシュダウンする
  • [SPARK-32337] [SQL] [プロジェクトの計画] ツリー文字列に初期プランを表示する
  • [SPARK-30662] HasBlockSize の API 変更を元に戻す
  • [SPARK-32620] [SQL] DPP が有効になっている場合に、numPartitions メトリックをリセットする
  • [SPARK-32646] [SQL] ORC 述語のプッシュ ダウンが大文字と小文字を区別しない分析で動作する必要がある
  • [SPARK-32676] [ML] KMeans/BiKMeans でのダブル キャッシュを修正する
  • [SPARK-32092] [ML] [PYSPARK] foldCol 関連コードを削除
  • [SPARK-32594] [SQL] get() をオーバーライドして、DaysWritable のユリウス日を使用する
  • [SPARK-32608] [SQL] スクリプト変換行形式値は、値の形式で指定する必要がある
  • [SPARK-32092] [ML] [PYSPARK] CrossValidatorModel.copy()、read ()、および write () では、パラメーターがコピーされないように修正する
  • [SPARK-32672] [SQL] ブール ビット セット圧縮のデータ破損を修正する
  • [SPARK-32663] [CORE] プールされた transportclients (プールを通じて終了する必要があります) を個々に終了しないようにする
  • [SPARK-32621] [SQL] path' オプションは、CSV/JSON データソースのスキーマを推論するときに問題を引き起こす可能性がある
  • [SPARK-28863] [SQL] 物理プランを再利用しない
  • [SPARK-32608] [SQL] スクリプト変換行形式値は、値の形式で指定する必要がある
  • [SPARK-28863] [SQL] V1FallbackWriters の再分析を防ぐために、組み込みの計画をする
  • [SPARK-32451] [R] Apache Arrow 1.0.0 をサポートする
  • [SPARK-32652] [SQL] ObjectSerializerPruning が rowencoder で失敗する
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend maxNumConcurrentTasks はすべての種類のリソースを考慮する必要がある
  • [SPARK-32559] [SQL] UTF8String.toInt/toLong のトリム ロジックが ASCII 以外の文字を正しく処理しない問題を修正する
  • [SPARK-32625] [SQL] インタープリター モードに戻るときにエラー メッセージをログに記録する
  • [SPARK-32543] [R] SparkR でのarrow::as_tibble の使用を削除する
  • [SPARK-31703] [SQL] Parquet RLE float/double がビッグ エンディアンプ ラットフォームで正しく読み込まれない
  • [SPARK-32586] [SQL] ansi が有効になっている場合の NumberFormatException エラー メッセージを修正する
  • [SPARK-32456] [SS] Distinct を確認するには、構造化ストリーミングの集計として想定する
  • [SPARK-32576] [SQL] PostgreSQL bpchar 型と char 型の配列をサポートする
  • [SPARK-32559] [SQL] UTF8String.toInt/toLong のトリム ロジックが ASCII 以外の文字を正しく処理しない問題を修正する
  • [SPARK-32560] [SQL] InsertIntoHiveTable で例外メッセージを改善する
  • [SPARK-32546] [SQL] Hive テーブルから直接テーブル名を取得する
  • [SPARK-32529] [コア] アプリケーションの状態の変更によって中止された履歴サーバーのログ スキャンを修正する
  • [SPARK-32003] [CORE] 外部シャッフル サービスが使用されている場合、実行プログラムが失われた後にフェッチ エラーが発生したときに実行プログラムの出力の登録を解除する
  • [SPARK-32160] [CORE] [PYSPARK] 構成名を変更して、実行プログラムの許可/禁止 SparkContext を切り替える
  • [SPARK-32160] [CORE] [PYSPARK] スイッチの許可/禁止に構成を追加し、Executor に SparkContext を作成する
  • [SPARK-32083] [SQL] AQE は SinglePartition のパーティションを結合してはならない
  • [SPARK-32509] [SQL] 使用されていない dpp True フィルターを正規化で無視する
  • [SPARK-32332] [SQL] 列形式の交換をサポートする
  • [SPARK-32227] Spark 3.0.0 を使用した load-spark-env の回帰バグを修正する
  • [SPARK-32478] [R] [SQL] スキーマの不一致を表示するため gapply のエラー メッセージを Arrow でベクター化する
  • [SPARK-32030] [SQL] SQL パーサーで MERGE INTO の一致する無制限の句と一致しない句をサポートする
  • [SPARK-32175] [CORE] ExecutorPlugin の初期化とハートビート スレッドの開始の順序を修正する
  • [SPARK-32283] [CORE] Kryo は複数のユーザー registrators をサポートする必要がある
  • [SPARK-32424] [SQL] f オーバーフローが発生した場合に、タイムスタンプ解析のサイレントデータ変更を修正する
  • [SPARK-32430] [SQL] SparkSessionExtensions を拡張して、クエリ ステージの準備に規則を注入する
  • [SPARK-32310] [ML] [PYSPARK] ML params の既定値のパリティ
  • [SPARK-32237] [SQL] CTE のヒントを解決する
  • [SPARK-32280] [SPARK-32372] [SQL] ResolveReferences.dedupRight は競合するプランの祖先ノードの属性のみを書き換える必要がある
  • [SPARK-32364] [SQL] originalmap とドキュメントを返すために toMap を追加する
  • [SPARK-32364] [SQL] DataFrameReader/Writer オプションに CaseInsensitiveMap を使用する
  • [SPARK-32377] [SQL] CaseInsensitiveMap は、追加のために決定的である必要がある
  • [SPARK-32365] [SQL] regexp_extract で負のインデックスの境界条件を追加する
  • [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup、basePath は大文字と小文字を区別しないようにする必要がある
  • [SPARK-32344] [SQL] 個別の集計で、評価できない expr が FIRST/LAST ignorenullsexpr に設定されている
  • [SPARK-32234] [SQL] Orc テーブルの選択で Spark sql コマンドが失敗する

メンテナンスの更新

Databricks Runtime 7.3 LTS メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R バージョン 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.2.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 6 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

インストールされている R ライブラリ

R ライブラリは、2020 年 7 月 14 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob (blob) 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 キャレット 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
datasets 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.2
generics 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.1 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0.3 later 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 ライフサイクル 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-52 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-32 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 progress 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0.4
withr 2.2.0 xfun 0.15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52