Databricks Runtime 5.0 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2018 年 11 月にこのイメージをリリースしました。

次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 5.0 に関する情報が記載されています。

新機能

  • Delta Lake

    • DELETE および UPDATE コマンドをサポートするために、WHERE 句でサブクエリがサポートされるようになりました。
    • MERGE コマンドの新しくスケーラブルな実装。

  • 構造化ストリーミング

    • Azure BLOB ストレージ ファイル通知ベースのストリーミング ソース。 これにより、Azure BLOB ストレージ内のファイルに対して構造化ストリーミング クエリを実行するときの、一覧のコストを大幅に削減できます。 一覧を使用して新しい処理対象ファイルを見つける代わりに、このストリーミング ソースではファイル イベント通知を直接読み取って新しいファイルを見つけることができます。 「Azure Queue Storage を使用した Azure BLOB ストレージ ファイル ソース (レガシ)」を参照してください。

  • ディープ ラーニング ジョブを監視するための TensorBoard のサポートが追加されました。 「TensorBoard」を参照してください。

機能強化

  • Delta Lake
    • OPTIMIZE のパフォーマンスと安定性。
      • OPTIMIZE コマンドでは、バッチを最後ではなく、できるだけ早くコミットします。
      • OPTIMIZE によって並列で実行されるスレッドの既定の数を減らしました。 これにより、大きなテーブルのパフォーマンスが確実に向上します。
      • パーティション テーブルへの書き込み時にデータが不必要に並べ替えられないようにして、OPTIMIZE の書き込みを迅速化します。
      • OPTIMIZE ZORDER BY を、増分的にすることで迅速化します。 つまり、このコマンドでは、同じ列によって既に Z オーダーが行われていたデータ ファイルが書き換えられなくなりました。 「Delta Lake に対するデータのスキップ」を参照してください。
    • Delta テーブルに対してクエリを実行するときのスナップショット分離。 Delta テーブルに対する複数の参照 (自己結合など) を含むクエリでは、そのテーブルに対する同時更新が行われている場合でも、同じテーブル スナップショットから読み取ります。
    • ドライバーにメタデータをキャッシュすることで、小さな (2000 ファイル未満の) Delta テーブルからの読み取り時のクエリの待機時間を短縮しました。
  • MLlib ロジスティック回帰のパフォーマンスが向上しました。
  • MLlib ツリー アルゴリズムのパフォーマンスが向上しました。
  • いくつかの Java および Scala ライブラリをアップグレードしました。 「インストールされている Java と Scala のライブラリ (Scala 2.11 クラスター バージョン)」を参照してください。
  • インストールされている Python ライブラリの一部をアップグレードしました。
    • pip: 10.0.1 から 18.0
    • setuptools: 39.2.0 から 40.4.1
    • tornado: 5.0.2 から 5.1.1
  • アップグレードされた複数のインストール済み R ライブラリ。 「インストールされている R ライブラリ」を参照してください。

バグの修正

  • Delta Lake
    • SQL conf で設定された構成が、最初に別のノートブックに読み込まれた Delta Lake 操作に正しく適用されるようになりました。
    • DELETE コマンドで、条件が null と評価された行が誤って削除されるバグを修正しました。
    • 最初のバッチ (つまり、ストリームが開始されたときにテーブルに入っていたデータ) の処理にかかる時間が 2 日を超えるストリームが、チェックポイントから復旧しようとしたときに、FileNotFoundException で失敗しなくなりました。
    • 新しいテーブルを読み込むときに NoClassDefError を引き起こす競合状態を回避します。
    • "Shouldn’t have any absolute paths for deletion here (ここに削除対象の絶対パスを指定しないでください)" と表示される AssertionError で操作が失敗するおそれのある VACUUM を修正しました。
    • Hive によって生成されたストレージ プロパティを含まないように SHOW CREATE TABLE コマンドを修正しました。
  • 内部の Spark クラスで多くの NoClassDefFoundError エラーをスローする Executor が、問題を修正するために自動的に再起動されるようになりました。

既知の問題

  • Delta Lake で overwrite モードの replaceWhere オプションに指定された列名は、大文字と小文字を区別しない設定 (既定) を有効にしている場合でも、大文字と小文字が区別されます。
  • Databricks Runtime 5.0 の Snowflake コネクタはプレビュー段階です。
  • Databricks Runtime 5.0 クラスターにアタッチされたノートブックで実行中のストリーミング セルを取り消した場合、ノートブックの状態をクリアするかクラスターを再起動しない限り、ノートブックでそれ以降のコマンドを実行できません。 回避策については、ナレッジ ベースを参照してください。

Apache Spark

Databricks Runtime 5.0 には、Apache Spark 2.4.0 が含まれています。

コアと Spark SQL

注意

この記事には、Azure Databricks では使用されない "スレーブ" という用語への言及があります。 ソフトウェアからこの用語が削除された時点で、この記事から削除します。

主な機能

  • バリア実行モード: [SPARK-24374] ディープ ラーニング フレームワークとの統合を強化するために、スケジューラでバリア実行モードをサポートします。
  • Scala 2.12 のサポート: [SPARK-14220] 実験的な Scala 2.12 のサポートを追加しています。 これで、Scala 2.12 を使用して Spark をビルドし、Scala 2.12 で Spark アプリケーションを記述できるようになりました。
  • 高階関数: [SPARK-23899] 複雑なデータ型を簡単に操作できるように、高階関数を含む、多くの新しい組み込み関数を追加しています。 「Apache Spark 組み込み関数」を参照してください。
  • 組み込みの Avro データ ソース: [SPARK-24768] 論理型をサポートし、パフォーマンスと使いやすさを向上した、インライン Spark-Avro パッケージ。

API

パフォーマンスと安定性

  • [SPARK-16406] 多数の列の参照の解決を迅速化
  • [SPARK-23486]lookupFunctions の外部カタログから関数名をキャッシュ
  • [SPARK-23803] バケット排除をサポート
  • [SPARK-24802] 最適化ルールを除外
  • [SPARK-4502] Parquet テーブルでの入れ子になったスキーマを排除
  • [SPARK-24296] 2 GB を超えるブロックのレプリケートをサポート
  • [SPARK-24307] メモリからの 2 GB を超えるメッセージの送信をサポート
  • [SPARK-23243] RDD でシャッフルと再パーティションを行うと、誤った回答につながるおそれがある
  • [SPARK-25181] BlockManager のマスターとスレーブのスレッド プールのサイズを制限し、ネットワークの速度が低下した場合のメモリのオーバーヘッドを削減

Connectors

  • [SPARK-23972] Parquet を 1.8.2 から 1.10.0 に更新
  • [SPARK-25419] Parquet 述語のプッシュダウンの向上
  • [SPARK-23456] ネイティブ ORC リーダーは既定でオンにする
  • [SPARK-22279] 既定でネイティブ ORC リーダーを使用して Hive serde テーブルを読み取る
  • [SPARK-21783] 既定で ORC フィルターのプッシュダウンをオンにする
  • [SPARK-24959] JSON と CSV の count() を迅速化
  • [SPARK-24244] CSV パーサーに必要な列のみを解析
  • [SPARK-23786] CSV スキーマ検証 - 列名はチェックされない
  • [SPARK-24423] JDBC から読み取るクエリを指定するためのオプション クエリ
  • [SPARK-22814] JDBC パーティション列の日付/タイムスタンプをサポート
  • [SPARK-24771] Avro を1.7.7 から 1.8 に更新

PySpark

  • [SPARK-24215] DataFrame API の一括評価を実装
  • [SPARK-22274] - [SPARK-22239] pandas udf を使用したユーザー定義の集計関数
  • [SPARK-24396] Python 用の構造化ストリーミング ForeachWriter を追加
  • [SPARK-23874] Apache Arrow を 0.10.0 にアップグレード
  • [SPARK-25004] spark.executor.pyspark.memory の制限を追加
  • [SPARK-23030] Pandas DataFrames からの作成およびその収集のために Arrow ストリーム形式を使用
  • [SPARK-24624] Python UDF とスカラー pandas UDF の混合をサポート

その他の注目すべき変更点

  • [SPARK-24596] 非カスケード キャッシュの無効化
  • [SPARK-23880] データをキャッシュするジョブをトリガーしない
  • [SPARK-23510][SPARK-24312] Hive 2.2 と Hive 2.3 のメタストアをサポート
  • [SPARK-23711] UnsafeProjection のフォールバック ジェネレーターを追加
  • [SPARK-24626] Analyze Table コマンドで場所のサイズの計算を並列化

プログラミング ガイド: 「Spark RDD プログラミング ガイド」および「Spark SQL、DataFrame、データセットのガイド」。

構造化ストリーミング

主な機能

  • [SPARK-24565] foreachBatch (Python、Scala、Java) を使用して、各マイクロバッチの出力行を DataFrame として公開
  • [SPARK-24396] foreach と ForeachWriter 用の Python API を追加
  • [SPARK-25005] トランザクション プロデューサーを使用して記述された Kafka トピックからコミットされたレコードのみを読み取る "kafka.isolation.level" をサポート。

その他の注目すべき変更点

  • [SPARK-24662] 追加または完了モードのストリームで LIMIT 演算子をサポート
  • [SPARK-24763] ストリーミング集計の値から冗長キー データを削除
  • [SPARK-24156] 入力ストリームにデータがない場合に、ステートフル操作 (mapGroupsWithState、ストリーム同士の結合、ストリーミングの集計、ストリーミングの dropDuplicates) を使用して、出力結果の生成や状態のクリーンアップを迅速化。
  • [SPARK-24730] クエリに複数の入力ストリームがある場合に、最小または最大のウォーターマークを選択するためのサポート
  • [SPARK-25399] マイクロバッチ ストリーミングの継続的処理から実行スレッドを再利用すると、正確性の問題が発生する場合があるというバグを修正
  • [SPARK-18057] Kafka クライアントのバージョンを 0.10.0.1 から 2.0.0 にアップグレード

プログラミング ガイド: Structured Streaming プログラミング ガイド。

MLlib

主な機能

その他の注目すべき変更点

プログラミング ガイド: 「Machine Learning Library (MLlib) ガイド」。

SparkR

プログラミング ガイド: 「SparkR (R on Spark)」。

GraphX

  • [SPARK-25268] runParallelPersonalizedPageRank によって例外がスローされる

プログラミング ガイド: GraphX プログラミング ガイド.

非推奨事項

動作の変更

  • [SPARK-23549] タイムスタンプを日付と比較するときにタイムスタンプにキャストする
  • [SPARK-24324] pandas グループ化マップ UDF では名前で結果列を割り当てる必要がある
  • [SPARK-25088] Rest Server の既定値とドキュメントの更新
  • [SPARK-23425] ワイルドカードを使用した hdfs ファイル パスのデータの読み込みが正しく機能しない
  • [SPARK-23173] from_json によって、null を許容しないフィールドで null が生成される場合がある
  • [SPARK-24966] 設定操作の優先順位規則を実装
  • [SPARK-25708] GROUP BY を使用しない HAVING はグローバル集計である必要がある
  • [SPARK-24341] 複数値 IN サブクエリを正しく処理
  • [SPARK-19724] 既定の場所が存在するマネージド テーブルを作成すると、例外がスローされる

すべての動作変更については、移行ガイドを参照してください。

既知の問題

  • [SPARK-25793] BisectingKMeans でのモデルの読み込みのバグ
  • [SPARK-25271] Hive parquet テーブルを使用する CTAS では、ネイティブ parquet ソースを活用する必要がある
  • [SPARK-24935] Spark 2.2 以降での Hive UDAF の実行に関する問題

メンテナンスの更新

Databricks Runtime 5.0 メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 16.04.5 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
  • R: R バージョン 3.4.4 (2018-03-15)
  • GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
    • Tesla ドライバー 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

Scala 2.12 は Apache Spark 2.4 でサポートされています。ただし、Databricks Runtime 5.0 ではサポートされていません。

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 18.0 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 40.4.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

インストールされている R ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 bitops 1.0-6 blob (blob) 1.1.1
boot 1.3-20 brew 1.0-6 broom 0.5.0
callr 3.0.0 car 3.0-2 carData 3.0-1
キャレット 6.0-80 cellranger 1.1.0 chron 2.3-52
class 7.3-14 cli 1.0.0 cluster 2.0.7-1
codetools 0.2-15 colorspace 1.3-2 commonmark 1.5
compiler 3.4.4 crayon 1.3.4 curl 3.2
CVST 0.2-2 data.table 1.11.4 datasets 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1.0 から 8
desc 1.2.0 devtools 1.13.6 digest 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 foreign 0.8-70 gbm 2.1.3
geometry 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 glue 1.3.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.20.0.2
haven 1.1.2 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-7
iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.3 lazyeval 0.2.1 littler 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 magic 1.5-8
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-3 MASS 7.3-50 Matrix 1.2-14
MatrixModels 0.4-1 memoise 1.1.0 methods 3.4.4
mgcv 1.8-24 mime 0.5 minqa 1.2.4
ModelMetrics 1.2.0 munsell 0.5.0 mvtnorm 1.0 から 8
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.3.0
pkgbuild 1.0.0 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 plogr 0.2.0 pls 2.7-0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.12.1 processx 3.2.0 prodlim 2018.04.18
proto 1.0.0 ps 1.1.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 randomForest 4.6-14
RColorBrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.1.1
readxl 1.1.0 recipes 0.1.3 rematch 1.0.1
reshape2 1.4.3 rio 0.5.10 rlang 0.2.2
robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0.7 scales 1.0.0
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
SparseM 1.77 spatial 7.3-11 splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 survival 2.42-6 tcltk 3.4.4
TeachingDemos 2.10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 timeDate 3043.102
tools 3.4.4 utf8 1.1.4 utils 3.4.4
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 zip 1.0.0

インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics ストリーム (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx コレクタ 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet parquet-encoding 1.10.1-databricks2
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52