Databricks Runtime 4.0 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2018 年 3 月にこのイメージをリリースしました。

重要

このリリースは、2018 年 11 月 1 日に非推奨となりました。 Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、「Databricks のサポート ライフサイクル」を参照してください。

次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.0 に関する情報が記載されています。

変更と機能強化

  • JSON データ ソースで、エンコードが UTF-8 と想定されるのではなく、自動検出が試されるようになりました。 自動検出に失敗した場合、ユーザーは charset オプションを指定して特定のエンコードを適用できます。 「文字セットの自動検出」を参照してください。
  • 構造化ストリーミングで Spark MLlib パイプラインを使用したスコアリングと予測が完全にサポートされています。
  • Databricks ML Model Export は完全にサポートされています。 この機能を使用すると、Databricks で Spark MLlib モデルをトレーニングし、関数呼び出しでエクスポートし、選択したシステムで Databricks ライブラリを使用してモデルをインポートし、新しいデータをスコア付けすることができます。
  • 新しい Spark データ ソースの実装では、Azure Synapse Analytics へのスケーラブルな読み取り/書き込みが提供されます。 Spark - Synapse Analytics コネクタに関する記事を参照してください。
  • from_json 関数のスキーマは、常に null 許容型に変換されるようになりました。 つまり、入れ子になったフィールドを含むすべてのフィールドが null 許容になります。 これにより、データとスキーマとの互換性が確保され、データにフィールドが存在しない場合に Parquet にデータを書き込み、ユーザー指定のスキーマがフィールドを null 非許容として宣言した場合に、データを Parquet に書き込んだ後に破損しないようにします。
  • インストールされている Python ライブラリの一部をアップグレードしました。
    • futures: 3.1.1 から 3.2.0
    • pandas: 0.18.1 から 0.19.2
    • pyarrow: 0.4.1 から 0.8.0
    • setuptools: 38.2.3 から 38.5.1
    • tornado: 4.5.2 から 4.5.3
  • アップグレードされた複数のインストール済み R ライブラリ。 「インストールされている R ライブラリ」を参照してください。
  • AWS Java SDK が 1.11.126 から 1.11.253 にアップグレードされました。
  • SQL Server JDBC ドライバーが 6.1.0.jre8 から 6.2.2.jre8 にアップグレードされました。
  • PostgreSQL JDBC ドライバーが 9.4-1204-jdbc41 から 42.1.4 にアップグレードされました。

Apache Spark

Databricks Runtime 4.0 には、Apache Spark 2.3.0 が含まれています。

Core、PySpark、Spark SQL

主な機能

  • ベクター化された ORC リーダー: [SPARK-16060]: ベクター化 (2 - 5 倍) によって ORC スキャンのスループットを大幅に向上させる新しい ORC リーダーのサポートを追加します。 閲覧者を有効にするには、ユーザーは spark.sql.orc.impl を native に設定できます。
  • Spark History Server V2: [SPARK-18085]: より効率的なイベント ストレージ メカニズムを備えた大規模なアプリケーションのスケーラビリティを向上する新しい Spark History Server (SHS) バックエンド。
  • データ ソース API V2: [SPARK-15689][SPARK-22386]: Spark で新しいデータ ソースを接続する試験的な API。 新しい API は、V1 API のいくつかの制限に対処することを試み、パフォーマンスが高く、保守が容易で、拡張可能な外部データ ソースの開発を容易にすることを目的としています。 この API はまだアクティブに開発中であり、破壊的変更が予測されます。
  • PySpark のパフォーマンスの強化: [SPARK-22216][SPARK-21187]: 高速データ シリアル化とベクター化された実行による Python のパフォーマンスと相互運用性の大幅な向上。

パフォーマンスと安定性

その他の注目すべき変更点

プログラミング ガイド: 「Spark RDD プログラミング ガイド」および「Spark SQL、DataFrame、データセットのガイド」。

構造化ストリーミング

継続的処理

  • ユーザー コードを 1 行だけ変更することで、ミリ秒未満のエンドツーエンド待機時間でストリーミング クエリを実行できる新しい実行エンジン。 詳細については、プログラミング ガイドを参照してください。

ストリーム同士の結合

  • 2 つのデータ ストリームを結合し、一致するタプルが他のストリームに到着するまで行をバッファリングする機能。 述語は、保持する必要がある状態の量をバインドするために、イベント時間列に対して使用できます。

ストリーミング API V2

  • バッチ、マイクロバッチ、継続的実行に対応する新しいソースとシンクを接続する試験的な API。 この API はまだアクティブに開発中であり、破壊的変更が予測されます。

プログラミング ガイド: Structured Streaming プログラミング ガイド。

MLlib

ハイライト

  • ML 予測が、更新された API を使用して、Structured Streaming と連携するようになりました。 以下に詳細を説明します。

新しく改善された API

  • [SPARK-21866]: DataFrame (Scala/Java/Python) に画像を読み込むサポートが組み込まれています。
  • [SPARK-19634]: ベクター列に対する説明的な概要統計のための DataFrame 関数 (Scala/Java)。
  • [SPARK-14516]: クラスタリング アルゴリズムのチューニング、コサイン シルエットと二乗ユークリッド シルエット メトリック (Scala/Java/Python) のサポート用の ClusteringEvaluator。
  • [SPARK-3181]: Huber 損失による堅牢な線形回帰 (Scala/Java/Python)。
  • [SPARK-13969]: FeatureHasher トランスフォーマー (Scala/Java/Python)。
  • 複数の機能トランスフォーマーに対する複数列のサポート:
  • [SPARK-21633] と [SPARK-21542]: Python でのカスタム パイプライン コンポーネントのサポート強化。

新機能

  • [SPARK-21087]: CrossValidator と TrainValidationSplit は、適合時にすべてのモデルを収集できます (Scala/Java)。 これにより、適合しているすべてのモデルを検査または保存できます。
  • [SPARK-19357]: メタアルゴリズム CrossValidator、TrainValidationSplit、OneVsRest は、複数のサブモデルを並列 Spark ジョブに適合するための並列処理 Param をサポートします。
  • [SPARK-17139]: 多項ロジスティック回帰のモデルの概要 (Scala/Java/Python)
  • [SPARK-18710]: GLM にオフセットを追加。
  • [SPARK-20199]: featureSubsetStrategy Param を GBTClassifier と GBTRegressor に追加。 これを使用してサブサンプル機能を使用すると、トレーニング速度を大幅に向上させることができます。このオプションは、xgboost のキーの強さです。

その他の注目すべき変更点

  • [SPARK-22156]: num の繰り返しでの、Word2Vec の学習速度スケーリングを修正しました。 新しい学習速度は元の Word2Vec C コードに合わせて設定され、トレーニングによってより良い結果が得られるはずです。
  • [SPARK-22289]: マトリックス パラメーターに JSON のサポートを追加しました (これにより、係数で境界を使用する場合に LogisticRegressionModel で発生する ML の永続化に対するバグが修正されます)。
  • [SPARK-22700]: Bucketizer.transform で、NaN を含む行が誤って削除されます。 Param handleInvalid が "スキップ" に設定されていた場合、Bucketizer では、別の (無関係な) 列に NaN 値がある場合に、入力列に有効な値を持つ行が削除されます。
  • [SPARK-22446]: handleInvalid が "エラー" に設定されていたときに、Catalyst オプティマイザーによって StringIndexerModel が "未確認のラベル" の例外を誤ってスローする場合があります。 これは、無効な行が入力データセットから既にフィルター処理された後でも、述語のプッシュダウンが原因で、フィルター処理されたデータに対して発生する可能性があります。
  • [SPARK-21681]: 一部の機能の変性がゼロの場合に正しくない係数が発生する、多項ロジスティック回帰のエッジ ケース バグを修正しました。
  • 主な最適化:
    • [SPARK-22707]: CrossValidator のメモリ消費量が削減されました。
    • [SPARK-22949]: TrainValidationSplit のメモリ消費量が削減されました。
    • [SPARK-21690]: Imputer は、データに対してシングル パスを使用してトレーニングします。
    • [SPARK-14371]: OnlineLDAOptimizer は、ミニバッチごとにドライバーに統計を収集しないようにします。

プログラミング ガイド: 「Machine Learning Library (MLlib) ガイド」。

SparkR

2.3.0 リリースの SparkR の主な焦点は、UDF の安定性を向上し、既存の API にいくつかの新しい SparkR ラッパーを追加することでした。

主な機能

プログラミング ガイド: 「SparkR (R on Spark)」。

GraphX

最適化

  • [SPARK-5484]: StackOverflowErrors を回避するために、Pregel で定期的にチェックポイントを作成。
  • [SPARK-21491]: 複数の場所での小規模なパフォーマンスの向上。

プログラミング ガイド: GraphX プログラミング ガイド.

非推奨事項

Python

  • [SPARK-23122]: PySpark の SQLContext と Catalog の UDF に向けた register* の非推奨

MLlib

  • [SPARK-13030]: OneHotEncoder は非推奨になり、3.0 では削除されます。 新しく OneHotEncoderEstimator に置き換えられました。 OneHotEncoderEstimator は 3.0 で OneHotEncoder に名前が変更されます (ただし OneHotEncoderEstimator はエイリアスとして保持されます)。

動作の変更

SparkSQL

  • [SPARK-22036]: 既定では、小数点間の算術演算では、正確な表現ができない場合には、(以前のバージョンのように NULL を返す代わりに) 丸められた値が返されます
  • [SPARK-22937]: すべての入力がバイナリの場合、SQL elt() で出力がバイナリとして返されます。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されていました。
  • [SPARK-22895]: 最初の非決定論的述語の後にある結合/フィルターの非決定論的述語も、可能であれば子演算子を介してプッシュダウンされます。 以前のバージョンでは、これらのフィルターは述語プッシュダウンの対象外でした。
  • [SPARK-22771]: すべての入力がバイナリの場合、functions.concat() で出力がバイナリとして返されます。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されます。
  • [SPARK-22489]: いずれかの結合側がブロードキャスト可能な場合は、ブロードキャスト ヒントで明示的に指定されたテーブルをブロードキャストします。
  • [SPARK-22165]: パーティション列の推論で、推論された型が異なる場合に間違った共通型が検出されましたた。 たとえば、以前は double 型と date 型の共通型として double 型になっていました。 このような競合に対して正しい共通型が検出されるようになりました。 詳細については、移行ガイドを参照してください。
  • [SPARK-22100]: percentile_approx は、以前は numeric 型の入力を受け入れて、double 型の結果を出力しました。 入力型として date 型、timestamp 型、numeric 型がサポートされるようになりました。 結果の型も入力型と同じに変更されます。これは、パーセンタイルの方が妥当です。
  • [SPARK-21610]: 参照先の列が内部破損レコード列のみの場合に加工されていない JSON ファイルや CSV ファイルからのクエリが許可されません (既定では _corrupt_record という名前になります)。 代わりに、解析された結果をキャッシュまたは保存し、同じクエリを送信できます。
  • [SPARK-23421]: Spark 2.2.1 と 2.3.0 以降、データ ソース テーブルにパーティション スキーマとデータ スキーマの両方に存在する列がある場合、スキーマは常に実行時に推論されます。 推論されたスキーマには、パーティション分割された列が含まれません。 テーブルを読み取るときに、Spark は、データ ソース ファイルに保存されている値ではなく、これらの重複する列のパーティション値を尊重します。 2.2.0 と 2.1.x リリースでは、推論されたスキーマはパーティション分割されますが、テーブルのデータはユーザーには表示されません (つまり、結果セットは空です)。

PySpark

  • [SPARK-19732]: na.fill() または fillna もブール値を受け取り、null 値をブール値に置き換えます。 以前のバージョンの Spark では、PySpark はこれを無視し、元の Dataset/DataFrame を返します。
  • [SPARK-22395]: toPandas、pandas DataFrame の createDataFrame などの pandas 関連の機能を使用するために、pandas 0.19.2 またはそれ以降が必要です。
  • [SPARK-22395]: pandas 関連の機能のタイムスタンプ値の動作は、以前のバージョンでは無視されるセッション タイムゾーンを尊重するために変更されました。
  • [SPARK-23328]: df.replace は、to_replace がディクショナリではない場合は、value の省略を許可しません。 以前は、他のケースでは value が省略され、既定で None となっていましたが、これは、直感的でなくエラーが発生しやすくなっていました。

MLlib

  • API の破壊的変更: ロジスティック回帰モデル概要のクラスと特性階層が、よりクリーンで、多クラス概要の追加に対応するように変更されました。 これは、LogisticRegressionTrainingSummary を BinaryLogisticRegressionTrainingSummary にキャストするユーザー コードの破壊的変更です。 ユーザーは、代わりに model.binarySummary メソッドを使用する必要があります。 詳細については、[SPARK-17139] を参照してください (これは @Experimental API であることに注意します)。 これは Python の概要メソッドには影響せず、多項とバイナリの両方のケースで引き続き正しく機能します。
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): 最初の点 (0.0, 1.0) は誤解を招くため、(0.0, p) に置き換えました。ここでは、精度 p が最も低いリコール ポイントと一致します。
  • [SPARK-16957]: 分割値を選択するときに、デシジョン ツリーで重み付けされた中間点が使用されるようになりました。 これにより、モデル トレーニングの結果が変わる可能性があります。
  • [SPARK-14657]: インターセプトを使用しない RFormula で、ネイティブの R 動作と一致するために、文字列用語をエンコードするときに参照カテゴリが出力されるようになりました。 これにより、モデル トレーニングの結果が変わる可能性があります。
  • [SPARK-21027]: OneVsRest で使用される既定の並列処理が 1 (シリアル) に設定されるようになりました。 2.2 以前のバージョンでは、並列処理のレベルが Scala の既定のスレッドプール サイズに設定されました。 これにより、パフォーマンスが変わる可能性があります。
  • [SPARK-21523]: Breeze が 0.13.2 にアップグレードされました。 これには、L-BFGS の強力な Wolfe 行検索の重要なバグ修正が含まれていました。
  • [SPARK-15526]: JPMML の依存関係がシェーディングされるようになりました。
  • バグの修正による動作の変更については、バグ修正のセクションも参照してください。

既知の問題

  • [SPARK-23523][SQL]: ルール OptimizeMetadataOnlyQuery によって正しくない結果になります。
  • [SPARK-23406]: ストリーム間の自己結合にバグがあります。

メンテナンスの更新

Databricks Runtime 4.0 メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (または Python 3 を使用する場合は 3.5.2)
  • R: R バージョン 3.4.3 (2017-11-30)
  • GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
    • Tesla ドライバー 375.66
    • CUDA 8.0
    • CUDNN 6.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

インストールされている R ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob (blob) 1.1.0 boot 1.3-20
brew 1.0-6 broom 0.4.3 car 2.1-6
キャレット 6.0-77 chron 2.3-51 class 7.3-14
cluster 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.3 DBI 0.7 ddalpha 1.3.1
DEoptimR 1.0 から 8 desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 maps 3.2.0 MASS 7.3-48
Matrix 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
methods 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics ストリーム (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx コレクタ 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark 未使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52