Databricks Runtime 8.0 (EoS)

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

Databricks は、2021 年 3 月にこのバージョンをリリースしました。

次のリリース ノートには、Apache Spark 3.1.1 で稼働する Databricks Runtime 8.0 に関する情報が記載されています。

新機能

Databricks Runtime 8.0 には、Apache Spark 3.1.1 が含まれています。 詳細については、「Apache Spark」を参照してください。

機能強化

形式が指定されていない場合は Delta が既定の形式になりました

Databricks Runtime 8.0 では、Delta テーブルを簡単に作成するために、既定の形式が delta に変更されています。 SQL コマンドまたは {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API を使用してテーブルを作成し、形式を指定しない場合は、既定の形式は delta になります。

Delta Lake を使用すると、Parquet よりもパフォーマンスが向上し、豊富なスキーマ検証、品質制約、トランザクションの保証により、データの信頼性が向上します。 Delta Lake を使用すると、1 つのデータ ソース上に統合された構造化ストリーミングとバッチ処理を使用することで、データ パイプラインを簡略化できます。

Databricks では Delta Lake を使用してデータを保存する方法をお勧めしていますが、従来のワークフローを Delta Lake に移行することが必要になる場合があります。 既存のワークフローの移行については、「Delta Lake とは」を参照してください。

新しい構造化ストリーミングの既定のトリガー間隔によってコストを削減

ストリーミング クエリで Trigger.ProcessingTime を使用してトリガー間隔を設定しない場合、間隔は 500 ミリ秒に設定されます。 以前の既定の間隔は 0 ミリ秒でした。 この変更により、空のトリガーの数が減り、リストなどのクラウド ストレージのコストが削減されます。

資格情報パススルーでの LDA 変換関数の使用 (パブリック プレビュー)

これで、認証に資格情報パススルーを使用するように構成されたクラスターで LDA 変換関数を使用できるようになりました。

資格情報パススルーを使用して構成された 1 つのユーザー クラスターでは信頼されたファイル システムが不要 (パブリック プレビュー)

資格情報パススルー用に構成された標準クラスターまたはジョブ クラスターを 1 人のユーザーで使用する場合、ローカル ファイル システムを信頼できるファイル システムとして構成する必要がなくなりました。 この変更により、1 つのユーザー クラスターでジョブを実行するときにファイルシステムの不要な制限がなくなりました。

ライブラリのアップグレード

Apache Spark

Databricks Runtime 8.0 には、Apache Spark 3.1.1 が含まれています。

このセクションの内容は次のとおりです。

コアと Spark SQL

ハイライト

ANSI SQL 互換性の強化

  • char/varchar データ型をサポート (SPARK-33480)
  • ANSI モード: null を返す代わりにランタイム エラーが発生する (SPARK-33275)
  • ANSI モード: 新しい明示的なキャスト構文規則 (SPARK-33354)
  • SQL の標準的なコマンドを追加 SET TIME ZONE (SPARK-32272)
  • テーブル作成の SQL 構文を統一 (SPARK-31257)
  • 一時ビューと永続的なビューの動作を統一 (SPARK-33138)
  • INSERT ステートメントの列リストをサポート (SPARK-32976)
  • ANSI の入れ子のカッコ内コメントをサポート (SPARK-28880)

パフォーマンスの向上

  • シャッフル サービスを使用しないホストローカル シャッフル データの読み取り (SPARK-32077)
  • 再パーティション ノード前の冗長な並べ替えを排除 (SPARK-32276)
  • 述語を部分的にプッシュダウン (SPARK-32302SPARK-32352)
  • 展開によりフィルターをプッシュダウン (SPARK-33302)
  • CNF 変換を介した Join による可能なより多くの述語をプッシュ (SPARK-31705)
  • ブロードキャスト ハッシュ結合の出力パーティション分割の維持によりシャッフルを排除 (SPARK-31869)
  • 結合キーの並べ替えの改善によりシャッフルを排除 (SPARK-32282)
  • 出力のパーティション分割と並べ替え順序の正規化によりシャッフルを排除 (SPARK-33399)
  • シャッフルされたハッシュ結合を改善 (SPARK-32461)
    • シャッフルされたハッシュ結合のビルド側パーティション分割を保持 (SPARK-32330)
    • ハッシュ結合 (BHJ と SHJ) のストリーム側順序を保持 (SPARK-32383)
    • 並べ替えマージ結合のバケット テーブルを結合 (SPARK-32286)
    • シャッフルされたハッシュ結合に code-gen を追加 (SPARK-32421)
    • シャッフルされたハッシュ結合で完全外部結合をサポート (SPARK-32399)
  • whole-stage-codegen を使用したプロジェクト内部分式の削除をサポート (SPARK-33092)
  • 条件式での部分式の削除をサポート (SPARK-33337)
  • 解釈された式の評価に対する部分式の削除をサポート (SPARK-33427)
  • 解釈された述語の部分式の削除をサポート (SPARK-33540)
  • その他のオプティマイザー ルール
    • ルール ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • ルール EliminateNullAwareAntiJoin (SPARK-32573)
    • ルール EliminateAggregateFilter (SPARK-32540)
    • ルール UnwrapCastInBinaryComparison (SPARK-32858)
    • ルール DisableUnnecessaryBucketedScan (SPARK-32859)
    • ルール CoalesceBucketsInJoin (SPARK-31350)
    • 不要な入れ子フィールドのプロジェクトを使用せずに生成から排除 (SPARK-29721)
    • 集約と展開から不要な入れ子フィールドを削除 (SPARK-27217)
    • repartition-by-expression および join から不要な入れ子フィールドを削除 (SPARK-31736)
    • 表面的なバリエーションに対する不要な入れ子フィールドの削除 (SPARK-32163)
    • ウィンドウと並べ替えから不要な入れ子フィールドを削除 (SPARK-32059)
    • CreateArray/CreateMap のサイズへの子のサイズを最適化 (SPARK-33544)

拡張性の機能強化

  • SupportsPartitionsDataSourceV2 で API を追加 (SPARK-31694)
  • SupportsMetadataColumnsDataSourceV2 で API を追加 (SPARK-31255)
  • SQL キャッシュのシリアル化をプラグ可能にする (SPARK-32274)
  • v2 カタログの TableCatalog.dropTablepurge オプションを導入 (SPARK-33364)

コネクタの機能強化

  • Hive メタストア パーティション フィルターのプッシュダウンを改善 (SPARK-33537)
    • starts-with フィルター と ends-with フィルターのサポートを含める (SPARK-33458)
    • 日付の種類によるフィルターをサポート (SPARK-33477)
    • not-equal によるフィルターをサポート (SPARK-33582)
  • Parquet
    • Parquet のマップのキーの種類での複合型を許可 (SPARK-32639)
    • リベースなしの Parquet で INT96 の保存と読み込みを許可 (SPARK-33160)
  • ORC
    • ORC の場合の入れ子列の述語をプッシュダウン (SPARK-25557)
    • Apache ORC を 1.5.12 にアップグレード (SPARK-33050)
  • CSV
    • CSV スキーマ推論中に SQL テキスト データ ソースを活用 (SPARK-32270)
  • JSON
    • JSON データソースのフィルター プッシュダウンをサポート (SPARK-30648)
  • JDBC
  • Avro
    • Avro データソースのフィルター プッシュダウンをサポート (SPARK-32346)

機能強化

  • ノードの使用停止 (SPARK-20624)
    • 基本フレームワーク (SPARK-20628)
    • 使用停止中の RDD ブロックを移行 (SPARK-20732)
    • 動的スケーリングの一部としてのグレースフルの使用停止 (SPARK-31198)
    • 使用停止中のシャッフル ブロックを移行 (SPARK-20629)
    • タスクとブロックの移行終了時の実行プログラムのみを終了 (SPARK-31197)
    • 使用停止中のフォールバック ストレージをサポート (SPARK-33545)
  • 新しい組み込み関数
  • コマンドの拡張機能についての説明 (SPARK-32337SPARK-31325)
  • ユーザーが指定したヒントを無効にするオプションを提供 (SPARK-31875)
  • Hive スタイルの REPLACE COLUMNS 構文をサポート (SPARK-30613)
  • LIKE ANY 演算子と LIKE ALL 演算子をサポート (SPARK-30724)
  • MERGE INTO での無制限の MATCHEDNOT MATCHED をサポート (SPARK-32030)
  • F が後ろに付く浮動リテラルをサポート (SPARK-32207)
  • 1 つの構成をリセットするための RESET 構文をサポート (SPARK-32406)
  • フィルター式での DISTINCT の同時使用許可をサポート (SPARK-30276)
  • DSv2 で alter table add/drop partition コマンドをサポート (SPARK-32512)
  • 入れ子の OR 条件内での NOT IN サブクエリをサポート (SPARK-25154)
  • REFRESH FUNCTION コマンドのサポート (SPARK-31999)
  • データセットで sameSemantics メソッドと sementicHash メソッドを追加 (SPARK-30791)
  • UDF でのケース クラスの構成型のサポート (SPARK-31826)
  • エンコーダーでの列挙をサポート (SPARK-32585)
  • 入れ子のフィールド API withFielddropFields をサポート (SPARK-31317SPARK-32511)
  • unionByName の欠損列への null 値挿入をサポート (SPARK-29358)
  • 指定したオプションを取得するために DataFrameReader.table をサポート (SPARK-32592SPARK-32844)
  • spark.sql.hive.metastore.jars で HDFS の場所をサポート (SPARK-32852)
  • --archives オプションをネイティブでサポート (SPARK-33530SPARK-33615)
  • タスクの開始イベントと終了イベントのメソッドを含める ExecutorPlugin API の拡張 (SPARK-33088)

その他の注目すべき変更点

  • Apache Spark のドキュメント サイトに検索機能を提供 (SPARK-33166)
  • Apache Arrow を 2.0.0 へアップグレード (SPARK-33213)
  • Thrift サーバーで Java 8 Time API を有効化 (SPARK-31910)
  • UDF で Java 8 Time API を有効化 (SPARK-32154)
  • 小数を含む集計のオーバーフロー チェック (SPARK-28067)
  • 動的パーティション上書きモードでのコミット競合を修正 (SPARK-27194SPARK-29302)
  • スレーブ、ブラックリスト、ホワイトリストへの参照を削除 (SPARK-32004SPARK-32036SPARK-32037)
  • シャッフル マップ ステージのタスク結果のサイズ チェックを削除 (SPARK-32470)
  • ユーザー指定のファイル システム スキームを公開するための ExecutorSource を一般化 (SPARK-33476)
  • StorageLevel.DISK_ONLY_3 を追加 (SPARK-32517)
  • Executor の Web UI の Executor メモリ メトリックを公開 (SPARK-23432)
  • ステージ レベルの Executor メモリ メトリックを [ステージ] タブで公開 (SPARK-26341)
  • YARN クラスター モードでの明示的な spark.ui.port セットを修正 (SPARK-29465)
  • スタンドアロン クラスター モードでの spark-submit の終了を制御するspark.submit.waitForCompletion 構成を追加 (SPARK-31486)
  • ドライバー stdout/stderr に直接リンクを印刷するようにするために yarn.Client を設定 (SPARK-33185)
  • ブロードキャストの一部の保存に失敗したときのメモリ リークを修正 (SPARK-32715)
  • BlockManagerMaster ドライバーのハートビート タイムアウトを構成可能にする (SPARK-34278)
  • キャッシュ動作を統合し、完了 (SPARK-33507)

PySpark

Project Zen

  • Project Zen: Python のユーザビリティを向上 (SPARK-32082)
  • PySpark 型ヒントをサポート (SPARK-32681)
  • PySpark ドキュメントを再設計 (SPARK-31851)
  • NumPy ドキュメント スタイルへ移行 (SPARK-32085)
  • PyPI ユーザー向けのインストール オプション (SPARK-32017)
  • 辞書のリストからの DataFrame スキーマの推論を廃止 (SPARK-32686)
  • Python UDF からの例外メッセージを簡略化 (SPARK-33407)

その他の注目すべき変更点

  • 決定論的 Python UDF の呼び出しの重複を除去 (SPARK-33303)
  • PySpark 関数での高階関数をサポート (SPARK-30681)
  • データ ソースの v2x 書き込み API をサポート (SPARK-29157)
  • PySpark 関数での percentile_approx をサポート (SPARK-30569)
  • PySpark DataFrame で inputFiles をサポート (SPARK-31763)
  • PySpark Column で withField をサポート (SPARK-32835)
  • PySpark Column で dropFields をサポート (SPARK-32511)
  • PySpark 関数で nth_value をサポート (SPARK-33020)
  • acoshasinhatanh をサポート (SPARK-33563)
  • PySpark SparkContext で getCheckpointDir メソッドをサポート (SPARK-33017)
  • unionByName の欠損列への null 値挿入をサポート (SPARK-32798)
  • cloudpickle を v1.5.0 へアップグレード (SPARK-32094)
  • Arrow を使用する PySpark へ MapType サポートを追加 (SPARK-24554)
  • DataStreamReader.tableDataStreamWriter.toTable (SPARK-33836)

構造化ストリーミング

パフォーマンスの向上

  • MaxFilesPerTrigger を超えたファイルのフェッチ済みリストを未読ファイルとしてキャッシュ (SPARK-30866)
  • ファイル ストリーム ソースとシンク メタデータ ログのロジックを合理化 (SPARK-30462)
  • クエリがコンパクト バッチから再起動した場合のコンパクト メタデータの 2 回のログ読み取りを回避 (SPARK-30900)

機能強化

  • DataStreamReader.table API を追加 (SPARK-32885)
  • DataStreamWriter.toTable API を追加 (SPARK-32896)
  • 左側ストリーム同士の半結合 (SPARK-32862)
  • 外部ストリーム同士の完全結合 (SPARK-32863)
  • 出力ファイルのデータ保持を設定する新しいオプションを提供 (SPARK-27188)
  • Spark 構造化ストリーミング履歴サーバーのサポートを追加 (SPARK-31953)
  • クエリ再起動間に状態スキーマ検証を導入 (SPARK-27237)

その他の注目すべき変更点

  • ストリーミング状態ストアのスキーマ検証を導入 (SPARK-31894)
  • 状態ストアで別の圧縮コーデックを使用するためのサポート (SPARK-33263)
  • メタデータが更新されていないことによる Kafka コネクタの無制限の待機 (SPARK-28367)
  • Kafka の 2.6.0 へのアップグレード (SPARK-32568)
  • 構造化ストリーミング UI ページの改ページ サポート (SPARK-31642SPARK-30119)
  • 構造化ストリーミング UI の状態情報 (SPARK-33223)
  • 構造化ストリーミング UI のウォーターマーク ギャップ情報 (SPARK-33224)
  • SS UI で状態カスタム メトリック情報を公開 (SPARK-33287)
  • ウォーターマークより後の行の数に関する新しいメトリックを追加 (SPARK-24634)

MLlib

ハイライト

  • LinearSVC blockify の入力ベクトル (SPARK-30642)
  • LogisticRegression blockify の入力ベクトル (SPARK-30659)
  • LogisticRegression blockify の入力ベクトル (SPARK-30660)
  • AFT blockify の入力ベクトル (SPARK-31656)
  • ML での関連付けルールのサポートを追加 (SPARK-19939)
  • LinearSVCModel のトレーニング概要を追加 (SPARK-20249)
  • RandomForestClassificationModel の概要を追加 (SPARK-23631)
  • FMClassificationModel のトレーニングの概要を追加 (SPARK-32140)
  • MultilayerPerceptronClassificationModel の概要を追加 (SPARK-32449)
  • SparkR に FMClassifier を追加 (SPARK-30820)
  • SparkR LinearRegression ラッパーを追加 (SPARK-30818)
  • SparkR への FMRegressor ラッパーを追加 (SPARK-30819)
  • vector_to_array の SparkR ラッパーを追加 (SPARK-33040)
  • アダプティブ blockify インスタンス - LinearSVC (SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer サポートの Python バックエンド見積もりツール/エバリュエーターを作成 (SPARK-33520)
  • ML ALS recommendForAll の GEMV によりパフォーマンスを向上 (SPARK-33518)
  • UnivariateFeatureSelector を追加 (SPARK-34080)

その他の注目すべき変更点

  • 1 つのジョブでの GMM コンピューティングの概要と更新プログラムを配布 (SPARK-31032)
  • mllib.ChiSqSelectorModel の ChiSqSelector 依存関係を削除 (SPARK-31077)
  • TestChiSquare のテストの結果データフレームをフラット化 (SPARK-31301)
  • MinHash keyDistance を最適化 (SPARK-31436)
  • 三角不等式に基づいて KMeans を最適化 (SPARK-31007)
  • ClusteringEvaluator にウエイトのサポートを追加 (SPARK-31734)
  • エバリュエーターに getMetrics を追加 (SPARK-31768)
  • LinearRegressionSummary にインスタンス ウエイトのサポートを追加 (SPARK-31944)
  • CrossValidator にユーザー指定のフォールド列を追加 (SPARK-31777)
  • 機能とチューニングでの ML パラメーターの既定値のパリティ (SPARK-32310)
  • KMeans/BiKMeans のダブル キャッシュを修正 (SPARK-32676)
  • 変換後の最適化 (SPARK-33111)
  • FeatureHasher 変換を最適化 (SPARK-32974)
  • データフレーム列に array_to_vector 関数を追加 (SPARK-33556)
  • 分類、回帰、クラスタリング、および FPM での ML パラメーターの既定値のパリティ (SPARK-32310)
  • MaxIters を超える Summary.totalIterations (SPARK-31925)
  • ツリー モデルの予測を最適化 (SPARK-32298)

SparkR

  • 高階関数の SparkR インターフェイスを追加 (SPARK-30682)
  • unionByName での欠損列への null 値挿入をサポート (SPARK-32798)
  • SparkR 関数の withColumn をサポート (SPARK-32946)
  • SparkR 関数の timestamp_seconds をサポート (SPARK-32949)
  • SparkR 関数の nth_value をサポート (SPARK-33030)
  • Arrow の最小バージョンの上限を 1.0.0 へ (SPARK-32452)
  • SparkR 関数の array_to_vector をサポート (SPARK-33622)
  • acosh、asinh、および atanh をサポート (SPARK-33563)
  • from_avro と to_avro をサポート (SPARK-33304)

メンテナンスの更新

Databricks Runtime 8.0 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (2021 年 3 月 26 日のメンテナンス更新プログラムでの 3.8.6 からの更新)
  • R: R バージョン 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
cryptography 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
6 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob (blob) 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 キャレット 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 資格情報 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ライフサイクル 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matrix 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52