Databricks Runtime 10.4 LTS

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.2.1 で稼働する Databricks Runtime 10.4 LTS と Databricks Runtime 10.4 LTS Photon に関する情報が記載されています。 Photon はパブリック プレビュー段階にあります。 Databricks は、2022 年 3 月にこのバージョンをリリースしました。

Note

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

新機能と機能強化

Iceberg から Delta へのテーブル コンバーター (パブリック プレビュー)

Delta への変換で、Iceberg テーブルを Delta テーブルに変換する機能がサポートされるようになりました。 これを行うには、Iceberg ネイティブ メタデータとファイル マニフェストを使用します。 「Delta Lake に変換する」を参照してください。

自動圧縮ロールバックが既定で有効になりました

このリリースでは、自動圧縮トランザクションが同時に発生した場合にコミットする Delta Lake 書き込みの動作が改善されています。 このリリースより前は、このような書き込みは、テーブルへの同時変更が原因で終了することが多くありました。 自動圧縮トランザクションが同時に存在する場合でも、書き込みが成功するようになりました。

Low Shuffle Merge が既定で有効になりました

MERGE INTO コマンドから、新しい Low Shuffle 実装が常に使用されるようになりました。 この動作により、ほとんどのワークロードで MERGE INTO コマンドのパフォーマンスが大幅に向上します。 この機能を有効にするためにこれまで使用されていた構成設定は削除されました。 「Azure Databricks での低シャッフル マージ」を参照してください。

挿入順序タグが UPDATEと DELETE で保持されるようになりました

UPDATE および DELETE コマンドで、更新または削除されたファイルの既存のクラスタリング情報 (Z オーダーを含む) が保持されるようになりました。 この動作はベスト エフォートのアプローチであり、ファイルが非常に小さく、更新または削除中にこれらのファイルが結合される場合は、このアプローチは適用されません。

HikariCP が既定の Hive メタストア接続プールになりました

HikariCP を使用すると、以前の BoneCP 接続プールの実装と比較すると接続数を少なく抑えながら、Hive メタストア アクセスの多くの安定性を向上させます。 HikariCP は、Databricks Hive メタストアを使用する Databricks Runtime クラスターで既定で有効になります (たとえば、spark.sql.hive.metastore.jars が設定されていない場合)。 spark.databricks.hive.metastore.client.pool.type を設定して、BoneCP など、他の接続プールの実装に明示的に切り替えることもできます。

Azure Synapse コネクタで、許容される拒否行の最大数を設定できるようになりました

Azure Synapse コネクタは、maxErrors DataFrame オプションをサポートするようになりました。 この更新により、読み込み操作がキャンセルされる前に、読み取りおよび書き込み中に許容される拒否行の最大数を設定できます。 拒否された行はすべて無視されます。 たとえば、10 レコード中 2 レコードにエラーがある場合、処理されるのは 8 レコードのみです。

このオプションは、PolyBase の CREATE EXTERNAL TABLE ステートメントの REJECT_VALUE オプションと、Azure Synapse コネクタの COPY コマンドの MAXERRORS オプションに直接対応付けられます。

既定では、maxErrors 値は 0 に設定されます。すべてのレコードが有効であることが期待されます。

非同期状態のチェックポイント処理が一般提供されるようになりました

大量の状態を更新するステートフル ストリーミング クエリで、非同期状態チェックポイントを有効にすることができます。 これにより、エンドツーエンドのマイクロ バッチ待機時間が短縮されます。 この機能は現在一般提供されています。 「ステートフル クエリの非同期状態チェックポイント処理」を参照してください。

SQL ユーザー定義関数に対してパラメーターの既定値を指定できるようになりました

SQL ユーザー定義関数 (SQL UDF) を作成するときに、SQL UDF のパラメーターに既定の式を指定できるようになりました。 これにより、これらのパラメーターの引数を指定せずに SQL UDF を呼び出せます。Databricks によってそれらのパラメーターの既定値が入力されます。 「CREATE FUNCTION (SQL および Python)」をご覧ください。

Spark SQL の新しい関数

このリリースでは、次の Spark SQL 関数を使用できるようになりました。

  • try_multiply: multiplicand によって乗算、またはオーバーフロー時に NULL によって乗算された multiplier を返します。
  • try_subtract: expr1 から expr2 の減算、またはオーバーフロー時に NULL の減算を返します。

高コンカレンシー クラスターの新しい作業ディレクトリ

テーブル アクセス制御または資格情報パススルーが有効になっている高コンカレンシー クラスターでは、ノートブックの現在の作業ディレクトリがユーザーのホーム ディレクトリになりました。 以前は、作業ディレクトリは /databricks/driver でした。

Delta テーブルでの ID 列のサポートが一般提供されるようになりました

Delta Lake で ID 列がサポートされるようになりました。 ID 列を定義する Delta テーブルに書き込み、その列の値を指定しない場合、Delta によって、一意で統計的に増減する値が自動的に割り当てられるようになりました。 「CREATE TABLE [USING]」を参照してください。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • filelock (3.4.2 から 3.6.0 へ)
  • アップグレードされた R ライブラリ:
    • brew (1.0-6 から 1.0-7 へ)
    • broom (0.7.11 から 0.7.12 へ)
    • cli (3.1.0 から 3.2.0 へ)
    • clipr (0.7.1 から 0.8.0 へ)
    • colorspace (2.0-2 から 2.0-3 へ)
    • crayon (1.4.2 から 1.5.0 へ)
    • dplyr (1.0.7 から 1.0.8 へ)
    • dtplyr (1.2.0 から 1.2.1 へ)
    • evaluate (0.14 から 0.15 へ)
    • foreach (1.5.1 から 1.5.2 へ)
    • future (1.23.0 から 1.24.0 へ)
    • generics (0.1.1 から 0.1.2 へ)
    • glue (1.6.0 から 1.6.1 へ)
    • gower (0.2.2 から 1.0.0 へ)
    • iterators (1.0.13 から 1.0.14 へ)
    • jsonlite (1.7.3 から 1.8.0 へ)
    • magrittr (2.0.1 から 2.0.2 へ)
    • mgcv (1.8-38 から 1.8-39 へ)
    • pillar (1.6.4 から 1.7.0 へ)
    • randomForest (4.6-14 から 4.7-1 へ)
    • readr (2.1.1 から 2.1.2 へ)
    • recipes (0.1.17 から 0.2.0 へ)
    • rlang (0.4.12 から 1.0.1 へ)
    • rpart (4.1-15 から 4.1.16 へ)
    • RSQLite (2.2.9 から 2.2.10 へ)
    • sparklyr (1.7.4 から 1.7.5 へ)
    • testthat (3.1.1 から 3.1.2 へ)
    • tidyr (1.1.4 から 1.2.0 へ)
    • tidyselect (1.1.1 から 1.1.2 へ)
    • tinytex (0.36 から 0.37 へ)
    • yaml (2.2.1 から 2.3.5 へ)
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 (0.3.0 から 0.4.0 へ)

Apache Spark

Databricks Runtime 10.4 LTS には、Apache Spark 3.2.1 が含まれています。 このリリースには、Databricks Runtime 10.3 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

  • [SPARK-38322] [SQL] クエリ ステージで、書式設定された explain モードでランタイム統計の表示をサポート
  • [SPARK-38162] [SQL] 通常の AQE オプティマイザーで 1 つの行プランを最適化
  • [SPARK-38229] [SQL] パーサー時に visitReplaceTable を使用して temp/external/ifNotExists を検査すべきではない
  • [SPARK-34183] [SS] DataSource V2: マイクロバッチ実行で必要な配布と順序
  • [SPARK-37932] [SQL] DeduplicateRelations を適用する前に、不足している属性の解決を待機
  • [SPARK-37904] [SQL] オプティマイザーのルールで RebalancePartitions を改善
  • [SPARK-38236] [SQL][3.2][3.1] テーブルの作成または変更で、"new Path(locationUri).isAbsolute" でテーブルの場所が絶対パスかどうかを検査
  • [SPARK-38035] [SQL] 組み込みの JDBC 言語用の docker テストを追加
  • [SPARK-38042] [SQL] ScalaReflection.dataTypeFor がエイリアス化された配列型で動作するように保証
  • [SPARK-38273] [SQL] decodeUnsafeRows の反復子は基になる入力ストリームを閉じる必要がある
  • [SPARK-38311] [SQL] ANSI モードの DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite を修正
  • [SPARK-38305] [CORE] FileUtil メソッドを呼び出す前に、unpack() でソースが存在するかどうかを明示的に検査
  • [SPARK-38275] [SS] RocksDB 状態ストアの合計メモリ使用量として writeBatch のメモリ使用量を含める
  • [SPARK-38132] [SQL] NotPropagation ルールを削除
  • [SPARK-38286] [SQL] UNION の maxRows と maxRowsPerPartition がオーバーフローする可能性がある
  • [SPARK-38306] [SQL] ANSI モードの ExplainSuite、StatisticsCollectionSuite、StringFunctionsSuite を修正
  • [SPARK-38281] [SQL][テスト] ANSI モードの Fix AnalysisSuite を修正
  • [SPARK-38307] [SQL][テスト] ANSI モードの ExpressionTypeCheckingSuite と CollectionExpressionsSuite を修正
  • [SPARK-38300] [SQL] catalyst.util で ByteStreams.toByteArray を使用して fileToString と resourceToBytes を簡略化
  • [SPARK-38304] [SQL] Elt() は、ANSI モードでインデックスが null の場合は null を返す必要がある
  • [SPARK-38271] PoissonSampler で MaxRows よりも多くの行が出力される場合がある
  • [SPARK-38297] [PYTHON] POS の DataFrame.to_numpy に戻り値を明示的にキャスト
  • [SPARK-38295] [SQL][テスト] ANSI モードの ArithmeticExpressionSuite を修正
  • [SPARK-38290] [SQL] ANSI モードの JsonSuite と ParquetIOSuite を修正
  • [SPARK-38299] [SQL] StringBuilder.newBuilder の非推奨の使用をクリーンアップ
  • [SPARK-38060] [SQL] JSON リーダーで引用符で囲まれた NaN と無限大の値を解析する際、allowNonNumericNumbers を尊重
  • [SPARK-38276] [SQL] ANSI モードで承認済みの TPCDS プランを追加
  • [SPARK-38206] [SS] ストリーム-ストリーム結合で結合キーのデータ型を比較するときに、NULL 値の許容を無視
  • [SPARK-37290] [SQL]-非決定論的関数の場合の指数関数的な計画時間
  • [SPARK-38232] [SQL] 書式設定された Explain では、AQE のクエリ ステージでサブクエリが収集されない
  • [SPARK-38283] [SQL] ANSI モードでの無効な datetime 解析をテスト
  • [SPARK-38140] [SQL] タイム ゾーンの違いが原因で、タイムスタンプ型の Desc 列の統計情報 (最小、最大) が値と一致しない
  • [SPARK-38227] [SQL][SS] 時間枠またはセッション枠で入れ子になっている列の厳密な NULL 値の許容を適用
  • [SPARK-38221] [SQL] 複雑なグループ化式を Aggregate ノードから移動するときに groupingExpressions をしきりに反復
  • [SPARK-38216] [SQL] Hive テーブルを作成するときに、すべての列がパーティション分割された列の場合、早期に失敗
  • [SPARK-38214] [SS] windowDuration が slideDuration の倍数の場合、ウィンドウをフィルター処理する必要はない
  • [SPARK-38182] [SQL] プッシュされたフィルターに参照が含まれていない場合に NoSuchElementException を修正
  • [SPARK-38159] [SQL] 非表示のファイル メタデータに新しい FileSourceMetadataAttribute を追加
  • [SPARK-38123] [SQL] DataType を QueryExecutionErrors#castingCauseOverflowError の targetType として統一的に使用
  • [SPARK-38118] [SQL] HAVING 句の Func(誤ったデータ型) でデータ不一致エラーのスローが必要
  • [SPARK-35173] [SQL][PYTHON] サポートを追加する複数の列を追加
  • [SPARK-38177] [SQL] オプティマイザーで誤った transformExpressions を修正
  • [SPARK-38228] [SQL] レガシ ストアの割り当ては、ANSI モードでエラーが発生しても失敗しないようにする必要がある
  • [SPARK-38173] [SQL] 引用符で囲まれた列が正しく認識されないのは、quotedRegexColumnNa…
  • [SPARK-38130] [SQL] array_sort 順序付け可能なエントリの検査を削除
  • [SPARK-38199] [SQL] IntervalColumnAccessor の定義で指定されている未使用の dataType を削除
  • [SPARK-38203] [SQL] ANSI モードで SQLInsertTestSuite と SchemaPruningSuite を修正
  • [SPARK-38163] [SQL] 関数ビルダーの構築中に SparkThrowable のエラー クラスを保持
  • [SPARK-38157] [SQL] 期待されるゴールデン結果と一致するように、テスト timestampNTZ/timestamp.sql および SQLQueryTestSuite で ANSI を明示的に false に設定
  • [SPARK-38069] [SQL][SS] 時間枠の計算を改善
  • [SPARK-38164] [SQL] 新しい SQL 関数: try_subtract と try_multiply
  • [SPARK-38176] [SQL] ANSI モード: 文字列の他のシンプルな型への暗黙的なキャストを許可
  • [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range の最終的な追加
  • [SPARK-38198] [SQL][3.2] explainMode が CodegenMode のとき、渡された maxFields が QueryExecution.debug#toFile で使用されるように修正
  • [SPARK-38131] [SQL] ユーザー向けの例外でのみエラー クラスを使用
  • [SPARK-37652] [SQL] UNION による傾斜結合を最適化するためのテストを追加
  • [SPARK-37585] [SQL] TaskCompletionListener を使用して DataSourceRDD の InputMetric を更新
  • [SPARK-38113] [SQL] ピボットの実行エラーでエラー クラスを使用
  • [SPARK-38178] [SS] RocksDB のメモリ使用量を測定するロジックを修正
  • [SPARK-37969] [SQL] HiveFileFormat でフィールド名の検査が必要
  • [SPARK-37652] “[SQL] UNION による傾斜結合を最適化するためのテストを追加” を取り消し
  • [SPARK-38124] [SQL][SS] StatefulOpClusteredDistribution を導入し、ストリーム-ストリーム結合に適用
  • [SPARK-38030] [SQL] 正規化で、AttributeReference dataType の NULL 値の許容を削除しないようにする必要がある
  • [SPARK-37907] [SQL] InvokeLike は ConstantFolding をサポート
  • [SPARK-37891] [CORE] scala.concurrent.ExecutionContext.Implicits.global を無効にするための scalastyle 検査を追加
  • [SPARK-38150] [SQL] RelationConversions のコメントを更新
  • [SPARK-37943] [SQL] グループ化のコンパイル エラーでエラー クラスを使用
  • [SPARK-37652] [SQL] UNION による傾斜結合を最適化するためのテストを追加
  • [SPARK-38056] [Web UI][3.2] LevelDB を使用しているときに、履歴サーバーで構造化ストリーミングが動作しない問題を修正
  • [SPARK-38144] [CORE] 未使用の spark.storage.safetyFraction 構成を削除
  • [SPARK-38120] [SQL] パーティション列名が大文字で、パーティション値にドットがある場合の HiveExternalCatalog.listPartitions を修正
  • [SPARK-38122] [Docs] DocSearch のアプリ キーを更新
  • [SPARK-37479] [SQL] DROP NAMESPACE を既定で V2 コマンドを使用するように移行
  • [SPARK-35703] [SQL] バケット結合の制約を緩和し、HashClusteredDistribution を削除
  • [SPARK-37983] [SQL] 並べ替え集計から agg build time メトリックを取り消し
  • [SPARK-37915] [SQL] UNION と UNION の間にプロジェクトがある場合は、UNION を統合
  • [SPARK-38105] [SQL] 結合の解析エラーでエラー クラスを使用
  • [SPARK-38073] [PYTHON] 遅延バインディングの問題を回避するために atexit 関数を更新
  • [SPARK-37941] [SQL] キャストのコンパイル エラーでエラー クラスを使用
  • [SPARK-37937] [SQL] ラテラル結合の解析エラーでエラー クラスを使用
  • [SPARK-38100] [SQL] Decimal の使用されていないプライベート メソッドを削除
  • [SPARK-37987] [SS] 不安定テストのクエリ再起動時の状態の StreamingAggregationSuite.changing スキーマを修正
  • [SPARK-38003] [SQL] LookupFunctions ルールは、スカラー関数レジストリからの関数のみを参照する必要がある
  • [SPARK-38075] [SQL] HiveScriptTransformationExec のプロセス出力反復子の hasNext を修正
  • [SPARK-37965][SQL] ORC 形式の既存データの読み取り/書き込み時にチェック フィールド名を削除
  • [SPARK-37922] [SQL] 2 つのキャストを安全にアップキャストできる場合は、1 つのキャストに結合 (dbr-branch-10.x の場合)
  • [SPARK-37675] [SPARK-37793] シャッフルが完了した後、マージされたファイルのプッシュ シャッフルが上書きされないようにする
  • [SPARK-38011] [SQL] ParquetFileFormat の重複する不要な構成を削除
  • [SPARK-37929] [SQL] dropNamespace API のカスケード モードをサポート
  • [SPARK-37931] [SQL] 必要な場合に列名を引用符で囲む
  • [SPARK-37990] [SQL] RowToColumnConverter で TimestampNTZ をサポート
  • [SPARK-38001] [SQL] サポートされていない機能に関連するエラー クラスを UNSUPPORTED_FEATURE に置換
  • [SPARK-37839] [SQL] DS V2 は、部分的な集計プッシュダウン AVG をサポート
  • [SPARK-37878] [SQL] SHOW CREATE TABLE を既定で v2 コマンドを使用するように移行
  • [SPARK-37731] [SQL] アナライザーでの関数参照のリファクタリングとクリーンアップ
  • [SPARK-37979] [SQL] AES 関数のより汎用的なエラー クラスに切り替え
  • [SPARK-37867] [SQL] 組み込みの JDBC 言語の集計関数をコンパイル
  • [SPARK-38028] [SQL] ArrowColumnVector から矢印ベクトルを公開
  • [SPARK-30062] [SQL] DB2 言語の切り捨て実装に IMMEDIATE ステートメントを追加
  • [SPARK-36649] [SQL] Kafka データ ソースで Trigger.AvailableNow をサポート
  • [SPARK-38018] [SQL] CalendarIntervalType を正しく処理できるように ColumnVectorUtils.populate を修正
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved は ExecutorDecommission を終了として処理する必要がある
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors を決定論的にする
  • [SPARK-37957] [SQL] V2 スカラー関数の決定論的フラグを正しく渡す
  • [spark-37985] [SQL] SPARK-37578 の不安定テストを修正
  • [SPARK-37986] [SQL] 基数の並べ替えで TimestampNTZ をサポート
  • [SPARK-37967] [SQL] Literal.create が ObjectType をサポート
  • [SPARK-37827] [SQL] V1Table.propritie に組み込みテーブル プロパティをいくつか設定して V2 コマンドに対応
  • [SPARK-37963] [SQL] InMemoryCatalog でテーブルの名前を変更した後、パーティション URI の更新が必要
  • [SPARK-35442] [SQL] サポートは、集計/UNION を使用して空のリレーションシップの伝播をサポート
  • [SPARK-37933] [SQL] V2ScanRelationPushDown プッシュダウン ルールのトラバーサル メソッドを変更
  • [SPARK-37917] [SQL] 結合条件が空の場合、左半/反結合の右側で制限 1 をプッシュ ダウン
  • [SPARK-37959] [ML] KMeans と BiKMeans におけるノルムの検査の UT を修正
  • [SPARK-37906] [SQL] spark-sql で最後のコメントをバックエンドに渡してはいけない
  • [SPARK-37627] [SQL] BucketTransform に並べ替えられた列を追加

メンテナンスの更新

Databricks Runtime 10.4 LTS メンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 ノートブック 6.3.0 numpy 1.20.1
パッケージング 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

インストールされている R ライブラリ

R ライブラリは、2022 年 2 月 24 日の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob (blob) 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
キャレット 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 資格情報 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ライフサイクル 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1