Databricks Runtime 15.1 (EoS)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 15.1 に関する情報が記載されています。

Databricks は、2024 年 4 月にこのバージョンをリリースしました。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

重大な変更

Databricks Runtime 15.0 と Databricks Runtime 15.0 for Machine Learning のサポートは、2024 年 5 月 31 日に終了します。 15.0 での pandas ライブラリの 1.5.3 から 2.0.3 へのアップグレードにより、複数の Apache Spark API に破壊的変更が発生したためです。 破壊的変更の詳細については、「pandas Python ライブラリが 1.5.3 にダウングレードされる」を参照してください。 この非互換性を解決するために、Databricks は Machine Learning 用の Databricks Runtime 15.1 と Databricks Runtime 15.1 をリリースしました。 これらのリリースでサポートされる機能は 15.0 リリースと同じですが、pandas のバージョンは 1.5.3 にダウングレードされています。

Databricks Runtime 15.0 リリースを使用する既存のクラスターまたはジョブは引き続き機能しますが、製品またはセキュリティ更新プログラムは受け取りません。 Databricks UI で Databricks Runtime 15.0 または Databricks Runtime 15.0 ML を使用する新しいコンピューティングを構成できなくなりました。 pandas 2.0 以降を必要とする機能または API を使用していない場合、Databricks では、これらのワークロードを Databricks Runtime 15.1 に切り替えることをおすすめします。

pandas 2.0 以降でのみ使用できる機能または API を使用していて、このバージョンの影響を受ける関数を使用していない場合、Databricks は Databricks Runtime 15.1 に切り替え、クラスターまたはノートブック スコープ ライブラリを使用して既定の pandas パッケージ アップグレードすることをおすすめします。 たとえば、Databricks ノートブックの pandas ライブラリをアップグレードするには、次のコマンドを使用します。

%pip install pandas==2.0.3

pandas Python ライブラリが 1.5.3 にダウングレードされる

このリリースでは、pandas ライブラリはバージョン 2.0.3 から 1.5.3 にダウングレードされます。 pandas バージョン 2.0.3 の非互換性により、Spark 関数の一部の pandas API でエラーが発生したため、このダウングレードが必要でした。 次に、Pandas の 2.0.3 バージョンの影響を受ける関数を示します。

  • pyspark.date_range: closed パラメーターが見つからないので、この関数が既存のコードによって呼び出されるときにエラーが発生します。
  • MultiIndex 列を含む GroupBy の機能が変更され、予期しない動作が発生します。
  • DatetimeIndex の一部の datetime 属性 (day、month、year など) は、int64 データ型ではなく int32 データ型を返します。

PySpark spark.sql() 関数が無効な引数の型に対して失敗するようになりました

Databricks Runtime 15.1 以降では、spark.sql() 関数に渡される名前付きパラメーターまたは位置指定パラメーターの args パラメーターは、ディクショナリまたはリストである必要があります。 他のオブジェクトの種類が渡された場合は、次のエラーが発生します: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっています

Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.1 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 Databricks は、ワークスペース ファイルまたは Unity Catalog ボリュームに、Python ライブラリ、JAR ファイル、Spark コネクタを含む、すべてのライブラリをアップロードするか、パッケージ リポジトリを使用することを推奨しています。 「ライブラリのアップロードに関する推奨事項」をご覧ください。

DBFS ルートへのライブラリの格納をもう一度有効にするには、次の Spark 構成パラメータを設定します: spark.databricks.driver.dbfsLibraryInstallationAllowed true。

既定の Python バージョンは 3.10 から 3.11 にアップグレードされます

Databricks Runtime 15.1 では、既定の Python バージョンは 3.11.0 です。 アップグレードされた Python ライブラリの一覧については、ライブラリのアップグレードを参照してください。

JDK 11 が削除されました

既にお知らせしたとおり、JDK 11 が Databricks Runtime 15.1 以降から削除されました。 Databricks では、Databricks Runtime 15.1 以降にアップグレードする場合、JDK 17 へのアップグレードをお勧めします。 「Databricks SDK for Java」を参照してください。

Python REPL が正常に終了するようになりました

Databricks Runtime 15.1 では、ノートブックの Python REPL プロセスが終了時に正常に終了するようになりました。 これにより、atexit フックが適用されます。 たとえば、複数の Python ノートブック タスクを含むワークフローでは、最初のタスクに登録された atexit フックは、2 番目の Python ノートブック タスクが実行される前に実行されます。

新機能と機能強化

WHERE 句 * (star) 句が でサポートされるようになりました

これで、WHERE 句の star (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。 たとえば、SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) のようにします。

spark.sql.json.enablePartialResults 構成が既定で有効になりました

Spark 構成 spark.sql.json.enablePartialResults が既定で有効になりました。これにより、残りのフィールドを削除することなく、JSON パーサーが構造体、マップ、配列などの複合型の解析エラーを正しく処理できるようになりました。 この変更により、列の排除を使用した JSON データ ソースの整合性の問題が修正されます。

クラスター ライブラリで requirements.txt ファイルがサポートされるようになりました

ワークスペース ファイルまたは Unity カタログ ボリュームに格納されている requirements.txt ファイルを使用して、クラスター ライブラリをインストールできるようになりました。 シングル ユーザーと共有アクセス モード クラスターで、requirements.txt ファイルが他のファイルを参照できます。 非分離共有アクセス モード クラスターでは、PyPI パッケージのみがサポートされます。 「クラスター ライブラリ」を参照してください。

Databricks CLI が Web ターミナルで使用できるようになりました

ノートブックの Web ターミナルから Databricks CLI を使用できるようになりました。 ノートブックは、シングル ユーザーまたは非分離共有アクセス モードでクラスターに接続する必要があります。 詳細については、「Web ターミナルと Databricks CLI を使用する」をご覧ください。

クラスター構成に既定の Python リポジトリを追加する

Databricks Runtime 15.1 以降では、クラスターの構成時またはクラスター ポリシーの定義時に、クラスターおよびノートブックスコープ ライブラリのインストール用にグローバル pip index-url および extra-index-url パラメーターを構成できます。 これを行うには、環境変数 DATABRICKS_PIP_INDEX_URL と DATABRICKS_PIP_EXTRA_INDEX_URL を設定します。

資格情報パススルーと Hive メタストア テーブルのアクセス制御は非推奨になりました

資格情報パススルーと Hive メタストア テーブルのアクセス制御は、従来のデータ ガバナンス モデルです。 Unity Catalog のアップグレードでは、アカウントの複数のワークスペースにまたがってデータ アクセスを管理および監査するための中心的な場所を提供することで、データのセキュリティとガバナンスを簡素化します。 「Unity Catalog とは」を参照してください。

資格情報パススルーと Hive メタストア テーブルのアクセス制御のサポートは、今後の DBR バージョンで削除される予定です。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • black (22.6.0 から 23.3.0 へ)
    • boto3 (1.24.28 から 1.34.39 へ)
    • botocore (1.27.96 から 1.34.39 へ)
    • certifi (2022.12.7 から 2023.7.22 へ)
    • cryptography (39.0.1 から 41.0.3 へ)
    • databricks-sdk (0.1.6 から 0.20.0 へ)
    • distlib (0.3.7 から 0.3.8 へ)
    • googleapis-common-protos (1.62.0 から 1.63.0 へ)
    • grpcio (1.48.2 から 1.60.0 へ)
    • grpcio-status (1.48.1 から 1.60.0 へ)
    • importlib-metadata (4.6.4 から 6.0.0 へ)
    • ipykernel (6.25.0 から 6.25.1 へ)
    • ipython (8.14.0 から 8.15.0 へ)
    • ipywidgets (7.7.2 から 8.0.4 へ)
    • jupyter_core (5.2.0 から 5.3.0 へ)
    • jupyterlab-widgets (1.0.0 から 3.0.5 へ)
    • matplotlib (3.7.0 から 3.7.2 へ)
    • pip (22.3.1 から 23.2.1 へ)
    • platformdirs (2.5.2 から 3.10.0 へ)
    • protobuf (4.24.0 から 4.24.1 へ)
    • pyarrow (8.0.0 から 14.0.1 へ)
    • Pygments (2.11.2 から 2.15.1 へ)
    • pyodbc (4.0.32 から 4.0.38 へ)
    • requests (2.28.1 から 2.31.0 へ)
    • s3transfer (0.6.2 から 0.10.0 へ)
    • scikit-learn (1.1.1 から 1.3.0 へ)
    • scipy (1.10.0 から 1.11.1 へ)
    • setuptools (65.6.3 から 68.0.0 へ)
    • statsmodels (0.13.5 から 0.14.0 へ)
    • tenacity (8.1.0 から 8.2.2 へ)
    • tornado (6.1 から 6.3.2 へ)
    • typing_extensions (4.4.0 から 4.7.1 へ)
    • urllib3 (1.26.14 から 1.26.16 へ)
    • virtualenv (20.16.7 から 20.24.2 へ)
    • widgetsnbextension (3.6.1 から 4.0.5 へ)
    • zipp (1.0.0 から 3.11.0 へ)
  • アップグレードされた R ライブラリ:
    • arrow (12.0.1 から 14.0.0.2 へ)
    • askpass (1.1 から 1.2.0 へ)
    • base (4.3.1 から 4.3.2 へ)
    • brew (1.0-8 から 1.0-10 へ)
    • brio (1.1.3 から 1.1.4 へ)
    • bslib (0.5.0 から 0.6.1 へ)
    • cli (3.6.1 から 3.6.2 へ)
    • commonmark (1.9.0 から 1.9.1 へ)
    • compiler (4.3.1 から 4.3.2 へ)
    • config (0.3.1 から 0.3.2 へ)
    • cpp11 (0.4.4 から 0.4.7 へ)
    • credentials (1.3.2 から 2.0.1 へ)
    • curl (5.0.1 から 5.2.0 へ)
    • data.table (1.14.8 から 1.15.0 へ)
    • datasets (4.3.1 から 4.3.2 へ)
    • DBI (1.1.3 から 1.2.1 へ)
    • dbplyr (2.3.3 から 2.4.0 へ)
    • desc (1.4.2 から 1.4.3 へ)
    • digest (0.6.33 から 0.6.34 へ)
    • dplyr (1.1.2 から 1.1.4 へ)
    • e1071 (1.7-13 から 1.7-14 へ)
    • evaluate (0.21 から 0.23 へ)
    • fansi (1.0.4 から 1.0.6 へ)
    • fontawesome (0.5.1 から 0.5.2 へ)
    • fs (1.6.2 から 1.6.3 へ)
    • future (1.33.0 から 1.33.1 へ)
    • future.apply (1.11.0 から 1.11.1 へ)
    • gargle (1.5.1 から 1.5.2 へ)
    • gert (1.9.2 から 2.0.1 へ)
    • ggplot2 (3.4.2 から 3.4.4 へ)
    • glmnet (4.1-7 から 4.1-8 へ)
    • glue (1.6.2 から 1.7.0 へ)
    • graphics (4.3.1 から 4.3.2 へ)
    • grDevices (4.3.1 から 4.3.2 へ)
    • grid (4.3.1 から 4.3.2 へ)
    • globals (0.3.3 から 0.3.4 へ)
    • hardhat (1.3.0 から 1.3.1 へ)
    • haven (2.5.3 から 2.5.4 へ)
    • htmltools (0.5.5 から 0.5.7 へ)
    • htmlwidgets (1.6.2 から 1.6.4 へ)
    • httpuv (1.6.11 から 1.6.14 へ)
    • httr (1.4.6 から 1.4.7 へ)
    • httr2 (0.2.3 から 1.0.0 へ)
    • jsonlite (1.8.7 から 1.8.8 へ)
    • knitr (1.43 から 1.45 へ)
    • labeling (0.4.2 から 0.4.3 へ)
    • later (1.3.1 から 1.3.2 へ)
    • lava (1.7.2.1 から 1.7.3 へ)
    • lifecycle (1.0.3 から 1.0.4 へ)
    • listenv (0.9.0 から 0.9.1 へ)
    • lubridate (1.9.2 から 1.9.3 へ)
    • markdown (1.7 から 1.12 へ)
    • methods (4.3.1 から 4.3.2 へ)
    • openssl (2.0.6 から 2.1.1 へ)
    • parallel (4.3.1 から 4.3.2 へ)
    • pkgbuild (1.4.2 から 1.4.3 へ)
    • pkgload (1.3.2.1 から 1.3.4 へ)
    • plyr (1.8.8 から 1.8.9 へ)
    • prettyunits (1.1.1 から 1.2.0 へ)
    • pROC (1.18.4 から 1.18.5 へ)
    • processx (3.8.2 から 3.8.3 へ)
    • prodlim (2023.03.31 から 2023.08.28 へ)
    • progress (1.2.2 から 1.2.3 へ)
    • progressr (0.13.0 から 0.14.0 へ)
    • promises (1.2.0.1 から 1.2.1 へ)
    • ps (1.7.5 から 1.7.6 へ)
    • purrr (1.0.1 から 1.0.2 へ)
    • ragg (1.2.5 から 1.2.7 へ)
    • Rcpp (1.0.11 から 1.0.12 へ)
    • RcppEigen (0.3.3.9.3 から 0.3.3.9.4 へ)
    • readr (2.1.4 から 2.1.5 へ)
    • recipes (1.0.6 から 1.0.9 へ)
    • rematch (1.0.1 から 2.0.0 へ)
    • remotes (2.4.2 から 2.4.2.1 へ)
    • reprex (2.0.2 から 2.1.0 へ)
    • rlang (1.1.1 から 1.1.3 へ)
    • rmarkdown (2.23 から 2.25 へ)
    • RODBC (1.3-20 から 1.3-23 へ)
    • roxygen2 (7.2.3 から 7.3.1 へ)
    • rprojroot (2.0.3 から 2.0.4 へ)
    • Rserve (1.8-11 から 1.8-13 へ)
    • RSQLite (2.3.1 から 2.3.5 へ)
    • sass (0.4.6 から 0.4.8 へ)
    • scales (1.2.1 から 1.3.0 へ)
    • shiny (1.7.4.1 から 1.8.0 へ)
    • sparklyr (1.8.1 から 1.8.4 へ)
    • splines (4.3.1 から 4.3.2 へ)
    • stats (4.3.1 から 4.3.2 へ)
    • stats4 (4.3.1 から 4.3.2 へ)
    • stringi (1.7.12 から 1.8.3 へ)
    • stringr (1.5.0 から 1.5.1 へ)
    • systemfonts (1.0.4 から 1.0.5 へ)
    • tcltk (4.3.1 から 4.3.2 へ)
    • testthat (3.1.10 から 3.2.1 へ)
    • textshaping (0.3.6 から 0.3.7 へ)
    • tidyr (1.3.0 から 1.3.1 へ)
    • timechange (0.2.0 から 0.3.0 へ)
    • timeDate (4022.108 から 4032.109 へ)
    • tinytex (0.45 から 0.49 へ)
    • tools (4.3.1 から 4.3.2 へ)
    • utf8 (1.2.3 から 1.2.4 へ)
    • utils (4.3.1 から 4.3.2 へ)
    • uuid (1.1-0 から 1.2-0 へ)
    • vctrs (0.6.3 から 0.6.5 へ)
    • vroom (1.6.3 から 1.6.5 へ)
    • waldo (0.5.1 から 0.5.2 へ)
    • withr (2.5.0 から 3.0.0 へ)
    • xfun (0.39 から 0.41 へ)
    • xml2 (1.3.5 から 1.3.6 へ)
    • yaml (2.3.7 から 2.3.8 へ)
    • zip (2.3.0 から 2.3.1 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.15.1 から 2.16.0 へ)
    • com.google.flatbuffers.flatbuffers-java (1.12.0 から 23.5.26 へ)
    • com.typesafe.config (1.2.1 から 1.4.3 へ)
    • org.apache.ant.ant (1.9.16 から 1.10.11 へ)
    • org.apache.ant.ant-jsch (1.9.16 から 1.10.11 へ)
    • org.apache.ant.ant-launcher (1.9.16 から 1.10.11 へ)
    • org.apache.arrow.arrow-format (12.0.1 から 15.0.0 へ)
    • org.apache.arrow.arrow-memory-core (12.0.1 から 15.0.0 へ)
    • org.apache.arrow.arrow-memory-netty (12.0.1 から 15.0.0 へ)
    • org.apache.arrow.arrow-vector (12.0.1 から 15.0.0 へ)
    • org.apache.avro.avro (1.11.2 から 1.11.3 へ)
    • org.apache.avro.avro-ipc (1.11.2 から 1.11.3 へ)
    • org.apache.avro.avro-mapred (1.11.2 から 1.11.3 へ)
    • org.apache.logging.log4j.log4j-1.2-api (2.20.0 から 2.22.1 へ)
    • org.apache.logging.log4j.log4j-api (2.20.0 から 2.22.1 へ)
    • org.apache.logging.log4j.log4j-core (2.20.0 から 2.22.1 へ)
    • org.apache.logging.log4j.log4j-slf4j2-impl (2.20.0 から 2.22.1 へ)
    • org.postgresql.postgresql (42.6.0 から 42.6.1 へ)

Apache Spark

Databricks Runtime 15.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.3 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-45527] [DBRRM-805][ES-1073714] “[SC-151626][CORE] 分数を使用してリソース計算を実行する” を元に戻す
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] COLLATION_ENABLED 構成フラグを追加する
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] テーブルが V1 テーブル キャッシュにあるときに V2 テーブルの参照をスキップする
  • [SPARK-46808] [SC-154113][PYTHON] 自動並べ替え関数を使用して Python のエラー クラスを絞り込む
  • [SPARK-47251] [SC-158291][PYTHON] sql コマンドの args 引数から無効な型をブロックする
  • [SPARK-47251] [SC-158121][PYTHON] sql コマンドの args 引数から無効な型をブロックする
  • [SPARK-47108] [SC-157204][CORE] derby.connection.requireAuthentication を CLI で明示的に false するように設定する
  • [SPARK-45599] [SC-157537][CORE] OpenHashSet でオブジェクトの等価性を使用する
  • [SPARK-47099] [SC-157352][SQL] ordinalNumber を使用して、エラー クラス UNEXPECTED_INPUT_TYPE に paramIndex の値を一様に設定する
  • [SPARK-46558] [SC-151363][CONNECT] ヘルパー関数を抽出して、GrpcExceptionConverter の ErrorParams から MessageParameters を取得する重複コードを排除する
  • [SPARK-43117] [SC-156177][CONNECT] ProtoUtils.abbreviate が繰り返しフィールドをサポートするようにする
  • [SPARK-46342] [SC-150283][SQL] SQL で IllegalStateException を SparkException.internalError に置き換える
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD が getQueryOutputSchema のエラーを正しく処理しない
  • [SPARK-47189] [SC-157667][SQL] 列名とテキストを調整する
  • [SPARK-45789] [SC-157101][SQL] クラスタリング列の DESCRIBE TABLE をサポートする
  • [SPARK-43256] [SC-157699][SQL] _LEGACY_ERROR_TEMP_2021 エラー クラスを削除する
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics は入力の種類をチェックする
  • [SPARK-47183] [SC-157660][PYTHON] sameSemantics のエラー クラスを修正する
  • [SPARK-47179] [SC-157663][SQL] デバッグ性の向上のために、SparkThrowableSuite からのエラー メッセージを改善する
  • [SPARK-46965] [SC-155791][CORE] Utils.getLog で logType を使用する
  • [SPARK-46832] [SC-156774][SQL] 照合と照合順序式を導入する
  • [SPARK-46946] [SC-155721][SQL] DynamicPruning での複数のフィルター キーのブロードキャストをサポートする
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] バリアント型情報を PySpark に追加する
  • [SPARK-47101] [SC-157360][SQL] 最上位の列名でコンマを使用し、HiveExternalCatalog.verifyDataSchema で入れ子にされた型の定義を削除することを許可する
  • [SPARK-47173] [SC-157571][SS][UI] ストリーミング UI の説明の入力ミスを修正する
  • [SPARK-47113] [SC-157348][CORE] SPARK-35878 の S3A エンドポイント修正ロジックを元に戻す
  • [SPARK-47130] [SC-157462][CORE] listStatus を使用してドライバー ログのクリーニング時にブロックの場所情報をバイパスする
  • [SPARK-43259] [SC-157368][SQL] エラー クラス _LEGACY_ERROR_TEMP_2024 に名前を割り当てる
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec は安全でないプロジェクションを初期化する必要がある
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Scala との機能パリティのために spark.conf に getAll を追加する
  • [SPARK-46924] [SC-154905][CORE] Master/HistoryServer ログ UI の Load New ボタンを修正する
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] SparkSession ベースのプロファイリングの spark.profile.show/dump を導入する
  • [SPARK-46812] [SC-157075][SQL][PYTHON] mapInPandas / mapInArrow で ResourceProfile をサポートする
  • [SPARK-46833] [SC-155866][SQL] 照合順序 - サポートされている照合順序の比較規則とハッシュ規則を提供する CollationFactory を導入する
  • [SPARK-47057] [SC-157036][PYTHON] MyPy データ テストをもう一度有効にする
  • [SPARK-46934] [SC-157084][SQL] HMS の特殊文字を含む構造体型の読み取り/書き込みラウンドトリップ
  • [SPARK-46727] [SC-153472][SQL] エラー クラスの JDBC 言語のポート classifyException()
  • [SPARK-46964] [SC-155740][SQL] hllInvalidLgK クエリ実行エラーのシグネチャを 4 番目の引数として受け取るように変更する
  • [SPARK-46949] [SC-155719][SQL] ResolveDefaultColumns による CHAR/VARCHAR をサポートする
  • [SPARK-46972] [SC-155888][SQL] V2SessionCatalog.createTable での char/varchar の非対称置換を修正する
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] SparkSession の dumpPerfProfiles メソッドと dumpMemoryProfiles を実装する
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] グループ/共同グループ applyInPandas/applyInArrow での v2 プロファイリングをサポートする
  • [SPARK-47040] [SC-156773][CONNECT] Spark Connect サーバー スクリプトの待機を許可する
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] 集約 Pandas UDF での v2 プロファイリングをサポートする
  • [SPARK-47004] [SC-156499][CONNECT] Scala クライアント のテスト カバレッジを増やすために ClientStreamingQuerySuite にテストを追加
  • [SPARK-46994] [SC-156169][PYTHON] Python データ ソースのストリーミング書き込みをサポートする準備として、PythonWrite をリファクタリングする
  • [SPARK-46979] [SC-156587][SS] RocksDB ステート ストア プロバイダーの各 col ファミリに対して、キーと値のエンコーダーを個別に指定するためのサポートを追加する
  • [SPARK-46960] [SC-155940][SS] TransformWithState 演算子を使用した複数の入力ストリームのテスト
  • [SPARK-46966] [SC-156112][Python] 選択する入力テーブル列のサブセットを示す分析 ‘メソッド’ 用の UDTF API を追加する
  • [SPARK-46895] [SC-155950][CORE] タイマーを単一スレッドのスケジュールされた Executor に置き換える
  • [SPARK-46967] [SC-155815][CORE][UI] Executors UI で Dead Executor の Thread Dump と Heap Histogram を非表示にする
  • [SPARK-46512] [SC-155826][CORE] 並べ替えと結合の両方を使用するときにシャッフル読み取りを最適化します。
  • [SPARK-46958] [SC-155942][SQL] 不足しているタイムゾーンを追加して既定値を強制する
  • [SPARK-46754] [SC-153830][SQL][AVRO] avro テーブル定義の圧縮コード解決と書き込みオプションを修正する
  • [SPARK-46728] [SC-154207][PYTHON] Pandas のインストールを正しく確認する
  • [SPARK-43403] [SC-154216][UI] 新しい SparkUI を読み込む前に HistoryServer の古い SparkUI がデタッチされていることを確認する
  • [SPARK-39910] [SC-156203][SQL] DataSource ファイル パス globbing 中にパス修飾をファイル システムに委任する
  • [SPARK-47000] [SC-156123] "[SC-156123][CORE] getTotalMemorySize を使用する..." を元に戻す
  • [SPARK-46819] [SC-154560][CORE] エラー カテゴリと状態を JSON に移動する
  • [SPARK-46997] [SC-156175][CORE] spark.worker.cleanup.enabled を既定で有効にする
  • [SPARK-46865] [SC-156168][SS] TransformWithState 演算子のバッチ サポートを追加する
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate が不要な setField 操作を回避する
  • [SPARK-46970] [SC-155816][CORE] OpenHashSet#hasher を pattern matching に置き換える
  • [SPARK-46984] [SC-156024][PYTHON] pyspark.copy_func を削除する
  • [SPARK-47000] [SC-156123][CORE] WorkerArguments で getTotalMemorySize を使用する
  • [SPARK-46980] [SC-155914][SQL][MINOR] データフレームのエンドツーエンド テストで内部 API を使用しないようにする
  • [SPARK-46931] “[SC-155661][PS] {Frame, Series}.to_hdf を実装する” を元に戻す
  • [SPARK-46618] [SC-153828][SQL] DATA_SOURCE_NOT_FOUND エラーのエラー メッセージを改善する
  • [SPARK-46849] [SC-154586][SQL] CREATE TABLE 列の既定値でオプティマイザーを実行する
  • [SPARK-46911] [SC-155724][SS] StatefulProcessorHandleImpl に deleteIfExists 演算子を追加する
  • [SPARK-43273] [SQL] Parquet の lz4raw 圧縮コーデックをサポートする
  • [SPARK-47002] [SC-156223][Python] UDTF ‘分析’ メソッド ‘orderBy’ フィールドが誤って文字列の一覧を返した場合に、より適切なエラー メッセージを返す
  • [SPARK-46890] [SC-155802][SQL] 存在の既定値と列の排除で CSV 解析のバグを修正する
  • [SPARK-46977] [SC-155892][CORE] 1 つの NameNode からトークンを取得するための要求が失敗した場合、後続のトークン要求をスキップしてはならない
  • [SPARK-46608] [SC-151806][SQL] JdbcDialect.classifyException の下位互換性を復元する
  • [SPARK-46908] [SC-155702][SQL] WHERE 句で star 句をサポートする
  • [SPARK-46908] [SC-155702][SQL] WHERE 句で star 句をサポートする
  • [SPARK-46852] [SC-155665][SS] 明示的なキー エンコーダーの使用を削除し、transformWithState 演算子の演算子に暗黙的に渡す
  • [SPARK-46864] [SC-155669][SS] 任意の StateV2 を新しいエラー クラス フレームワークにオンボードする
  • [SPARK-45807] [SC-155706][SQL] replaceView(..) を呼び出した後の戻りビュー
  • [SPARK-46899] [SC-154651][CORE] spark.ui.killEnabled が false の場合に MasterWebUI から POST API を削除する
  • [SPARK-46868] [SC-154539][CORE] Spark Worker ログ UI をサポートする
  • [SPARK-46931] [SC-155661][PS] {Frame, Series}.to_hdf を実装する
  • [SPARK-46940] [SC-155667][CORE] isAbsoluteURI で未使用の updateSparkConfigFromProperties と o.a.s.u.Utils を削除する
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] ThreadUtils.shutdown を使用してスレッド プールを閉じる
  • [SPARK-46400] [SC-155658][CORE][SQL] ローカル Maven リポジトリに破損したファイルがある場合は、このキャッシュをスキップして、もう一度やり直してください
  • [SPARK-46932] [SC-155655] pyspark.pandas.test_* のインポートをクリーンアップする
  • [SPARK-46683] [SC-154120] テスト対象範囲を拡大するためにサブクエリの順列を生成するサブクエリ ジェネレーターを作成する
  • [SPARK-46914] [SC-154776][UI] 履歴ページの概要テーブルのアプリ名を短くする
  • [SPARK-46831] [SC-154699][SQL] 照合順序 - collationId フィールドを使用した StringType と PhysicalStringType を拡張
  • [SPARK-46816] [SC-154415][SS] 新しい任意の状態管理演算子、単一の valueState 型、複数の状態変数、および変更ログ チェックポイントあり/なし RocksDBStateStoreProvider の列ファミリの基になるサポートの基本サポートを追加する
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] メモリ プロファイリングの memory_profiler をインストールするように指示する警告を追加する
  • [SPARK-46927] [SC-154904][PYTHON] PyArrow なしで assertDataFrameEqual を正常に動作させる
  • [SPARK-46021] [SC-148987][CORE] ジョブ グループに属する今後のジョブの取り消しをサポートする
  • [SPARK-46747] [SC-154789][SQL] getTableExistsQuery で JDBC 言語のスキャンを回避する
  • [SPARK-46904] [SC-154704][UI] 履歴 UI の概要の表示の問題を修正する
  • [SPARK-46870] [SC-154541][CORE] Spark マスター ログ UI をサポートする
  • [SPARK-46893] [SC-154780][UI] UI の説明からインライン スクリプトを削除する
  • [SPARK-46910] [SC-154760][PYTHON] PySpark インストールでの JDK 要件を排除する
  • [SPARK-46907] [SC-154736][CORE] Spark History Server にドライバー ログの場所を表示する
  • [SPARK-46902] [SC-154661][UI] エクスポートされていない setAppLimit を使用するための Spark History Server UI を修正する
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] SparkSession ベースのメモリ プロファイラーの基本的なサポート
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] SimpleDateFormatを DateTimeFormatter に置き換える
  • [SPARK-46875] [SC-154627][SQL] mode が null の場合、 NullPointException がスロー not 必要があります
  • [SPARK-46872] [SC-154543][CORE] log-view.js をモジュール以外に回復する
  • [SPARK-46883] [SC-154629][CORE] /json/clusterutilization API をサポートする
  • [SPARK-46886] [SC-154630][CORE] spark.ui.prometheus.enabled を既定で有効にする
  • [SPARK-46873] [SC-154638][SS] 同じ Spark セッションに対して新しい StreamingQueryManager を再作成しないでください
  • [SPARK-46829] [SC-154419][CORE] SparkEnv から createExecutorEnv を削除する
  • [SPARK-46827] [SC-154280][CORE] シンボリック リンクをサポートする RocksDBPersistenceEngine を作成する
  • [SPARK-46903] [SC-154662][CORE] Spark History Server ログ UI をサポートする
  • [SPARK-46874] [SC-154646][PYTHON] pyspark.pandas 依存関係を assertDataFrameEqual から削除する
  • [SPARK-46889] [SC-154639][CORE] spark.master.ui.decommission.allow.mode 設定を検証する
  • [SPARK-46850] [SC-154443][SQL] _LEGACY_ERROR_TEMP_2102 から UNSUPPORTED_DATATYPE に変換する
  • [SPARK-46704] [SC-153323][CORE][UI] Running Drivers テーブルを Duration 列で正しく並べ替えるために MasterPage を修正する
  • [SPARK-46796] [SC-154279][SS] RocksDB バージョンの読み込みで正しいリモート ファイル (metadata.zipで説明) が使用されていることを確認する
  • [SPARK-46888] [SC-154636][CORE] 使用停止が無効になっている場合に /workers/kill/ 要求を拒否する Master を修正する
  • [SPARK-46818] [SC-154422][SQL] 折りたたみ不可能な入力による範囲のエラー メッセージを改善する
  • [SPARK-46898] [SC-154649][CONNECT] Planner での protobuf 関数変換を簡略化する
  • [SPARK-46828] [SC-154413][SQL] Spark SQL シェルのリモート モードの無効なアサーションを削除する
  • [SPARK-46733] [SC-154274][CORE] 終了操作による BlockManager の簡略化は割り込みスレッドのみに依存します。
  • [SPARK-46777] [SC-154016][SS] バッチ バージョンと同等の StreamingDataSourceV2Relation 触媒構造をリファクタリングする
  • [SPARK-46515] [SC-151716] MONTHNAME 関数を追加する
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion が NULL 値の許容を確認する必要がある
  • [SPARK-46787] [SC-154404][CONNECT] 関数 bloomFilter が無効な入力に対して AnalysisException をスローする必要がある
  • [SPARK-46779] [SC-154045][SQL] 同じキャッシュされたプランの InMemoryRelation インスタンスは、意味的に同等である必要がある
  • [SPARK-45827] [SC-153973] バリアント列でのパーティション分割を禁止する
  • [SPARK-46797] [SC-154085][CORE] 名前を spark.deploy.spreadOut から spark.deploy.spreadOutApps に変更する
  • [SPARK-46094] [SC-153421] Executor JVM プロファイルをサポートする
  • [SPARK-46746] [SC-153557][SQL][AVRO] コーデック拡張子を avro データソース ファイルにアタッチする
  • [SPARK-46698] [SC-153288][CORE] ConsoleProgressBar のタイマーを単一スレッドのスケジュールされた Executor に置き換えます。
  • [SPARK-46629] [SC-153835] NULL 値の許容とコメントを受け取らない STRUCT 型 DDL を修正する
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] DataFrame API コードのクリーンアップ
  • [SPARK-46769] [SC-153979][SQL] タイムスタンプ関連のスキーマ推論を調整する
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] shuffle が seed のデータ型を指定するようにする
  • [SPARK-46579] [SC-151481][SQL] エラーとログの JDBC URL を編集する
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] SparkSession ベースの Python UDF プロファイラーの基本的なサポート
  • [SPARK-46748] "[SC-153800][CORE] *slav**.sh スクリプトの削除..." を元に戻す
  • [SPARK-46707] [SC-153833][SQL] 述語のプッシュダウンを改善するために式にスロー可能なフィールドを追加する
  • [SPARK-46519] [SC-151278][SQL] error-classes.json ファイルから未使用のエラー クラスをクリアする
  • [SPARK-46677] [SC-153426][SQL][CONNECT] dataframe["*"] 解像度を修正する
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] 完全なテスト カバレッジを持つ SparkSession で一致するマイナー動作を照合する
  • [SPARK-46748] [SC-153800][CORE] *slav**.sh スクリプトを削除する
  • [SPARK-46663] [SC-153490][PYTHON] 反復子を持つ pandas UDF のメモリ プロファイラーを無効にする
  • [SPARK-46410] [SC-150776][SQL] エラー クラス/サブクラスを JdbcUtils.classifyException に割り当てる
  • [SPARK-46277] [SC-150126][PYTHON] 設定されている構成でスタートアップ URL を検証する
  • [SPARK-46612] [SC-153536][SQL] jdbc ドライバーから取得した配列型文字列を変換しない
  • [SPARK-46254] [SC-149788][PYTHON] 古い Python 3.8/3.7 バージョン チェックを削除する
  • [SPARK-46490] [SC-151335][SQL] SparkThrowable サブクラスでエラー クラスが必要
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減する
  • [SPARK-46541] [SC-153109][SQL][CONNECT] 自己結合のあいまいな列参照を修正する
  • [SPARK-46381] [SC-150495][SQL] AnalysisException のサブクラスをエラー クラスに移行する
  • [SPARK-46351] [SC-150335][SQL] AnalysisException でエラー クラスを要求する
  • [SPARK-46220] [SC-149689][SQL] decode() の文字セットを制限する
  • [SPARK-46369] [SC-150340][CORE] MasterPage の RELAUNCHING ドライバーから kill リンクを削除する
  • [SPARK-46052] [SC-153284][CORE] TaskScheduler.killAllTaskAttempts 関数を削除する
  • [SPARK-46536] [SC-153164][SQL] GROUP BY calendar_interval_type をサポートする
  • [SPARK-46675] [SC-153209][SQL] ParquetReadSupport で未使用の inferTimestampNTZ を削除する
  • [SPARK-46717] [SC-153423][CORE] 終了操作による ReloadingX509TrustManager の簡略化は割り込みスレッドのみに依存します。
  • [SPARK-46722] [SC-153438][CONNECT] Spark Connect (Scala/PySpark) での StreamingQueryListener の下位互換性チェックに関するテストを追加する
  • [SPARK-46187] [SC-149580][SQL] StringDecodeの codegen と非 codegen の実装を配置する
  • [SPARK-46258] [SC-149799][CORE] RocksDBPersistenceEngine を追加する
  • [SPARK-46216] [SC-149676][CORE] 圧縮をサポートするために FileSystemPersistenceEngine を改善する
  • [SPARK-46189] [SC-149567][PS][SQL] さまざまな Pandas 集計関数で同じ型の比較と算術演算を実行して、解釈モード エラーを回避する
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Option.isDefined を Option.isEmpty に置き換えてスタック深度を減らす
  • [SPARK-46700] [SC-153329][CORE] シャッフル ディスク スピル バイト メトリックの最後のスピルをカウントする
  • [SPARK-45642] [SC-150286][CORE][SQL] FileSystem.isFile & FileSystem.isDirectory is deprecated を修正する
  • [SPARK-46640] [SC-153272][SQL] サブクエリ属性を除外して RemoveRedundantAlias を修正する
  • [SPARK-46681] [SC-153287][CORE] MAX_EXECUTOR_FAILURES の構成時に defaultMaxNumExecutorFailures を計算しないように ExecutorFailureTracker#maxNumExecutorFailures をリファクタリングする
  • [SPARK-46695] [SC-153289][SQL][HIVE] 常に hive.execution.engine を mr に設定する
  • [SPARK-46325] [SC-150228][CONNECT] ResponseValidator#wrapIterator で WrappedCloseableIterator を構築するときに不要なオーバーライド関数を削除する
  • [SPARK-46232] [SC-149699][PYTHON] 残りすべての ValueError を PySpark エラー フレームワークに移行します。
  • [SPARK-46547] [SC-153174][SS] メンテナンス タスクで致命的でない例外を受け入れ、メンテナンス スレッドとストリーミング集計演算子の間のデッドロックを回避する
  • [SPARK-46169] [SC-149373][PS] DataFrame API に不足しているパラメーターに適切な JIRA 番号を割り当てます。
  • [SPARK-45857] [SC-148096][SQL] AnalysisException のサブクラスのエラー クラスを適用する

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

メンテナンスの更新

Databricks Runtime 15.1 のメンテナンス更新プログラムを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ バージョン
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
クリックし 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 パッケージング 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob (blob) 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
キャレット 6.0-94 cellranger 1.1.0 chron 2.3-61
クラス 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 資格情報 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
ダイアグラム 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ライフサイクル 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 郵便番号 2.3.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1