Databricks Runtime 13.0 (サポート対象外)

  • [アーティクル]

次のリリース ノートには、Apache Spark 3.4.0 で稼働する Databricks Runtime 13.0 に関する情報が記載されています。

Databricks は、2023 年 4 月にこれらのイメージをリリースしました。

新機能と機能強化

H3 式で線形の地理的な場所がサポートされるようになりました

h3_coverash3 と h3_coverash3string の関数で、線形 (linestring と multilinestring) の地理的な場所がサポートされるようになりました。 これらの関数は、指定された解像度で H3 セルの最小カバー セットを生成します。 h3_coverash3 および h3_coverash3string を参照してください。

Ganglia がクラスター メトリックに置き換えられる

Databricks Runtime バージョン 13 以降で、Ganglia メトリックは Azure Databricks クラスター メトリックに置き換えられます。 Databricks Runtime バージョン 12 以下では、Ganglia メトリックを引き続き使用できます。 Ganglia メトリックに依存するワークフローがあり、クラスター メトリックではこれを満足できない場合は、Azure Databricks のアカウント チームにお問い合わせください。 「コンピューティング メトリックの表示」を参照してください。

Spark 3.4.0 のリリース

Apache Spark 3.4.0 が一般提供されるようになりました。 「Spark リリース 3.4.0」を参照してください。

クエリの計画と実行の間にファイルが変更された場合、Photon がエラーを返す

クエリの計画と実行の間にファイルが変更された場合、Photon クエリがエラーを返すようになりました。 この変更の前には、クエリの計画と実行の間で変更時間が変化してもPhoton がファイルを読み取るため、予期しない結果につながることがありました。

予測 I/O の新機能

Photon で、{ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } を使用したスライディング フレームが ROWS および RANGE モードの両方でサポートされるようになりました。

予測 I/O 機能の拡張サポート

Photon は、スキーマにスカラー列のみが含まれている場合の、CSV、AVRO、DataFrame キャッシュ データ ソースのサポートを拡張しました。 マップ、構造体、配列など、入れ子にされた型のサポートも拡張されています。

Databricks コネクタを使用して別の Databricks ワークスペースに接続する

Azure Databricks コネクタを使用すると、別のワークスペースで構成されたコンピューティング リソースに接続し、現在の Azure Databricks ワークスペースに結果を返すことができます。 Azure Databricks JDBC ドライバーが Databricks Runtime に含まれるようになりました。 「Databricks コネクタを使用して別の Databricks ワークスペースに接続する」を参照してください。

Unity Catalog 上の共有クラスターを使用した、構造化ストリーミングのための追加の Kafka オプション

共有アクセス クラスターで構造化ストリーミングを使用する場合に、設定 kakfa.ssl.truststore.location と kafak.ssl.keystore.location を使用して、Unity Catalog によって管理される外部の場所に Kafka 証明書を格納できるようになりました。 DBFS ルート内の場所は使用できません。

構造化ストリーミングを使用して Delta テーブルの変更をスキップする

UPDATE、MERGE、DELETE の操作に関して、Delta テーブルに対するデータ変更コミットを skipChangeCommits を使用して無視できるようになりました。 これは、現在は非推奨の ignoreChanges を置き換えるものです。 「更新と削除を無視する」を参照してください。

Delta テーブルの CREATE TABLE LIKE 機能

Delta テーブルの使用時に CREATE TABLE LIKE がサポートされるようになりました。

ファイル ブロックの開始と長さを表す新しいメタデータ列フィールド

_metadata 列で、入力ファイルに関するメタデータ情報 (file_block_start および file_block_length) を取得できるようになりました。 詳細については、「ファイル メタデータ列」を参照してください。

新しい H3 地理空間関数

Photon が有効になっている場合、新しい h3_coverash3 および h3_coverash3string 式を地理空間処理に使用できます。 「H3 地理空間の関数」を参照してください。

新しい SQL 組み込み関数

以下の関数が追加されました。

Python ノートブックの %sql

Python ノートブックの空ではないすべての %sql 結果に、_sqldf または IPython の出力キャッシュ システムを使用してアクセスできるようになりました。 これにより、Python での DataFrame の結果の使用が簡略化されます。 これは、以前の DBR バージョンからの動作変更であり、これまでは _sqldf が常に再割り当てされていたわけではありませんでした。

セルが並列 SQL セル実行を使用して実行された場合、_sqldf は %sql セルの結果に再割り当てされません。

%pip が Python を自動的に再起動しない

Python ノートブック内で virtualEnv を変更する %pip コマンドを実行した後に、Databricks が Python プロセスを自動的に再起動しなくなりました。 Python プロセスを再起動するには、dbutils.library.restartPython() を呼び出します。 この変更で、Databricks 上の %pip コマンドが Jupyter Notebook と同様に動作するようになり、また !pip および %sh pip コマンドとの一貫性が確保されるようになりました。 Databricks は、!pip や %sh pip ではなく %pip を推奨しています。

クラスター スコープの Python ライブラリが、非ルート ユーザーを使用してインストールされる

ライブラリが、ライブラリのインストールを担当する非ルート ユーザーを使用してインストールされるようになりました。 init スクリプトで pip インストールの動作を構成する場合は、[グローバル レベル ファイル https://pip.pypa.io/en/stable/topics/configuration/#configuration-files) を使用します。

バグ修正

  • %sh コマンドで、次の修正が行われました。
    • UTF-8 以外の文字を含む出力がサポートされるようになりました。
    • コマンドが取り消されると、サブプロセスが中断されるようになりました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • asttokens (2.0.5 から 2.2.1 へ)
    • black (22.3.0 から 22.6.0 へ)
    • boto3 (1.21.32 から 1.24.28 へ)
    • botocore (1.24.32 から 1.27.28 へ)
    • certifi (2021.10.8 から 2022.9.14 へ)
    • cffi (1.15.0 から 1.15.1 へ)
    • cryptography (3.4.8 から 37.0.1 へ)
    • Cython (0.29.28 から 0.29.32 へ)
    • dbus-python (1.2.16 から 1.2.18 へ)
    • docstring-to-markdown (0.11 から 0.12 へ)
    • executing (0.8.3 から 1.2.0 へ)
    • facets-overview (1.0.0 から 1.0.2 へ)
    • fastjsonschema (2.16.2 から 2.16.3 へ)
    • filelock (3.9.0 から 3.10.7 へ)
    • ipykernel (6.15.3 から 6.17.1 へ)
    • ipython (8.5.0 から 8.10.0 へ)
    • joblib (1.1.1 から 1.2.0 へ)
    • jsonschema (4.4.0 から 4.16.0 へ)
    • jupyter-client (6.1.12 から 7.3.4 へ)
    • kiwisolver (1.3.2 から 1.4.2 へ)
    • matplotlib (3.5.1 から 3.5.2 へ)
    • matplotlib-inline (0.1.2 から 0.1.6 へ)
    • nbformat (5.3.0 から 5.5.0 へ)
    • notebook (6.4.8 から 6.4.12 へ)
    • pandas (1.4.2 から 1.4.4 へ)
    • Pillow (9.0.1 から 9.2.0 へ)
    • pip (21.2.4 から 22.2.2 へ)
    • platformdirs (2.6.2 から 2.5.2 へ)
    • plotly (5.6.0 から 5.9.0 へ)
    • prometheus-client (0.13.1 から 0.14.1 へ)
    • prompt-toolkit (3.0.20 から 3.0.36 へ)
    • psutil (5.8.0 から 5.9.0 へ)
    • pyflakes (2.5.0 から 3.0.1 へ)
    • PyGObject (3.36.0 から 3.42.1 へ)
    • pyparsing (3.0.4 から 3.0.9 へ)
    • pyright (1.1.283 から 1.1.294 へ)
    • python-lsp-server (1.6.0 から 1.7.1 へ)
    • pytz (2021.3 から 2022.1 へ)
    • pyzmq (22.3.0 から 23.2.0 へ)
    • requests (2.27.1 から 2.28.1 へ)
    • rope (0.22.0 から 1.7.0 へ)
    • s3transfer (0.5.0 から 0.6.0 へ)
    • scikit-learn (1.0.2 から 1.1.1 へ)
    • scipy (1.7.3 から 1.9.1 へ)
    • setuptools (61.2.0 から 63.4.1 へ)
    • ssh-import-id (5.10 から 5.11 へ)
    • stack-data (0.2.0 から 0.6.2 へ)
    • testpath (0.5.0 から 0.6.0 へ)
    • tomli (1.2.2 から 2.0.1 へ)
    • ujson (5.1.0 から 5.4.0 へ)
    • urllib3 (1.26.9 から 1.26.11 へ)
    • virtualenv (20.8.0 から 20.16.3 へ)
    • whatthepatch (1.0.4 から 1.0.2 へ)
    • wheel (0.37.0 から 0.37.1 へ)
  • アップグレードされた R ライブラリ:
    • arrow (10.0.0 から 10.0.1 へ)
    • bit (4.0.4 から 4.0.5 へ)
    • broom (1.0.1 から 1.0.3 へ)
    • bslib (0.4.1 から 0.4.2 へ)
    • chron (2.3-58 から 2.3-59 へ)
    • cli (3.4.1 から 3.6.0 へ)
    • colorspace (2.0-3 から 2.1-0 へ)
    • curl (4.3.3 から 5.0.0 へ)
    • data.table (1.14.4 から 1.14.6 へ)
    • dbplyr (2.2.1 から 2.3.0 へ)
    • digest (0.6.30 から 0.6.31 へ)
    • dplyr (1.0.10 から 1.1.0 へ)
    • e1071 (1.7-12 から 1.7-13 へ)
    • evaluate (0.18 から 0.20 へ)
    • fansi (1.0.3 から 1.0.4 へ)
    • fontawesome (0.4.0 から 0.5.0 へ)
    • forcats (0.5.2 から 1.0.0 へ)
    • fs (1.5.2 から 1.6.1 へ)
    • future (1.29.0 から 1.31.0 へ)
    • gargle (1.2.1 から 1.3.0 へ)
    • gert (1.9.1 から 1.9.2 へ)
    • glmnet (4.1-4 から 4.1-6 へ)
    • globals (0.16.1 から 0.16.2 へ)
    • gower (1.0.0 から 1.0.1 へ)
    • highr (0.9 から 0.10 へ)
    • htmltools (0.5.3 から 0.5.4 へ)
    • htmlwidgets (1.5.4 から 1.6.1 へ)
    • httpuv (1.6.6 から 1.6.8 へ)
    • isoband (0.2.6 から 0.2.7 へ)
    • jsonlite (1.8.3 から 1.8.4 へ)
    • knitr (1.40 から 1.42 へ)
    • lava (1.7.0 から 1.7.1 へ)
    • listenv (0.8.0 から 0.9.0 へ)
    • lubridate (1.9.0 から 1.9.1 へ)
    • markdown (1.3 から 1.5 へ)
    • modelr (0.1.9 から 0.1.10 へ)
    • openssl (2.0.4 から 2.0.5 へ)
    • parallelly (1.32.1 から 1.34.0 へ)
    • pkgbuild (1.3.1 から 1.4.0 へ)
    • pkgdown (2.0.6 から 2.0.7 へ)
    • pkgload (1.3.1 から 1.3.2 へ)
    • plyr (1.8.7 から 1.8.8 へ)
    • progressr (0.11.0 から 0.13.0 へ)
    • purrr (0.3.5 から 1.0.1 へ)
    • ragg (1.2.4 から 1.2.5 へ)
    • Rcpp (1.0.9 から 1.0.10 へ)
    • readxl (1.4.1 から 1.4.2 へ)
    • recipes (1.0.3 から 1.0.4 へ)
    • rmarkdown (2.18 から 2.20 へ)
    • RODBC (1.3-19 から 1.3-20 へ)
    • roxygen2 (7.2.1 から 7.2.3 へ)
    • RSQLite (2.2.18 から 2.2.20 へ)
    • sass (0.4.2 から 0.4.5 へ)
    • shiny (1.7.3 から 1.7.4 へ)
    • sourcetools (0.1.7 から 0.1.7-1 へ)
    • sparklyr (1.7.8 から 1.7.9 へ)
    • SparkR (3.3.2 から 3.4.0 へ)
    • spatial (7.3-11 から 7.3-15 へ)
    • stringi (1.7.8 から 1.7.12 へ)
    • stringr (1.4.1 から 1.5.0 へ)
    • survival (3.4-0 から 3.5-3 へ)
    • testthat (3.1.5 から 3.1.6 へ)
    • tidyr (1.2.1 から 1.3.0 へ)
    • timechange (0.1.1 から 0.2.0 へ)
    • timeDate (4021.106 から 4022.108 へ)
    • tinytex (0.42 から 0.44 へ)
    • utf8 (1.2.2 から 1.2.3 へ)
    • vctrs (0.5.0 から 0.5.2 へ)
    • vroom (1.6.0 から 1.6.1 へ)
    • whisker (0.4 から 0.4.1 へ)
    • xfun (0.34 から 0.37 へ)
    • yaml (2.3.6 から 2.3.7 へ)
  • アップグレードされた Java ライブラリ:
    • com.amazonaws.aws-java-sdk-autoscaling (1.12.189から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudformation (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudfront (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudhsm (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudsearch (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudtrail (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudwatch (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-codedeploy (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cognitoidentity (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-cognitosync (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-config (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-core (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-datapipeline (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-directconnect (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-directory (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-dynamodb (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-ec2 (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-ecs (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-efs (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-elasticache (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-elasticbeanstalk (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-elasticloadbalancing (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-elastictranscoder (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-emr (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-glacier (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-glue (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-iam (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-importexport (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-kinesis (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-kms (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-lambda (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-logs (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-machinelearning (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-opsworks (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-rds (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-redshift (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-route53 (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-s3 (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-ses (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-simpledb (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-simpleworkflow (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-sns (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-sqs (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-ssm from (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-storagegateway (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-sts (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-support (1.12.189 から 1.12.390 へ)
    • com.amazonaws.aws-java-sdk-workspaces (1.12.189 から 1.12.390 へ)
    • com.amazonaws.jmespath-java (1.12.189 から 1.12.390 へ)
    • com.fasterxml.jackson.core.jackson-annotations (2.13.4 から 2.14.2 へ)
    • com.fasterxml.jackson.core.jackson-core (2.13.4 から 2.14.2 へ)
    • com.fasterxml.jackson.core.jackson-databind (2.13.4.2 から 2.14.2 へ)
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.13.4 から 2.14.2 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.13.4 から 2.14.2 へ)
    • com.fasterxml.jackson.module.jackson-module-paranamer (2.13.4 から 2.14.2 へ)
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.13.4 から 2.14.2 へ)
    • com.github.luben.zstd-jni (1.5.2-1 から 1.5.2-5 へ)
    • com.google.code.gson.gson (2.8.6 から 2.8.9 へ)
    • com.google.crypto.tink.tink (1.6.1 から 1.7.0 へ)
    • com.h2database.h2 (2.0.204 から 2.1.214 へ)
    • com.jcraft.jsch (0.1.50 から 0.1.55 へ)
    • com.ning.compress-lzf (1.1 から 1.1.2 へ)
    • commons-fileupload.commons-fileupload (1.3.3 から 1.5 へ)
    • dev.ludovic.netlib.arpack (2.2.1 から 3.0.3 へ)
    • dev.ludovic.netlib.blas (2.2.1 から 3.0.3 へ)
    • dev.ludovic.netlib.lapack (2.2.1 から 3.0.3 へ)
    • io.dropwizard.metrics.metrics-core (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-graphite (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-healthchecks (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-jetty9 (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-jmx (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-json (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-jvm (4.1.1 から 4.2.10 へ)
    • io.dropwizard.metrics.metrics-servlets (4.1.1 から 4.2.10 へ)
    • io.netty.netty-all (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-buffer (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-codec (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-common (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-handler (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-resolver (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-transport (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-transport-classes-epoll (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-transport-classes-kqueue (4.1.74.Final から 4.1.87.Final へ)
    • io.netty.netty-transport-native-unix-common (4.1.74.Final から 4.1.87.Final へ)
    • joda-time.joda-time (2.10.13 から 2.12.1 へ)
    • net.razorvine.pickle (1.2 から 1.3 へ)
    • org.antlr.antlr4-runtime (4.8 から 4.9.3 へ)
    • org.apache.ant.ant (1.9.2 から 1.9.16 へ)
    • org.apache.ant.ant-jsch (1.9.2 から 1.9.16 へ)
    • org.apache.ant.ant-launcher (1.9.2 から 1.9.16 へ)
    • org.apache.arrow.arrow-format (7.0.0 から 11.0.0 へ)
    • org.apache.arrow.arrow-memory-core (7.0.0 から 11.0.0 へ)
    • org.apache.arrow.arrow-memory-netty (7.0.0 から 11.0.0 へ)
    • org.apache.arrow.arrow-vector (7.0.0 から 11.0.0 へ)
    • org.apache.avro.avro (1.11.0 から 1.11.1 へ)
    • org.apache.avro.avro-ipc (1.11.0 から 1.11.1 へ)
    • org.apache.avro.avro-mapred (1.11.0 から 1.11.1 へ)
    • org.apache.httpcomponents.httpclient (4.5.13 から 4.5.14 へ)
    • org.apache.httpcomponents.httpcore (4.4.14 から 4.4.16 へ)
    • org.apache.ivy.ivy (2.5.0 から 2.5.1 へ)
    • org.apache.logging.log4j.log4j-1.2-api (2.18.0 から 2.19.0 へ)
    • org.apache.logging.log4j.log4j-api (2.18.0 から 2.19.0 へ)
    • org.apache.logging.log4j.log4j-core (2.18.0 から 2.19.0 へ)
    • org.apache.orc.orc-core (1.7.6 から 1.8.2-shaded-protobuf へ)
    • org.apache.orc.orc-mapreduce (1.7.6 から 1.8.2-shaded-protobuf へ)
    • org.apache.orc.orc-shims (1.7.6 から 1.8.2 へ)
    • org.apache.xbean.xbean-asm9-shaded (4.20 から 4.22 へ)
    • org.apache.zookeeper.zookeeper (3.6.2 から 3.6.3 へ)
    • org.apache.zookeeper.zookeeper-jute (3.6.2 から 3.6.3 へ)
    • org.eclipse.jetty.jetty-client (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-continuation (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-http (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-io (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-jndi (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-plus (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-proxy (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-security (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-server (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-servlet (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-servlets (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-util (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-util-ajax (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-webapp (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.jetty-xml (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.websocket.websocket-api (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.websocket.websocket-client (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.websocket.websocket-common (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.websocket.websocket-server (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.eclipse.jetty.websocket.websocket-servlet (9.4.46.v20220331 から 9.4.50.v20221201 へ)
    • org.hibernate.validator.hibernate-validator (6.1.0.Final から 6.1.7.Final へ)
    • org.mlflow.mlflow-spark (2.1.1 から 2.2.0 へ)
    • org.postgresql.postgresql (42.3.3 から 42.3.8 へ)
    • org.roaringbitmap.RoaringBitmap (0.9.25 から 0.9.39 へ)
    • org.roaringbitmap.shims (0.9.25 から 0.9.39 へ)
    • org.rocksdb.rocksdbjni (6.28.2 から 7.8.3 へ)
    • org.scala-lang.scala-compiler_2.12 (2.12.14 から 2.12.15 へ)
    • org.scala-lang.scala-library_2.12 (2.12.14 から 2.12.15 へ)
    • org.scala-lang.scala-reflect_2.12 (2.12.14 から 2.12.15 へ)
    • org.scalanlp.breeze-macros_2.12 (1.2 から 2.1.0 へ)
    • org.scalanlp.breeze_2.12 (1.2 から 2.1.0 へ)
    • org.slf4j.jcl-over-slf4j (1.7.36 から 2.0.6 へ)
    • org.slf4j.jul-to-slf4j (1.7.36 から 2.0.6 へ)
    • org.slf4j.slf4j-api (1.7.36 から 2.0.6 へ)
    • org.threeten.threeten-extra (1.5.0 から 1.7.1 へ)
    • org.wildfly.openssl.wildfly-openssl (1.0.7.Final から 1.1.3.Final へ)
    • org.yaml.snakeyaml (1.24 から 1.33 へ)

Apache Spark

Databricks Runtime 13.0 には、Apache Spark 3.4.0 が含まれています。

Spark SQL

機能

  • テーブル内の列に対して DEFAULT 値のサポートを実装 (SPARK-38334)
  • Dataset.as(StructType) の追加 (SPARK-39625)
  • パラメーター化された SQL のサポート (SPARK-41271、SPARK-42702)
  • unpivot / melt の追加 (SPARK-38864、SPARK-39876)
  • “横列の別名の参照” のサポート (SPARK-27561)
  • 結果オフセット句のサポート (SPARK-28330、SPARK-39159)
  • タイム ゾーン データ型のない timestamp のサポート (SPARK-35662)
  • タイム トラベルでのスカラー サブクエリのサポート (SPARK-39306)
  • Catalog API を 3 層名前空間と互換性のあるものにする (SPARK-39235)
  • Dataframe オプションを使った TimeTravel で秒単位の timestamp をサポート (SPARK-39633)
  • SparkSession.config(Map) の追加 (SPARK-40163)
  • セッション カタログの既定のデータベースの変更をサポート (SPARK-35242)
  • Spark の Protobuf サポート - from_protobuf および to_protobuf (SPARK-40654)
  • WHEN NOT MATCHED BY SOURCE 句を MERGE INTO に追加 (SPARK-40921)
  • CREATE TABLE 列オプションの順序制約を緩和 (SPARK-40944)
  • Dataframe の上書きコマンドと同等の SQL のコマンド (SPARK-40956)
  • 外部参照をホストするための子出力を必要としない生成をサポート (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • flatMapSortedGroups および cogroupSorted の追加 (SPARK-38591)
  • 相関関係のある非等値述語でのサブクエリのサポート (SPARK-36114)
  • UNION/INTERSECT/EXCEPT による相関関係のあるサブクエリのサポート (SPARK-36124)

ANSI コンプライアンス

  • ANSI SQL モード: マップ列への無効なアクセスで常に null を返す (SPARK-40066)
  • 二重引用符で囲まれた識別子のサポート (SPARK-40585)
  • ANSI SQL モード: Round/Bround が、整数オーバーフローでエラーを返す必要がある (SPARK-42045)
  • ANSI 間隔への整数のキャストをサポート (SPARK-40008)
  • ANSI 間隔の 10 進数へのキャストをサポート (SPARK-40014)
  • パーセンタイル関数からより広い ANSI 間隔型を返す (SPARK-40151)
  • ANSI 間隔の 10 進数へのキャストをサポート (SPARK-39470)
  • ANSI モードでの間隔の整数へのキャストをサポート (SPARK-39451)
  • エラー クラスに対する SQLSTATE の使用を強化 (SPARK-41994)

関数

  • FROM 句でテーブル値ジェネレーター関数をサポート (SPARK-41594)
  • ANSI 集計関数: REGR_SXY のサポート (SPARK-37681)
  • ANSI 集計関数: REGR_R2 のサポート (SPARK-37641)
  • ANSI 集計関数: REGR_SXX のサポート (SPARK-37672)
  • ANSI 集計関数: REGR_SYY のサポート (SPARK-37702)
  • ANSI 集計関数: REGR_SLOPE のサポート (SPARK-39230)
  • ANSI 集計関数: REGR_INTERCEPT のサポート (SPARK-37623)
  • ウィンドウ関数としての ANSI 集計関数 PERCENTILE_CONT のサポート (SPARK-38219)
  • ANSI 集計関数: PERCENTILE_DISC のサポート (SPARK-37691)
  • SPLIT_PART 関数のサポート (SPARK-38063)
  • TRY_AVG 関数のサポート (SPARK-38589)
  • TRY_TO_BINARY 関数のサポート (SPARK-38590)
  • 新しい仕様に従った TO_NUMBER および TRY_TO_NUMBER SQL 関数のサポート (SPARK-38796)
  • ANSI の一般的な値の指定と関数のサポート - USER (SPARK-39138)
  • 10 進数の値を文字列として書式設定するための TO_CHAR および TRY_TO_CHAR 関数のサポート (SPARK-28516)
  • ANY_VALUE 集計関数のサポート (SPARK-39213)
  • EQUAL_NUL 関数のサポート (SPARK-39305)
  • 集計関数 MEDIAN のサポート (SPARK-39320)
  • REGEXP_COUNT 関数のサポート (SPARK-39618)
  • REGEXP_INSTR 関数のサポート (SPARK-39744)
  • REGEXP_SUBSTR 関数のサポート (SPARK-39695)
  • UNPIVOT 関数のサポート (SPARK-39876)
  • TRY_TO_TIMESTAMP 関数のサポート (SPARK-39795)
  • URL エンコード/デコードを組み込み関数としてサポートし、URL 関連の関数を整理 (SPARK-39741)
  • 集計関数 MODE のサポート (SPARK-39808)
  • GET 関数のサポート (SPARK-40109)
  • 関数の別名の追加: LEN、DATEPART、DATEADD、DATE_DIFF、CURDATE (SPARK-40352)
  • TO_BINARY 関数の改善 (SPARK-40112)
  • CURRENT_SCHEMA のサポート (SPARK-41323)
  • 組み込み関数 MASK のデータ マスキングをサポート (SPARK-40687)
  • 高次関数: ARRAY_COMPACT のサポート (SPARK-41235)
  • ARRAY_APPEND 関数のサポート (SPARK-41232)
  • ARRAY_INSERT 関数のサポート (SPARK-41234)
  • LUHN_CHECK 関数のサポート (SPARK-42191)
  • ARRAY_SORT(column, comparator) のサポート (SPARK-39925)

データ ソース

  • DS v2 での列統計のサポート (SPARK-41378)
  • DS v2 での Storage Partitioned 結合 (SPJ) (SPARK-37375)
  • DS v2 での行レベルの操作 (SPARK-35801)
  • DS v2 スキャンのインターフェイスに SupportsReportOrdering ミックスを追加 (SPARK-38647)
  • CSV スキーマ推論で DATE 型を推論 (SPARK-39469)
  • DS v2 カスタム メトリック API でドライバー メトリックをサポート (SPARK-39635)
  • 配布および順序付けでは、DS v2 関数が書き込みでサポートされる (SPARK-39607)
  • StringEndsWith/Contains で Parquet へのプッシュダウンがサポートされ、辞書フィルターを利用できるようになる (SPARK-39002)
  • Spark Parquet ベクトル化リーダーでの UDT のサポート (SPARK-39086)
  • Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する (SPARK-37980)
  • parquet FIXED_LEN_BYTE_ARRAY 型の読み取りをサポート (SPARK-41096)
  • フィルター述語の順序を最適化 (SPARK-40045)
  • MSSQL JDBC を使用した CTE および一時テーブル クエリのサポート (SPARK-37259)
  • Data Source オプションで ignoreCorruptFiles および ignoreMissingFiles をサポート (SPARK-38767)
  • v1 の書き込みを WriteFiles に引き出す (SPARK-41407)
  • 外部データ ファイルをカバーする読み取り側の char パディングを追加 (SPARK-40697)

クエリ最適化

  • 非相関スカラー サブクエリをマージする (SPARK-34079)
  • ブルーム フィルターの結合を既定で有効にする (SPARK-38841)
  • 集計式内の不要な distinct を distinctKeys で削除 (SPARK-38832)
  • 重複除去された CTE の述語プッシュダウンと列の排除をサポート (SPARK-37670)
  • 集計関数がストリーミング側で重複に依存しない場合に外部結合を削除 (SPARK-38886)
  • 左または右側の列のみが選択され、もう一方の側の結合キーが一意である場合に、左または右の外部結合を削除 (SPARK-39172)
  • グローバル並べ替えを RepartitionByExpression に最適化 (SPARK-39911)
  • TransposeWindow ルールの最適化 (SPARK-38034)
  • EliminateSorts を強化して LocalLimit による並べ替えの削除をサポート (SPARK-40050)
  • 結合条件が空の場合、ローカル制限を両側にプッシュする (SPARK-40040)
  • オプティマイザーの PushProjectionThroughLimit を追加 (SPARK-40501)
  • 結合子を使用した PIVOT/UNPIVOT のサポート (SPARK-41195)
  • 複数の非決定的フィルターを使用した列の排除をサポート (SPARK-41017)
  • AQE キャッシュを使用した出力のパーティション分割と順序の改善 (SPARK-41048)
  • バランスの取れた式ツリー述語を作成し、マルチライク パフォーマンスを改善 (SPARK-41167)
  • RepartitionByExpression の子である場合は Sort を削除 (SPARK-36703)
  • 完了したクエリ ステージから使用可能な列統計を使用 (SPARK-39991)
  • WindowSpecDefinition で式を再利用 (SPARK-41805)
  • すべての別名を考慮に入れるように、AliasAwareOutputPartitioning および AliasAwareQueryOutputOrdering を改善 (SPARK-40086、SPARK-42049)
  • Python UDF を使用して制限をプッシュダウンする (SPARK-42115)

コード生成とクエリ実行

  • 並列で実行する BroadcastNestedLoopJoinExec で defaultJoin を作成 (SPARK-40487)
  • HiveGenericUDF の Codegen サポート (SPARK-42051)
  • SinglePartition でシャッフルを導入 (SPARK-41986)
  • DPP で排除側に Union が含まれるようにする (SPARK-39217)

その他の注目すべき変更点

  • 自動パーティション統計収集のサポート (SPARK-38573)
  • Thrift サーバーでのエラー メッセージの書式設定 (SPARK-40098)
  • キャッシュ用のプラン正規化を行うための拡張 API を追加 (SPARK-41183)
  • 物理型を導入して Spark 型をリファクタリングする (SPARK-41226)
  • OneOf フィールドのサポートと再帰チェック (SPARK-41396)
  • 列解決ロジックを一元化 (SPARK-41405)
  • プラン変更の検証の改善 (SPARK-42081)
  • typesafety 用の SparkPath の導入 (SPARK-41970)
  • Dataset API で一時ビューを作成するときに db_name.view_name の例外をスローする (SPARK-41090)
  • Mask 関数の引数の既定値を -1 から NULL に変更 (SPARK-42070)

Spark Core

Decommission

  • シャッフル データが移行された場合に、使用停止された失われた Executor で不要なタスクが再実行されることを回避 (SPARK-41469)
  • 使用停止された Executor によって発生したステージ フェッチの失敗を無視 (SPARK-40481)
  • spark.storage.decommission.(rdd|shuffle)Blocks.enabled を規定で有効にする (SPARK-40198)
  • ESS が無効になっている場合の YARN の使用停止のサポートを追加 (SPARK-30835)

フィールド サービス担当者

  • ステージ スケジューリングがローカル クラスター モードをサポートするようにする (SPARK-41949)
  • 動的割り当てが無効になっている場合にスタンドアロン クラスターのステージ レベルのタスク リソース プロファイルをサポート (SPARK-39853)
  • ドライバーが ExecutorExecutCode を受信できるように onDisconnected を遅らせる (SPARK-39957)
  • ステージ タスク メトリックを通じて投機を改善 (SPARK-32170)
  • スタンドアロン クラスターのステージ レベルのリソース スケジュールのサポートを追加 (SPARK-39062)
  • LaunchTask プロセスを向上して、LaunchTask メッセージの送信失敗によるステージの失敗を回避 (SPARK-39955)

シャッフル

  • プッシュ ベースのシャッフル クライアント側読み取りメトリックを追加 (SPARK-36620)
  • プッシュベースのシャッフルのシャッフル サーバー側メトリック (​​SPARK-33573)
  • db が閉じる前に、mergedShuffleCleaner がシャットダウンされていることを確認 (SPARK-40186)
  • シャッフル サービス状態ストアの RocksDB サポートを追加 (SPARK-38888)
  • リモート/外部シャッフル状態を DB として格納するために使用される LevelDB をカプセル化 (SPARK-38909)
  • spark.dynamicAllocation.shuffleTracking.enabled を規定で有効にする (SPARK-3984)
  • 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする (SPARK-33236)
  • リリースされた Executor のシャッフル サービスを使用してシャッフル ブロックを削除 (SPARK-37618)

その他の注目すべき変更点

  • IPv6 のみの環境のサポート (SPARK-39457)
  • spark.kryo.unsafe を規定で有効にする (SPARK-42137)
  • クラスター モードでのプロキシ ユーザーによる自由裁量のカスタム クラスパスを禁止 (SPARK-41958)
  • Executor が失われた場合に BlockManager の再登録を回避 (SPARK-41360)
  • 1 つのタスクの結果を 2 GB に収めるための制限を廃止 (SPARK-40622)
  • 非推奨の spark.akka.* 構成のサポートを廃止 (SPARK-40401)
  • log4j の動作と一致するようにデフォルトのログを stderr に変更 (SPARK-40406)
  • 結果のサイズの計算時に DirectTaskResult メタデータを除外 (SPARK-40261)
  • take() 動作で初期パーティション数のカスタマイズを許可 (SPARK-40211)
  • Executor.updateDependencies() で同期ではなく割り込み可能なロックを使用する (SPARK-40235)
  • タスク失敗が常にタスク失敗リスナーをトリガーする必要がある (SPARK-40106)
  • 監視またはポーリングを選択的に無効にする機能を追加 (SPARK-36462)
  • ドライバーに非直列化ブロードキャスト関係をキャッシュしない (SPARK-39983)
  • TaskMemoryManager と UnsafeExternalSorter.SpillableIterator の間のデッドロックを修正 (SPARK-39283)
  • ステージ内の数値パーティションを TaskContext に公開 (SPARK-38679)
  • メモリ オーバーヘッド因子を構成可能にする (SPARK-38194)
  • ShellBasedGroupsMappingProvider で bash -c を使用しないようにする (SPARK-38992)

構造化ストリーミング

主な機能

  • 非同期進行状況の追跡 (SPARK-39591)
  • Python の構造化ストリーミングでの自由裁量によるステートフル処理 (SPARK-40434)
  • 構造化ストリーミングでの Protobuf サポート (SPARK-40653)
  • ステートフル演算子のチェーンをサポートするように遅いレコード フィルターを修正 (SPARK-40925)

その他の注目すべき変更点

  • Hadoop の Abortable インターフェイスに基づくストリーミング チェックポイント ファイル マネージャーの導入 (SPARK-40039)
  • Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる (SPARK-39805)
  • ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する (SPARK-39564)
  • ストリーミング シンクからのメトリックの収集のサポート (SPARK-38564)
  • DStream API の廃止 (SPARK-42075)
  • Kafka オフセット フェッチ構成の既定を反転 (SPARK-40844)
  • PySpark の foreachBatch シンクのユーザー関数で DataFrame に複製された Spark セッションを提供 (SPARK-41379)

Spark Connect

Python クライアント

Scala クライアント

PySpark

Spark 上の Pandas API

その他の注目すべき変更点

  • 主な改良点
    • PySpark ユーザー定義関数のメモリ プロファイラーを提供 (SPARK-40281)
    • Catalog API を 3 層名前空間と互換性のあるものにする (SPARK-39235)
    • PySpark での NumPy 入力のサポート (SPARK-39405)
    • PySpark エラーの改善 (SPARK-41597)
  • 主な機能

MLLIB

SparkR

ライブ UI と履歴サーバー サービス

  • 大規模なアプリケーション向けに Spark UI のスケーラビリティとドライバーの安定性を改善 (SPARK-41053)
  • spark.history.store.hybridStore.diskBackend に RocksDB を規定で使用する (SPARK-42277)
  • 入れ子になっている実行をルート実行の下でグループ化する (SPARK-41752)
  • [環境] タブにメトリックのプロパティを表示する (SPARK-39110)
  • レコードが 0 より大きい場合に StagePage 入力サイズ/レコードが表示されない問題を修正 (SPARK-34777)
  • Json4s ではなく Jackson を使用してイベント ログ JsonProtocol のパフォーマンスを向上させる (SPARK-39489)
  • spark.history.fs.update.batchSize のサポート (SPARK-39225)

ビルド

メンテナンスの更新

「Databricks Runtime 13.0 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティング システム: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 cryptography 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0.4
実行 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
ノートブック 6.4.12 numpy 1.21.5 oauthlib 3.2.0
パッケージング 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob (blob) 1.2.3
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 キャレット 6.0-93 cellranger 1.1.0
chron 2.3-59 クラス 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 資格情報 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 ライフサイクル 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 ツール 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1