Databricks Runtime 11.x の移行ガイド

  • [アーティクル]

このガイドは、Azure Databricks のワークロードを最新バージョンの Databricks Runtime 11.x に移行するのに役立ちます。 これを行うために、Databricks では、次の順番でワークロードを移行することが推奨されています。

  • 現在、ワークロードが Databricks Runtime 10.4 LTS 以降で実行されている場合、この記事で後述するように、最新バージョンの Databricks Runtime 11.x に直接移行できます。
  • 現在、ワークロードが Databricks Runtime 9.1 LTS で実行されている場合、次の操作を行います。
    1. 最初に Databricks Runtime 10.4 LTS に移行します。 「Databricks Runtime 10.x の移行ガイド」を参照してください。
    2. この記事のガイダンスに従い、Databricks Runtime 10.4 LTS から最新バージョンの Databricks Runtime 11.x に移行します。

注意

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

Databricks Runtime バージョン間の移行の詳細については、「Databricks Runtime の移行ガイド」を参照してください。

Apache Spark の移行ガイダンス

Databricks Runtime の最新バージョンは、Apache Spark 3.4.0 を利用する 13.2 です。 Spark 固有の移行情報については、Databricks Runtime バージョン別の次のリンクの 1 つ以上をクリックして、対応する Apache Spark 移行ガイドを表示します。 参考までに、Databricks Runtime 10.4 LTS は、Apache Spark 3.2.1 を利用しています。

Databricks Runtime のバージョン Apache Spark のバージョン
11.0 - 11.3 3.3.0
10.4 LTS - 10.5 3.2.1

Databricks Runtime の動作の変更

次の各 DBR 11.x リリースでは、重要な動作の変更が行われました。これらの変更を以下に示します。

Databricks Runtime システム環境のプロパティ、機能、ライブラリ

Databricks Runtime 10.4 LTS から最新バージョンの Databricks Runtime 11.x までの Databricks Runtime リリースのシステム環境プロパティ、および機能とライブラリの新規追加、変更、非推奨については、次を参照してください。

リリース後のメンテナンス更新プログラムは、「Databricks ランタイム メンテナンス更新プログラム」に記載されています。