Databricks Connect for Scala に移行する

  • [アーティクル]

Note

Databricks Runtime 13.3 LTS 以降用の Databricks Connect for Scala は、パブリック プレビュー段階にあります。

この記事では、Databricks Runtime 12.2 LTS 以下用の Databricks Connect for Scala から Databricks Runtime 13.3 LTS 以降用の Databricks Connect for Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、カスタム アプリケーションを Azure Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。 この記事の Python バージョンについては、「Databricks Connect for Python に移行する」を参照してください。

Note

Databricks Connect の使用を開始する前に、Databricks Connect クライアントを設定する必要があります。

  1. Java Development Kit (JDK) がローカルにまだインストールされていない場合は、Azure Databricks クラスターに適合するように、インストール要件に掲載されている正しいバージョンをインストールします。

  2. Scala プロジェクトのビルド ファイル (sbt の build.sbt、Maven の pom.xml、Gradle の build.gradle など) で、Databricks Connect クライアントに次の参照を更新してください。

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    Maven

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    14.0.0 を、クラスターの Databricks Runtime バージョンと一致する Databricks Connect ライブラリのバージョンに置き換えます。 Databricks Connect ライブラリのバージョン番号は、Maven 中央リポジトリで確認できます。

  3. spark 変数 (Spark での SparkSession と同様に、DatabricksSession クラスのインスタンス化を表す) を初期化するように Scala コードを更新してください。 コード例については、Databricks Connect for Scala のコード例を参照してください。