Databricks Connect のクラスター構成

  • [アーティクル]

Note

この記事では、Databricks Runtime 13.3 LTS 以降用の Databricks Connect について説明します。

この記事では、Databricks Connect を接続するために必要な Azure Databricks コンピューティングの構成設定を示します。 この情報は、特に明記されていない限り、Databricks Connect の Python および Scala バージョンに適用されます。

Databricks Connect を使うと、Visual Studio Code、PyCharm、RStudio Desktop、IntelliJ IDEA などの一般的な IDE、ノートブック サーバー、その他のカスタム アプリケーションを Azure Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。

要件

  • Unity Catalog が有効になっていると Azure Databricks アカウントとワークスペース。 「Unity Catalog の設定と管理」と「Unity Catalog のワークスペースを有効にする」を参照してください。
  • Databricks Runtime 13.3 LTS 以降がインストールされている Azure Databricks クラスター。
  • クラスターの Databricks Runtime バージョンは、Databricks Connect パッケージのバージョン以上である必要があります。 Databricks では、Databricks Runtime のバージョンと一致する、最新の Databricks Connect のパッケージを使用することをお勧めしています。 新しいバージョンの Databricks Runtime で提供される機能を使用する場合は、Databricks Connect パッケージをアップグレードする必要があります。 利用可能な Databricks Connect リリースの一覧については、「Databricks Connect リリース ノート」を参照してください。 Databricks Runtime バージョン リリース ノートについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
  • クラスターは、割り当て済みまたは共有済みのクラスター アクセス モードを使用する必要があります。 「アクセス モード」を参照してください。

プログラムによる検証

Databricks Connect 14.3 以上では DatabricksSession.builder に validateSession が導入されています。これにより、前述の要件が満たされることを確認するために、一連の検証が実行されます。

Databricks Connect for Python には、同じ検証セットを実行する databricks-connect バイナリの test サブコマンドがあります。

このコマンドは、Databricks Connect を含むアクティブな Python 環境を備えて、かつ既定の資格情報のセットが構成されたターミナル上で実行する必要があります。 これらの資格情報を構成するには、「接続プロパティの構成」をご参照ください。

databricks-connect test

いずれかの要件が満たされていない場合、このコマンドは失敗し、0 以外の終了コードと該当のメッセージが表示されます。

Databricks Connect の無効化

Databricks Connect (および基になる Spark Connect) サービスは、任意のクラスターで無効にすることができます。

Databricks Connect サービスを無効にするには、クラスターで次の Spark 構成を設定してください。

spark.databricks.service.server.enabled false

次のステップ