スタック CLI (レガシ)

スタック CLI は、ジョブ、ノートブック、DBFS ファイルなどの Azure Databricks リソースのスタックを管理する方法を提供します。 ノートブック ファイルと DBFS ファイルをローカルに保存し、ローカル ファイルから Azure Databricks ワークスペースのパスへのマッピングと、ノートブックを実行するジョブの構成を定義するスタック構成の JSON テンプレートを作成できます。

スタック構成の JSON テンプレートでスタック CLI を使用して、スタックをデプロイし、管理します。

Databricks スタック CLI サブコマンドを実行するには、databricks stack に追加します。

databricks stack --help

Usage: databricks stack [OPTIONS] COMMAND [ARGS]...

  [Beta] Utility to deploy and download Databricks resource stacks.

Options:
  -v, --version   [VERSION]
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".
  -h, --help      Show this message and exit.

Commands:
  deploy    Deploy a stack of resources given a JSON configuration of the stack
    Usage: databricks stack deploy [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks and DBFS
                        files  [default: False]
  download  Download workspace notebooks of a stack to the local filesystem
            given a JSON stack configuration template.
    Usage: databricks stack download [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks in the
                        local filesystem   [default: False]

ワークスペースへのスタックのデプロイ

このサブコマンドは、スタックをデプロイします。 スタックを設定する方法については、「スタックの設定」を参照してください。

databricks stack deploy ./config.json

「Stack 構成の JSON テンプレート」には、config.json の例が示されています。

スタック ノートブックの変更点のダウンロード

このサブコマンドは、スタックのノートブックをダウンロードします。

databricks stack download ./config.json

例

スタックの設定

スタックの例のファイル構造

tree

.
├── notebooks
|   ├── common
|   |   └── notebook.scala
|   └── config
|       ├── environment.scala
|       └── setup.sql
├── lib
|   └── library.jar
└── config.json

この例のスタックには、notebooks/config フォルダー内の構成ノートブックとともに、notebooks/common/notebook.scala 内のメインのノートブックが含まれています。 lib/library.jar のスタックには JAR ライブラリの依存関係があります。 config.json は、スタックのスタック構成の JSON テンプレートです。 スタックをデプロイするためにスタックk CLI に渡されます。

スタック構成の JSON テンプレート

スタック構成テンプレートには、スタック構成が記述されています。

cat config.json

{
  "name": "example-stack",
  "resources": [
  {
    "id": "example-workspace-notebook",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/common/notebook.scala",
      "path": "/Users/example@example.com/dev/notebook",
      "object_type": "NOTEBOOK"
    }
  },
  {
    "id": "example-workspace-config-dir",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/config",
      "path": "/Users/example@example.com/dev/config",
      "object_type": "DIRECTORY"
    }
  },
  {
    "id": "example-dbfs-library",
    "service": "dbfs",
    "properties": {
      "source_path": "lib/library.jar",
      "path": "dbfs:/tmp/lib/library.jar",
      "is_dir": false
    }
  },
    {
      "id": "example-job",
      "service": "jobs",
      "properties": {
        "name": "Example Stack CLI Job",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_DS3_v2",
          "num_workers": 3
        },
        "timeout_seconds": 7200,
        "max_retries": 1,
        "notebook_task": {
          "notebook_path": "/Users/example@example.com/dev/notebook"
        },
        "libraries": [
          {
            "jar": "dbfs:/tmp/lib/library.jar"
          }
        ]
      }
    }
  ]
}

各ジョブ、ワークスペース ノートブック、ワークスペース ディレクトリ、DBFS ファイル、または DBFS ディレクトリは、ResourceConfig として定義されています。 ワークスペースまたは DBFS 資産を表す各 ResourceConfig には、その資産がローカルに存在するファイルまたはディレクトリ (source_path) から、ワークスペースまたは DBFS にその資産が存在する場所 (path) へのマッピングが含まれています。

「スタック構成テンプレートのスキーマ」に、スタック構成テンプレートのスキーマの概要を示します。

スタックのデプロイ

スタックをデプロイするには、databricks stack deploy <configuration-file> コマンドを使用します。

databricks stack deploy ./config.json

スタックのデプロイ中に、DBFS とワークスペースの資産が Azure Databricks ワークスペースにアップロードされ、ジョブが作成されます。

スタックのデプロイ時に、デプロイのStackStatus の JSON ファイルは、.json 拡張子の直前に deployed を追加した名前 (./config.deployed.json など) で同じディレクトリにスタック構成テンプレートとして保存されます。 このファイルは、過去にワークスペースにデプロイされたリソースを追跡するためにスタック CLI で使用されます。

「スタック状態スキーマ」に、スタック構成のスキーマの概要を示します。

./config.deployed.json

{
  "cli_version": "0.8.3",
  "deployed_output": [
    {
      "id": "example-workspace-notebook",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/notebook"
      },
      "service": "workspace"
    },
    {
      "id": "example-workspace-config-dir",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/config"
      },
      "service": "workspace"
    },
    {
      "id": "example-dbfs-library",
      "databricks_id": {
        "path": "dbfs:/tmp/lib/library.jar"
      },
      "service": "dbfs"
    },
    {
      "id": "example-job",
      "databricks_id": {
        "job_id": 123456
      },
      "service": "jobs"
    }
  ],
  "name": "example-stack"
}

データ構造

このセクションの内容は次のとおりです。

• スタック構成テンプレートのスキーマ
• スタック状態スキーマ
• DatabricksId

スタック構成テンプレートのスキーマ

StackConfig

これらは、スタック構成テンプレートの外部フィールドです。 すべてのフィールドが必須です。

ResourceConfig

各 ResourceConfig のフィールド。 すべてのフィールドが必須です。

ResourceProperties

ResourceService によるリソースのプロパティ。 フィールドは、Azure Databricks REST API で使用されているか、使用されていないかで分類されます。 リストに表示されているすべてのフィールドが必要です。

ResourceService

各リソースは、Databricks REST API と連携する特定のサービスに属しています。 これらは、スタック CLI でサポートされているサービスです。

スタック状態スキーマ

StackStatus

スタック状態ファイルは、CLI を使用してスタックがデプロイされた後に作成されます。 上位のフィールドは次のとおりです。

ResourceStatus

DatabricksId

フィールドがサービスに依存する JSON オブジェクト。