Co je rozhraní příkazového řádku Databricks?

  • Článek

Poznámka:

Tyto informace platí pro Databricks CLI verze 0.205 a vyšší. Rozhraní příkazového řádku Databricks je ve verzi Public Preview.

Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.

Rozhraní příkazového řádku Databricks (označované také jako Rozhraní příkazového řádku Databricks) poskytuje nástroj pro automatizaci platformy Azure Databricks z terminálu, příkazového řádku nebo automatizačních skriptů. Příkazy rozhraní příkazového řádku Databricks můžete také spouštět z pracovního prostoru Databricks pomocí webového terminálu. Viz příkazy run shellu ve webovém terminálu Azure Databricks.

Informace o instalaci a konfiguraci ověřování pro rozhraní příkazového řádku Databricks najdete v tématu Instalace nebo aktualizace rozhraní příkazového řádku Databricks a ověřování pro rozhraní příkazového řádku Databricks.

Informace o starších uživatelích rozhraní příkazového řádku Databricks

  • Databricks neplánuje žádnou podporu ani novou funkci pro starší verzi Rozhraní příkazového řádku Databricks.
  • Další informace o starší verzi rozhraní příkazového řádku Databricks najdete v tématu Databricks CLI (starší verze).
  • Pokud chcete migrovat z Rozhraní příkazového řádku Databricks verze 0.18 nebo novější na Databricks CLI verze 0.205 nebo novější, přečtěte si téma Migrace rozhraní příkazového řádku Databricks.

Jak funguje rozhraní příkazového řádku Databricks?

Rozhraní příkazového řádku zabalí rozhraní REST API Databricks, které poskytuje koncové body pro úpravy nebo vyžádání informací o účtu Azure Databricks a objektech pracovního prostoru. Viz referenční informace k rozhraní REST API služby Azure Databricks.

Pokud chcete například vytisknout informace o jednotlivých clusterech v pracovním prostoru, spusťte rozhraní příkazového řádku následujícím způsobem:

databricks clusters get 1234-567890-a12bcde3

S curl, ekvivalentní operace je následující:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Příklad: Vytvoření úlohy Azure Databricks

Následující příklad používá rozhraní příkazového řádku k vytvoření úlohy Azure Databricks. Tato úloha obsahuje jeden úkol úlohy. Tato úloha spustí zadaný poznámkový blok Azure Databricks. Tento poznámkový blok je závislý na konkrétní verzi balíčku PyPI s názvem wheel. Pro spuštění této úlohy úloha dočasně vytvoří cluster úloh, který exportuje proměnnou prostředí s názvem PYSPARK_PYTHON. Po spuštění úlohy se cluster ukončí.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Další kroky