O que é a CLI do Databricks?

  • Artigo

Nota

Essas informações se aplicam às versões 0.205 e superiores da CLI do Databricks. A CLI do Databricks está em Visualização Pública.

O uso da CLI do Databricks está sujeito à Licença do Databricks e ao Aviso de Privacidade do Databricks, incluindo quaisquer disposições de Dados de Uso.

A interface de linha de comando Databricks (também conhecida como CLI Databricks) fornece uma ferramenta para automatizar a plataforma Azure Databricks a partir do seu terminal, prompt de comando ou scripts de automação. Você também pode executar comandos da CLI do Databricks de dentro de um espaço de trabalho do Databricks usando o terminal da Web. Consulte Executar comandos de shell no terminal Web do Azure Databricks.

Para instalar e configurar a autenticação para a CLI do Databricks, consulte Instalar ou atualizar a CLI do Databricks e Autenticação para a CLI do Databricks.

Informações para usuários herdados da CLI do Databricks

  • O Databricks não planeja suporte ou trabalho de novos recursos para a CLI do Databricks herdada.
  • Para obter mais informações sobre a CLI do Databricks herdada, consulte CLI do Databricks (legado).
  • Para migrar da CLI do Databricks versão 0.18 ou inferior para a CLI do Databricks versão 0.205 ou superior, consulte Migração da CLI do Databricks.

Como funciona a CLI do Databricks?

A CLI encapsula a API REST do Databricks, que fornece pontos de extremidade para modificar ou solicitar informações sobre a conta do Azure Databricks e objetos de espaço de trabalho. Consulte a referência da API REST do Azure Databricks.

Por exemplo, para imprimir informações sobre um cluster individual em um espaço de trabalho, execute a CLI da seguinte maneira:

databricks clusters get 1234-567890-a12bcde3

Com curl, a operação equivalente é a seguinte:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Exemplo: criar um trabalho do Azure Databricks

O exemplo a seguir usa a CLI para criar um trabalho do Azure Databricks. Este trabalho contém uma única tarefa de trabalho. Esta tarefa executa o bloco de anotações especificado do Azure Databricks. Este notebook tem uma dependência de uma versão específica do pacote PyPI chamado wheel. Para executar essa tarefa, o trabalho cria temporariamente um cluster de trabalho que exporta uma variável de ambiente chamada PYSPARK_PYTHON. Depois que o trabalho é executado, o cluster é encerrado.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Próximos passos