Qu’est-ce que la CLI Databricks ?

  • Article

Remarque

Ces informations s’appliquent à Databricks CLI versions 0.205 et ultérieures. L’interface CLI Databricks est en préversion publique.

L’utilisation de l’interface CLI Databricks est soumise à la licence Databricks et à la notification de confidentialité Databricks, y compris les dispositions relatives aux données d’utilisation.

L'interface de ligne de commande Databricks (également connue sous le nom de CLI Databricks) fournit un outil permettant d'automatiser la plateforme Azure Databricks à partir de votre terminal, d'une invite de commande ou de scripts d'automatisation. Vous pouvez également exécuter des commandes CLI Databricks à partir d’un espace de travail Databricks à l’aide d’un terminal web. Consultez Exécuter des commandes d’interpréteur de commandes dans un terminal web Azure Databricks.

Pour installer et configurer l’authentification pour l’interface CLI Databricks, consultez Installer ou mettre à jour l’interface CLI Databricks et l’authentification pour l’interface CLI Databricks.

Informations destinées aux anciens utilisateurs de la CLI Databricks

  • Databricks ne prévoit aucune prise en charge ni aucune nouvelle fonctionnalité pour l’ancienne CLI Databricks.
  • Pour plus d’informations sur l’ancienne CLI Databricks, consultez Databricks CLI (hérité).
  • Pour migrer de l’interface CLI Databricks version 0.18 ou antérieure vers l’interface CLI Databricks version 0.205 ou ultérieure, consultez Migration de l’interface CLI Databricks.

Comment fonctionne la CLI Databricks ?

L’interface CLI intègre API REST Databricks, qui fournit des points de terminaison pour modifier ou demander des informations sur les objets de compte et d’espace de travail Azure Databricks. Consultez la référence de l’API REST Azure Databricks.

Par exemple, pour imprimer des informations sur un cluster individuel dans un espace de travail, vous exécutez la CLI comme suit :

databricks clusters get 1234-567890-a12bcde3

Avec curl, l’opération équivalente est la suivante :

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Exemple : créer une tâche Azure Databricks

L’exemple suivant utilise l’interface CLI pour créer une tâche Azure Databricks. Ce travail contient une seule tâche. Cette tâche exécute le notebook Azure Databricks spécifié. Ce notebook dépend d'une version spécifique du package PyPI nommée wheel. Pour exécuter cette tâche, la tâche crée temporairement un cluster de tâches qui exporte une variable d'environnement nommée PYSPARK_PYTHON. Une fois le travail exécuté, le cluster est arrêté.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Étapes suivantes