Databricks Connect para Python

  • Artigo

Nota

Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.

Este artigo demonstra como começar rapidamente com o Databricks Connect usando Python e PyCharm.

O Databricks Connect permite conectar IDEs populares, como o PyCharm, servidores de notebook e outros aplicativos personalizados, a clusters do Azure Databricks. Consulte O que é Databricks Connect?.

Tutorial

Para ignorar este tutorial e usar um IDE diferente, consulte Próximas etapas.

Requisitos

Para concluir este tutorial, você deve atender aos seguintes requisitos:

  • Seu espaço de trabalho do Azure Databricks de destino deve ter o Unity Catalog habilitado.
  • Você tem o PyCharm instalado. Este tutorial foi testado com o PyCharm Community Edition 2023.3.5. Se você usar uma versão ou edição diferente do PyCharm, as instruções a seguir podem variar.
  • Sua computação atende aos requisitos de instalação do Databricks Connect for Python.
  • Se você estiver usando computação clássica, precisará da ID do cluster. Para obter a ID do cluster, no espaço de trabalho, clique em Computação na barra lateral e, em seguida, clique no nome do cluster. Na barra de endereço do navegador da Web, copie a cadeia de caracteres entre clusters e configuration no URL.

Etapa 1: Configurar a autenticação do Azure Databricks

Este tutorial usa a autenticação U2M (U2M) do Azure Databricks OAuth e um perfil de configuração do Azure Databricks para autenticação em seu espaço de trabalho do Azure Databricks. Para usar um tipo de autenticação diferente, consulte Configurar propriedades de conexão.

A configuração da autenticação U2M do OAuth requer a CLI do Databricks. Para obter informações sobre como instalar a CLI do Databricks, consulte Instalar ou atualizar a CLI do Databricks.

Inicie a autenticação OAuth U2M, da seguinte maneira:

  1. Use a CLI do Databricks para iniciar o gerenciamento de token OAuth localmente executando o seguinte comando para cada espaço de trabalho de destino.

    No comando a seguir, substitua <workspace-url> pela URL do Azure Databricks por espaço de trabalho, por exemplohttps://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Como alternativa, se você quiser usar a computação sem servidor Databricks com o DB Connect, siga as etapas em Configurar uma conexão com computação sem servidor.

  2. A CLI do Databricks solicita que você salve as informações inseridas como um perfil de configuração do Azure Databricks. Pressione Enter para aceitar o nome de perfil sugerido ou digite o nome de um perfil novo ou existente. Qualquer perfil existente com o mesmo nome é substituído pelas informações que você inseriu. Você pode usar perfis para alternar rapidamente seu contexto de autenticação em vários espaços de trabalho.

    Para obter uma lista de quaisquer perfis existentes, em um terminal ou prompt de comando separado, use a CLI do Databricks para executar o comando databricks auth profiles. Para visualizar as configurações existentes de um perfil específico, execute o comando databricks auth env --profile <profile-name>.

  3. No navegador da Web, conclua as instruções na tela para fazer logon no espaço de trabalho do Azure Databricks.

  4. Na lista de clusters disponíveis que aparece no terminal ou no prompt de comando, use as teclas de seta para cima e seta para baixo para selecionar o cluster Azure Databricks de destino em seu espaço de trabalho e pressione Enter. Você também pode digitar qualquer parte do nome de exibição do cluster para filtrar a lista de clusters disponíveis.

  5. Para exibir o valor atual do token OAuth de um perfil e o carimbo de data/hora de expiração do token, execute um dos seguintes comandos:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Se você tiver vários perfis com o mesmo --host valor, talvez seja necessário especificar as --host opções e -p juntas para ajudar a CLI do Databricks a encontrar as informações corretas do token OAuth.

Etapa 2: Criar o projeto

  1. Inicie o PyCharm.
  2. No menu principal, clique em Arquivo > Novo Projeto.
  3. Na caixa de diálogo Novo projeto, clique em Python puro.
  4. Em Local, clique no ícone da pasta e conclua as instruções na tela para especificar o caminho para seu novo projeto Python.
  5. Deixe a opção Criar um script de boas-vindas main.py selecionada.
  6. Para Tipo de intérprete, clique em Project venv.
  7. Expanda a versão do Python e use o ícone de pasta ou a lista suspensa para especificar o caminho para o interpretador Python a partir dos requisitos anteriores.
  8. Clique em Criar.

Criar o projeto PyCharm

Etapa 3: Adicionar o pacote Databricks Connect

  1. No menu principal do PyCharm, clique em View Tool Windows > Python Packages>.
  2. Na caixa de pesquisa, introduza databricks-connect.
  3. Na lista de repositórios PyPI, clique em databricks-connect.
  4. Na lista suspensa mais recente do painel de resultados, selecione a versão que corresponde à versão do Databricks Runtime do cluster. Por exemplo, se o cluster tiver o Databricks Runtime 14.3 instalado, selecione 14.3.1.
  5. Clique em Instalar pacote.
  6. Após a instalação do pacote, você pode fechar a janela Pacotes Python.

Instalar o pacote Databricks Connect

Passo 4: Adicionar código

  1. Na janela da ferramenta Project , clique com o botão direito do mouse na pasta raiz do projeto e clique em New > Python File.

  2. Insira main.py e clique duas vezes em arquivo Python.

  3. Insira o seguinte código no arquivo e salve-o, dependendo do nome do seu perfil de configuração.

    Se o seu perfil de configuração da Etapa 1 for nomeado DEFAULT, insira o seguinte código no arquivo e salve o arquivo:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Se o seu perfil de configuração da Etapa 1 não for nomeado DEFAULT, insira o código a seguir no arquivo. Substitua o espaço reservado <profile-name> pelo nome do seu perfil de configuração na Etapa 1 e salve o arquivo:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Etapa 5: Executar o código

  1. Inicie o cluster de destino em seu espaço de trabalho remoto do Azure Databricks.
  2. Depois que o cluster for iniciado, no menu principal, clique em Executar > executar 'main'.
  3. Na janela da ferramenta Executar (Exibir > Ferramenta Executar do Windows>), no painel principal da guia Executar, as primeiras 5 linhas do samples.nyctaxi.trips botão aparecem.

Etapa 6: Depurar o código

  1. Com o cluster ainda em execução, no código anterior, clique na calha ao lado de df.show(5) para definir um ponto de interrupção.
  2. No menu principal, clique em Executar > depuração 'principal'.
  3. Na janela da ferramenta Depurar (Exibir > Depuração do Windows >da Ferramenta), no painel Variáveis da guia Depurador, expanda os nós das variáveis df e spark para procurar informações sobre o código df e spark as variáveis.
  4. Na barra lateral da janela da ferramenta Depurar , clique no ícone de seta verde (Retomar Programa).
  5. No painel Console da guia Depurador, as primeiras 5 linhas do samples.nyctaxi.trips aparecem .

Depurar o projeto PyCharm

Próximos passos

Para saber mais sobre o Databricks Connect, consulte artigos como os seguintes: