Ferramentas de desenvolvimento
O Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Azure Databricks e gerenciam programaticamente recursos e dados do Databricks.
Este artigo fornece uma visão geral dessas ferramentas e recomendações para as melhores ferramentas para cenários comuns de desenvolvedores.
Quais ferramentas o Databricks fornece para desenvolvedores?
A tabela a seguir fornece uma lista de ferramentas de desenvolvedor fornecidas pelo Databricks.
| Ferramenta | Description |
|---|---|
| Autenticação e autorização | Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com o Azure Databricks. |
| Databricks Connect | Conecte-se ao Azure Databricks usando ambientes de desenvolvimento integrado (IDEs) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab. Se você estiver usando o Visual Studio Code, o Databricks recomenda a extensão Databricks para Visual Studio Code, que é criada sobre o Databricks Connect, pois fornece recursos adicionais para permitir uma configuração mais fácil. |
| Extensão Databricks para Visual Studio Code | Conecte-se aos seus espaços de trabalho remotos do Azure Databricks a partir do ambiente de desenvolvimento integrado (IDE) do Visual Studio Code . |
| Plugin PyCharm Databricks | Configure uma conexão com um espaço de trabalho remoto do Databricks e execute arquivos em clusters Databricks do PyCharm. Este plugin é desenvolvido e fornecido pela JetBrains em parceria com a Databricks. |
| Databricks SDKs | Automatize o Azure Databricks a partir de bibliotecas de código escritas para linguagens populares como Python, Java, Go e R. Em vez de enviar chamadas de API REST diretamente usando curl/Postman, você pode usar um SDK para interagir com o Databricks usando uma linguagem de programação de sua escolha. |
| Drivers e ferramentas SQL | Conecte-se ao Azure Databricks para executar comandos e scripts SQL, interagir programaticamente com o Azure Databricks e integrar a funcionalidade SQL do Azure Databricks em aplicativos escritos em linguagens populares como Python, Go, JavaScript e TypeScript. |
| CLI do Databricks | Acesse a funcionalidade do Azure Databricks usando a interface de linha de comando (CLI) do Databricks. A CLI encapsula a API REST do Databricks, portanto, em vez de enviar chamadas de API REST diretamente usando curl ou Postman, você pode usar a CLI do Databricks para interagir com o Databricks. |
| Pacotes de ativos Databricks | Implemente práticas recomendadas de desenvolvimento, teste e implantação (CI/CD) padrão do setor para seus dados do Azure Databricks e projetos de IA usando DABs (Databricks Asset Bundles). |
| Databricks Terraform provider e Terraform CDKTF para Databricks | Provisione a infraestrutura e os recursos do Azure Databricks usando o Terraform. |
| Provedor de recursos Pulumi Databricks | Provisione a infraestrutura e os recursos do Azure Databricks usando a infraestrutura como código (IaC) do Pulumi. |
| Ferramentas CI/CD | Integre sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow. |
Gorjeta
Você também pode conectar muitas ferramentas de terceiros populares adicionais a clusters e armazéns SQL para acessar dados no Azure Databricks. Consulte os parceiros de tecnologia.
Qual ferramenta de desenvolvedor devo usar?
A tabela a seguir descreve as recomendações da ferramenta Databricks para cenários comuns de desenvolvedores.
| Cenários | Recomendação |
|---|---|
| - Desenvolvimento interativo e depuração a partir de um IDE local | Extensão Databricks para Visual Studio Code Plugin PyCharm Databricks Para outros IDEs, use a CLI do Databricks com o Databricks Connect |
| - Interação direta com Databricks a partir da linha de comando - Shell scripting - Experimentação - Invoque a API REST diretamente - Gerenciar perfis de autenticação local - Sincronizar código do IDE para o espaço de trabalho Databricks |
CLI do Databricks |
| - Gerenciar fluxos de trabalho e implantar projetos para Databricks - Aplicar as melhores práticas de CI/CD - Co-versão, coautoria, co-implantar seus recursos e ativos como uma unidade - Suporta os recursos mais comuns |
Databricks Asset Bundles (um recurso da CLI) |
| - Infraestrutura como código, CI/CD - Administrar e criar espaços de trabalho, catálogos, metastores e impor permissões - Garantir a portabilidade do ambiente e a recuperação de desastres - Muitos recursos suportados |
Fornecedor do Terraform do Databricks |
| - Desenvolvimento de aplicações - Integração com sistemas de implantação existentes - Criar fluxos de trabalho personalizados Databricks e novos serviços web |
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
| - Apenas cenários avançados - Quase todos os recursos Databricks estão disponíveis |
API REST do Databricks |