Engenharia de dados do Databricks
Os recursos de engenharia de dados do Databricks incluem um ambiente robusto para colaboração entre cientistas de dados, engenheiros e analistas. As tarefas de engenharia de dados também são o backbone das soluções de machine learning do Databricks .
Observação
Se você for um analista de dados que trabalha principalmente com consultas SQL e ferramentas de BI, você pode preferir o Databricks SQL.
Nome | Use esta ferramenta quando quiser... |
---|---|
Delta Live Tables | Saiba como criar pipelines de dados para ingestão e transformação com o Databricks Delta Live Tables. |
Streaming estruturado | Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real alimentadas pelo Streaming Estruturado no Databricks. |
Apache Spark | Saiba como o Apache Spark funciona no Databricks e na plataforma Databricks. |
Notebooks | Saiba o que é um notebook do Databricks e como usar e gerenciar notebooks para processar, analisar e visualizar seus dados. |
Trabalhos | Saiba como orquestrar fluxos de trabalho de processamento de dados, machine learning e análise de dados na plataforma Databricks. |
Trabalhar com arquivos | Saiba mais sobre as opções para trabalhar com arquivos no Databricks. |
pastas Git | Saiba como usar o Git para controle de versão de seus notebooks e outros arquivos para desenvolvimento no Databricks. |
Bibliotecas | Saiba como disponibilizar código personalizado ou de terceiros no Databricks usando bibliotecas. Saiba mais sobre os diferentes modos para instalar bibliotecas no Databricks. |
Migração | Saiba como migrar aplicativos de dados, como trabalhos de ETL, data warehouses corporativos, ML, ciência de dados e análise para o Azure Databricks. |
Otimização e desempenho | Saiba mais sobre otimizações e recomendações de desempenho no Databricks. |
DBFS | Saiba mais sobre o DBFS (sistema de arquivos do Databricks), um sistema de arquivos distribuído montado em um workspace do Databricks e disponível em clusters do Databricks |