Implementar uma solução de aprendizagem automática com o Azure Databricks

Intermédio
Data Scientist
Azure Databricks

O Azure Databricks é uma plataforma à escala da cloud para análise de dados e aprendizagem automática. Cientistas de dados e engenheiros de aprendizado de máquina podem usar o Azure Databricks para implementar soluções de aprendizado de máquina em escala.

Pré-requisitos

Este caminho de aprendizado pressupõe que você tenha experiência em usar Python para explorar dados e treinar modelos de aprendizado de máquina com estruturas comuns de código aberto, como Scikit-Learn, PyTorch e TensorFlow. Considere concluir o caminho de aprendizagem Criar modelos de aprendizado de aprendizado de máquina antes de iniciar este.

Módulos neste percurso de aprendizagem

O Azure Databricks é um serviço de nuvem que fornece uma plataforma escalável para análise de dados usando o Apache Spark.

O Azure Databricks é baseado no Apache Spark e permite que engenheiros e analistas de dados executem trabalhos do Spark para transformar, analisar e visualizar dados em escala.

O aprendizado de máquina envolve o uso de dados para treinar um modelo preditivo. O Azure Databricks dá suporte a várias estruturas de aprendizado de máquina comumente usadas que você pode usar para treinar modelos.

O MLflow é uma plataforma de código aberto para gerenciar o ciclo de vida do aprendizado de máquina com suporte nativo no Azure Databricks.

Ajustar hiperparâmetros é uma parte essencial do aprendizado de máquina. No Azure Databricks, você pode usar a biblioteca Hyperopt para otimizar hiperparâmetros automaticamente.

O AutoML no Azure Databricks simplifica o processo de criação de um modelo de aprendizado de máquina eficaz para seus dados.

A aprendizagem profunda usa redes neurais para treinar modelos de aprendizado de máquina altamente eficazes para previsão complexa, visão computacional, processamento de linguagem natural e outras cargas de trabalho de IA.

O aprendizado de máquina permite a tomada de decisões e a automação baseadas em dados, mas a implantação de modelos na produção para obter insights em tempo real é um desafio. O Azure Databricks simplifica esse processo fornecendo uma plataforma unificada para criar, treinar e implantar modelos de aprendizado de máquina em escala, promovendo a colaboração entre cientistas de dados e engenheiros.