Treinar modelos de IA e ML

Esta seção mostra como treinar modelos de aprendizado de máquina e IA no Mosaic AI.

Mosaico AutoML

O Mosaic AutoML simplifica o processo de aplicação de aprendizado de máquina aos seus conjuntos de dados, encontrando automaticamente o melhor algoritmo e configuração de hiperparâmetros para você. O AutoML oferece uma interface do usuário low-code, bem como uma API Python.

Treinamento de modelo de IA em mosaico

O Mosaic AI Model Training (anteriormente Foundation Model Training) no Databricks permite personalizar grandes modelos de linguagem (LLMs) usando seus próprios dados. Esse processo envolve o ajuste fino do treinamento de um modelo de base pré-existente, reduzindo significativamente os dados, o tempo e os recursos de computação necessários em comparação com o treinamento de um modelo do zero. As principais funcionalidades incluem:

• Ajuste fino supervisionado: adapte seu modelo a novas tarefas treinando dados estruturados de pronta resposta.
• Pré-treinamento contínuo: aprimore seu modelo com dados de texto adicionais para adicionar novos conhecimentos ou se concentrar em um domínio específico.
• Conclusão do chat: treine seu modelo em logs de bate-papo para melhorar as habilidades de conversação.

Exemplos de bibliotecas de código aberto

Veja exemplos de treinamento de aprendizado de máquina de uma ampla variedade de bibliotecas de aprendizado de máquina de código aberto, incluindo exemplos de ajuste de hiperparâmetros usando o Optuna e o Hyperopt.

Aprendizagem profunda

Veja exemplos e práticas recomendadas para treinamento de aprendizado profundo distribuído para que você possa desenvolver e ajustar modelos de aprendizado profundo no Azure Databricks.

Recomendações

Saiba como treinar modelos de recomendação baseados em aprendizagem profunda no Azure Databricks. Em comparação com os modelos de recomendação tradicionais, os modelos de aprendizagem profunda podem alcançar resultados de maior qualidade e escalar para maiores quantidades de dados.