Entrenar modelos de IA y ML

  • Artículo

En esta sección se muestra cómo entrenar modelos de aprendizaje automático e inteligencia artificial en Mosaic AI.

AutoML de mosaico

Mosaic AutoML simplifica el proceso de aplicar el aprendizaje automático a los conjuntos de datos mediante la búsqueda automática del mejor algoritmo y la configuración de hiperparámetros automáticamente. AutoML ofrece una interfaz de usuario con poco código, así como una API de Python.

Entrenamiento del modelo de IA de mosaico

Entrenamiento de modelo de IA de Mosaic (antes denominado Entrenamiento de Foundation Model) en Databricks le permite personalizar modelos de lenguaje de gran tamaño (LLM) usando sus propios datos. Este proceso implica la optimización del entrenamiento de un modelo de base preexistente, reduciendo significativamente los datos, el tiempo y los recursos de equipo necesarios en comparación con el entrenamiento de un modelo desde cero. Entre las características principales se incluyen:

  • Optimización supervisada: adapte su modelo a nuevas tareas mediante el entrenamiento con datos estructurados de indicación-respuesta.
  • Entrenamiento previo continuado: mejore el modelo con datos de texto adicionales para agregar nuevos conocimientos o centrarse en un dominio específico.
  • Finalización de chat: entrene el modelo a partir de los registros de chat para mejorar sus habilidades conversacionales.

Ejemplos de biblioteca de código abierto

Consulte ejemplos de entrenamiento de aprendizaje automático de una amplia variedad de bibliotecas de aprendizaje automático de código abierto, incluidos ejemplos de ajuste de hiperparámetros mediante Optuna e Hyperopt.

Aprendizaje profundo

Consulte ejemplos y procedimientos recomendados para el entrenamiento de aprendizaje profundo distribuido, de modo que pueda desarrollar y ajustar modelos de aprendizaje profundo en Azure Databricks.

Recomendaciones

Aprenda a entrenar modelos de recomendación basados en aprendizaje profundo en Azure Databricks. En comparación con los modelos de recomendación tradicionales, los modelos de aprendizaje profundo pueden lograr resultados de mayor calidad y escalar a grandes cantidades de datos.