Introducción a la creación de aplicaciones GenIA en Databricks
Databricks proporciona una plataforma completa para compilar, implementar y administrar aplicaciones GenAI. Este artículo le guía a través de los componentes y procesos esenciales que intervienen en el desarrollo de aplicaciones GenAI en Databricks.
Foundation Model Training
Entrenamiento de Foundation Model en Databricks le permite personalizar modelos de lenguaje de gran tamaño (LLM) usando sus propios datos. Este proceso implica la optimización del entrenamiento de un modelo de base preexistente, reduciendo significativamente los datos, el tiempo y los recursos de equipo necesarios en comparación con el entrenamiento de un modelo desde cero. Entre las características principales se incluyen:
- Optimización supervisada: adapte su modelo a nuevas tareas mediante el entrenamiento con datos estructurados de indicación-respuesta.
- Entrenamiento previo continuado: mejore el modelo con datos de texto adicionales para agregar nuevos conocimientos o centrarse en un dominio específico.
- Finalización de chat: entrene el modelo a partir de los registros de chat para mejorar sus habilidades conversacionales.
Integración de modelos externos
Databricks es compatible con la integración del modelos externos, lo que le permite aprovechar modelos de terceros alojados fuera de Databricks. Esto simplifica el uso y la administración de varios proveedores de LLM, como OpenAI y Anthropic, dentro de su organización.
Mosaic AI Agent Framework
Agent Framework comprende un conjunto de herramientas en Databricks diseñadas para ayudar a los desarrolladores a compilar, implementar y evaluar agentes con calidad de producción, como las aplicaciones de Generación aumentada de recuperación (RAG).
La creación de agentes de alta calidad requiere un conjunto de herramientas de evaluación sólido para probar y validar sistemas de agentes. Mosaic AI Agent Evaluation proporciona una plataforma para capturar e implementar los comentarios de los humanos, la veracidad de los hechos, los registros de respuestas y solicitudes, los comentarios de juicios de LLM, las trazas de cadenas y mucho más.