Introdução à criação de aplicativos de IA de geração no Databricks
O Databricks fornece uma plataforma abrangente para criar, implantar e gerenciar aplicativos GenAI. Este artigo orienta você pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos GenAI no Databricks.
Treinamento de modelo de IA em mosaico
O Mosaic AI Model Training (anteriormente Foundation Model Training) no Databricks permite personalizar grandes modelos de linguagem (LLMs) usando seus próprios dados. Esse processo envolve o ajuste fino do treinamento de um modelo de base pré-existente, reduzindo significativamente os dados, o tempo e os recursos de computação necessários em comparação com o treinamento de um modelo do zero. As principais funcionalidades incluem:
- Ajuste fino supervisionado: adapte seu modelo a novas tarefas treinando dados estruturados de pronta resposta.
- Pré-treinamento contínuo: aprimore seu modelo com dados de texto adicionais para adicionar novos conhecimentos ou se concentrar em um domínio específico.
- Conclusão do chat: treine seu modelo em logs de bate-papo para melhorar as habilidades de conversação.
Integração de modelos externos
O Databricks suporta a integração de modelos externos, permitindo que você aproveite modelos de terceiros hospedados fora do Databricks. Isso simplifica o uso e o gerenciamento de vários provedores de LLM, como OpenAI e Anthropic, dentro da sua organização.
Estrutura do Mosaic AI Agent
O Agent Framework compreende um conjunto de ferramentas em Databricks projetadas para ajudar os desenvolvedores a criar, implantar e avaliar agentes de qualidade de produção, como aplicativos de Geração Aumentada de Recuperação (RAG).
A construção de agentes de alta qualidade requer um conjunto robusto de ferramentas de avaliação para testar e validar sistemas de agentes. O Mosaic AI Agent Evaluation fornece uma plataforma para capturar e implementar feedback humano, verdade básica, logs de resposta e solicitação, feedback de juízes LLM, rastreamentos de cadeia e muito mais.