Modelos com suporte para pagamento por token
Importante
Apenas os modelos GTE Grande (En) e Meta Llama 3.3 70B Instruct estão disponíveis em regiões com suporte pela UE e pelos EUA.
Confira Limites de APIs do Modelo de Fundação para os modelos de pagamento por token com suporte apenas em regiões dos EUA.
Este artigo descreve os modelos abertos de última geração compatíveis com as APIs de modelo do Databricks Foundation no modo pay-per-token.
Você pode enviar solicitações de consulta para esses modelos usando os endpoints de pagamento por token disponíveis no seu ambiente de trabalho no Databricks. Confira Modelos de consulta de base e tabela de modelos com suporte para pagamento por token para obter os nomes dos pontos de extremidade dos modelos a serem usados.
Além de modelos compatíveis com o modo de pagamento por token, as APIs do Modelo Básico também oferecem o modo de taxa de transferência provisionada. O Databricks recomenda a taxa de transferência provisionada para cargas de trabalho de produção. Esse modo dá suporte a todos os modelos de uma família de modelos de arquitetura (por exemplo, modelos DBRX), incluindo os modelos pré-treinados ajustados e personalizados compatíveis com o modo de pagamento por token. Confira APIs do Modelo Básico com taxa de transferência provisionada para obter uma lista de arquiteturas com suporte.
Você pode interagir com esses modelos com suporte usando o Playground de IA.
Meta Llama 3.3 70B Instruct
Importante
A partir de 11 de dezembro de 2024, o Meta-Llama-3.3-70B-Instruct substitui o suporte para Meta-Llama-3.1-70B-Instruct nos pontos de extremidade de pagamento por token das APIs do Foundation Model.
Importante
O Meta Llama 3.3 é licenciado sob o LLAMA 3.3 Community License, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir a conformidade com os termos desta licença e com a Política de Uso Aceitável do Llama 3.3.
Meta-Llama-3.3-70B-Instruct é um modelo de linguagem grande de última geração com um contexto de 128.000 tokens que foi criado e treinado pelo Meta. O modelo dá suporte a vários idiomas e é otimizado para casos de uso de diálogo. Saiba mais sobre o Meta Llama 3.3.
Semelhante a outros grandes modelos de linguagem, a saída de Llama-3 pode omitir alguns fatos e, ocasionalmente, produzir informações falsas. O Databricks recomenda o uso da RAG (geração aumentada de recuperação) em cenários em que a precisão é especialmente importante.
Meta Llama 3.1 405B Instruct
Importante
O uso desse modelo com APIs do Modelo de Fundação está em Visualização Pública. Entre em contato com sua equipe de conta do Databricks se você encontrar falhas de ponto de extremidade ou erros de estabilização ao usar esse modelo.
Importante
O Meta Llama 3.1 é licenciado sob o LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.
O Meta-Llama-3.1-405B-Instruct é o maior modelo de linguagem grande abertamente disponível, criado e treinado pelo Meta, e é distribuído pelo Azure Machine Learning usando o Catálogo de Modelos do AzureML. O uso desse modelo permite que os clientes desbloqueiem novos recursos, como raciocínio avançado de várias etapas e geração de dados sintéticos de alta qualidade. Este modelo é competitivo com GPT-4-Turbo em termos de qualidade.
Assim como Meta-Llama-3.1-70B-Instruct, esse modelo tem um contexto de 128.000 tokens e suporte em dez idiomas. Ele se alinha às preferências humanas por ajuda e segurança e é otimizado para casos de uso de diálogo. Saiba mais sobre os modelos do Meta Llama 3.1.
Semelhante a outros grandes modelos de linguagem, o resultado do Llama-3.1 pode omitir alguns fatos e, ocasionalmente, produzir informações falsas. O Databricks recomenda o uso da RAG (geração aumentada de recuperação) em cenários em que a precisão é especialmente importante.
DBRX Instruct
Importante
Esse modelo não tem mais suporte após 30 de abril de 2025. Confira Modelos desativados para a recomendação de substituição de modelo.
Importante
O DBRX é fornecido sob e sujeito à Databricks Open Model License, Copyright © Databricks, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis, incluindo a política de uso aceitável do Databricks.
O DBRX Instruct é um modelo de linguagem mista de especialistas (MoE) de última geração treinado pelo Databricks.
O modelo supera os modelos de software livre estabelecidos em parâmetros de comparação padrão e se destaca em um amplo conjunto de tarefas de linguagem natural, como: resumo de texto, resposta a perguntas, extração e codificação.
O DBRX Instruct pode manipular até 32 mil tokens de comprimento de entrada e gera saídas de até 4 mil tokens. Graças à arquitetura do MoE, o DBRX Instruct é altamente eficiente para inferência, ativando apenas parâmetros de 36B de um total de 132B de parâmetros treinados. O ponto de extremidade de pagamento por token que atende a esse modelo tem um limite de taxa de uma consulta por segundo. Veja Limites e regiões do serviço de modelo.
Semelhante a outros grandes modelos de linguagem, a saída do DBRX Instruct pode omitir alguns fatos e, ocasionalmente, produzir informações falsas. O Databricks recomenda o uso da RAG (geração aumentada de recuperação) em cenários em que a precisão é especialmente importante.
Os modelos DBRX usam o seguinte prompt padrão do sistema para garantir a relevância e a precisão nas respostas do modelo:
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Mixtral-8x7B Instruct
Importante
Esse modelo não tem mais suporte após 30 de abril de 2025. Confira Modelos desativados para a recomendação de substituição de modelo.
O Mixtral-8x7B Instruct é uma SMoE (mistura esparsa de alta qualidade de modelo especializado) treinada pela IA do Mistral. O Mixtral-8x7B Instruct pode ser usado para uma variedade de tarefas, como resposta a perguntas, extração e resumo.
O Mixtral pode lidar com comprimentos de contexto de até 32 mil tokens. O Mixtral pode processar inglês, francês, italiano, alemão e espanhol. O Mixtral corresponde ou supera Llama 2 70B e GPT3.5 na maioria dos parâmetros de comparação (desempenho do Mixtral), sendo quatro vezes mais rápido que Llama 70B durante a inferência.
Da mesma forma que outros modelos de linguagem grande, o modelo Mixtral-8x7B Instruct não é considerado confiável para produzir informações factualmente precisas. Embora tenham sido feitos grandes esforços para limpar os dados de pré-treinamento, é possível que esse modelo possa gerar saídas obscenas, tendenciosas ou ofensivas. Para reduzir o risco, o Databricks usa como padrão uma variante do prompt do sistema no modo de segurança do Mistral.
GTE Grande (En)
Importante
O GTE Large (En) é fornecido sob a licença Apache 2.0, sujeita aos termos do , Copyright © The Apache Software Foundation, todos os direitos reservados. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.
GTE (General Text Embedding) é um modelo de incorporação de texto que pode mapear qualquer texto para um vetor de incorporação de 1024 dimensões e uma janela de incorporação de 8192 tokens. Esses vetores podem ser usados em bancos de dados vetoriais para LLMs e para tarefas como recuperação, classificação, resposta a perguntas, clustering ou pesquisa semântica. Esse ponto de extremidade atende à versão em inglês do modelo e não gera inserções normalizadas.
Os modelos de inserção são especialmente eficazes quando usados em conjunto com LLMs para casos de uso de RAG (geração aumentada por recuperação). O GTE pode ser usado para localizar trechos de texto relevantes em grandes partes de documentos que podem ser usados no contexto de uma LLM.
BGE Grande (En)
O BGE (Inserção Geral da BAAI) é um modelo de inserção de texto que pode mapear qualquer texto para um vetor de inserção de 1024 dimensões e uma janela de inserção de 512 tokens. Esses vetores podem ser usados em bancos de dados vetoriais para LLMs e para tarefas como recuperação, classificação, resposta a perguntas, clustering ou pesquisa semântica. Esse ponto de extremidade atende à versão em inglês do modelo e gera inserções normalizadas.
Os modelos de inserção são especialmente eficazes quando usados em conjunto com LLMs para casos de uso de RAG (geração aumentada por recuperação). O BGE pode ser usado para localizar trechos de texto relevantes em grandes partes de documentos que podem ser usados no contexto de uma LLM.
Em aplicativos RAG, você pode melhorar o desempenho do sistema de recuperação incluindo um parâmetro de instrução. Os autores do BGE recomendam tentar a instrução "Represent this sentence for searching relevant passages:"
para inserções de consulta, embora seu impacto no desempenho dependa do domínio.
Recursos adicionais
- modelos de base de consulta
- Referência da API REST de foundation model