Coleções e catálogo de modelos no Estúdio de IA do Azure

O catálogo de modelos no Estúdio de IA do Azure é o hub para descobrir e usar uma ampla gama de modelos para criar aplicativos de IA generativa. O catálogo de modelos apresenta centenas de modelos de provedores de modelos, como o Serviço OpenAI do Azure, Mistral, Meta, Cohere, NVIDIA e Hugging Face, incluindo modelos treinados pela Microsoft. Modelos de provedores diferentes da Microsoft são produtos não Microsoft, conforme definido nos Termos de Produto da Microsoft e estão sujeitos aos termos fornecidos com os modelos.

Coleções de modelos

O catálogo de modelos organiza os modelos em três coleções:

• Coletados pela IA do Azure: os modelos proprietários e de peso aberto mais populares que não são da Microsoft, empacotados e otimizados para funcionar perfeitamente na plataforma de IA do Azure. O uso desses modelos está sujeito aos termos de licença do provedor de modelo. Quando você implanta esses modelos no Estúdio de IA do Azure, a disponibilidade está sujeita ao SLA (contrato de nível de serviço) do Azure aplicável, e a Microsoft fornece suporte para problemas de implantação.

  Modelos de parceiros como Meta, NVIDIA e Mistral AI são exemplos de modelos disponíveis nesta coleção no catálogo. Você pode identificar esses modelos procurando uma marca de seleção verde nos blocos de modelo no catálogo. Ou você pode filtrar pela coleção Coletado pela IA do Azure.

• Modelos do OpenAI do Azure, disponíveis exclusivamente no Azure: modelos emblemáticos do OpenAI do Azure através de uma integração com o Serviço OpenAI do Azure. A Microsoft dá suporte a esses modelos e ao uso deles de acordo com os termos do produto e ao SLA para o Serviço OpenAI do Azure.

• Modelos abertos do hub Hugging Face: centenas de modelos do hub Hugging Face para inferência em tempo real com computação gerenciada. O Hugging Face cria e mantém modelos listados nessa coleção. Para obter ajuda, use o fórum do Hugging Face ou o suporte do Hugging Face. Saiba mais em Implantar modelos abertos com o Estúdio de IA do Azure.

Você pode enviar uma solicitação para adicionar um modelo ao catálogo de modelos usando este formulário.

Visão geral dos recursos do catálogo de modelos

Você pode implantar alguns modelos no Coletado pela IA do Azure e Abrir modelos das coleções do hub Hugging Face com uma opção de computação gerenciada. Alguns modelos estão disponíveis para serem implantados por meio de APIs sem servidor com cobrança de Pagamento Conforme o Uso.

Você pode descobrir, comparar, avaliar, ajustar (quando houver suporte) e implantar esses modelos em escala. Em seguida, você pode integrar os modelos em seus aplicativos de IA generativa com segurança de nível empresarial e governança de dados. A lista a seguir descreve as atividades em detalhes:

• Descobrir: revise cartões de modelo, experimente inferência de exemplos e procure exemplos de código para avaliar, ajustar ou implantar o modelo.
• Comparar: compare benchmarks entre modelos e conjuntos de dados disponíveis no setor para avaliar qual deles atende ao seu cenário de negócios.
• Avaliar: avalie se o modelo é adequado para sua carga de trabalho específica fornecendo seus próprios dados de teste. Use métricas de avaliação para visualizar o desempenho do modelo selecionado em seu cenário.
• Ajuste fino: personalize modelos ajustáveis usando seus próprios dados de treinamento e escolha o melhor modelo comparando métricas em todos os seus trabalhos de ajuste fino. As otimizações integradas aceleram o ajuste fino e reduzem a memória e a computação necessárias.
• Implantar: implante modelos pré-treinados ou modelos ajustados perfeitamente para inferência. Você também pode baixar modelos que podem ser implantados na computação gerenciada.

Para obter informações sobre modelos do OpenAI do Azure, consulte O que é o Serviço OpenAI do Azure?.

Implantação de modelo: computação gerenciada e API sem servidor (pagamento conforme o uso)

O catálogo de modelos oferece duas maneiras distintas de implantar modelos para seu uso: computação gerenciada e APIs sem servidor.

As opções de implantação e os recursos disponíveis para cada modelo variam, conforme descrito nas tabelas a seguir. Saiba mais sobre o processamento de dados com as opções de implantação.

Funcionalidades das opções de implantação de modelo

Modelos disponíveis para opções de implantação com suporte

Computação gerenciada

A capacidade de implantar modelos como computação gerenciada se baseia nos recursos de plataforma do Azure Machine Learning para permitir a integração perfeita da ampla coleção de modelos no catálogo de modelos em todo o ciclo de vida das operações de modelos de linguagem grandes (LLM).

Disponibilidade de modelos para implantação como computação gerenciada

Os modelos são disponibilizados por meio de registros do Azure Machine Learning. Esses registros permitem uma abordagem de machine learning para hospedagem e distribuição de ativos do Azure Machine Learning. Esses ativos incluem pesos do modelo, runtimes de contêiner para executar os modelos, pipelines para avaliar e ajustar os modelos e conjuntos de dados para parâmetros de comparação e exemplos.

Os registros se baseiam em uma infraestrutura altamente escalonável e pronta para a empresa que:

• Fornece artefatos de modelo de acesso de baixa latência para todas as regiões do Azure com replicação geográfica integrada.

• Dá suporte aos requisitos de segurança empresarial, como limitar o acesso a modelos usando o Azure Policy e a implantação segura com redes virtuais gerenciadas.

Implante modelos para inferência com a computação gerenciada

Os modelos disponíveis para implantação no processamento gerenciado podem ser implantados no processamento gerenciado do Azure Machine Learning para inferência em tempo real. A implantação na computação gerenciada exige que você tenha uma cota de máquina virtual em sua assinatura do Azure para os produtos específicos que você precisa para executar o modelo de maneira ideal. Alguns modelos permitem implantar em cota compartilhada temporariamente para teste do modelo.

Saiba mais sobre como implantar modelos:

• Implantar modelos Meta Llama
• Implantar modelos abertos do Estúdio de IA do Azure

Crie aplicativos de IA generativa com a computação gerenciada

O recurso prompt flow no Azure Machine Learning oferece uma ótima experiência para protótipos. Você pode usar modelos implantados com computação gerenciada no prompt flow com a ferramenta Open Model LLM. Você também pode usar a API REST exposta pela computação gerenciada em ferramentas LLM populares como LangChain com a extensão Azure Machine Learning.

Segurança de conteúdo para modelos implantados como computação gerenciada

O serviço Segurança de Conteúdo de IA do Azure está disponível para uso com computação gerenciada filtrar várias categorias de conteúdo prejudicial, como conteúdo sexual, violência, ódio e automutilação. Você também pode usar o serviço para filtrar ameaças avançadas, como detecção de risco de jailbreak e detecção de texto de material protegido.

Você pode consultar este notebook para a integração de referência com a Segurança de Conteúdo de IA do Azure para Llama 2. Ou você pode usar a ferramenta Segurança de Conteúdo (Texto) no prompt flow para passar respostas do modelo para a Segurança de Conteúdo de IA do Azure para filtragem. Você é cobrado separadamente por esse uso, conforme descrito em preços de Segurança de Conteúdo de IA do Azure.

APIs sem servidor com Pagamento Conforme o Uso

Você pode implantar determinados modelos no catálogo de modelos como APIs sem servidor com cobrança de Pagamento Conforme o Uso. Esse método de implantação, às vezes chamado modelo como um serviço (MaaS), fornece uma maneira de consumir os modelos como APIs sem hospedá-los em sua assinatura. Os modelos são hospedados na infraestrutura gerenciada pela Microsoft, o que permite o acesso baseado em API ao modelo do provedor de modelos. O acesso baseado em API pode reduzir drasticamente o custo de acesso a um modelo e simplificar a experiência de provisionamento.

Os modelos disponíveis para implantação como APIs sem servidor com Pagamento Conforme o Uso são oferecidos pelo provedor de modelo, mas hospedados na infraestrutura do Azure gerenciada pela Microsoft e acessados por meio da API. Os provedores de modelo definem os termos de licença e definem o preço para o uso de seus modelos. O Serviço do Azure Machine Learning:

• Gerencia a infraestrutura de hospedagem.
• Disponibiliza as APIs de inferência.
• Atua como o processador de dados para prompts enviados e saída de conteúdo por modelos implantados por meio do MaaS.

Saiba mais sobre processamento de dados para MaaS no artigo sobre privacidade de dados.

Cobrança

A experiência de descoberta, assinatura e consumo para modelos implantados via MaaS está no Estúdio de IA do Azure e no Estúdio do Azure Machine Learning. Os usuários aceitam termos de licença para uso dos modelos. As informações de preços para consumo são fornecidas durante a implantação.

Modelos de provedores que não são da Microsoft são cobrados por meio do Azure Marketplace, de acordo com o Termos de Uso do Marketplace Comercial da Microsoft.

Os modelos da Microsoft são cobrados por meio de medidores do Azure como Serviços de Consumo de Primeira Parte. Conforme descrito nos Termos do Produto, você compra Serviços de Consumo de Primeira Parte usando medidores do Azure, mas eles não estão sujeitos aos termos de serviço do Azure. O uso desses modelos está sujeito aos termos de licença fornecidos.

Modelos de ajuste fino

Determinados modelos também dão suporte ao ajuste fino sem servidor. Para esses modelos, você pode aproveitar o ajuste fino hospedado com a cobrança Pagamento Conforme o Uso para adaptar os modelos usando os dados fornecidos. Para obter mais informações, consulte a Visão geral de ajuste fino.

RAG com modelos implantados como APIs sem servidor

No Estúdio de IA do Azure, você pode usar índices de vetor e RAG (geração aumentada de recuperação). Você pode usar modelos que podem ser implantados por meio de APIs sem servidor para gerar inserções e inferências com base em dados personalizados. Essas inserções e inferências podem gerar respostas específicas ao seu caso de uso. Para obter mais informações, consulte Criar e consumir índices de vetor no Estúdio de IA do Azure.

Disponibilidade regional de ofertas e modelos

A cobrança por pagamento conforme o uso só está disponível para os usuários cuja assinatura do Azure pertence a uma conta de cobrança em um país onde o provedor de modelo disponibilizou a oferta. Se a oferta estiver disponível na região relevante, o usuário precisará ter um Hub/Projeto na região do Azure em que o modelo está disponível para implantação ou ajuste fino, conforme aplicável. Confira Disponibilidade de regiões para modelos em pontos de extremidade de API sem servidor | Estúdio de IA do Azure para obter informações detalhadas.

Segurança de conteúdo para modelos implantados por meio de APIs sem servidor

Para modelos de linguagem implantados por meio de APIs sem servidor, o Azure AI implementa uma configuração padrão de filtros de moderação de texto da Segurança de Conteúdo de IA do Azure que detecta conteúdos prejudiciais, como conteúdo de ódio, de automutilação, sexual e violento. Para saber mais sobre a filtragem de conteúdo (versão prévia), veja Categorias de danos na Segurança de Conteúdo de IA do Azure.

A filtragem de conteúdo (versão prévia) ocorre de forma síncrona à medida que o serviço processa solicitações para gerar conteúdo. Você pode ser cobrado separadamente de acordo com preços de Segurança de Conteúdo de IA do Azure para tal uso. Você pode desabilitar a filtragem de conteúdo (versão prévia) para pontos de extremidade individuais sem servidor:

• No momento em que você implanta um modelo de linguagem pela primeira vez
• Posteriormente, selecionando a alternância de filtragem de conteúdo na página de detalhes da implantação

Suponha que você decida usar uma API diferente da API de Inferência do Modelo de IA do Azure para trabalhar com um modelo implantado por meio de uma API sem servidor. Nessa situação, a filtragem de conteúdo (versão prévia) não estará habilitada, a menos que você a implemente separadamente usando a Segurança de Conteúdo de IA do Azure.

Para começar a usar a Segurança de Conteúdo de IA do Azure, confira Início Rápido: Analisar conteúdo de texto. Se não usar a filtragem de conteúdo (versão prévia) ao trabalhar com modelos que são implantados por meio de APIs sem servidor, você correrá um risco mais alto de expor os usuários a conteúdos prejudiciais.

Isolamento de rede para modelos implantados por meio de APIs sem servidor

Os cálculos gerenciados para modelos implantados como APIs sem servidor seguem a configuração do sinalizador de acesso à rede pública do hub do AI Studio que contém o projeto no qual a implantação existe. Para ajudar a proteger sua computação gerenciada, desative o sinalizador de acesso à rede pública no seu hub do AI Studio. Você pode ajudar a proteger a comunicação de entrada de um cliente para seu computador gerenciado usando um ponto de extremidade privado para o hub.

Para definir o sinalizador de acesso à rede pública para o hub do AI Studio:

• Acesse o portal do Azure.
• Pesquise o grupo de recursos ao qual o hub pertence e selecione o hub do Estúdio de IA nos recursos listados para esse grupo de recursos.
• Na página de visão geral do hub, no painel esquerdo, vá para Configurações>Rede.
• Na aba Acesso público, você pode configurar as definições para o sinalizador de acesso à rede pública.
• Salve suas alterações. Suas alterações podem levar até cinco minutos para serem propagadas.

Limitações

• Se você tiver um hub do AI Studio com uma computação gerenciada criada antes de 11 de julho de 2024, as computações gerenciadas adicionadas aos projetos nesse hub não seguirão a configuração de rede do hub. Em vez disso, você precisa criar uma nova computação gerenciada para o hub e criar novas implantações de API sem servidor no projeto para que as novas implantações possam seguir a configuração de rede do hub.

• Se você tiver um hub do AI Studio com implantações MaaS criadas antes de 11 de julho de 2024 e habilitar uma computação gerenciada nesse hub, as implantações MaaS existentes não seguirão a configuração de rede do hub. Para que as implantação de API sem servidor no hub sigam a configuração de rede do hub, é necessário criar as implementações novamente.

• Atualmente, o suporte ao Azure OpenAI On Your Data não está disponível para implantações de MaaS em hubs privados, porque os hubs privados têm o sinalizador de acesso à rede pública desabilitado.

• Qualquer alteração na configuração de rede (por exemplo, habilitar ou desabilitar o sinalizador de acesso à rede pública) pode levar até cinco minutos para ser propagada.

Conteúdo relacionado

• Explorar modelos de base da IA do Azure no Estúdio de IA do Azure