Chat empresarial do OpenAI do Azure com imagens usando o GPT-4 Turbo com Visão

Artigo
09/04/2024

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Use este artigo para saber como fornecer seus dados de imagem para o GPT-4 Turbo com Visão, o modelo de visão do OpenAI do Azure. O chat empresarial do GPT-4 Turbo com Visão permite que o modelo gere respostas mais personalizadas e direcionadas usando a geração aumentada de recuperação com base nas suas imagens e seus metadados de imagem.

Dica

Este artigo explica como usar seus dados de imagem no modelo GPT-4 Turbo com Visão. Consulte Implantar um aplicativo Web de chat empresarial para obter um tutorial sobre como implantar um aplicativo Web de chat usando seus dados de texto.

Pré-requisitos

Uma assinatura do Azure – Crie uma gratuitamente.
Um recurso do OpenAI do Azure com o modelo GPT-4 Turbo com Visão implantado. Para obter mais informações sobre a implantação do modelo, consulte o Guia de implantação de recursos.
Verifique se você recebeu, pelo menos, a função Colaborador de Serviços Cognitivos no recurso do OpenAI do Azure.
Um recurso da Pesquisa de IA do Azure. Confira Criar um serviço de Pesquisa de IA do Azure no portal. Se você não tiver um recurso da Pesquisa de IA do Azure, será solicitado que você crie um quando adicionar sua fonte de dados mais adiante neste guia.
Um hub do Estúdio de IA com o recurso do OpenAI do Azure e o recurso de Pesquisa de IA do Azure adicionados como conexões.

Implantar um modelo GPT-4 Turbo com Visão

Entre no Estúdio de IA do Azure e selecione o hub no qual você deseja trabalhar.
No menu de navegação à esquerda, selecione Serviços de IA. Selecione o painel Experimentar o GPT-4 Turbo.
Na página gpt-4, selecione Implantar. Na janela exibida, selecione o recurso de OpenAI do Azure. Selecione vision-preview como a versão do modelo.
Selecione Implantar.
Em seguida, vá para a página do novo modelo e selecione Abrir no playground. No playground de chat, a implantação do GPT-4 que você criou deve ser selecionada na lista suspensa Implantação.

Selecione sua fonte de dados de imagem

No painel esquerdo, selecione a guia Adicionar seus dados e selecione Adicionar uma fonte de dados.
Na janela exibida, selecione uma opção de fonte de dados. Cada opção usa um índice da Pesquisa de IA do Azure treinado em suas imagens e pode ser usado para recuperar a geração aumentada no playground de chat.
- Pesquisa de IA do Azure: caso você já tenha um índice da Pesquisa de IA do Azure, use-o como uma fonte de dados.
- Armazenamento de Blobs do Azure: essa opção é especialmente útil se você tem um grande número de arquivos de imagem e não deseja carregar manualmente cada um deles. O Estúdio de IA do Azure gerará um índice de pesquisa de imagens para você.
- Carregar arquivos de imagem e metadados: você pode carregar arquivos de imagem e metadados usando o playground. Essa opção será útil se você tiver um pequeno número de arquivos de imagem. O Estúdio de IA do Azure gerará um índice de pesquisa de imagens para você.

Adicionar seus dados de imagem

Caso já tenha um índice da Pesquisa de IA do Azure, use-o como uma fonte de dados. Se você ainda não tiver um índice de pesquisa mas quiser criar um por conta própria, siga o Repositório de busca em vetores da Pesquisa de IA no GitHub, que fornece scripts para criar um índice com seus arquivos de imagem.

Na janela Selecionar ou adicionar fonte de dados do playground, escolha Pesquisa de IA do Azure e insira os detalhes do índice. Selecione as caixas para reconhecer que implantações e conexões incorrem em uso em sua conta.
Opcionalmente, habilite a opção Usar mapeamento de campo personalizado. Isso permite controlar o mapeamento entre os campos personalizados no índice de pesquisa e os campos padrão que os modelos de chat do OpenAI do Azure usam durante a geração aumentada por recuperação.
Selecione Próximo e examine suas configurações na próxima página. Em seguida, selecione Salvar e fechar.
No playground de chat, você pode ver que seus dados foram adicionados.

Se você já tiver um contêiner do Armazenamento de Blobs do Azure com imagens, use-o para criar um índice de pesquisa de imagem. Caso você deseje criar uma conta de armazenamento de blobs, confira a documentação do Início Rápido: Armazenamento de Blobs do Azure.

Sua conta do Armazenamento de Blobs do Azure precisa conter tanto arquivos de imagem quanto um arquivo JSON com os caminhos e metadados dos arquivos de imagem.

Seu arquivo JSON de metadados precisa:

Ter um nome de arquivo que comece com a palavra metadata (tudo com letras minúsculas, sem espaços).
Listar no máximo 10.000 arquivos de imagem. Se você tiver mais do que esse número de arquivos no contêiner, poderá ter vários arquivos JSON, cada um com até, no máximo, esse número.

O arquivo de metadados JSON deve ser formatado da seguinte maneira:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Depois que um contêiner de armazenamento de blobs for preenchido com arquivos de imagem e tiver, pelo menos, um arquivo JSON de metadados, estará tudo pronto para você adicionar o armazenamento de blobs como uma fonte de dados.

Na janela Selecionar ou adicionar fonte de dados do playground, escolha Armazenamento de Blobs do Azure e insira os detalhes da fonte de dados. Escolha também um nome para o índice da Pesquisa de IA do Azure que será criado.

Observação

O OpenAI do Azure precisa de um recurso de conta de armazenamento e de um recurso de pesquisa para acessar e indexar seus dados. Seus dados são armazenados com segurança em sua assinatura do Azure.

Ao adicionar dados à conta de armazenamento selecionada pela primeira vez no Estúdio de IA do Azure, você pode ser solicitado a ativar o CORS (compartilhamento de recursos entre origens). O Estúdio de IA do Azure e o OpenAI do Azure precisam acessar sua conta do Armazenamento de Blobs do Azure.
Selecione as caixas para reconhecer que implantações e conexões incorrem em uso em sua conta. Em seguida, selecione Avançar.
Reveja os detalhes inseridos e selecione Salvar e fechar.
Agora, no playground de chat, você pode ver que a ingestão de dados está em andamento. Antes de continuar, aguarde até ver a fonte de dados e o nome do índice no lugar do status.

Usar seus dados com o modelo GPT-4 Turbo com Visão

Depois de adicionar seus dados de imagem, você pode experimentar uma conversa de chat baseada em seus dados de imagem.

Use o botão de anexo na janela de chat para carregar uma nova imagem. Faça uma pergunta sobre a relação dela com as outras imagens em seu conjunto de dados.
O modelo responderá com uma resposta baseada em seus dados de imagem.

Adicionar e remover fontes de dados

O OpenAI do Azure permite que apenas uma fonte de dados seja usada por sessão de chat. Caso deseje adicionar uma nova fonte de dados, você precisará primeiro remover a fonte de dados existente. Faça isso selecionando Remover fonte de dados nas informações da fonte de dados.

Ao remover uma fonte de dados, você verá uma mensagem de aviso. A remoção de uma fonte de dados limpa a sessão de chat e redefine todas as configurações do playground.

Compartilhar via