Início Rápido: Introdução ao uso do GPT-4 Turbo with Vision em suas imagens e vídeos no Estúdio de IA do Azure

Nesta sessão de chat, instrua o assistente a ajudar no reconhecimento das imagens que você insere.

1. Na caixa de texto Mensagem do sistema na guia Mensagem do sistema, forneça este prompt para orientar o assistente: "You're an AI assistant that helps people find information." Você pode adaptar o prompt à sua imagem ou cenário.
2. Selecione Aplicar alterações para salvar suas alterações.
3. No painel de sessão de chat, selecione o botão anexo e Carregar imagem. Escolha sua imagem.
4. Adicione a seguinte pergunta no campo de chat: "Describe this image", e selecione o ícone de seta para a direita a ser enviado.
5. O ícone de seta para a direita é substituído pelo botão Parar. Se você selecioná-lo, o assistente interromperá o processamento da sua solicitação. Para este início rápido, deixe o assistente concluir sua resposta.
6. O assistente responde com uma descrição da imagem.
7. Faça uma pergunta de acompanhamento relacionada à análise de sua imagem. Você pode entrar, "What should I highlight about this image to my insurance company?".
8. Você deve receber uma resposta relevante semelhante à mostrada aqui:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Nesta sessão de chat, instrua o assistente a ajudar no reconhecimento das imagens que você insere. Experimente os recursos do modelo de visão aumentada.

1. No painel Aprimoramentos no lado esquerdo da janela de chat, ative a opção para Visão. Na janela exibida, selecione o recurso da Pesquisa Visual Computacional do Azure.
2. Na caixa de texto Mensagem do sistema na guia Mensagem do sistema, forneça este prompt para orientar o assistente: "You're an AI assistant that helps people find information." Você pode adaptar o prompt à sua imagem ou cenário. Selecione Aplicar alterações para salvar suas alterações.
3. No painel de sessão de chat, selecione o botão anexo e Carregar imagem. Escolha sua imagem.
4. Adicione a seguinte pergunta no campo de chat: "Describe this image", e selecione o ícone de seta para a direita a ser enviado.
5. O ícone de seta para a direita é substituído pelo botão Parar. Se você selecioná-lo, o assistente interromperá o processamento da sua solicitação. Para este início rápido, deixe o assistente concluir sua resposta.
6. O assistente responde com uma descrição da imagem. Ele usa o serviço de Visão de IA do Azure para extrair mais detalhes da imagem que você carregou.
7. Faça uma pergunta de acompanhamento relacionada à análise de sua imagem. Insira, "What should I highlight about this image to my insurance company?" e selecione o ícone de seta para a direita a ser enviado.
8. Você deve receber uma resposta relevante semelhante à mostrada aqui:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Nesta sessão de chat, você está instruindo o assistente a ajudar a entender os vídeos que você inseriu. O assistente extrai vários quadros do vídeo e os usa para responder suas perguntas.

1. No painel Aprimoramentos no lado esquerdo da janela de chat, ative a opção para Visão. Na janela exibida, selecione o recurso da Pesquisa Visual Computacional do Azure.
2. Na caixa de texto Mensagem do sistema na guia Mensagem do sistema, forneça este prompt para orientar o assistente: "You're an AI assistant that helps people find information." Você pode adaptar o prompt à sua imagem ou cenário.
3. Selecione Aplicar alterações para salvar suas alterações.
4. No painel de sessão de chat, selecione o botão anexo e Carregar vídeo. Escolha seu vídeo.
5. Insira um prompt de texto como, "Provide details about this video", e selecione o ícone de seta para a direita a ser enviado.
6. O ícone de seta para a direita é substituído pelo botão Parar. Se você selecioná-lo, o assistente interromperá o processamento da sua solicitação. Para este início rápido, deixe o assistente concluir sua resposta.
7. O assistente deve responder com uma descrição do vídeo.
8. Fique à vontade para fazer perguntas de acompanhamento relacionadas à análise do vídeo.

Limitações

Abaixo estão as limitações conhecidas dos aprimoramentos de prompt de vídeo.

• Baixa resolução: os quadros são analisados usando a configuração de “baixa resolução” do GPT-4 Turbo with Vision, o que pode afetar a precisão do reconhecimento de texto e objeto pequeno no vídeo.
• Limites de arquivo de vídeo: há suporte para tipos de arquivo MP4 e MOV. No Playground do Estúdio de IA do Azure, os vídeos devem ter menos de 3 minutos de duração. Quando você usa a API, não há essa limitação.
• Limites de prompt: as solicitações de vídeo contêm apenas um vídeo e nenhuma imagem. Em Playground, você pode limpar a sessão para experimentar outro vídeo ou imagens.
• Seleção de quadro limitada: atualmente, o serviço seleciona 20 quadros de todo o vídeo, o que pode não capturar todos os momentos ou detalhes críticos. A seleção de quadros pode ser distribuída uniformemente pelo vídeo ou focada por uma consulta específica de Recuperação de Vídeo, dependendo do prompt.
• Suporte ao idioma: atualmente, o sistema dá suporte principalmente ao inglês para aterramento com transcrições. As transcrições não fornecem informações precisas sobre letras de músicas.