Habilitar roupas em destaque de uma pessoa observada

Ao indexar um vídeo usando as configurações avançadas de vídeo do Azure AI Video Indexer, você pode exibir as roupas em destaque de uma pessoa observada. O insight fornece momentos dentro do vídeo em que as pessoas-chave são destacadas e claramente visíveis, incluindo as coordenadas das pessoas, o carimbo de data/hora e o quadro da foto. Esse insight permite publicidade contextual em vídeo de alta qualidade, em que anúncios de roupas relevantes são combinados com o horário específico do vídeo em que são visualizados.

Este artigo discute como exibir o insight de roupas em destaque e como essas imagens são classificadas.

Assistir a um vídeo de introdução

Você pode assistir ao vídeo curto a seguir que discute como visualizar e usar o insight de roupas em destaque.

Exibindo roupas em destaque

O insight de roupas em destaque está disponível durante a indexação do arquivo pela escolha da predefinição de Opção avançada –> Vídeo avançado ou Vídeo + áudio avançados (em Indexação de vídeo + áudio). A indexação padrão não inclui esse insight.

As imagens de roupas em destaque são classificadas com base em alguns dos seguintes fatores: momentos-chave do vídeo, duração da aparição da pessoa, emoções baseadas em texto e eventos de áudio. Os insights privam o quadro de classificação mais alta por cena, o que permite produzir anúncios contextuais por cena ao longo do vídeo. O arquivo JSON é classificado pela sequência de cenas no vídeo, com cada cena tendo o quadro mais bem avaliado como resultado.

1. No canto superior direito, selecione para baixar o arquivo zip do artefato: Baixar ->Artefato (ZIP)
2. Abra o featuredclothing.zip.

O arquivo .zip contém dois objetos:

• featuredclothing.map.json – o arquivo contém instâncias de cada roupa em destaque, com as seguintes propriedades:

  • id – índice de classificação ("id": 1 é a roupa mais importante).
  • confidence – a pontuação da roupa em destaque.
  • frameIndex – o melhor quadro da roupa.
  • timestamp – correspondente ao frameIndex.
  • opBoundingBox – caixa delimitadora da pessoa.
  • faceBoundingBox – caixa delimitadora do rosto da pessoa, se detectada.
  • fileName – onde o melhor quadro da roupa é salvo.
  • sceneID - a cena em que a cena aparece.

  Um exemplo das roupas em destaque com "sceneID": 1.

  "instances": [
    	{
      		"confidence": 0.07,
  			"faceBoundingBox": {},
  			"fileName": "frame_100.jpg",
      		"frameIndex": 100,
      		"opBoundingBox": {
          			"x": 0.09062,
          			"y": 0.4,
  				"width": 0.11302,
          			"height": 0.59722
  				},
     			 "timestamp": "0:00:04",
      		"personName": "Observed Person #1",
      		"sceneId": 1
    	}
  

• featuredclothing.frames.map – esta pasta contém imagens dos melhores quadros em que a roupa em destaque apareceu, correspondendo à propriedade fileName em cada instância emfeaturedclothing.map.json.

Limitações e suposições

É importante observar as limitações das roupas em destaque para evitar ou atenuar os efeitos de falsas detecções de imagens com baixa qualidade ou baixa relevância. 

• A pré-condição para a roupa em destaque é que a pessoa que usa as roupas possa ser encontrada na visão das pessoas observadas.
• Se o rosto de uma pessoa vestindo a roupa em destaque não for detectado, os resultados não incluirão a caixa delimitadora de rostos.
• Se uma pessoa em um vídeo usa mais de uma roupa, o algoritmo seleciona sua melhor roupa como uma única imagem de roupa em destaque.
• Quando posto, os rastreamentos são otimizados para lidar com as pessoas observadas que aparecem com mais frequência na frente.
• Detecções erradas podem ocorrer quando as pessoas estão sobrepostas.
• Quadros que contêm pessoas desfocadas são mais propensos a resultados de baixa qualidade.

Para obter mais informações, consulte as limitações das pessoas observadas.