Obtenha deteção de pessoas observadas e perceções de rostos correspondentes

Artigo
09/03/2024

Deteção de pessoas observadas, rostos combinados, roupas detetadas

Importante

O acesso a recursos de identificação facial, personalização e reconhecimento de celebridades é limitado com base em critérios de elegibilidade e uso, a fim de apoiar nossos princípios de IA responsável. Os recursos de identificação facial, personalização e reconhecimento de celebridades estão disponíveis apenas para clientes e parceiros gerenciados pela Microsoft. Use o formulário de admissão de Reconhecimento Facial para solicitar acesso.

A deteção de pessoas observadas e os rostos correspondentes detetam e combinam automaticamente as pessoas em arquivos de mídia. A deteção de pessoas observadas e os rostos combinados podem ser configurados para exibir informações sobre as pessoas, suas roupas e o período exato de sua aparência.

No portal da Web, os insights resultantes são exibidos em uma lista categorizada na guia Insights, a guia inclui uma miniatura de cada pessoa e seu ID. Clicar na miniatura de uma pessoa exibe a pessoa correspondente (o rosto correspondente no Insights de pessoas). Os insights também são gerados em uma lista categorizada em um arquivo JSON que inclui o ID da miniatura da pessoa, a porcentagem de tempo que aparece no arquivo, o link do Wiki (se for uma celebridade) e o nível de confiança.

Deteção de pessoas observadas, roupas detetadas e casos de uso de rostos compatíveis

Melhorar a eficiência através da pesquisa profunda de pessoas correspondentes em arquivos organizacionais para obter informações sobre celebridades específicas, por exemplo, ao criar promoções e trailers.
Maior eficiência ao criar reportagens, por exemplo, pesquisando pessoas vestindo uma camisa vermelha nos arquivos de um jogo de futebol em uma agência de notícias ou esportes.
Crie um resumo de um vídeo longo, como provas judiciais da aparição de uma pessoa específica em um vídeo, usando o ID da mesma pessoa detetada.
Aprenda e analise tendências ao longo do tempo, por exemplo: como os clientes se movem pelos corredores de um shopping center ou quanto tempo passam nas filas de caixa.

Os rostos correspondentes e os recursos de roupas detetados estão disponíveis ao indexar seu arquivo, escolhendo a predefinição de indexação Advanced ->Video + audio.

Veja o insight JSON com o portal da Web

Depois de carregar e indexar um vídeo, os insights ficam disponíveis no formato JSON para download usando o portal da Web.

Selecione a guia Biblioteca .
Selecione a mídia com a qual deseja trabalhar.
Selecione Download e o Insights (JSON). O arquivo JSON é aberto em uma nova guia do navegador.
Procure o par de chaves descrito na resposta de exemplo.

Utilizar a API

Use a solicitação Obter índice de vídeo. Recomendamos passar &includeSummarizedInsights=false.
Procure os pares de chaves descritos na resposta de exemplo.

Resposta de exemplo

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

Importante

É importante ler a visão geral da nota de transparência para todos os recursos VI. Cada insight também tem notas de transparência próprias:

Deteção de pessoas observadas e anotações de rostos correspondentes

As pessoas geralmente não são detetadas se parecerem pequenas (a altura mínima da pessoa é de 100 pixels).
O tamanho máximo do quadro é de alta definição total (FHD).
Vídeo de baixa qualidade (por exemplo, condições de iluminação escura) pode afetar os resultados da deteção.
A taxa de quadros recomendada de pelo menos 30 FPS.
A entrada de vídeo recomendada deve conter até 10 pessoas em um único quadro. O recurso poderia funcionar com mais pessoas em um único quadro, mas o resultado da deteção recupera até 10 pessoas em um quadro com a maior confiança de deteção.
Pessoas com roupas semelhantes: (por exemplo, pessoas usam uniformes, jogadores em jogos esportivos) podem ser detetadas como a mesma pessoa com o mesmo número de identificação.
Obstrução – pode haver erros onde há obstruções (cena/auto ou obstruções por outras pessoas).
Pose: As faixas podem ser divididas devido a diferentes poses (traseira/frontal)
Como a deteção de roupas depende da visibilidade do corpo da pessoa, a precisão é maior se uma pessoa for totalmente visível. Pode haver erros quando uma pessoa está sem roupa. Neste cenário ou em outros de pouca visibilidade, podem ser dados resultados como calças compridas e saia ou vestido.

Deteção de pessoas observadas e componentes de rostos compatíveis

Componente	Definição
Ficheiro de origem	O usuário carrega o arquivo de origem para indexação.
Detection	O arquivo de mídia é rastreado para detetar pessoas observadas e suas roupas. Por exemplo, camisa de mangas compridas, vestido ou calça comprida. Para ser detetado, toda a parte superior do corpo da pessoa deve aparecer na mídia.
Agrupamento local	As faces observadas identificadas são filtradas em grupos locais. Se uma pessoa for detetada mais de uma vez, mais ocorrências de rostos observados serão criadas para essa pessoa.
Correspondência e classificação	Os casos de pessoas observadas são combinados com rostos. Se houver uma celebridade conhecida, a pessoa observada recebe seu nome. Qualquer número de casos de pessoas observadas pode ser correspondido ao mesmo rosto.
Valor da confiança	O nível de confiança estimado de cada pessoa observada é calculado como um intervalo de 0 a 1. O índice de confiança representa a certeza na precisão do resultado. Por exemplo, uma certeza de 82% é representada como uma pontuação de 0,82.

Código de exemplo

Ver todos os exemplos de VI

Partilhar via