获取人脸检测见解

项目
10/09/2024

人脸检测

人脸检测可检测媒体文件中的人脸，然后将相似人脸的实例聚合成组。

人脸检测见解在 JSON 文件中生成为分类列表，其中包含缩略图和每个人脸的名称或 ID。在 Web 门户中，选择人脸的缩略图会显示信息，如人员姓名（如果识别）、该人显示的视频百分比，以及该人的传记（如果他们是名人）。还可以在显示人员的视频中的实例之间滚动。

名人识别模型

名人识别模型涵盖大约 100 万张人脸，并基于通常请求的数据源。视频索引器无法识别为名人的人脸被检测到，但未透露姓名。可以构建自己的自定义人员模型来训练视频索引器，以识别默认情况下无法识别的人脸。

重要

为了支持Microsoft负责任的 AI 原则，访问人脸识别、自定义和名人识别功能受到限制，并基于资格和使用标准。 Microsoft托管客户和合作伙伴可以使用人脸识别、自定义和名人识别功能。若要申请访问，请使用面部识别摄入量形式。

人脸检测用例

以下列表描述了人脸检测的常见用例示例：

总结演员在电影中出现的位置，或者通过深入搜索组织档案中的特定人脸来重用镜头，以获取有关特定名人的见解。
在通讯社或体育机构创建功能故事时，提高效率。示例包括深入搜索组织档案中的名人或足球运动员。
使用视频中显示的人脸创建促销、预告片或突出显示。视频索引器可以通过添加关键帧、场景标记、时间戳和标记来帮助使内容编辑器花费更少的时间查看大量文件。

关键术语

术语	定义
人脸识别	分析图像以识别图像中显示的人脸。此过程通过 Azure AI 人脸 API 实现。
注册	注册个人映像以创建模板的过程，以便识别它们。当某人注册到用于身份验证的验证系统时，其模板也与用于确定要与探测模板进行比较的主标识符相关联。高质量的图像和图像，代表人员外观的自然变化（例如，戴眼镜和不戴眼镜）生成高质量的注册模板。
模板	注册的人的图像将转换为模板，然后用于面部识别。计算机可解释的功能是从一个或多个单个图像中提取的，以创建该个人的模板。注册或探测图像不由人脸 API 存储，无法基于模板重新构造原始图像。模板质量是结果准确性的关键决定因素。

使用 Web 门户查看见解 JSON

上传并编制视频索引后，可以使用 JSON 格式获取见解，以便使用 Web 门户进行下载。

选择“ 库 ”选项卡。
选择要处理的媒体。
选择“下载”和“见解”（JSON）。 JSON 文件将在新的浏览器选项卡中打开。
查找示例响应中所述的密钥对。

使用 API

使用“获取视频索引”请求。建议传递 &includeSummarizedInsights=false。
查找示例响应中所述的密钥对。

重要

在 UI 中查看人脸检测时，可能不会看到视频中显示的所有人脸。我们仅公开置信度超过 0.5 的人脸组，并且人脸必须至少显示 4 秒或 10% 的值 video_duration。仅当满足这些条件时，我们才会在 UI 和 Insights.json 文件中显示人脸。始终可以使用 API 从人脸项目文件检索所有人脸实例： https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]

示例响应

    "faces": [
        {
        "id": 1785,
        "name": "Emily Tran",
        "confidence": 0.7855,
        "description": null,
        "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
        "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
        "title": null,
        "imageUrl": null,
        "thumbnails": [
            {
            "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
            "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:00",
                "adjustedEnd": "0:00:00.033",
                "start": "0:00:00",
                "end": "0:00:00.033"
                }
            ]
            },
            {
            "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
            "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:05",
                "adjustedEnd": "0:00:05.033",
                "start": "0:00:05",
                "end": "0:00:05.033"
                }
            ]
            },
        ]
        }
    ]

重要

阅读所有 VI 功能的透明度说明概述非常重要。每个见解也有其自己的透明度说明：

人脸检测笔记

人脸检测是许多行业使用负责任且谨慎的有价值的工具。若要尊重他人的隐私和安全，并遵守本地和全球法规，建议遵循以下使用准则：

仔细考虑结果的准确性。为了促进更准确的检测，请检查视频的质量。低质量视频可能会影响显示的见解。
如果对执法部门使用人脸检测，请仔细查看结果。如果人们很小、坐着、蹲下或被物体或其他人阻挠，则人们可能不会被检测到。为了确保公平和高质量的决策，将基于人脸检测的自动化与人工监督相结合。
不要对可能具有严重、不利影响的决策使用人脸检测。基于错误输出的决策可能会产生严重、不利影响。建议包括人工审查对可能对个人产生严重影响的决定。

人脸检测组件

下表介绍了在人脸检测过程中如何处理媒体文件中的图像：

组件	定义
源文件	用户上传源文件进行索引。
检测和聚合	人脸检测器标识每个帧中的人脸。然后，将聚合和分组人脸。
识别	名人模型处理聚合组以识别名人。如果已创建自己的人员模型，它还会处理组来识别其他人。如果无法识别人员，则标记为 Unknown1、Unknown2 等。
置信度值	如果适用于已知人脸或可自定义列表中标识的人脸，则每个标签的估计置信度计算为 0 到 1 的范围。置信度分数表示结果准确性的确定性。例如，82% 的确定性表示为 0.82 分数。

代码示例

查看所有 VI 示例

通过