获取人脸检测见解
人脸检测
人脸检测可检测媒体文件中的人脸,然后将相似人脸的实例聚合成组。
人脸检测见解在 JSON 文件中生成为分类列表,其中包含缩略图和每个人脸的名称或 ID。 在 Web 门户中,选择人脸的缩略图会显示信息,如人员姓名(如果识别)、该人显示的视频百分比,以及该人的传记(如果他们是名人)。 还可以在显示人员的视频中的实例之间滚动。
名人识别模型
名人识别模型涵盖大约 100 万张人脸,并基于通常请求的数据源。 视频索引器无法识别为名人的人脸被检测到,但未透露姓名。 可以构建自己的自定义 人员模型 来训练视频索引器,以识别默认情况下无法识别的人脸。
重要
为了支持Microsoft负责任的 AI 原则,访问人脸识别、自定义和名人识别功能受到限制,并基于资格和使用标准。 Microsoft托管客户和合作伙伴可以使用人脸识别、自定义和名人识别功能。 若要申请访问,请使用 面部识别摄入量形式。
人脸检测用例
以下列表描述了人脸检测的常见用例示例:
- 总结演员在电影中出现的位置,或者通过深入搜索组织档案中的特定人脸来重用镜头,以获取有关特定名人的见解。
- 在通讯社或体育机构创建功能故事时,提高效率。 示例包括深入搜索组织档案中的名人或足球运动员。
- 使用视频中显示的人脸创建促销、预告片或突出显示。 视频索引器可以通过添加关键帧、场景标记、时间戳和标记来帮助使内容编辑器花费更少的时间查看大量文件。
关键术语
术语 | 定义 |
---|---|
人脸识别 | 分析图像以识别图像中显示的人脸。 此过程通过 Azure AI 人脸 API 实现。 |
注册 | 注册个人映像以创建模板的过程,以便识别它们。 当某人注册到用于身份验证的验证系统时,其模板也与用于确定要与探测模板进行比较的主标识符相关联。 高质量的图像和图像,代表人员外观的自然变化(例如,戴眼镜和不戴眼镜)生成高质量的注册模板。 |
模板 | 注册的人的图像将转换为模板,然后用于面部识别。 计算机可解释的功能是从一个或多个单个图像中提取的,以创建该个人的模板。 注册或探测图像不由人脸 API 存储,无法基于模板重新构造原始图像。 模板质量是结果准确性的关键决定因素。 |
使用 Web 门户查看见解 JSON
上传并编制视频索引后,可以使用 JSON 格式获取见解,以便使用 Web 门户进行下载。
- 选择“ 库 ”选项卡。
- 选择要处理的媒体。
- 选择“下载”和“见解”(JSON)。 JSON 文件将在新的浏览器选项卡中打开。
- 查找示例响应中所述的密钥对。
使用 API
- 使用“获取视频索引”请求。 建议传递
&includeSummarizedInsights=false
。 - 查找示例响应中所述的密钥对。
重要
在 UI 中查看人脸检测时,可能不会看到视频中显示的所有人脸。 我们仅公开置信度超过 0.5 的人脸组,并且人脸必须至少显示 4 秒或 10% 的值 video_duration
。 仅当满足这些条件时,我们才会在 UI 和 Insights.json 文件中显示人脸。 始终可以使用 API 从人脸项目文件检索所有人脸实例: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]
示例响应
"faces": [
{
"id": 1785,
"name": "Emily Tran",
"confidence": 0.7855,
"description": null,
"thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
"knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
"title": null,
"imageUrl": null,
"thumbnails": [
{
"id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
"fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:00.033",
"start": "0:00:00",
"end": "0:00:00.033"
}
]
},
{
"id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
"fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
"instances": [
{
"adjustedStart": "0:00:05",
"adjustedEnd": "0:00:05.033",
"start": "0:00:05",
"end": "0:00:05.033"
}
]
},
]
}
]
重要
阅读 所有 VI 功能的透明度说明概述 非常重要。 每个见解也有其自己的透明度说明:
人脸检测笔记
人脸检测是许多行业使用负责任且谨慎的有价值的工具。 若要尊重他人的隐私和安全,并遵守本地和全球法规,建议遵循以下使用准则:
- 仔细考虑结果的准确性。 为了促进更准确的检测,请检查视频的质量。 低质量视频可能会影响显示的见解。
- 如果对执法部门使用人脸检测,请仔细查看结果。 如果人们很小、坐着、蹲下或被物体或其他人阻挠,则人们可能不会被检测到。 为了确保公平和高质量的决策,将基于人脸检测的自动化与人工监督相结合。
- 不要对可能具有严重、不利影响的决策使用人脸检测。 基于错误输出的决策可能会产生严重、不利影响。 建议包括人工审查对可能对个人产生严重影响的决定。
人脸检测组件
下表介绍了在人脸检测过程中如何处理媒体文件中的图像:
组件 | 定义 |
---|---|
源文件 | 用户上传源文件进行索引。 |
检测和聚合 | 人脸检测器标识每个帧中的人脸。 然后,将聚合和分组人脸。 |
识别 | 名人模型处理聚合组以识别名人。 如果已创建自己的人员模型,它还会处理组来识别其他人。 如果无法识别人员,则标记为 Unknown1、Unknown2 等。 |
置信度值 | 如果适用于已知人脸或可自定义列表中标识的人脸,则每个标签的估计置信度计算为 0 到 1 的范围。 置信度分数表示结果准确性的确定性。 例如,82% 的确定性表示为 0.82 分数。 |