获取观察到的人检测和匹配的人脸见解

项目
10/09/2024

观察到的人检测，匹配的人脸，检测到的衣服

重要

为了支持我们的负责任 AI 原则，基于资格和使用标准对人脸识别、自定义和名人识别功能的访问进行限制。人脸识别、自定义和名人识别功能仅适用于 Microsoft 托管客户和合作伙伴。使用人脸识别引入表单来申请访问。

观察到的人检测和匹配的人脸会自动检测和匹配媒体文件中的人员。观察的人检测和匹配的人脸可以设置为显示对人、衣服及其外观确切时间范围的见解。

在 Web 门户中，生成的见解显示在“见解”选项卡中的分类列表中，选项卡包括每个人的缩略图及其 ID。单击人员的缩略图将显示匹配的人员（人员见解中的相应人脸）。见解也会在 JSON 文件中的分类列表中生成，其中包含人员的缩略图 ID、文件中显示的时间百分比、Wiki 链接（如果他们是名人）和置信度。

观察人员检测、检测到服装和匹配人脸用例

通过深入搜索组织存档中的匹配人员来提高效率，以便深入了解特定名人，例如创建促销和预告片时。
例如，在新闻或体育机构足球比赛的档案中搜索身穿红色衬衫的人，从而提高了创建功能故事的效率。
使用检测到的人员的 ID，从长视频（例如视频中特定人员的外貌的法庭证据）中创建一个摘要。
了解并分析一段时间内的趋势，例如，客户如何在购物商场的通道间移动，或他们在结帐队伍中花费多长时间。

通过选择高级 ->Video + 音频索引预设来为文件编制索引时，可以使用匹配的人脸和检测到的服装功能。

使用 Web 门户查看见解 JSON

上传并编制视频索引后，可以使用 JSON 格式获取见解，以便使用 Web 门户进行下载。

选择“ 库 ”选项卡。
选择要处理的媒体。
选择“下载”和“见解”（JSON）。 JSON 文件将在新的浏览器选项卡中打开。
查找示例响应中所述的密钥对。

使用 API

使用“获取视频索引”请求。建议传递 &includeSummarizedInsights=false。
查找示例响应中所述的密钥对。

示例响应

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

重要

阅读所有 VI 功能的透明度说明概述非常重要。每个见解也有其自己的透明度说明：

观察到的人检测和匹配的人脸笔记

如果人们看起来很小（最低人高为 100 像素），通常不会检测到。
最大帧大小是完全高清（FHD）。
低质量视频（例如深色照明条件）可能会影响检测结果。
建议的帧速率至少为 30 FPS。
建议的视频输入应在单个帧中最多包含 10 人。此功能可以在单个帧中检测更多人员，但检测结果在具有最高置信度的帧中最多检索 10 人。
有类似衣服的人：（例如，人们穿制服，运动游戏中的玩家）可以检测为具有相同 ID 号码的人。
障碍 - 可能存在障碍（场景/自我或其他人的障碍）的错误。
姿势：轨道可能因不同的姿势而拆分（后/前）
由于服装检测取决于人的身体的可见性，如果一个人完全可见，准确性更高。当一个人没有衣服时，可能会出现错误。在这种情况下，或其他可见性不佳的场景，可能会给出结果，例如长裤和裙子或裙子或连衣裙。

观察到的人检测和匹配的人脸组件

组件	定义
源文件	用户上传源文件进行索引。
检测	跟踪媒体文件，以检测观察到的人及其衣服。例如，长袖衬衫、连衣裙或长裤。要检测到，人员的完整上半身必须出现在媒体中。
本地分组	已识别的观察到的人脸将筛选为本地组。如果检测到人员多次，则会为此人创建更多观察到的人脸实例。
匹配和分类	观察到的人脉实例与人脸匹配。如果有已知的名人，则观察到的人的名字。观察到的任意数量的人员实例都可以与同一人脸匹配。
置信度值	每个观察到的人的估计置信度计算为 0 到 1 的范围。置信度分数表示结果准确性的确定性。例如，82% 的确定性表示为 0.82 分数。

代码示例

查看所有 VI 示例

通过