Arc 已启用哪些 Azure AI 视频索引器？

已启用 Arc 的 Azure AI 视频索引器是一种已启用 Azure Arc 扩展的服务， 可在边缘设备上运行视频和音频分析和生成 AI 。 该解决方案旨在在已启用 Azure Arc 的 Kubernetes 上运行，并支持许多视频格式，包括 MP4 和其他常见格式。 它支持所有基本音频相关模型中的多种语言。 它假定一个视频索引器资源映射到一个扩展。

如果不熟悉 Azure AI 视频索引器，建议先熟悉云服务。

此外，在开始使用 Arc 启用的 Azure AI 视频索引器之前，请查看 透明度说明 以了解使用限制。

什么是已启用 Azure Arc 和已启用 Azure Arc 的 Kubernetes？

Azure Arc 通过提供一致的多云和本地管理平台，简化了跨数据中心、多个云和边缘扩展的复杂环境的治理和管理。

使用已启用 Azure Arc 的 Kubernetes，可以附加在任意位置运行的 Kubernetes 群集，以便可以在 Azure 中管理和配置它们。 通过在单个控制平面中管理所有 Kubernetes 资源，可以实现更一致的开发和操作体验，以便在任何位置、在任何 Kubernetes 平台上运行云原生应用。

将 Azure Arc 代理部署到群集时，会启动到 Azure 的出站连接，使用行业标准 SSL 来保护传输中的数据。

群集连接到 Azure 后，它们将表示为 Azure 资源管理器 （ARM）中的自己的资源，并且可以使用资源组和标记来组织它们。

请参阅以下文章，详细了解 已启用 Azure Arc 和 已启用 Azure Arc 的 Kubernetes。

什么是 Azure Arc 扩展？

虚拟机 (VM) 扩展是小型应用程序，可在 Azure VM 上提供部署后配置和自动化任务。 例如，如果虚拟机需要安装软件、进行防病毒保护或运行脚本，便可以使用 VM 扩展。 若要了解有关扩展的详细信息，请参阅 已启用 Azure Arc 的服务器进行虚拟机扩展管理。

Azure AI 视频索引器扩展将安装 Azure AI 视频索引器并将其部署到 Kubernetes 群集。

Arc 启用的所有 Azure AI 视频索引器仅支持 Azure 资源管理器 （ARM） 帐户。 ARM 操作与视频见解操作分离。 此设计允许在边缘设备上执行分析，而无需将媒体资产上传到 Azure。

Arc 启用的 Azure AI 视频索引器不支持经典帐户。 有关经典帐户停用的详细信息，请参阅 准备 AMS 停用：VI 迁移和更新指南

仅在直接连接模式方案中支持该扩展。 控制平面信息将发送到云，例如监视、使用情况。 从云下载新的扩展版本。 不会将客户数据（例如索引的视频）从边缘位置发送到云。

语言模型

包括 Phi 3 语言模型，并自动连接到 VI 扩展。 可以立即开始使用它。 有关将语言模型与 VI 配合使用的详细信息，请参阅：

• 使用文本摘要
• 使用 Azure AI 视频索引器创建提示内容
• Azure AI 视频索引器自带 （BYO） AI 模型概述

另请参阅 Transparancy 说明， 了解 Arc 为硬件要求、限制和已知问题启用了 Vi 的文本摘要。

用例

• 数据管理 – 可以将 AI 引入内容，而不是相反。 当由于以下原因，无法将索引内容从本地移动到云时，请使用 Arc 启用的 Azure AI 视频索引器：
  • 调节。
  • 体系结构决策。
  • 数据存储太大，使直接迁移变得非常努力。
• 本地工作流 – 索引过程是本地工作流的一部分，并且想要降低影响流的索引持续时间延迟。
• 预编制索引 – 在将内容上传到云之前，需要编制索引。 为了清楚起见，可以预分配本地视频和/或音频存档，然后仅将其上传到云中的标准和/或高级索引。

示例部署

以下方块图显示了在 Azure Arc 上运行的 Azure AI 视频索引器扩展。有三种类型：

1. 存储类型 A 同时使用视觉和音频预设。
2. 存储类型 B 仅使用视觉预设。 它还具有自定义模型。 有关将自定义模型与已启用 Arc 的 Azure AI 视频索引器配合使用的详细信息，请参阅 “自带 AI 模型”。
3. 存储 C 仅使用音频预设。

该扩展存储在每个边缘设备上，每个设备都与单个 Azure AI 视频索引器帐户相关联，该帐户与 Azure Arc 和云相连接。

支持的 AI 预设

Arc 启用的 Azure AI 视频索引器支持以下索引预设：

最低硬件要求

Arc 启用的视频索引器旨在在任何已启用 Arc 的 Kubernetes 环境中运行。

如果扩展包含单语言支持，则以下列表是最低和建议的要求。 如果使用多种语言安装多个语音和翻译容器，请相应地提高硬件要求。

最低软件要求

支持的输入格式和编解码器

视频格式

• AVI （.avi）
• FLV（使用 H.264 和 AAC 编解码器）(.flv)
• ISMV （.isma， .ismv）
• Matroska/WebM (.mkv)
• MP4（.mp4、.m4a、.m4v）
• MXF (.mxf)
• MPEG2-TS
• QuickTime (.mov)
• WAVE/WAV (.wav)
• Webm
• Windows Media 视频 (WMV)/ASF（.wmv、.asf）

视频编解码器

下面是按字母顺序排列的列表：

• AVC 8 位/10 位，最高支持 4:2:2，包括 AVCIntra
• 数字视频 (DV)（AVI 文件格式）
• DVCPro/DVCProHD（在 MXF 容器中）
• HEVC/H.265
• MPEG-1
• MPEG-2（最多支持 422 个配置文件和高级别；包括 Sony XDCAM、Sony XDCAM HD、Sony XDCAM IMX、CableLabs® 和 D10 等变体）
• Mpeg-4 第 2 部分
• VC-1/WMV9

最多两个曲目的音频编解码器

• AAC （AAC-LC、AAC-HE 和 AAC-HEv2）
• FLAC
• MPEG Layer 2
• MP3 (MPEG-1 Audio Layer 3)
• VORBIS
• WAV/PCM
• Windows Media 音频

支持的语言

• 阿拉伯语(沙特阿拉伯)
• 阿拉伯语（埃及）
• 中文(简体)
• 英语(美国)
• 法语
• 德语
• 意大利语
• 西班牙语

自带模型

Arc 启用的 Azure AI 视频索引器还支持自带模型。 有关详细信息，请参阅“自带模型”一文。

限制

• 索引支持的文件大小最大为 2 GB。
• 升级扩展：
  • 扩展支持仅适用于最新版本。
  • 建议将该 auto-upgrade 属性设置为 true。 此设置使扩展保持最新。
  • 如果自动升级设置设置为 false，则应以增量方式完成版本升级。 在版本之间跳跃可能会导致索引进程失败。
• 扩展安装或升级后，预期 第一个 索引\翻译过程持续时间更长。 较长的持续时间是由于 AI 模型映像下载造成的。 持续时间因网络速度而异。
• 每个已启用 Arc 的 Kubernetes 群集只能部署一个视频索引器扩展。
• 群集的卷性能（基于存储类）对索引作业的营业额持续时间有重大影响，特别是因为帧提取正在将所有帧写入卷中。
• 只能使用通过Azure 门户获取的云帐户访问令牌。 不支持云视频访问令牌，但使用 API 时，扩展访问令牌可用，我们支持所有类型的令牌。
• 由于内存限制，视频错误消息不会存储。

相关文章

• 尝试在 GitHub 上通过 Arc 示例启用的 Azure AI 视频索引器
• 尝试通过 Arc Jumpstart 启用 Azure AI 视频索引器
• 尝试使用 Arc 启用的 Azure AI 视频索引器在Azure 门户中部署