使用 Azure AI 视频索引器自定义语言模型

Azure AI 视频索引器通过与Microsoft 自定义语音服务集成支持自动语音识别。 可以通过上传适应文本来自定义语言模型。 此文本来自你希望引擎用来适应的词汇的域。 训练模型后,将识别适应文本中显示的新单词,假设默认发音,语言模型会学习新的可能字词序列。 请参阅受支持语言Azure AI 视频索引器语言支持的列表。

例如, “Kubernetes” (在 Azure Kubernetes 服务的上下文中),是一个高度具体的单词。 由于该词对 Azure AI 视频索引器不熟悉,因此它被识别为“社区”。 训练模型以将其识别为“Kubernetes”。 在其他情况下,这些单词存在,但语言模型不希望它们出现在特定上下文中。 例如, “容器服务” 不是非特定语言模型识别为特定字词集的 2 字序列。

可通过两种方法自定义语言模型:

  • 选项 1:编辑 Azure AI 视频索引器生成的脚本。 通过编辑和更正脚本,你将训练语言模型,以在未来提供改进的结果。
  • 选项 2:上传文本文件来训练语言模型。 该文件可以包含单词列表,就像希望这些字词显示在视频索引器脚本中一样,也可以包含句子和段落中自然包含的相关字词。 由于使用后一种方法可获得更好的结果,因此建议上传文件包含与内容相关的完整句子或段落。

重要

请勿将当前错误转录的字词或句子(例如“社区”)包含在上传文件中,因为这将否定预期的影响。 仅包含希望它们显示的字词(例如“Kubernetes”)。

优化自定义语言模型

Azure AI 视频索引器根据单词组合的概率学习,以便最好地学习:

  • 提供生活中会这样用的真实句子示例,且数量需足够多。
  • 一行仅提供一个句子,不要提供多句话。 否则系统的学习会将句子间的概率纳入考虑。
  • 可以把一个单词作为一个句子来提升单词对其他人, 但系统从完整的句子中学到最好的。
  • 引入新的字或首字母缩略词时,尽可能提供大量完整句子用例,从而为系统提供尽量多的上下文。
  • 尝试使用数个适应选项,看看它们的效果。
  • 避免多次重复一模一样的句子。 多次重复可能会为其余输入带来偏差。
  • 避免包括不常见的符号(~, # @ % &),因为它们将被丢弃。 它们所在的句子也会随之被弃用。
  • 避免输入过大(例如数十万个句子),因为这样做会削弱提升效果。

先决条件

  • 一个 Azure 帐户
  • Azure AI 视频索引器帐户

创建语言模型

  1. 转到 Azure AI 视频索引器 网站并登录。
  2. 若要自定义帐户中的模型,请选择页面左侧的“内容模型自定义”按钮。
  3. 选择“语言”选项卡。你将看到受支持的语言列表。
  4. 在所需语言下选择“添加模型”。
  5. 键入语言模型的名称并按 Enter。 此步骤可创建模型并提供将文本文件上传到模型的选项。
  6. 若要添加文本文件,请选择“添加文件”。 此时文件资源管理器会打开。
  7. 导航到文本文件并将其选中。 可以将多个文本文件添加到语言模型。 还可以通过选择 语言模型右侧的 ... 按钮并选择 “添加文件”来添加文本文件
  8. 上传完文本文件以后,请选择绿色的“训练”选项。

训练过程可能需要数分钟。 训练完成后, 训练 将显示在模型旁边。 可以预览、下载和删除模型中的此文件。

在新视频上使用语言模型

若要在新视频上使用语言模型,请执行以下操作之一:

  1. 选择页面顶部的“上传”按钮。
  2. 放置音频或视频文件或者以浏览方式查找文件。
  3. 视频源语言下拉列表中选择创建的语言 模型。
  4. 在页面底部选择“上传”选项,系统就会使用语言模型为新视频编制索引。

使用语言模型重新编制索引

  1. 登录到 Azure AI 视频索引器 主页。
  2. 单击视频上的“...”按钮,然后选择“重新编制索引”。
  3. 选择 视频源语言 下拉列表,然后选择从列表中选择的语言模型。
  4. 选择 “重新索引 ”按钮,视频将使用语言模型重新编制索引。

编辑语言模型

可以通过更改语言模型的名称、向其添加文件以及从中删除文件来编辑语言模型。 如果从语言模型添加或删除文件,则必须通过选择绿色 的“训练 ”选项再次训练模型。

重命名语言模型

可以通过选择语言模型右侧的省略号(...)按钮并选择“重命名来更改语言模型的名称。 输入新名称。

添加文件

  1. 选择“添加文件”。 此时文件资源管理器会打开。
  2. 导航到文本文件并将其选中。 可以将多个文本文件添加到语言模型。

还可以通过在语言模型右侧选择省略号(...)按钮并选择 “添加文件”来添加文本文件

删除文件

此操作将完全从语言模型中删除文件。

  1. 选择文本文件右侧的省略号(...)按钮。
  2. 选择“删除”。 此时会弹出一个新窗口,指出删除操作无法撤消。
  3. 在新窗口中选择“删除”选项。

删除语言模型

此操作会完全从帐户中删除语言模型。 使用 deletedlLanguage 模型的任何视频都将保留相同的索引,直到重新编制视频索引。 如果重新编制视频索引,可以将新的语言模型分配给视频。 否则,Azure AI 视频索引器将使用其默认模型重新编制视频索引。

  1. 选择语言模型右侧的省略号(...)按钮。
  2. 选择“删除”。 此时会弹出一个新窗口,指出删除操作无法撤消。
  3. 在新窗口中选择“删除”选项。

通过更正脚本自定义语言模型

Azure AI 视频索引器根据用户对其视频的听录进行的实际更正自定义语言模型。 它捕获你在视频听录中更正的所有行,并将其添加到名为 From transcript edits 的文本文件中。 这些编辑用于重新训练用于为视频编制索引的语言模型。

还包括在小组件的时间线中 完成的 编辑。

如果在为此视频编制索引时未指定语言模型,则此视频的所有编辑都存储在视频检测到的语言模型中调用 Account adaptations 的默认语言模型中。

如果对同一行进行了多次编辑,则只使用更正行的最后一个版本来更新语言模型。

注意

仅使用文本形式的更正进行自定义。 不包括不涉及实际字词的更正(例如,标点符号或空格)。

  1. 从库中选择要编辑的视频。
  2. 选择“时间线”选项卡。
  3. 选择铅笔图标以编辑听录的脚本。
  4. 你将看到脚本更正显示在 Con帐篷模式l 自定义页的“语言”选项卡中。 若要查看每个语言模型的“来自脚本编辑”文件,请将其选中并打开。