自定义语音模型

  • 项目

注意

语音模型自定义（包括发音训练）仅在视频索引器 Azure 试用帐户和资源管理器帐户中受支持。 经典帐户不支持它。 有关如何以无成本更新帐户类型的指南，请参阅 更新 Azure AI 视频索引器帐户。 有关使用自定义语言体验的指导，请参阅 “自定义语言模型”。

使用 Azure AI 视频索引器，可以创建自定义语音模型，通过上传用于创建语音模型的数据集来自定义语音识别。 本文介绍通过视频索引器网站执行此操作的步骤。 还可以使用 API，如使用 API 自定义语音模型中所述。

有关自定义语音模型的详细概述和最佳做法，请参阅 使用 Azure AI 视频索引器自定义语音模型。

先决条件

创建数据集

由于所有自定义模型都必须包含数据集，因此我们将从创建和管理数据集的过程开始。

  1. 选择“ 模型自定义 ”按钮。
  2. 选择“语音”选项卡。
  3. 选择“ 上传数据集”。
  4. 从“数据集类型”下拉菜单中选择纯文本或发音。 每个语音模型必须具有纯文本数据集，并且可以选择性地具有发音数据集。
  5. 选择“ 浏览 ”并选择数据集文件。 只能选择一个。
  6. 为模型选择语言。 选择计划使用此模型编制索引的媒体文件中使用的语言。 数据集名称预填充了文件的名称，但可以修改名称。
  7. 可以选择添加数据集的说明。 如果希望有多个数据集，这可能有助于区分每个数据集。
  8. 选择“上传”。 数据集创建完成后，可以使用它来训练和创建新模型。

查看和更新数据集

可以通过以下方式查看数据集及其属性：

  • 单击数据集名称
  • 将鼠标悬停在数据集上
  • 选择省略号

然后选择“ 查看数据集”。

然后，可以查看数据集的名称、说明、语言和状态以及以下属性：

行数：指示成功加载出文件中总行数的行数。 如果成功加载整个文件，则数字将匹配（例如，10 个规范化 10 个）。 如果数字不匹配（例如，10 个规范化中的 7 个），这意味着只有一些行已成功加载，其余行有错误。 错误的常见原因是设置行的格式问题，例如不要在发音文件中每个单词之间间距制表符。 查看训练文章的纯文本和发音数据应该有助于查找问题。 若要对原因进行故障排除，请查看报告中包含的错误详细信息。 选择“查看报告”以查看未成功加载的行的错误详细信息（errorKind）。 也可以通过选择“ 报表 ”选项卡来查看。

数据集 ID：每个数据集都有唯一的 GUID，在使用 API 引用数据集的操作时需要该 GUID。

纯文本（规范化）：它包含加载的数据集文件的规范化文本。 规范化文本是纯格式的识别文本，不带格式。

编辑详细信息：若要编辑数据集的名称或说明，请将鼠标悬停在数据集上时，选择省略号，然后选择“编辑详细信息”。 然后，可以编辑数据集名称和说明。

注意

上传数据集后，无法编辑或更新数据集中的数据。 如果需要编辑或更新数据集中的数据，请下载数据集、执行编辑、保存文件以及上传新数据集文件。

下载：若要下载数据集文件，请将鼠标悬停在数据集上时，选择省略号，然后选择“下载”。 或者，查看数据集时，可以选择“下载”，然后选择下载数据集文件或 JSON 格式的上传报表。

删除：若要删除数据集，请将鼠标悬停在数据集上时，请选择省略号，然后选择“删除”。

创建自定义语音识别模型

数据集用于创建和训练模型。 创建纯文本数据集后，可以创建并开始使用自定义语音模型。

创建和使用自定义语音模型时，请记住以下几点：

  • 新模型必须至少包含一个纯文本数据集，并且可以有多个纯文本数据集。
  • 可以选择包含发音数据集，且不能包含多个发音数据集。
  • 创建模型后，无法向其添加其他数据集或对其数据集执行任何修改。 如果需要添加或修改数据集，请创建新的模型。
  • 如果已使用自定义语音模型为视频编制索引，然后删除该模型，则除非执行重新编制索引，否则脚本不会受到影响。
  • 如果删除了用于训练自定义模型的数据集，因为语音模型已由数据集训练，则它将继续使用它，直到删除语音模型。
  • 如果删除自定义模型，则不会影响已使用该模型编制索引的视频的听录。

训练模型

注意

创建模型后，无法添加数据集。 模型只能包含同一语言的数据集。

可通过两种方式训练模型 - 通过数据集选项卡和模型选项卡。

通过“数据集”选项卡训练模型

  1. 查看数据集列表。
  2. 选择纯文本数据集。 然后，可以选择上面的“训练新模型”图标。
  3. 选择“ 训练新模型”。
  4. 输入模型的名称、语言，并选择性地添加说明。
  5. 选择“数据集”选项卡
  6. 选择要包含在模型中的数据集。
  7. 选择“ 创建并训练”。

通过“模型”选项卡训练模型

  1. 选择“模型”选项卡。
  2. 选择“ 训练新模型 ”图标。
  3. 选择要成为模型的一部分的数据集。
  4. 输入模型的名称、语言，并选择性地添加说明。
  5. 选择“数据集”选项卡。
  6. 选择要包含在模型中的数据集。
  7. 选择“ 创建并训练”。

查看和更新模型

查看模型：可以通过单击模型的名称或将鼠标悬停在模型上时查看模型及其属性，单击省略号，然后选择“查看模型”。

然后，你将在“详细信息”选项卡中看到模型的名称、说明、语言和状态以及以下属性：

模型 ID：每个模型都有唯一的 GUID，在使用 API 引用模型的操作时需要该 GUID。

创建日期：创建模型的日期。

编辑详细信息：若要编辑模型的名称或说明，请将鼠标悬停在模型上时，选择省略号，然后选择“编辑详细信息”。 然后，可以编辑模型的名称和说明。

注意

只能编辑模型的名称和说明。 如果要对其数据集进行任何更改或添加数据集，则必须创建新的模型。

删除：若要删除模型，请将鼠标悬停在数据集上时，请选择省略号，然后选择“删除”。

包含的数据集：在“包含的数据集”选项卡上选择以查看模型的数据集。

为视频编制索引时使用自定义语言模型

默认情况下，自定义语言模型不用于索引作业，因此必须在索引上传过程中选择。

  1. 在上传过程中，从 语言 下拉菜单中选择自定义语言模型源。
  2. 选择“上传”。

如果要使用自定义模型重新编制视频索引，则相同的步骤适用。