Учебные и проверочные наборы данных

В пользовательском проекте речи можно отправлять наборы данных для обучения, качественной проверки и количественного измерения. В этой статье рассматриваются типы обучающих и тестовых данных, которые можно использовать для пользовательской речи.

Тексты и аудио, используемые для тестирования и обучения настраиваемой модели, должны включать примеры из широкого набора говорящих лиц и сценариев, которые вашей модели придется распознавать. При сборе данных для тестирования и обучения настраиваемых моделей учитывайте следующие факторы:

• Включите текстовые и звуковые данные для покрытия типов словесных инструкций, которые пользователи делают при взаимодействии с моделью. Например, модель, которая повышает и понижает температуру, требует обучения с применением высказываний, используемых людьми для запроса таких изменений.
• Включите все формы вариантности речи, которые должна распознать модель. Многие факторы могут зависеть от речи, включая акцент, диалект, смешивание языков, возраст, пол, тон голоса, ударения в речи и время суток.
• Включите примеры из разных сред, например, крытый, открытый и дорожный шум, где используется модель.
• Запись звука с аппаратными устройствами, которые использует рабочая система. Если вашей модели необходимо определить речь, записанную на устройствах с разным качеством звука, аудиоданные, которые вы предоставляете для обучения модели, также должны представлять эти разнообразные сценарии.
• Обеспечьте разнообразные наборы данных и поддерживайте их потребности в проекте. Позже в модель можно добавить дополнительные данные.
• Включайте только те данные, которые модели придется транскрибировать. Включение данных, не входящих в сферу распознавания вашей настраиваемой модели, может привести к снижению качества распознавания.

Типы данных

В следующей таблице перечислены допустимые типы данных, ситуации использования каждого типа данных и их рекомендуемое количество. Для создания модели требуется не каждый тип данных. Требования к данным зависят от того, создаете ли вы тест или обучаете модель.

Обучение с обычным или структурированным текстом обычно завершается в течение нескольких минут.

Если вы обучаете пользовательскую модель с звуковыми данными, выберите регион ресурсов службы "Речь" с выделенным оборудованием для обучения звуковых данных. Дополнительные сведения см. в сносках в таблице регионов . В регионах с выделенным оборудованием для обучения пользовательской речи служба "Речь" использует до 100 часов данных обучения звука и может обрабатывать около 10 часов данных в день. После обучения модели можно скопировать модель в другой регион по мере необходимости с помощью REST API Models_CopyTo .

Рассмотрение наборов данных с учетом сценария

Модель, обученная в подмножестве сценариев, может работать хорошо только в этих сценариях. Тщательно выбирайте данные, представляющие всю область сценариев, в которых будет применяться ваша настраиваемая модель. В следующей таблице показаны наборы данных, которые рекомендуется рассмотреть для некоторых сценариев распознавания речи:

Чтобы определить, какой набор данных следует использовать для решения проблем, см. следующую таблицу:

Аудиоданные  + транскрибирование от человека для обучения или тестирования

Аудиоданные и транскрибирование от человека можно использовать как для обучения, так и для тестирования. В целях сравнения необходимо привести транскрибирование от человека (по словам):

• Для улучшения акустических аспектов, таких как небольшие диакритические знаки, стили речи и фоновые помехи.
• Чтобы оценить точность речи Майкрософт до точности текста при обработке звуковых файлов.

Список базовых моделей, поддерживающих обучение с аудиоданными, приведен в статье Поддержка языков. Даже если базовая модель поддерживает обучение с помощью аудиоданных, служба может использовать только часть таких данных. И он по-прежнему использует все расшифровки.

Аудиоданные с расшифровкой обеспечивают наибольшую точность, если аудиоданные поступают из целевого варианта использования. Выборки должны охватывать всю область речи. Например, летом в центр обработки вызовов для розничного магазина будет поступать больше звонков о купальниках и солнцезащитных очках. Убедитесь, что выборка содержит всю область речи, которую нужно обнаруживать.

Учитывайте следующее.

• Обучение с аудио приносит самые преимущества, если звук также трудно понять для людей. В большинстве случаев в начале обучения следует использовать только текст, связанный с конкретной тематикой.
• Если применяется один из наиболее широко используемых языков, таких как английский (США), едва ли вам потребуется обучение с использованием аудиоданных. Для таких языков базовые модели уже предлагают хорошие результаты распознавания в большинстве сценариев, поэтому, вероятно, достаточно для обучения с соответствующим текстом.
• Пользовательская речь может записывать контекст слова только для уменьшения ошибок подстановки, а не ошибок вставки или удаления.
• Избегайте выборок, содержащих ошибки произносимого текста, но используйте выборки с разнообразным качеством звучания.
• Избегайте предложений, не связанных с проблемной областью. Несвязанные предложения могут повредить вашу модель.
• При переменном качестве записи можно дублировать особенно хорошие предложения (например, отличные расшифровки с ключевыми фразами), чтобы увеличить их вес.
• Служба "Речь" автоматически использует расшифровки для улучшения распознавания слов и фраз, относящихся к предметной области, как если бы они были добавлены в качестве связанного текста.
• На обучение может потребоваться нескольких дней. Чтобы повысить скорость обучения, обязательно создайте подписку службы "Речь" в регионе с выделенным оборудованием для обучения.

Для улучшения распознавания требуется большой набор данных для обучения. Как правило, рекомендуется предоставлять транскрибирование по словам в течение 1–100 часов звука (до 20 часов для старых моделей, которые не взимается за обучение). Однако помочь улучшить результаты распознавания могут даже 30 минут. Несмотря на то, что создание транскрибирования с метками человека может занять много времени, улучшения распознавания являются хорошими, как и предоставленные вами данные. Следует отправлять только высококачественные расшифровки.

В начале и в конце записи в аудиофайле может быть тишина. Если это возможно, включите в каждый пример файла не менее половины секунды тишины в начале и в конце записи. Хотя звук с низким объемом записи или нарушением фонового шума не является полезным, он не должен ограничивать или ухудшать пользовательскую модель. Перед сбором образцов аудио всегда рассмотрите возможность обновления микрофонов и оборудования для обработки сигналов.

Для проектов пользовательской речи требуются звуковые файлы с этими свойствами:

Обычные текстовые данные для обучения

Можно добавить предложения обычного текста соответствующей тематики, чтобы улучшить распознавание слов и фраз, относящихся к данной области. Связанные текстовые предложения в первую очередь уменьшают количество ошибок замены, связанных с неправильным распознаванием распространенных слов и слов, зависящих от области, показывая их в контексте. Слова, зависящие от области, могут быть нераспространенными или искусственными словами, но их произношение должно быть простым для распознавания.

Предоставьте предложения, связанные с доменом, в одном текстовом файле. Используйте текстовые данные, наиболее точно соответствующие ожидаемым речевым фрагментам. Речевые фрагменты необязательно должны быть полными или грамматически правильными, но они должны точно отражать речевой ввод, который модель должна распознавать. По возможности старайтесь, чтобы одно предложение или ключевое слово находилось в отдельной строке. Чтобы увеличить вес термина (например названия продуктов) добавьте несколько предложений, которые включают этот термин. Однако не копируйте слишком много — это может повлиять на общую скорость распознавания.

Используйте эту таблицу, чтобы обеспечить правильное форматирование своего файла с набором данных обычного текста.

Кроме того, необходимо соблюдать следующие ограничения:

• Старайтесь не использовать повторяющиеся символы, слова или группы слов более трех раз подряд. Например, не используйте "aaaa", "да да да", или "это это то, что это". Служба "Речь" может удалять линии с слишком большим количеством повторений.
• Не используйте специальные символы или символы в кодировке UTF-8 выше U+00A1.
• URI будут отклонены.
• Для некоторых языков (например, японского или корейского) импорт больших объемов текстовых данных может занять очень много времени или привести к истечению времени ожидания. Рассмотрите возможность разделения передаваемых данных на несколько текстовых файлов до 20 000 строк каждый.

Данные структурированного текста для обучения

Используйте неструктурированные текстовые данные, если данные создаются по конкретному шаблону в рамках конкретных речевых фрагментов, которые отличаются только словами или фразами из списка. Чтобы упростить создание обучающих данных и обеспечить лучшее моделирование внутри пользовательской языковой модели, можно использовать структурированный текст в формате Markdown для определения списков элементов и вариантов фонетического произношения слов. Затем можно использовать эти списки для создания ссылок в обучающих речевых фрагментах.

Ожидаемые речевые фрагменты часто соответствуют определенному шаблону. Одним из распространенных шаблонов является то, что речевые фрагменты отличаются только словами или фразами из списка. Примеры такого шаблона:

• "У меня вопрос насчет product", где product — список возможных продуктов.
• "Сделать это object color", где object находится список геометрических фигур и color является списком цветов.

Список поддерживаемых базовых моделей и языковых стандартов для обучения с помощью структурированного текста приведен в разделе Поддержка языков. Для этих языковых стандартов необходимо использовать последнюю базовую модель. Для языковых стандартов, которые не поддерживают обучение с помощью структурированного текста, служба будет принимать любые обучающие предложения, которые не ссылаются на какие-либо классы в рамках обучения с помощью обычных текстовых данных.

Файл структурированного текста должен иметь расширение .md. Максимальный размер файла составляет 200 МБ, а кодировка текста должна быть меткой порядка байтов в кодировке UTF-8. Синтаксис Markdown тот же, что и в моделях распознавания речи, в определенных сущностях списка и в примерах речевых фрагментов. Дополнительные сведения о полном синтаксисе Markdown приведены в разделе Markdown распознавания речи.

Ниже приведены основные сведения о поддерживаемом формате Markdown:

Ниже приведен пример структурированного текстового файла:

// This is a comment because it follows a double slash (`//`).

// Here are three separate lists of items that can be referenced in an example sentence. You can have up to 10 of these.
@ list food =
- pizza
- burger
- ice cream
- soda

@ list pet =
- cat
- dog
- fish

@ list sports =
- soccer
- tennis
- cricket
- basketball
- baseball
- football

// List of phonetic pronunciations
@ speech:phoneticlexicon
- cat/k ae t
- fish/f ih sh

// Here are two sections of training sentences. 
#TrainingSentences_Section1
- you can include sentences without a class reference
- what {@pet} do you have
- I like eating {@food} and playing {@sports}
- my {@pet} likes {@food}

#TrainingSentences_Section2
- you can include more sentences without a class reference
- or more sentences that have a class reference like {@pet} 

Данные произношения для обучения

Специализированные или придуманные слова могут иметь уникальное произношение. Эти слова могут быть распознаны, если для произношения их можно разбить на слова меньшего размера. Например, чтобы распознать "Xbox", произнесите "Икс бокс". Такой подход не приводит к повышению общей точности, но может улучшить распознавание этого и других ключевых слов.

Вы можете предоставить пользовательский файл с вариантом произношения, чтобы улучшить распознавание. Не используйте настраиваемые файлы произношения для изменения произношения обычных слов. Список языков, поддерживающих пользовательское произношение, см. в разделе Поддержка языков.

Речевая форма — это фонетическая последовательность передачи по буквам. Она может состоять из букв, слов, слогов или сочетания этих трех компонентов. Некоторые примеры приведены в следующей таблице:

Необходимо обеспечить произношение в одном текстовом файле. Включите речевые фрагменты и настраиваемое произношение для каждого из них. Каждая строка в файле должна начинаться с распознанной формы, за которой через знак табуляции следует фонетическая последовательность с разделителями-пробелами.

3CPO    three c p o
CNTK    c n t k
IEEE    i triple e

Ознакомьтесь со следующей таблицей, чтобы убедиться, что файлы наборов данных с вариантами произношения допустимы и правильно отформатированы.

Звуковые данные для обучения или тестирования

Звуковые данные являются оптимальными для тестирования точности базовой речи Майкрософт в текстовой модели или пользовательской модели. Помните, что звуковые данные используются для проверки точности речи в отношении производительности конкретной модели. Если вы хотите количественно оценить точность модели, используйте аудио + расшифровку стенограммы, помеченную людьми.

Для проектов пользовательской речи требуются звуковые файлы с этими свойствами:

Используйте SoX для проверки свойств звука или преобразования существующего звука в соответствующие форматы. Ниже приведено несколько примеров команд SoX:

Пользовательские данные форматирования текста для обучения

Дополнительные сведения о подготовке данных форматирования текста и форматировании текста с помощью речи в текст.

Формат вывода вывода автоматического распознавания речи имеет решающее значение для подчиненных задач, и один размер не соответствует всем. Добавление правил пользовательского формата отображения позволяет пользователям определять собственные лексические правила формата для отображения, чтобы улучшить качество службы распознавания речи на основе пользовательской службы речи Microsoft Azure.

Он позволяет полностью настроить выходные данные отображения, такие как добавление правил перезаписи для прописи и переформатирования определенных слов, добавление слов ненормативной лексики и маски из выходных данных, определение расширенных правил ITN для определенных шаблонов, таких как числа, даты, адреса электронной почты; или сохраните некоторые фразы и сохранили их из любых процессов отображения.

Например:

Список поддерживаемых базовых моделей и языковых стандартов для обучения с помощью структурированного текста приведен в разделе Поддержка языков. Файл формата отображения должен иметь расширение MD. Максимальный размер файла составляет 10 МБ, а кодировка текста должна быть UTF-8 BOM. Дополнительные сведения о настройке правил форматирования отображения см. в статье "Рекомендации по настройке правил форматирования".

Ниже приведен пример файла формата отображения:

// this is a comment line
// each section must start with a '#' character
#itn
// list of ITN pattern rules, one rule for each line
\d-\d-\d
\d-\l-\l-\d
#rewrite
// list of rewrite rules, each rule has two phrases, separated by a tab character
old phrase	new phrase
# profanity
// list of profanity phrases to be tagged/removed/masked, one line one phrase
fakeprofanity
#test
// list of test cases, each test case has two sentences, input lexical and expected display output
// the two sentences are separated by a tab character
// the expected sentence is the display output of DPP+CDPP models
Mask the fakeprofanity word	Mask the ************* word

Следующие шаги

• Отправка данных
• Количественная проверка модели
• обучение пользовательской модели;