Краткое руководство. Создание, публикация и перевод с помощью пользовательских моделей

Переводчик — это облачная служба перевода нейронных машин, которая является частью семейства служб ИИ Azure REST API, которые можно использовать с любой операционной системой. Переводчик позволяет многим продуктам и службам Майкрософт, используемым тысячами предприятий по всему миру, выполнять перевод на язык и другие операции, связанные с языком. В этом кратком руководстве описано, как создавать пользовательские решения для приложений на всех поддерживаемых языках.

Необходимые компоненты

Чтобы использовать портал Пользовательского переводчика , вам потребуется следующее:

• Учетная запись Майкрософт.

• Подписка Azure — создайте бесплатную учетную запись.

• Оформив подписку Azure, создайте ресурс "Переводчик" на портале Azure, чтобы получить ключ и конечную точку. После развертывания ресурса выберите элемент Перейти к ресурсу.

  • Для подключения приложения к службе "Переводчик" требуется ключ и конечная точка из ресурса. Вставьте ключ и конечную точку в код далее в кратком руководстве. Эти значения находятся на странице Ключи и конечная точка портала Azure:

    

Дополнительные сведения см. в статье о создании ресурса Переводчика.

Портал "Пользовательский переводчик"

После завершения предварительных требований войдите на портал Custom Translator для создания рабочих областей, создания проектов, отправки файлов, обучения моделей и публикации пользовательского решения.

Вы можете ознакомиться с возможностями перевода и Пользовательского переводчика, получить советы и просмотреть видео о начале работы в блоге, посвященном ИИ Azure.

Панель сводных данных о процессах

1. Создайте рабочую область. Рабочая область — это рабочая зона для создания и построения пользовательской системы перевода. Рабочая область может содержать несколько проектов, моделей и документов. Все действия в Пользовательском переводчике выполняются в пределах конкретной рабочей области.

2. Создайте проект. Проект — это программа-оболочка для модели, документов и тестов. Каждый проект включает все документы, отправленные в рабочую область, с правильной языковой парой. Например, если у вас есть как проект на английский и испанский, так и на английском языке, одни и те же документы включены в оба проекта.

3. Отправьте параллельные документы. Параллельные документы — это пары документов, в которых один (целевой документ) является переводом другого (исходного документа). Один документ в паре содержит предложения на исходном языке, а другой — предложения, переведенные на целевой язык. Не имеет значения, какой язык помечен как исходный, а какой — как целевой. Параллельный документ можно использовать для обучения системы перевода в любом направлении.

4. Обучите модель. Моделью называется система, которая предоставляет перевод для определенной языковой пары. Модель создается в результате успешного обучения. При обучении модели требуются три взаимоисключающих типа документов: учебный, настроечный и тестовый. Если при очереди обучения предоставляются только обучающие данные, настраиваемый переводчик автоматически собирает данные настройки и тестирования. Он использует случайное подмножество предложений из обучающих документов и исключает эти предложения из самих обучающих данных. Минимальное требование для обучения модели: 10 000 параллельных предложений.

5. Протестируйте модель (оценку должен провести человек). Набор тестирования используется для вычисления BLEU оценки. Она позволяет проверить качество системы перевода.

6. Опубликуйте (разверните) обученную модель. Теперь пользовательская модель доступна для запросов перевода в среде выполнения.

7. Переведите текст. Используйте облачный, безопасный, высокопроизводительный и высокомасштабируемыйAPI перевода текстов версии 3 от Майкрософт, чтобы выполнять запросы на перевод.

Создание рабочей области

1. После входа в Пользовательский переводчик система запросит разрешение на чтение вашего профиля на платформе удостоверений Майкрософт, чтобы запросить маркер доступа пользователя и маркер обновления. Оба маркера необходимы для проверки подлинности и чтобы предотвратить выход из сеанса, если он активен или идет обучение моделей.
   Выберите Да.

   

2. Выберите мои рабочие области.

3. Выберите Создать рабочую область.

4. Введите модели Contoso MT для имени рабочей области и нажмите кнопку "Далее".

5. В раскрывающемся списке щелкните "Глобальный" в разделе Выбрать регион ресурса.

6. Скопируйте и вставьте ключ служб Переводчика.

7. Выберите Далее.

8. Нажмите кнопку Готово.

   Примечание.

   Регион должен соответствовать региону, выбранному при создании ресурса. Вы можете использовать КЛЮЧ 1 или КЛЮЧ 2.

   

   

Создание проекта

После успешного создания рабочей области вы увидите страницу "Проекты ".

Вы создаете проект на английском языке для обучения пользовательской модели только с типом обучающего документа.

1. Выберите Создать проект.

2. Введите Английский–немецкий в поле Имя проекта.

3. В раскрывающемся списке выберите Английский (EN) в качестве Исходного языка.

4. В раскрывающемся списке выберите Немецкий (DE) в качестве Целевого языка.

5. В раскрывающемся списке выберите Общая в качестве Предметной области.

6. Выберите Создать проект.

   

Отправить документы

Чтобы создать пользовательскую модель, необходимо отправить все документы или сочетание типов документов для обучения, настройки, тестирования и словаря.

В этом кратком руководстве показано, как отправить учебные документы для настройки.

1. Выберите имя проекта Английский–немецкий.

2. Выберите Управление документами в меню навигации слева.

3. Выберите Добавить набор документов.

4. Установите флажок Обучающий набор и нажмите кнопку Далее.

5. Убедитесь, что флажок Параллельные документы установлен, и введите Пример: Английский–немецкий.

6. В поле Исходный файл (английский, EN) выберите Обзор файлов и выберите sample-English-German-Training-en.txt.

7. В поле Целевой файл (немецкий, DE) выберите Обзор файлов и выберите sample-English-German-Training-de.txt.

8. Щелкните Отправить.

   Примечание.

   Можно отправить пример набора данных со словарями фраз и предложений. Этот шаг вы выполните самостоятельно.

   

Обучение модели

Теперь все готово для обучения модели перевода с английского на немецкий язык.

1. Выберите Обучить модель в меню навигации слева.

2. Введите Английский— немецкий с примерами данных в поле Имя модели.

3. Убедитесь, что флажок Полное обучение установлен.

4. В разделе Выбор документов выберите Пример: Английский–немецкий и просмотрите стоимость обучения для выбранного количества предложений.

5. Щелкните Обучить.

6. Для подтверждения щелкните Обучить.

   Примечание.

   В уведомлениях отображается ход обучения модели, например состояние Отправка данных. Обучение модели занимает несколько часов в зависимости от количества выбранных предложений.

   

7. После успешного обучения модели выберите Сведения о модели в меню навигации слева.

8. Выберите имя модели en-de с примерами данных. Просмотрите дату и время обучения, общее время обучения, количество предложений, используемых для обучения, настройки, тестирования и словаря. Проверьте, создана ли система наборов тестов и настроек. Вы используете Category ID для выполнения запросов на перевод.

9. Оцените оценку модели BLEU . Оценка BLEU набора тестов — это пользовательская оценка модели, а базовая модель BLEU — это предварительно обученная базовая модель, используемая для настройки. Чем выше оценка BLEU, тем лучше качество перевода у пользовательской модели.

   Примечание.

   Если вы использовали для обучения наши общие примеры наборов данных, предоставленные клиентами, оценка BLEU будет отличаться от приведенной на иллюстрации.

   

Тестирование модели

После успешного завершения обучения проверьте переведенные предложения тестового набора.

1. Выберите Тестировать модель в меню навигации слева.
2. Выберите "Английский–немецкий с примерами данных".
3. Человеческое вычисление перевода из новой модели (настраиваемая модель) и базовая модель (наша предварительно обученная базовая база, используемая для настройки) для ссылок (целевой перевод из тестового набора)

Публикация модели

Публикация модели делает ее доступной для использования с помощью API Переводчика. В проекте может быть одна или несколько успешно обученных моделей. Для проекта можно опубликовать только одну модель, зато это можно сделать в нескольких регионах в зависимости от ваших потребностей. Дополнительные сведения см. на странице цен на Переводчик.

1. Выберите Опубликовать модель в меню навигации слева.

2. Выберите Английский-немецкий с примерами данных и щелкните Опубликовать.

3. Проверьте нужные регионы.

4. Выберите Опубликовать. Состояние должно измениться с Развертывается на Развернуто.

   

Перевод текста

1. Разработчики должны использовать Category ID при выполнении запросов на перевод с помощью API перевода текстов версии 3 от Майкрософт. Дополнительные сведения об API перевода текстов можно найти на этой веб-странице.

2. Бизнес-пользователям, возможно, придется скачать и установить бесплатное приложение DocumentTranslator для Windows.

Следующие шаги