Установка и запуск контейнеров Docker для LUIS

Контейнеры позволяют использовать LUIS в вашей собственной среде. Контейнеры соответствуют конкретным требованиям к безопасности и управлению данными. В этой статье содержатся сведения о скачивании, установке и запуске контейнера LUIS.

Контейнер Распознавания речи (LUIS) загружает подготовленную или опубликованную модель Распознавания речи. Как и приложение LUIS, контейнер Docker предоставляет доступ к прогнозам запросов из конечных точек API контейнера. Вы можете собирать журналы запросов из контейнера и отправлять их обратно в приложение Интеллектуальной службы распознавания речи для повышения точности прогнозов приложения.

В следующем видео показаны способы использования этого контейнера.

Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

Необходимые компоненты

Перед запуском контейнера LUIS обратите внимание на следующие предварительные требования.

• Docker, установленный на главном компьютере. Docker нужно настроить таким образом, чтобы контейнеры могли подключать и отправлять данные о выставлении счетов в Azure.
  • В Windows для поддержки контейнеров Linux также должен быть настроен Docker.
  • Необходимо знать основные принципы и основные понятия Docker.
• Ресурс LUIS с бесплатной ценовой категорией (F0) или ценовой категории "Стандартный" (S).
• Обученное или опубликованное приложение, упакованное в виде подключенных входных данных к контейнеру со связанным идентификатором приложения. Пакетный файл можно получить на портале LUIS или в API-интерфейсах разработки. Если вы получаете упакованное приложение LUIS из API-интерфейсов разработки, вам также потребуется ключ разработки.

Сбор обязательных параметров

Требуются три основных параметра для всех контейнеров ИИ Azure. Для условий лицензионного соглашения на использование программного обеспечения корпорации Майкрософт должно быть задано значение accept. Также требуются URI конечной точки и ключ API.

URI конечной точки

Это {ENDPOINT_URI} значение доступно на странице обзора портал Azure соответствующего ресурса служб ИИ Azure. Перейдите на страницу обзора, наведите указатель мыши на конечную точку и появится значок копирования в буфер обмена. Скопируйте и используйте конечную точку по мере необходимости.

Ключи

Значение {API_KEY} используется для запуска контейнера и доступно на странице ключей портал Azure соответствующего ресурса служб ИИ Azure. Перейдите на страницу "Ключи" и щелкните значок копирования в буфер обмена.

Идентификатор приложения {APP_ID}

Этот идентификатор используется для выбора приложения. Идентификатор приложения можно найти на портале LUIS, щелкнув Управление в верхней части приложения и выбрав Параметры.

Ключ разработки {AUTHORING_KEY}

Этот ключ используется для получения упакованного приложения из службы LUIS в облаке и отправки журналов запросов обратно в облако. Вам потребуется ключ разработки, если вы экспортируете приложение с помощью REST API, как описано далее в статье.

Ключ разработки можно получить на портале LUIS, щелкнув Управление в верхней части приложения и выбрав Ресурсы Azure.

Создание API-интерфейсов для файла пакета

Создание API для упакованных приложений

• API опубликованного пакета
• Неопубликованный, только обученный пакет API

Главный компьютер

Узел — это 64-разрядный компьютер, на котором выполняется контейнер Docker. Это может быть компьютер в локальной среде или служба размещения Docker в Azure, включая следующие решения:

• Служба Azure Kubernetes.
• Экземпляры контейнеров Azure.
• Кластер Kubernetes, развернутый в Azure Stack. Дополнительные сведения см. в статье Развертывание Kubernetes в Azure Stack.

Требования к контейнеру и рекомендации

В таблице ниже приведены минимальные и рекомендуемые значения для узла контейнера. Требования могут меняться в зависимости от объема трафика.

• Частота каждого ядра должна быть минимум 2,6 ГГц.
• TPS — транзакций в секунду.

Ядро и память соответствуют параметрам --cpus и --memory, которые используются как часть команды docker run.

Получение образа контейнера с помощью docker pull

Образ контейнера LUIS можно найти в mcr.microsoft.com синдикате реестра контейнеров. Он находится в репозитории azure-cognitive-services/language и называется luis. Полное имя образа контейнера — mcr.microsoft.com/azure-cognitive-services/language/luis.

Чтобы использовать последнюю версию контейнера, можно использовать latest тег. Полный список тегов также представлен в MCR.

Воспользуйтесь командой docker pull, чтобы скачать образ контейнера из репозитория mcr.microsoft.com/azure-cognitive-services/language/luis.

docker pull mcr.microsoft.com/azure-cognitive-services/language/luis:latest

Полное описание доступных тегов, таких как latest из предыдущей команды, см. в разделе LUIS на сайте Docker Hub.

docker images --format "table {{.ID}}\t{{.Repository}}\t{{.Tag}}"

IMAGE ID         REPOSITORY                TAG
<image-id>       <repository-path/name>    <tag-name>

Использование контейнера

После размещения контейнера на главном компьютере воспользуйтесь следующей процедурой для работы с ним.

1. Экспортируйте пакет для контейнера с портала LUIS или из API LUIS.
2. Переместите файл пакета в необходимый каталог input на главном компьютере. Не переименовывайте, не меняйте и не распаковывайте файл пакета LUIS.
3. Запустите контейнер с необходимыми настройками input mount и выставления счетов. Доступны дополнительные примеры команды docker run.
4. Выполните запрос конечной точки прогнозирования контейнера.
5. Завершив работу с контейнером, импортируйте журналы конечной точки из выходного подключения на портале LUIS и остановите контейнер.
6. Воспользуйтесь средствами активного обучения на портале LUIS или страницей просмотра фраз конечной точки для улучшения приложения.

Приложение, выполняющееся в контейнере, изменить нельзя. Чтобы изменить приложение в контейнере, необходимо изменить его в службе LUIS с помощью портала LUIS или API разработки LUIS. Затем выполните обучение и (или) публикацию, скачайте новый пакет и снова запустите контейнер.

Приложение LUIS, содержащееся в контейнере, нельзя экспортировать обратно в службу LUIS. Отправить можно только журналы запросов.

Экспорт упакованного приложения из LUIS

Контейнер LUIS ожидает от обученного или опубликованного приложения LUIS ответа на запросы прогноза пользовательских фраз. Чтобы получить приложение LUIS, используйте API обученного или опубликованного пакета.

Расположение по умолчанию — вложенный каталог input по отношению к каталогу, для которого была выполнена команда docker run.

Поместите файл пакета в каталог и укажите ссылку этот каталог как входное подключение при запуске контейнера Docker.

Типы пакетов

Каталог входного подключения может одновременно содержать модели рабочую, промежуточную и с управлением версиями. Все пакеты являются подключенными.

Необходимые условия для упаковки

Перед упаковкой приложения LUIS потребуется следующее:

Экспорт пакета приложения с портала LUIS

LuIS портал Azure предоставляет возможность экспортировать обученный или опубликованный пакет приложения.

Экспорт пакета опубликованного приложения с портала LUIS

Пакет опубликованного приложения доступен на странице списка My Apps (Мои приложения).

1. Войдите в портал Azure LUIS.
2. Установите флажок слева от имени приложения в списке.
3. Выберите элемент Export (Экспорт) на контекстной панели инструментов над списком.
4. Выберите Export for container (GZIP) (Экспорт для контейнера (GZIP)).
5. Выберите Production slot (Рабочий слот) или Staging slot (Промежуточный слот).
6. Пакет будет скачан из браузера.

Экспорт пакета приложения с управлением версиями с портала LUIS

Пакет приложения с управлением версиями доступен на странице списка Версии.

1. Войдите в портал Azure LUIS.
2. Выберите приложение в списке.
3. Выберите Manage (Управление) на панели навигации приложения.
4. Выберите Versions (Версии) на панели навигации слева.
5. Установите флажок слева от имени версии в списке.
6. Выберите элемент Export (Экспорт) на контекстной панели инструментов над списком.
7. Выберите Export for container (GZIP) (Экспорт для контейнера (GZIP)).
8. Пакет будет скачан из браузера.

Экспорт пакета опубликованного приложения из API

Воспользуйтесь следующим методом REST API, чтобы упаковать приложение LUIS, которое уже опубликовано. Замените заполнители в вызове API собственными соответствующими значениями, используя таблицу, приведенную под спецификацией HTTP.

GET /luis/api/v2.0/package/{APP_ID}/slot/{SLOT_NAME}/gzip HTTP/1.1
Host: {AZURE_REGION}.api.cognitive.microsoft.com
Ocp-Apim-Subscription-Key: {AUTHORING_KEY}

Чтобы скачать опубликованный пакет, см. документацию по API здесь. В случае успешной загрузки ответ представляет собой файл пакета LUIS. Сохраните файл в месте хранения, указанном для входного подключения контейнера.

Экспорт пакета приложения с управлением версиями из API

Воспользуйтесь следующим методом REST API, чтобы упаковать приложение LUIS, которое уже обучено. Замените заполнители в вызове API собственными соответствующими значениями, используя таблицу, приведенную под спецификацией HTTP.

GET /luis/api/v2.0/package/{APP_ID}/versions/{APP_VERSION}/gzip HTTP/1.1
Host: {AZURE_REGION}.api.cognitive.microsoft.com
Ocp-Apim-Subscription-Key: {AUTHORING_KEY}

Чтобы скачать пакет с управлением версиями, см. статью Документацию по API. В случае успешной загрузки ответ представляет собой файл пакета LUIS. Сохраните файл в месте хранения, указанном для входного подключения контейнера.

Запуск контейнера с помощью команды docker run

Воспользуйтесь командой docker run для запуска контейнера. Дополнительные сведения о том, как получить значения {ENDPOINT_URI} и {API_KEY}, см. в разделе Сбор обязательных параметров.

Имеются примеры команды docker run.

docker run --rm -it -p 5000:5000 ^
--memory 4g ^
--cpus 2 ^
--mount type=bind,src=c:\input,target=/input ^
--mount type=bind,src=c:\output\,target=/output ^
mcr.microsoft.com/azure-cognitive-services/language/luis ^
Eula=accept ^
Billing={ENDPOINT_URI} ^
ApiKey={API_KEY}

• В этом примере используется каталог с диска C:, чтобы избежать конфликтов разрешений в Windows. Если вам нужен конкретный каталог для входных данных, может потребоваться предоставить соответствующие разрешения службе Docker.
• Не изменяйте порядок аргументов, если вы не знакомы с контейнерами Docker.
• Если используется другая операционная система, выберите для нее правильную консоль/терминал, синтаксис папок для подключений и символы продолжения строки. В примерах предполагается наличие консоли Windows с символом продолжения строки ^. Так как контейнер является операционной системой Linux, целевое подключение использует синтаксис папки в формате Linux.

Команда:

• запускает контейнер из образа контейнера LUIS;
• загружает приложение LUIS из входного подключения в папке c:\input, расположенной на узле контейнера;
• выделяет 2 ядра ЦП и 4 ГБ памяти;
• предоставляет TCP-порт 5000 и выделяет псевдотелетайп для контейнера;
• сохраняет контейнер и журналы LUIS в выходном подключении в папке c:\output, расположенной на узле контейнера;
• автоматически удаляет контейнер после завершения его работы. Образ контейнера остается доступным на главном компьютере.

Доступны дополнительные примеры команды docker run.

Запуск нескольких контейнеров на одном узле

Если вы планируете запускать несколько контейнеров при открытых портах, обязательно назначьте каждому контейнеру отдельный открытый порт. Например, запускайте первый контейнер на порте 5000, а второй — на порте 5001.

Этот контейнер можно использовать и другой контейнер служб ИИ Azure, работающий вместе на узле HOST. Кроме того, можно использовать несколько контейнеров одного и того же контейнера служб искусственного интеллекта Azure.

Интерфейсы API конечной точки, поддерживаемые контейнером

Для контейнера доступны API-интерфейсы версий 2 и 3.

Запрос конечной точки прогнозирования контейнера

Контейнер предоставляет интерфейсы REST API конечной точки прогнозирования запросов. Конечные точки для опубликованных (промежуточных или рабочих) приложений имеют другой маршрут, чем конечные точки для приложений с поддержкой версий.

Используйте узел http://localhost:5000 для API контейнера.

Параметры запроса определяют содержимое ответа на запрос и способ его получения:

Запрос к приложению LUIS

Ниже приведен пример команды CURL для выполнения запросов к контейнеру для опубликованного приложения:

curl -G \
-d verbose=false \
-d log=true \
--data-urlencode "query=turn the lights on" \
"http://localhost:5000/luis/v3.0/apps/{APP_ID}/slots/production/predict"

curl -G \
-d verbose=false \
-d log=false \
--data-urlencode "query=turn the lights on" \
"http://localhost:5000/luis/v3.0/apps/{APP_ID}/versions/{APP_VERSION}/predict"

curl -X GET \
"http://localhost:5000/luis/v2.0/apps/{APP_ID}?q=turn%20on%20the%20lights&staging=false&timezoneOffset=0&verbose=false&log=true" \
-H "accept: application/json"

curl -X GET \
"http://localhost:5000/luis/v2.0/apps/{APP_ID}/versions/{APP_VERSION}?q=turn%20on%20the%20lights&timezoneOffset=0&verbose=false&log=true" \
-H "accept: application/json"

Импорт журналов конечной точки для активного обучения

Если для контейнера LUIS указано выходное подключение, файлы журнала запросов приложения сохраняются в выходном каталоге, где {INSTANCE_ID} — идентификатор контейнера. Журнал запросов приложения содержит запрос, ответ и метки времени для каждого прогнозирующего запроса, отправленного в контейнер LUIS.

В следующем расположении показана вложенная структура каталогов для файлов журнала контейнера.

/output/luis/{INSTANCE_ID}/

На портале LUIS выберите приложение, затем выберите Import endpoint logs (Импорт журналов конечной точки) для отправки этих журналов.

После отправки журнала просмотрите фразы конечной точки на портале LUIS.

Проверка состояния контейнера

Проверить это можно несколькими способами. Получите адрес и открытый порт для рассматриваемого контейнера из его параметра Внешний IP-адрес и запустите веб-браузер. Используйте приведенные ниже URL-адреса запросов, чтобы убедиться, что контейнер работает. В примерах в качестве URL-адресов запросов используется значение http://localhost:5000, однако ваш конкретный контейнер может иметь отличия. Убедитесь в правильности внешнего IP-адреса и открытого порта контейнера.

Запуск контейнера, отключенного от Интернета

Чтобы использовать этот контейнер, отключенный от Интернета, необходимо сначала запросить доступ, заполнив приложение и приобретя план обязательств. Дополнительные сведения см. в разделе "Использование контейнеров Docker в отключенных средах ".

Если вы были утверждены для запуска контейнера, отключенного от Интернета, в следующем примере показано форматирование используемой docker run команды с значениями заполнителей. Замените заполнители собственными значениями.

Параметр DownloadLicense=True в docker run команде скачит файл лицензии, который позволит запустить контейнер Docker, если он не подключен к Интернету. Он также содержит дату окончания срока действия, после которой файл лицензии станет недопустимым для запуска контейнера. Вы можете использовать файл лицензии только с тем контейнером, для которого получено утверждение. Например, нельзя использовать файл лицензии для преобразования речи в текстовый контейнер с контейнером аналитики документов.

docker run --rm -it -p 5000:5000 \ 
-v {LICENSE_MOUNT} \
{IMAGE} \
eula=accept \
billing={ENDPOINT_URI} \
apikey={API_KEY} \
DownloadLicense=True \
Mounts:License={CONTAINER_LICENSE_DIRECTORY} 

После скачивания файла лицензии можно запустить контейнер в среде без подключения к Интернету. В следующем примере показано форматирование команды docker run, которую вы будете использовать, с заполнителями. Замените заполнители собственными значениями.

Независимо от того, где выполняется контейнер, файл лицензии должен быть подключен к контейнеру, а расположение папки лицензии в локальной файловой системе контейнера необходимо указать с помощью Mounts:License=. Кроме того, необходимо указать выходное подключение, чтобы можно было записывать сведения об использовании для выставления счетов.

docker run --rm -it -p 5000:5000 --memory {MEMORY_SIZE} --cpus {NUMBER_CPUS} \ 
-v {LICENSE_MOUNT} \ 
-v {OUTPUT_PATH} \
{IMAGE} \
eula=accept \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
Mounts:Output={CONTAINER_OUTPUT_DIRECTORY}

Остановка контейнера

Чтобы завершить работу контейнера, в среде командной строки, где выполняется контейнер, нажмите клавиши CTRL+C.

Устранение неполадок

Если контейнер запускается с выходным подключением и включенным ведением журнала, контейнер создает файлы журнала, которые удобно использовать для устранения неполадок, возникающих во время запуска или работы контейнера.

Если у вас возникли проблемы с запуском контейнера служб искусственного интеллекта Azure, можно попробовать использовать контейнер Microsoft диагностика. Используйте этот контейнер для диагностики распространенных ошибок в среде развертывания, которые могут предотвратить работу контейнеров ИИ Azure должным образом.

Чтобы получить контейнер, используйте следующую команду docker pull:

docker pull mcr.microsoft.com/azure-cognitive-services/diagnostic

Затем запустите контейнер. Замените {ENDPOINT_URI} на URI конечной точки, а {API_KEY} — на свой ключ для ресурса:

docker run --rm mcr.microsoft.com/azure-cognitive-services/diagnostic \
eula=accept \
Billing={ENDPOINT_URI} \
ApiKey={API_KEY}

Контейнер проверит сетевое подключение к конечной точке выставления счетов.

Выставление счетов

Контейнер LUIS отправляет сведения о выставлении счетов в Azure с помощью ресурса служб искусственного интеллекта Azure в вашей учетной записи Azure.

Запросы к контейнеру оплачиваются согласно ценовой категории ресурса Azure, используемого для параметра ApiKey.

Контейнеры служб искусственного интеллекта Azure не лицензируются для запуска без подключения к конечной точке измерения или выставления счетов. Вам необходимо разрешить контейнерам непрерывную передачу данных для выставления счетов в конечную точку выставления счетов. Контейнеры служб искусственного интеллекта Azure не отправляют данные клиентов, такие как изображение или текст, которые анализируются, в корпорацию Майкрософт.

Подключение к Azure

Для запуска контейнера необходимо указать значения аргументов, касающихся выставления счетов. Эти значения обеспечивают подключение контейнера к конечной точке выставления счетов. Отчеты об использовании контейнера примерно каждые 10—15 минут. Если контейнер не подключится к Azure в течение допустимого периода времени, контейнер будет продолжать работать, но не будет обслуживать запросы, пока не будет восстановлена конечная точка выставления счетов. Попытки подключения выполняются 10 раз на протяжении одинакового интервала времени (10–15 минут). Если контейнеру не удается подключиться к конечной точке выставления счетов за 10 попыток, он останавливает запросы на обслуживание. Дополнительные сведения о выставлении счетов см. в контейнере служб искусственного интеллекта Azure.

Аргументы для выставления счетов

Команда docker run запустит контейнер, когда все три из следующих параметров предоставляются допустимыми значениями:

Дополнительные сведения об этих параметрах см. в статье Настройка контейнеров.

Итоги

В этой статье описаны основные понятия и рабочий процесс для скачивания, установки и выполнения контейнеров Интеллектуальной службы распознавания речи (LUIS). Сводка:

• Интеллектуальная служба распознавания речи (LUIS) предоставляет один контейнер Linux для Docker, обеспечивая прогнозы фраз по запросам конечных точек.
• Образы контейнеров скачиваются из Реестра контейнеров Майкрософт (MCR).
• Образы контейнеров выполняются в Docker.
• С помощью REST API можно выполнять запросы к конечным точкам контейнера, указывая URI узла контейнера.
• При создании экземпляра контейнера нужно указать данные для выставления счетов.

Следующие шаги

• Ознакомьтесь со статьей о конфигурации контейнеров.
• Сведения об известных ограничениях см. разделе Ограничения для контейнеров LUIS.
• Ознакомьтесь со статьей об устранение неполадок, чтобы устранить проблемы, связанные с функциональностью LUIS.
• Использование дополнительных контейнеров ИИ Azure