Использование контейнера службы "Речь" в Kubernetes и Helm

Одним из вариантов управления контейнерами службы "Речь" в локальной среде является использование Kubernetes и Helm. С помощью Kubernetes и Helm для определения речи для текста и текста в образы контейнеров речи мы создадим пакет Kubernetes. Этот пакет развертывается в локальном кластере Kubernetes. Наконец, мы рассмотрим, как протестировать развернутые службы и различные параметры конфигурации. Дополнительные сведения о работе Docker-контейнеров без оркестрации Kubernetes см. в статье Установка и запуск контейнеров службы "Речь".

Необходимые компоненты

Перед использованием локальных речевых контейнеров должны быть выполнены следующие требования:

Рекомендуемая конфигурация главного компьютера

См. документ Сведения о главном компьютере контейнера службы "Речь". Эта диаграмма Helm автоматически рассчитывает требования к ЦП и памяти в зависимости от того, сколько декодированных (параллельных запросов) указывает пользователь. Кроме того, он настраивается в зависимости от того, настроены enabledли оптимизации для ввода звука и текста. По умолчанию в диаграмме Helm два параллельных запроса и отключена оптимизация.

Подключение к кластеру Kubernetes

Предполагается, что на главном компьютере есть доступный кластер Kubernetes. Ознакомьтесь со статьей Развертывание кластера Kubernetes для общего понимания того, как развернуть кластер Kubernetes на главном компьютере.

Настройка значений диаграммы Helm для развертывания

Посетите Центр Microsoft Helm, чтобы посмотреть все общедоступные диаграммы Helm, предлагаемые корпорацией Майкрософт. В Центре Microsoft Helm вы найдете локальную диаграмму службы "Речь искусственного интеллекта Azure". Локальная среда службы "Речь ИИ Azure" — это установленная диаграмма, но сначала необходимо создать config-values.yaml файл с явными конфигурациями. Начнем с добавления репозитория Майкрософт в экземпляр Helm.

helm repo add microsoft https://microsoft.github.io/charts/repo

Затем мы настроим значения диаграммы Helm. Скопируйте и вставьте следующий код YAML в файл с именем config-values.yaml. Дополнительные сведения о настройке локальной диаграммы Helm службы "Речь ИИ Azure" см. в разделе "Настройка диаграмм helm". Замените комментарии # {ENDPOINT_URI} и # {API_KEY} своими собственными значениями.

# These settings are deployment specific and users can provide customizations
# speech to text configurations
speechToText:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForAudioFile: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/speech-to-text
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

# text to speech configurations
textToSpeech:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForTurboMode: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/neural-text-to-speech
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

Пакет Kubernetes (диаграмма Helm)

Диаграмма Helm содержит конфигурацию образов Docker, которые необходимо извлечь из реестра контейнеров mcr.microsoft.com.

Диаграмма Helm представляет подборку файлов, описывающих связанный с ними набор ресурсов Kubernetes. Это однорядная диаграмма, которую можно использовать как для развертывания чего-то простого, например модуля pod memcached, так и сложного, например полноценного стека веб-приложений с HTTP-серверами, базами данных, кэшами и т. д.

Предоставленные диаграммы Helm извлекут образы docker службы "Речь", как текст для речи, так и речь в текстовых службах из mcr.microsoft.com реестра контейнеров.

Установка диаграммы Helm в кластере Kubernetes

helm install Выполните команду, чтобы установить диаграмму helm, заменив <config-values.yaml> соответствующий аргумент пути и имени файла. Диаграмма microsoft/cognitive-services-speech-onpremise Helm доступна в Центре Microsoft Helm.

helm install onprem-speech microsoft/cognitive-services-speech-onpremise \
    --version 0.1.1 \
    --values <config-values.yaml> 

Ниже приведен пример выходных данных, которые вы можете ожидать от успешного выполнения установки:

NAME:   onprem-speech
LAST DEPLOYED: Tue Jul  2 12:51:42 2019
NAMESPACE: default
STATUS: DEPLOYED

RESOURCES:
==> v1/Pod(related)
NAME                             READY  STATUS             RESTARTS  AGE
speech-to-text-7664f5f465-87w2d  0/1    Pending            0         0s
speech-to-text-7664f5f465-klbr8  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-4jtzh  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-frwxf  0/1    Pending            0         0s

==> v1/Service
NAME            TYPE          CLUSTER-IP    EXTERNAL-IP  PORT(S)       AGE
speech-to-text  LoadBalancer  10.0.252.106  <pending>    80:31811/TCP  1s
neural-text-to-speech  LoadBalancer  10.0.125.187  <pending>    80:31247/TCP  0s

==> v1beta1/PodDisruptionBudget
NAME                                MIN AVAILABLE  MAX UNAVAILABLE  ALLOWED DISRUPTIONS  AGE
speech-to-text-poddisruptionbudget  N/A            20%              0                    1s
neural-text-to-speech-poddisruptionbudget  N/A            20%              0                    1s

==> v1beta2/Deployment
NAME            READY  UP-TO-DATE  AVAILABLE  AGE
speech-to-text  0/2    2           0          0s
neural-text-to-speech  0/2    2           0          0s

==> v2beta2/HorizontalPodAutoscaler
NAME                       REFERENCE                  TARGETS        MINPODS  MAXPODS  REPLICAS  AGE
speech-to-text-autoscaler  Deployment/speech-to-text  <unknown>/50%  2        10       0         0s
neural-text-to-speech-autoscaler  Deployment/neural-text-to-speech  <unknown>/50%  2        10       0         0s


NOTES:
cognitive-services-speech-onpremise has been installed!
Release is named onprem-speech

Для полного развертывания Kubernetes может потребоваться несколько минут. Для подтверждения наличия модулей Pod и служб, а также корректности их развертывания выполните следующую команду:

kubectl get all

Должен отобразиться результат, аналогичный следующему:

NAME                                  READY     STATUS    RESTARTS   AGE
pod/speech-to-text-7664f5f465-87w2d   1/1       Running   0          34m
pod/speech-to-text-7664f5f465-klbr8   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-4jtzh   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-frwxf   1/1       Running   0          34m

NAME                     TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE
service/kubernetes       ClusterIP      10.0.0.1       <none>           443/TCP        3h
service/speech-to-text   LoadBalancer   10.0.252.106   52.162.123.151   80:31811/TCP   34m
service/neural-text-to-speech   LoadBalancer   10.0.125.187   65.52.233.162    80:31247/TCP   34m

NAME                             DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/speech-to-text   2         2         2            2           34m
deployment.apps/neural-text-to-speech   2         2         2            2           34m

NAME                                        DESIRED   CURRENT   READY     AGE
replicaset.apps/speech-to-text-7664f5f465   2         2         2         34m
replicaset.apps/neural-text-to-speech-56f8fb685b   2         2         2         34m

NAME                                                            REFERENCE                   TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
horizontalpodautoscaler.autoscaling/speech-to-text-autoscaler   Deployment/speech-to-text   1%/50%    2         10        2          34m
horizontalpodautoscaler.autoscaling/neural-text-to-speech-autoscaler   Deployment/neural-text-to-speech   0%/50%    2         10        2          34m

Проверка развертывания Helm с помощью тестов Helm

Установленные диаграммы Helm используют Тесты Helm, которые используются для удобной проверки. Эти тесты проверяют готовность службы. Чтобы проверить как речь, так и текст в функции речи, мы выполняем тестовую команду Helm.

helm test onprem-speech

Эти тесты выводить различные результаты состояния:

RUNNING: speech to text-readiness-test
PASSED: speech to text-readiness-test
RUNNING: text to speech-readiness-test
PASSED: text to speech-readiness-test

В качестве альтернативы выполнению тестов Helm можно получить внешние IP-адреса и соответствующие порты из команды kubectl get all. Используя IP-адрес и порт, откройте веб-браузер и перейдите к http://<external-ip>:<port>:/swagger/index.html, чтобы просмотреть страницы Swagger API.

Настройка диаграмм Helm

Диаграммы Helm являются иерархическими. Иерархия обеспечивает наследование диаграммы, и также относится к концепции особенностей, где параметры, которые являются более специфичными, переопределяют унаследованные правила.

Речь (диаграмма umbrella)

Значения на диаграмме "umbrella" верхнего уровня переопределяют соответствующие значения во вспомогательной диаграмме. Поэтому нужно добавить все локальные настраиваемые значения.

Речь к тексту (подграмма: диаграммы/speechToText)

Чтобы переопределить диаграмму "umbrella", добавьте префикс speechToText. к любому параметру, чтобы сделать его более конкретным. Он переопределит соответствующий параметр, например speechToText.numberOfConcurrentRequest переопределяет numberOfConcurrentRequest.

Анализ тональности (вспомогательная диаграмма: диаграммы/speechToText)

Начиная с версии 2.2.0 преобразования речи в текстовый контейнер и v0.2.0 диаграммы Helm, следующие параметры используются для анализа тональности с помощью API службы языка.

Текст в речь (подграмма: диаграммы или textToSpeech)

Чтобы переопределить диаграмму "umbrella", добавьте префикс textToSpeech. к любому параметру, чтобы сделать его более конкретным. Он переопределит соответствующий параметр, например textToSpeech.numberOfConcurrentRequest переопределяет numberOfConcurrentRequest.

Следующие шаги

Дополнительные сведения об установке приложений с помощью Helm в Службе Kubernetes Azure (AKS) см. здесь.