Verwenden von Containern für den Speech-Dienst mit Kubernetes und Helm

Eine Möglichkeit zur lokalen Verwaltung Ihrer Speech-Container ist die Verwendung von Kubernetes und Helm. Hier erfahren Sie, wie Sie ein Kubernetes-Paket erstellen und Kubernetes und Helm verwenden, um die Containerimages für Spracherkennung und Sprachsynthese zu definieren. Dieses Paket wird lokal für einen Kubernetes-Cluster bereitgestellt. Schließlich erfahren Sie, wie Sie die bereitgestellten Dienste und verschiedene Konfigurationsoptionen testen können. Weitere Informationen zum Ausführen von Docker-Containern ohne Kubernetes-Orchestrierung finden Sie unter Installieren und Ausführen von Containern für den Speech-Dienst.

Voraussetzungen

Die folgenden Voraussetzungen müssen erfüllt sein, damit Speech-Container lokal verwendet werden können:

Empfohlene Hostcomputerkonfiguration

Orientieren Sie sich an den Details unter Der Hostcomputer des Artikels „Installieren und Ausführen von Containern für den Speech-Dienst“. Dieses Helm-Chart berechnet automatisch die CPU- und Arbeitsspeicheranforderungen auf der Grundlage der vom Benutzer angegebenen Anzahl von Decodierungen (gleichzeitige Anforderungen). Außerdem wird es entsprechend angepasst, wenn Optimierungen für die Audio-/Texteingabe als enabled konfiguriert sind. Standardmäßig verwendet das Helm-Chart zwei gleichzeitige Anforderungen und keine Optimierung.

Herstellen einer Verbindung mit dem Kubernetes-Cluster

Für den Hostcomputer muss ein verfügbarer Kubernetes-Cluster vorhanden sein. Das Konzept der Bereitstellung eines Kubernetes-Clusters für einen Hostcomputer wird im Tutorial Bereitstellen eines Azure Kubernetes Service-Clusters (AKS) erläutert.

Konfigurieren von Helm-Chart-Werten für die Bereitstellung

Im Helm-Hub von Microsoft finden Sie alle öffentlich verfügbaren Helm-Charts von Microsoft. Im Microsoft Helm Hub steht das lokale Azure KI Speech-Diagramm zur Verfügung. Das lokale Azure KI Speech-Diagramm ist das Diagramm, das wir installieren. Zunächst müssen wir jedoch die Datei config-values.yaml mit expliziten Konfigurationen erstellen. Als Erstes fügen wir das Microsoft-Repository unserer Helm-Instanz hinzu:

helm repo add microsoft https://microsoft.github.io/charts/repo

Danach konfigurieren wir unsere Helm-Chart-Werte. Kopieren Sie den folgenden YAML-Code, und fügen Sie ihn in eine Datei mit dem Namen config-values.yaml ein. Weitere Informationen zum Anpassen des lokalen Helm-Diagramms von Azure KI Speech finden Sie unter Anpassen von Helm-Diagrammen. Ersetzen Sie die Kommentare # {ENDPOINT_URI} und # {API_KEY} durch Ihre eigenen Werte.

# These settings are deployment specific and users can provide customizations
# speech to text configurations
speechToText:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForAudioFile: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/speech-to-text
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

# text to speech configurations
textToSpeech:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForTurboMode: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/neural-text-to-speech
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

Das Kubernetes-Paket (Helm-Chart)

Das Helm-Chart enthält die Konfiguration, die angibt, welche Docker-Images aus der Containerregistrierung mcr.microsoft.com gepullt werden sollen.

Bei einem Helm-Chart handelt es sich um eine Sammlung von Dateien, die eine zusammengehörige Gruppe von Kubernetes-Ressourcen beschreiben. Ein einzelnes Chart kann sowohl für eine einfache Bereitstellung (beispielsweise eines Memcached-Pods) als auch für komplexere Bereitstellungen (etwa eines vollständigen Web-App-Stapels mit HTTP-Servern, Datenbanken, Caches und Ähnlichem) verwendet werden.

Die bereitgestellten Helm-Charts pullen die Docker-Images des Speech-Diensts (Sprachsynthese- und Spracherkennungsdienst) aus der Containerregistrierung mcr.microsoft.com.

Installieren des Helm-Charts für den Kubernetes-Cluster

Führen Sie den Befehl helm install aus, um das Helm-Chart zu installieren, wobei Sie <config-values.yaml> durch das entsprechende Pfad- und Dateinamenargument ersetzen. Das Helm-Chart microsoft/cognitive-services-speech-onpremise ist im Microsoft Helm Hub verfügbar.

helm install onprem-speech microsoft/cognitive-services-speech-onpremise \
    --version 0.1.1 \
    --values <config-values.yaml> 

Nach einer erfolgreichen Installation kann die Ausgabe beispielsweise wie folgt aussehen:

NAME:   onprem-speech
LAST DEPLOYED: Tue Jul  2 12:51:42 2019
NAMESPACE: default
STATUS: DEPLOYED

RESOURCES:
==> v1/Pod(related)
NAME                             READY  STATUS             RESTARTS  AGE
speech-to-text-7664f5f465-87w2d  0/1    Pending            0         0s
speech-to-text-7664f5f465-klbr8  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-4jtzh  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-frwxf  0/1    Pending            0         0s

==> v1/Service
NAME            TYPE          CLUSTER-IP    EXTERNAL-IP  PORT(S)       AGE
speech-to-text  LoadBalancer  10.0.252.106  <pending>    80:31811/TCP  1s
neural-text-to-speech  LoadBalancer  10.0.125.187  <pending>    80:31247/TCP  0s

==> v1beta1/PodDisruptionBudget
NAME                                MIN AVAILABLE  MAX UNAVAILABLE  ALLOWED DISRUPTIONS  AGE
speech-to-text-poddisruptionbudget  N/A            20%              0                    1s
neural-text-to-speech-poddisruptionbudget  N/A            20%              0                    1s

==> v1beta2/Deployment
NAME            READY  UP-TO-DATE  AVAILABLE  AGE
speech-to-text  0/2    2           0          0s
neural-text-to-speech  0/2    2           0          0s

==> v2beta2/HorizontalPodAutoscaler
NAME                       REFERENCE                  TARGETS        MINPODS  MAXPODS  REPLICAS  AGE
speech-to-text-autoscaler  Deployment/speech-to-text  <unknown>/50%  2        10       0         0s
neural-text-to-speech-autoscaler  Deployment/neural-text-to-speech  <unknown>/50%  2        10       0         0s


NOTES:
cognitive-services-speech-onpremise has been installed!
Release is named onprem-speech

Der Kubernetes-Bereitstellungsvorgang kann mehrere Minuten dauern. Vergewissern Sie sich durch Ausführen des folgenden Befehls, dass die Pods und Dienste ordnungsgemäß bereitgestellt wurden und verfügbar sind:

kubectl get all

Die Ausgabe sollte in etwa wie folgt aussehen:

NAME                                  READY     STATUS    RESTARTS   AGE
pod/speech-to-text-7664f5f465-87w2d   1/1       Running   0          34m
pod/speech-to-text-7664f5f465-klbr8   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-4jtzh   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-frwxf   1/1       Running   0          34m

NAME                     TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE
service/kubernetes       ClusterIP      10.0.0.1       <none>           443/TCP        3h
service/speech-to-text   LoadBalancer   10.0.252.106   52.162.123.151   80:31811/TCP   34m
service/neural-text-to-speech   LoadBalancer   10.0.125.187   65.52.233.162    80:31247/TCP   34m

NAME                             DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/speech-to-text   2         2         2            2           34m
deployment.apps/neural-text-to-speech   2         2         2            2           34m

NAME                                        DESIRED   CURRENT   READY     AGE
replicaset.apps/speech-to-text-7664f5f465   2         2         2         34m
replicaset.apps/neural-text-to-speech-56f8fb685b   2         2         2         34m

NAME                                                            REFERENCE                   TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
horizontalpodautoscaler.autoscaling/speech-to-text-autoscaler   Deployment/speech-to-text   1%/50%    2         10        2          34m
horizontalpodautoscaler.autoscaling/neural-text-to-speech-autoscaler   Deployment/neural-text-to-speech   0%/50%    2         10        2          34m

Überprüfen der Helm-Bereitstellung mit Helm-Tests

Die installierten Helm-Charts definieren Helm-Tests, um die Überprüfung zu vereinfachen. Diese Tests dienen zur Überprüfung der Dienstbereitschaft. Sie führen den Befehl Helm test aus, um sowohl die Spracherkennung als auch die Sprachsynthese zu überprüfen.

helm test onprem-speech

Diese Tests geben verschiedene Statusergebnisse aus:

RUNNING: speech to text-readiness-test
PASSED: speech to text-readiness-test
RUNNING: text to speech-readiness-test
PASSED: text to speech-readiness-test

Als Alternative zur Ausführung der Helm-Tests können Sie auch die externen IP-Adressen und die entsprechenden Ports des Befehls kubectl get all sammeln. Öffnen Sie unter Verwendung der IP-Adresse und des Ports einen Webbrowser, und navigieren Sie zu http://<external-ip>:<port>:/swagger/index.html, um die API-Swagger-Seite(n) anzuzeigen.

Anpassen von Helm-Charts

Helm-Charts sind hierarchisch. Die hierarchische Struktur ermöglicht Chart-Vererbungen und kommt auch dem Konzept der Spezifität zugute, das dafür sorgt, dass geerbte Regeln durch spezifischere Einstellungen überschrieben werden.

Sprache (übergeordnetes Diagramm)

Werte im übergeordneten Diagramm auf oberster Ebene überschreiben die entsprechenden Werte im untergeordneten Diagramm. Deshalb sollten alle lokal angepassten Werte hier hinzugefügt werden.

Spracherkennung (Unterdiagramm: charts/speechToText)

Zum Überschreiben des übergeordneten Diagramms fügen Sie das Präfix speechToText. bei einem beliebigen Parameter hinzu, um das Diagramm genauer zu definieren. Dadurch wird der entsprechende Parameter überschrieben. Beispielsweise überschreibt speechToText.numberOfConcurrentRequest den Parameter numberOfConcurrentRequest.

Standpunktanalyse (Unterdiagramm: charts/speechToText)

Ab Version 2.2.0 des Spracherkennungs-Containers und Version 0.2.0 des Helm-Charts werden folgende Parameter für die Stimmungsanalyse mit der Sprachdienst-API verwendet.

Sprachsynthese (Unterdiagramm: charts/textToSpeech)

Zum Überschreiben des übergeordneten Diagramms fügen Sie das Präfix textToSpeech. bei einem beliebigen Parameter hinzu, um das Diagramm genauer zu definieren. Dadurch wird der entsprechende Parameter überschrieben. Beispielsweise überschreibt textToSpeech.numberOfConcurrentRequest den Parameter numberOfConcurrentRequest.

Nächste Schritte

Ausführlichere Informationen zum Installieren von Anwendungen mit Helm in Azure Kubernetes Service (AKS) finden Sie hier.