Kubernetes ve Helm ile Konuşma hizmeti kapsayıcılarını kullanma

Konuşma kapsayıcılarınızı şirket içinde yönetmenin bir seçeneği Kubernetes ve Helm kullanmaktır. Kubernetes ve Helm kullanarak konuşmayı metne dönüştürme ve metin okuma kapsayıcısı görüntülerini tanımlamak için bir Kubernetes paketi oluştururuz. Bu paket şirket içi bir Kubernetes kümesine dağıtılır. Son olarak, dağıtılan hizmetleri ve çeşitli yapılandırma seçeneklerini test etme hakkında bilgi edineceğiz. Kubernetes düzenlemesi olmadan Docker kapsayıcılarını çalıştırma hakkında daha fazla bilgi için bkz . Konuşma hizmeti kapsayıcılarını yükleme ve çalıştırma.

Önkoşullar

Şirket içi Konuşma kapsayıcılarını kullanmadan önce aşağıdaki önkoşullar:

Önerilen ana bilgisayar yapılandırması

Başvuru olarak Konuşma hizmeti kapsayıcısı ana bilgisayar ayrıntılarına bakın. Bu helm grafiği , kullanıcının belirttiği kod çözme (eşzamanlı istek) sayısı temelinde CPU ve bellek gereksinimlerini otomatik olarak hesaplar. Ayrıca, ses/metin girişi iyileştirmelerinin olarak enabledyapılandırılıp yapılandırılmadığına göre ayarlanır. Helm grafiği varsayılan olarak iki eşzamanlı istek ve iyileştirmeyi devre dışı bırakır.

Kubernetes kümesine bağlanma

Konak bilgisayarda kullanılabilir bir Kubernetes kümesi olması beklenir. Kubernetes kümesinin bir konak bilgisayara nasıl dağıtılacağına ilişkin kavramsal bir anlayış için kubernetes kümesi dağıtma öğreticisine bakın.

Helm grafik değerlerini dağıtım için yapılandırma

Microsoft tarafından sunulan tüm genel kullanıma açık helm grafikleri için Microsoft Helm Hub'ı ziyaret edin. Microsoft Helm Hub'da Azure AI Konuşma Şirket İçi Grafiği'ni bulabilirsiniz. Azure AI Konuşma Şirket İçi, yüklediğimiz grafiktir, ancak önce açık yapılandırmalara sahip bir config-values.yaml dosya oluşturmamız gerekir. Helm örneğimize Microsoft deposunu ekleyerek başlayalım.

helm repo add microsoft https://microsoft.github.io/charts/repo

Ardından Helm grafiği değerlerimizi yapılandıracağız. Aşağıdaki YAML'yi kopyalayıp adlı config-values.yamlbir dosyaya yapıştırın. Azure AI Konuşma Şirket İçi Helm Grafiğini özelleştirme hakkında daha fazla bilgi için bkz. Helm grafiklerini özelleştirme. ve # {API_KEY} açıklamalarını # {ENDPOINT_URI} kendi değerlerinizle değiştirin.

# These settings are deployment specific and users can provide customizations
# speech to text configurations
speechToText:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForAudioFile: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/speech-to-text
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

# text to speech configurations
textToSpeech:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForTurboMode: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/neural-text-to-speech
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

Kubernetes paketi (Helm grafiği)

Helm grafiği, kapsayıcı kayıt defterinden çekebileceğiniz mcr.microsoft.com docker görüntü yapılandırmasını içerir.

Helm grafiği, ilgili Kubernetes kaynaklarını açıklayan bir dosya koleksiyonudur. Tek bir grafik, memcached pod gibi basit veya HTTP sunucuları, veritabanları, önbellekler vb. içeren tam bir web uygulaması yığını gibi karmaşık bir şey dağıtmak için kullanılabilir.

Sağlanan Helm grafikleri , konuşma hizmetinin hem metin okuma hem de konuşmadan metin hizmetlerine kapsayıcı kayıt defterinden mcr.microsoft.com docker görüntülerini çeker.

Helm grafiğini Kubernetes kümesine yükleme

helm install komutunu çalıştırarak <config-values.yaml> helm grafiğini yükleyin ve değerini uygun yol ve dosya adı bağımsız değişkeniyle değiştirin. microsoft/cognitive-services-speech-onpremise Helm grafiği Microsoft Helm Hub'da kullanılabilir.

helm install onprem-speech microsoft/cognitive-services-speech-onpremise \
    --version 0.1.1 \
    --values <config-values.yaml> 

Aşağıda, başarılı bir yükleme yürütmesinden görmeyi bekleyebileceğiniz örnek bir çıktı verilmiştir:

NAME:   onprem-speech
LAST DEPLOYED: Tue Jul  2 12:51:42 2019
NAMESPACE: default
STATUS: DEPLOYED

RESOURCES:
==> v1/Pod(related)
NAME                             READY  STATUS             RESTARTS  AGE
speech-to-text-7664f5f465-87w2d  0/1    Pending            0         0s
speech-to-text-7664f5f465-klbr8  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-4jtzh  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-frwxf  0/1    Pending            0         0s

==> v1/Service
NAME            TYPE          CLUSTER-IP    EXTERNAL-IP  PORT(S)       AGE
speech-to-text  LoadBalancer  10.0.252.106  <pending>    80:31811/TCP  1s
neural-text-to-speech  LoadBalancer  10.0.125.187  <pending>    80:31247/TCP  0s

==> v1beta1/PodDisruptionBudget
NAME                                MIN AVAILABLE  MAX UNAVAILABLE  ALLOWED DISRUPTIONS  AGE
speech-to-text-poddisruptionbudget  N/A            20%              0                    1s
neural-text-to-speech-poddisruptionbudget  N/A            20%              0                    1s

==> v1beta2/Deployment
NAME            READY  UP-TO-DATE  AVAILABLE  AGE
speech-to-text  0/2    2           0          0s
neural-text-to-speech  0/2    2           0          0s

==> v2beta2/HorizontalPodAutoscaler
NAME                       REFERENCE                  TARGETS        MINPODS  MAXPODS  REPLICAS  AGE
speech-to-text-autoscaler  Deployment/speech-to-text  <unknown>/50%  2        10       0         0s
neural-text-to-speech-autoscaler  Deployment/neural-text-to-speech  <unknown>/50%  2        10       0         0s


NOTES:
cognitive-services-speech-onpremise has been installed!
Release is named onprem-speech

Kubernetes dağıtımının tamamlanması birkaç dakika sürebilir. Hem podların hem de hizmetlerin düzgün dağıtıldığını ve kullanılabilir olduğunu onaylamak için aşağıdaki komutu yürütebilirsiniz:

kubectl get all

Aşağıdaki çıkışa benzer bir şey görmeyi beklemelisiniz:

NAME                                  READY     STATUS    RESTARTS   AGE
pod/speech-to-text-7664f5f465-87w2d   1/1       Running   0          34m
pod/speech-to-text-7664f5f465-klbr8   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-4jtzh   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-frwxf   1/1       Running   0          34m

NAME                     TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE
service/kubernetes       ClusterIP      10.0.0.1       <none>           443/TCP        3h
service/speech-to-text   LoadBalancer   10.0.252.106   52.162.123.151   80:31811/TCP   34m
service/neural-text-to-speech   LoadBalancer   10.0.125.187   65.52.233.162    80:31247/TCP   34m

NAME                             DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/speech-to-text   2         2         2            2           34m
deployment.apps/neural-text-to-speech   2         2         2            2           34m

NAME                                        DESIRED   CURRENT   READY     AGE
replicaset.apps/speech-to-text-7664f5f465   2         2         2         34m
replicaset.apps/neural-text-to-speech-56f8fb685b   2         2         2         34m

NAME                                                            REFERENCE                   TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
horizontalpodautoscaler.autoscaling/speech-to-text-autoscaler   Deployment/speech-to-text   1%/50%    2         10        2          34m
horizontalpodautoscaler.autoscaling/neural-text-to-speech-autoscaler   Deployment/neural-text-to-speech   0%/50%    2         10        2          34m

Helm testleriyle Helm dağıtımlarını doğrulama

Yüklü Helm grafikleri, doğrulama için kolaylık sağlayan Helm testlerini tanımlar. Bu testler hizmet hazırlığını doğrular. Hem konuşmayı metne dönüştürme hem de metin okuma özelliklerini doğrulamak için Helm test komutunu yürüteceğiz.

helm test onprem-speech

Bu testlerde çeşitli durum sonuçları elde edilir:

RUNNING: speech to text-readiness-test
PASSED: speech to text-readiness-test
RUNNING: text to speech-readiness-test
PASSED: text to speech-readiness-test

Helm testlerini yürütmeye alternatif olarak, komuttan kubectl get all Dış IP adreslerini ve ilgili bağlantı noktalarını toplayabilirsiniz. IP ve bağlantı noktasını kullanarak bir web tarayıcısı açın ve API swagger sayfalarını görüntülemek için adresine gidin http://<external-ip>:<port>:/swagger/index.html .

Helm grafiklerini özelleştirme

Helm grafikleri hiyerarşiktir. Hiyerarşik olmak, grafik devralmayı sağlar, ayrıca daha belirli geçersiz kılma devralınan kurallar olan ayarların özgüllük kavramını da karşılar.

Konuşma (şemsiye grafik)

Üst düzey "şemsiye" grafiğindeki değerler, karşılık gelen alt grafik değerlerini geçersiz kılar. Bu nedenle, şirket içi özelleştirilmiş tüm değerler buraya eklenmelidir.

Konuşmayı metne dönüştürme (alt grafik: grafikler/speechToText)

"Şemsiye" grafiğini geçersiz kılmak için herhangi bir parametreye ön eki speechToText. ekleyerek daha belirgin hale getirin. Örneğin, ilgili parametreyi geçersiz kılar, örneğin, speechToText.numberOfConcurrentRequest geçersiz kılar numberOfConcurrentRequest.

Yaklaşım analizi (alt grafik: grafikler/speechToText)

Metin kapsayıcısına konuşmanın v2.2.0 ve Helm grafiğinin v0.2.0 ile başlayarak, Dil hizmeti API'sini kullanarak yaklaşım analizi için aşağıdaki parametreler kullanılır.

Metin okuma (alt grafik: grafikler/textToSpeech)

"Şemsiye" grafiğini geçersiz kılmak için herhangi bir parametreye ön eki textToSpeech. ekleyerek daha belirgin hale getirin. Örneğin, ilgili parametreyi geçersiz kılar, örneğin, textToSpeech.numberOfConcurrentRequest geçersiz kılar numberOfConcurrentRequest.

Sonraki adımlar

Azure Kubernetes Service'te (AKS) Helm ile uygulama yükleme hakkında daha fazla bilgi için burayı ziyaret edin.