Referenční informace ke konfiguraci clusteru Kubernetes pro Azure Machine Learning

Tento článek obsahuje referenční informace pro konfiguraci Kubernetes pomocí služby Azure Machine Learning.

Podporovaná verze a oblast Kubernetes

• Clustery Kubernetes, které instalují rozšíření Azure Machine Learning, mají okno podpory verzí N-2, které je v souladu se zásadami podpory verzí služby Azure Kubernetes Service (AKS), kde N je nejnovější podverze GA služby Azure Kubernetes Service.

  • Pokud například AKS dnes zavádí verzi 1.20.a, jsou podporovány verze 1.20.a, 1.20.b, 1.19.c, 1.19.d, 1.18.e a 1.18.f.

  • Pokud zákazníci používají nepodporovanou verzi Kubernetes, při žádosti o podporu clusteru se zobrazí výzva k upgradu. Clustery s nepodporovanými verzemi Kubernetes se nevztahují na zásady podpory rozšíření Azure Machine Learning.

• Dostupnost oblastí rozšíření Azure Machine Learning:

  • Rozšíření Azure Machine Learning je možné nasadit do AKS nebo Kubernetes s podporou Azure Arc v podporovaných oblastech uvedených v podpoře oblastí Kubernetes s podporou Azure Arc.

Doporučené plánování zdrojů

Když nasadíte rozšíření Azure Machine Learning, některé související služby se nasadí do clusteru Kubernetes pro Azure Machine Learning. Následující tabulka uvádí související služby a jejich využití prostředků v clusteru:

S výjimkou vlastních nasazení/podů jsou celkové minimální požadavky na systémové prostředky následující:

Požadavky pro clustery ARO nebo OCP

Zakázání rozšířeného zabezpečení Linuxu (SELinux)

Datová sada Azure Machine Learning (funkce sady SDK v1 používaná v trénovacích úlohách služby Azure Machine Learning) se na počítačích s povoleným SELinuxem nepodporuje. Proto je potřeba zakázat selinux všechny pracovní procesy, abyste mohli používat datovou sadu Azure Machine Learning.

Privilegované nastavení pro ARO a OCP

Pro nasazení rozšíření Azure Machine Learning v clusteru ARO nebo OCP udělte privilegovaný přístup k účtům služby Azure Machine Learning, spusťte oc edit scc privileged příkaz a do části Uživatelé přidejte následující účty služeb:

• system:serviceaccount:azure-arc:azure-arc-kube-aad-proxy-sa
• system:serviceaccount:azureml:{EXTENSION-NAME}-kube-state-metrics
• system:serviceaccount:azureml:prom-admission
• system:serviceaccount:azureml:default
• system:serviceaccount:azureml:prom-operator
• system:serviceaccount:azureml:load-amlarc-selinux-policy-sa
• system:serviceaccount:azureml:azureml-fe-v2
• system:serviceaccount:azureml:prom-prometheus
• system:serviceaccount:{KUBERNETES-COMPUTE-NAMESPACE}:default
• system:serviceaccount:azureml:azureml-ingress-nginx
• system:serviceaccount:azureml:azureml-ingress-nginx-admission

Shromažďované podrobnosti protokolu

Některé protokoly o úlohách Azure Machine Learning v clusteru se shromažďují prostřednictvím komponent rozšíření, jako je stav, metriky, životní cyklus atd. Následující seznam obsahuje všechny shromážděné podrobnosti protokolu, včetně typu shromážděných protokolů a jejich odeslání nebo uložení.

Úlohy Azure Machine Learning se připojují s vlastním úložištěm dat

Trvalý svazek (PV) a trvalá deklarace identity svazku (PVC) jsou koncepty Kubernetes, které uživatelům umožňují poskytovat a využívat různé prostředky úložiště.

1. Vytvoření SOUČHODNOTy, například nfs

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv 
spec:
  capacity:
    storage: 1Gi 
  accessModes:
    - ReadWriteMany 
  persistentVolumeReclaimPolicy: Retain
  storageClassName: ""
  nfs: 
    path: /share/nfs
    server: 20.98.110.84 
    readOnly: false

2. Vytvořte PVC ve stejném oboru názvů Kubernetes s úlohami ML. V metadatanástroji Azure Machine Learning musíte přidat popisekml.azure.com/pvc: "true", který bude rozpoznán, a přidat poznámku ml.azure.com/mountpath: <mount path> pro nastavení cesty připojení.

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc  
  namespace: default
  labels:
    ml.azure.com/pvc: "true"
  annotations:
    ml.azure.com/mountpath: "/mnt/nfs"
spec:
  storageClassName: ""
  accessModes:
  - ReadWriteMany      
  resources:
     requests:
       storage: 1Gi

Podporované vady a tolerance služby Azure Machine Learning

Taint a Toleration jsou koncepty Kubernetes, které spolupracují, aby se zajistilo, že pody nejsou naplánované na nevhodné uzly.

Clustery Kubernetes integrované se službou Azure Machine Learning (včetně clusterů AKS a Arc Kubernetes) teď podporují konkrétní tainty a tolerance služby Azure Machine Learning, což uživatelům umožňuje přidávat konkrétní tainty Azure Machine Learning na uzlech vyhrazených pro Azure Machine Learning, aby se úlohy mimo Azure Machine Learning neplánovály na tyto vyhrazené uzly.

Podporujeme pouze umístění taintů specifických pro amlarc na uzly, které jsou definovány takto:

Osvědčené postupy

Podle vašich požadavků na plánování uzlů vyhrazených pro Azure Machine Learning můžete přidat několik taintů specifických pro amlarc a omezit úlohy Azure Machine Learning, které se můžou spouštět na uzlech. Uvádíme osvědčené postupy pro používání taintů amlarc:

• Pokud chcete zabránit tomu, aby úlohy mimo Azure Machine Learning běžely na vyhrazených uzlech nebo fondech uzlů Azure Machine Learning, stačí do těchto uzlů přidat aml overall taint.
• Pokud chcete zabránit spuštění podů, které nejsou systémem na vyhrazených uzlech nebo fondech uzlů služby Azure Machine Learning, musíte přidat následující tainty:
  • amlarc overall nakazit
  • amlarc system nakazit
• Pokud chcete zabránit tomu, aby úlohy bez ml běžely na vyhrazených uzlech nebo fondech uzlů Azure Machine Learning, musíte přidat následující tainty:
  • amlarc overall nakazit
  • amlarc workloads nakazit
• Pokud chcete zabránit tomu, aby úlohy vytvořené z pracovního prostoru X běžely ve vyhrazených uzlech nebo fondech uzlů Služby Azure Machine Learning, musíte přidat následující tainty:
  • amlarc overall nakazit
  • amlarc resource group (has this <workspace X>) nakazit
  • amlarc <workspace X> nakazit
• Pokud chcete zabránit spouštění úloh nevytvořených cílovým výpočetním objektem X ve vyhrazených uzlech nebo fondech uzlů služby Azure Machine Learning, musíte přidat následující tainty:
  • amlarc overall nakazit
  • amlarc resource group (has this <workspace X>) nakazit
  • amlarc workspace (has this <compute X>) nakazit
  • amlarc <compute X> nakazit

Integrace dalšího kontroleru příchozího přenosu dat s rozšířením Azure Machine Learning přes HTTP nebo HTTPS

Kromě výchozího nástroje pro odvozování služby Azure Machine Learning pro vyrovnávání zatížení azureml-fe můžete také integrovat další nástroje pro vyrovnávání zatížení s rozšířením Azure Machine Learning přes PROTOKOL HTTP nebo HTTPS.

Tento kurz ukazuje, jak integrovat kontroler příchozího přenosu dat Nginx nebo bránu Aplikace Azure lication.

Požadavky

• Nasaďte rozšíření Azure Machine Learning pomocí inferenceRouterServiceType=ClusterIP a allowInsecureConnections=True , aby kontroler příchozího přenosu dat Nginx mohl zpracovávat ukončení protokolu TLS sám, místo aby ho předával službě azureml-fe, když je služba zpřístupněná přes HTTPS.
• K integraci s kontrolerem příchozího přenosu dat Nginx potřebujete nastavení clusteru Kubernetes s kontrolerem příchozího přenosu dat Nginx.
  • Vytvořte základní kontroler: Pokud začínáte úplně od začátku, přečtěte si tyto pokyny.
• Pro integraci se službou Aplikace Azure lication Gateway potřebujete nastavení clusteru Kubernetes s kontrolerem příchozího přenosu dat brány Aplikace Azure lication.
  • Nasazení Greenfieldu: Pokud začínáte úplně od začátku, projděte si tyto pokyny.
  • Nasazení Brownfieldu: Pokud máte existující cluster AKS a Službu Application Gateway, projděte si tyto pokyny.
• Pokud chcete pro tuto aplikaci použít https, potřebujete certifikát x509 a jeho privátní klíč.

Zveřejnění služeb přes PROTOKOL HTTP

K zveřejnění azureml-fe použijeme následující prostředek příchozího přenosu dat:

# Nginx Ingress Controller example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Tento příchozí přenos dat zpřístupňuje azureml-fe službu a vybrané nasazení jako výchozí back-end kontroleru příchozího přenosu dat Nginx.

# Azure Application Gateway example
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: azureml-fe
  namespace: azureml
spec:
  ingressClassName: azure-application-gateway
  rules:
  - http:
      paths:
      - path: /
        backend:
          service:
            name: azureml-fe
            port:
              number: 80
        pathType: Prefix

Tento příchozí přenos dat zpřístupňuje azureml-fe službu a vybrané nasazení jako výchozí back-end služby Application Gateway.

Uložte výše uvedený prostředek příchozího přenosu dat jako ing-azureml-fe.yaml.

1. Nasazení ing-azureml-fe.yaml spuštěním příkazu:

   kubectl apply -f ing-azureml-fe.yaml
   

2. Zkontrolujte stav nasazení v protokolu kontroleru příchozího přenosu dat.

3. azureml-fe Aplikace by teď měla být dostupná. Můžete to zkontrolovat na adrese:

   • Kontroler příchozího přenosu dat Nginx: veřejná adresa loadbalanceru kontroleru příchozího přenosu dat Nginx
   • Aplikace Azure lication Gateway: veřejná adresa služby Application Gateway.

4. Vytvořte úlohu odvození a vyvolejte ji.

   Poznámka:

   Před vyvoláním nahraďte IP adresu v scoring_uri veřejnou adresou LoadBalanceru kontroleru příchozího přenosu dat Nginx.

Zveřejnění služeb přes HTTPS

1. Před nasazením příchozího přenosu dat je potřeba vytvořit tajný klíč Kubernetes pro hostování certifikátu a privátního klíče. Tajný kód Kubernetes můžete vytvořit spuštěním příkazu .

   kubectl create secret tls <ingress-secret-name> -n azureml --key <path-to-key> --cert <path-to-cert>
   

2. Definujte následující příchozí přenos dat. V příchozím přenosu dat zadejte název tajného kódu v oddílu secretName .

   # Nginx Ingress Controller example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: nginx
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   # Azure Application Gateway example
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: azureml-fe
     namespace: azureml
   spec:
     ingressClassName: azure-application-gateway
     tls:
     - hosts:
       - <domain>
       secretName: <ingress-secret-name>
     rules:
     - host: <domain>
       http:
         paths:
         - path: /
           backend:
             service:
               name: azureml-fe
               port:
                 number: 80
           pathType: Prefix
   

   Poznámka:

   <ingress-secret-name> Ve výše uvedeném prostředku příchozího přenosu dat nahraďte <domain> doménou odkazující na LoadBalancer kontroleru příchozího přenosu dat Nginx nebo služby Application Gateway a názvem vašeho tajného kódu. Uložte výše uvedený prostředek příchozího přenosu dat do názvu ing-azureml-fe-tls.yamlsouboru .

3. Nasazení ing-azureml-fe-tls.yaml spuštěním příkazu

   kubectl apply -f ing-azureml-fe-tls.yaml
   

4. Zkontrolujte stav nasazení v protokolu kontroleru příchozího přenosu dat.

5. azureml-fe Aplikace je teď dostupná na https. Můžete to zkontrolovat tak, že navštívíte veřejnou adresu LoadBalanceru kontroleru příchozího přenosu dat Nginx.

6. Vytvořte úlohu odvození a vyvolejte ji.

   Poznámka:

   Před vyvoláním příkazu nahraďte protokol a IP adresu v scoring_uri https a doménou odkazující na LoadBalancer kontroleru příchozího přenosu dat Nginx nebo služby Application Gateway.

Nasazení rozšíření s využitím šablony ARM

Rozšíření ve spravovaném clusteru je možné nasadit pomocí šablony ARM. Ukázkovou šablonu najdete v deployextension.json s ukázkovým souborem parametrů deployextension.parameters.json

Pokud chcete použít ukázkovou šablonu nasazení, upravte soubor parametrů se správnou hodnotou a spusťte následující příkaz:

az deployment group create --name <ARM deployment name> --resource-group <resource group name> --template-file deployextension.json --parameters deployextension.parameters.json

Další informace o používání šablony ARM najdete v dokumentaci k šabloně ARM.

Poznámka k vydání rozšíření AzuremML