Verwalten und Erhöhen der Kontingente und Grenzwerte für Ressourcen mit Azure Machine Learning

In Azure werden Kontingente und Grenzwerte verwendet, um Budgetüberschreitungen aufgrund von Betrug zu vermeiden und Azure-Kapazitätseinschränkungen durchzusetzen. Berücksichtigen Sie diese Grenzwerte bei der Skalierung für Produktionsworkloads. In diesem Artikel lernen Sie Folgendes:

• Standardgrenzwerte für Azure-Ressourcen in Bezug auf Azure Machine Learning
• Erstellen von Kontingenten auf Arbeitsbereichsebene
• Anzeigen Ihrer Kontingente und Grenzwerte
• Anfordern von Kontingenterhöhungen

Neben dem Verwalten von Kontingenten und Grenzwerten können Sie lernen, wie Sie die Kosten für Azure Machine Learning planen und verwalten oder mehr über die Diensteinschränkungen in Azure Machine Learning erfahren.

Besondere Überlegungen

• Kontingente werden auf jedes Abonnement in Ihrem Konto angewendet. Wenn Sie über mehrere Abonnements verfügen, müssen Sie eine Kontingenterhöhung für jedes Abonnement anfordern.

• Ein Kontingent ist eine Guthabengrenze für Azure-Ressourcen, keine Kapazitätsgarantie. Wenn Sie einen umfangreichen Kapazitätsbedarf haben, wenden Sie sich an den Azure-Support, um Ihr Kontingent zu erhöhen.

• Ein Kontingent wird von allen Diensten Ihres Abonnements, einschließlich Azure Machine Learning, gemeinsam verwendet. Beziehen Sie beim Bestimmen der Kapazität die Nutzungsanforderungen aller Dienste mit ein.

  Hinweis

  Azure Machine Learning Compute ist eine Ausnahme. Dieser Dienst verfügt über ein vom Kerncomputekontingent getrenntes Kontingent.

• Die Standardgrenzwerte variieren je nach angebotenem Kategorietyp, z. B. kostenlose Testversion, nutzungsbasierte Bezahlung und VM-Serien (wie Dv2, F und G).

Standardressourcenkontingente und -Grenzwerte

In diesem Abschnitt erfahren Sie mehr über die standardmäßigen und maximalen Kontingente und Grenzwerte für die folgenden Ressourcen:

• Azure Machine Learning-Ressourcen
• Azure Machine Learning-Compute-Instanzen (einschließlich serverlosem Spark)
• Freigegebenes Azure Machine Learning-Kontingent
• Azure Machine Learning-Online-Endpunkte (sowohl verwaltet als auch Kubernetes) und Batch-Endpunkte
• Azure Machine Learning-Pipelines
• Azure Machine Learning-Integration in Synapse
• Virtuelle Computer
• Azure Container Instances
• Azure Storage

Azure Machine Learning-Ressourcen

Die folgenden Grenzwerte für Ressourcen gelten pro Arbeitsbereich.

Darüber hinaus beträgt die maximale Laufzeit 30 Tage, und die maximale Anzahl von Metriken, die pro Ausführung protokolliert werden beträgt 1 Million.

Azure Machine Learning Compute

Azure Machine Learning Compute verfügt über eine Standardkontingentgrenze für die Anzahl von Kernen und eindeutigen Computeressourcen, die pro Region in einem Abonnement zulässig sind.

Beantragen Sie eine Kontingentserhöhung, um die Grenzwerte für die folgenden Elemente anzuheben:

• Kernkontingente der VM-Familie. Weitere Informationen dazu, für welche VM-Serie eine Erhöhung des Kontingents angefordert werden sollte, finden Sie unter Größen virtueller Computer in Azure. Beispielsweise beginnen GPU-VM-Familien mit einem „N“ in ihrem Familiennamen (z. B. die NCv3-Serie).
• Gesamtkernkontingente im Abonnement
• Clusterkontingent
• Weitere Ressourcen in diesem Abschnitt

Verfügbare Ressourcen:

• Dedizierte Kerne pro Region haben je nach Typ Ihres Abonnementangebots einen Standardgrenzwert von 24 bis 300. Sie können die Anzahl dedizierter Kerne pro Abonnement für jede VM-Familie erhöhen. Spezialisierte VM-Familien wie die Serien NCv2, NCv3 oder ND beginnen mit einem Standardwert von null Kernen. GPUs sind auch standardmäßig auf null Kerne festgelegt.

• Kerne mit niedriger Priorität pro Region haben je nach Typ Ihres Abonnementangebots einen Standardgrenzwert von 100 bis 3.000. Die Anzahl der Kerne niedriger Priorität pro Abonnement kann erhöht werden. Es handelt sich bei allen VM-Familien um einen einzelnen Wert.

• Für Computelimit gesamt pro Region gilt innerhalb eines bestimmten Abonnements ein Standardgrenzwert von 500 pro Region, der auf einen Maximalwert von 2.500 pro Region erhöht werden kann. Dieser Grenzwert gilt für Trainingscluster, Compute-Instanzen und verwaltete Onlineendpunktbereitstellungen. Eine Compute-Instanz wird in Bezug auf Kontingente als Cluster mit nur einem Knoten angesehen.

In der folgenden Tabelle sind weitere Grenzwerte der Plattform angegeben. Wenden Sie sich über ein technisches Supportticket an das Produktteam von Azure Machine Learning, um eine Ausnahme anzufordern.

¹ Die maximale Lebensdauer bezieht sich auf die Zeitspanne zwischen dem Start und Ende eines Auftrags. Abgeschlossene Aufträge bleiben unbegrenzt erhalten. Daten für Aufträge, die nicht innerhalb der maximalen Lebensdauer abgeschlossen wurden, sind nicht verfügbar.

² Aufträge auf einem Knoten niedriger Priorität können vorzeitig entfernt werden, wenn eine Kapazitätseinschränkung besteht. Wir empfehlen Ihnen, in Ihrem Auftrag Prüfpunkte zu implementieren.

Freigegebenes Azure Machine Learning-Kontingent

Azure Machine Learning bietet einen Pool freigegebener Kontingente, aus dem Benutzer in verschiedenen Regionen auf ein Kontingent zugreifen können, um Tests für einen begrenzten Zeitraum durchzuführen (abhängig von der Verfügbarkeit). Die spezifische Dauer hängt vom Anwendungsfall ab. Wenn Sie vorübergehend ein Kontingent aus dem Kontingentpool verwenden, müssen Sie kein Supportticket mehr für eine kurzfristige Kontingenterhöhung erstellen oder warten, bis Ihre Kontingentanforderung genehmigt wurde, bevor Sie mit Ihrem Workload fortfahren können.

Die Verwendung des freigegebenen Kontingentpools steht für die Ausführung von Spark-Aufträgen und zum Testen der Rückschlüsse für Llama-2-, Phi-, Nemotron-, Mistral-, Dolly- und Deci-DeciLM-Modelle aus dem Modellkatalog für einen kurzen Zeitraum zur Verfügung. Um diese Modelle über das freigegebene Kontingent bereitstellen zu können, müssen Sie über ein Enterprise Agreement-Abonnement verfügen. Weitere Informationen zur Verwendung des freigegebenen Kontingents für die Bereitstellung von Onlineendpunkten finden Sie unter Bereitstelle von Grundlagenmodellen mittels Studio.

Sie sollten das freigegebene Kontingent nur zum Erstellen temporärer Testendpunkte und nicht für Produktionsendpunkte verwenden. Für Endpunkte in der Produktion sollten Sie ein dediziertes Kontingent anfordern, indem Sie ein Supportticket einreichen. Die Abrechnung für das freigegebene Kontingent erfolgt wie die Abrechnung für dedizierte VM-Familien auf Nutzungsbasis. Wenn Sie das freigegebene Kontingent für Spark-Aufträge deaktivieren möchten, füllen Sie das Formular zum Deaktivieren der Zuordnung von freigegebener Azure Machine Learning-Kapazität aus.

Azure Machine Learning-Online-Endpunkte und Batch-Endpunkte

Azure Machine Learning-Online-Endpunkte und Batch-Endpunkte haben die in der folgenden Tabelle beschriebenen Ressourcengrenzwerte.

Zeigen Sie die Metriken an, um den aktuellen Verbrauch eines Endpunkt zu bestimmen.

Um eine Ausnahme beim Azure Machine Learning-Produktteam zu beantragen, befolgen Sie die Schritte im Abschnitt Erhöhungen des Endpunktgrenzwerts.

¹ Dies ist ein regionaler Grenzwert. Wenn der aktuelle Grenzwert für die Anzahl der Endpunkte beispielsweise 100 beträgt, können Sie in einem einzigen Abonnement 100 Endpunkte in der Region USA, Osten, 100 Endpunkte in der Region USA, Westen und 100 Endpunkte in jeder der anderen unterstützten Regionen erstellen. Dasselbe Prinzip gilt für alle anderen Grenzwerte.

² Einzelne Bindestriche wie z. B. my-endpoint-name sind in Endpunkt- und Bereitstellungsnamen zulässig.

³ Endpunkte und Bereitstellungen können unterschiedliche Typen aufweisen. Für die Grenzwerte werden jedoch alle Typen in Summe berücksichtigt. Zum Beispiel kann die Summe der verwalteten Online-Endpunkte, Kubernetes-Online-Endpunkte und Batch-Endpunkte unter jedem Abonnement standardmäßig 100 pro Region nicht überschreiten. Ebenso kann die Summe der verwalteten Online-Bereitstellungen, Kubernetes-Online-Bereitstellungen und Batch-Bereitstellungen im Rahmen eines Abonnements standardmäßig 500 pro Region nicht überschreiten.

⁴ Wir reservieren zusätzliche 20 % an Computeressourcen für die Durchführung von Upgrades. Wenn Sie beispielsweise 10 Instanzen in einer Bereitstellung anfordern, müssen Sie über ein Kontingent für 12 verfügen. Andernfalls erhalten Sie einen Fehler. Es gibt einige VM-SKUs, die vom zusätzlichen Kontingent ausgenommen sind. Weitere Informationen zur Kontingentzuweisung finden Sie unter Kontingentzuordnung für virtuelle Computer für die Bereitstellung.

⁵ Anforderungen pro Sekunde, Verbindungen, Bandbreite usw. hängen zusammen. Wenn Sie eine Erhöhung für einen dieser Grenzwerte anfordern, müssen auch die anderen damit verbundenen Grenzwerte geschätzt bzw. berechnet werden.

Kontingentzuordnung für virtuelle Computer für die Bereitstellung

Für verwaltete Onlineendpunkte reserviert Azure Machine Learning 20 % Ihrer Computeressourcen für die Durchführung von Upgrades auf einigen VM-SKUs. Wenn Sie eine bestimmte Anzahl von Instanzen für diese VM-SKUs in einer Bereitstellung anfordern, müssen Sie über ein Kontingent für ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU verfügen, um zu verhindern, dass Sie einen Fehler erhalten. Wenn Sie in einer Bereitstellung also beispielsweise zehn Instanzen einer VM vom Typ Standard_DS3_v2 (mit vier Kernen) anfordern, muss ein Kontingent für 48 Kerne (12 instances * 4 cores) verfügbar sein. Dieses zusätzliche Kontingent ist für systemseitig initiierte Vorgänge wie Betriebssystem-Upgrades und VM-Wiederherstellungen reserviert und verursacht nur dann Kosten, wenn ein solcher Vorgang ausgeführt wird.

Es gibt bestimmte VM-SKUs, die von der zusätzlichen Kontingentreservierung ausgenommen sind. Informationen zum Anzeigen der vollständigen Liste finden Sie unter SKU-Liste verwalteter Onlineendpunkte. Informationen zum Anzeigen Ihres Verbrauchs und zum Anfordern von Kontingenterhöhungen finden Sie unter Anzeigen Ihres Verbrauchs und Ihrer Kontingente im Azure-Portal. Informationen zum Anzeigen Ihrer Kosten für die Ausführung eines verwalteten Onlineendpunkts finden Sie unter Anzeigen der Kosten für einen verwalteten Azure Machine Learning-Onlineendpunkt.

Azure Machine Learning-Pipelines

Für Azure Machine Learning-Pipelines gelten die unten angegebenen Grenzwerte.

Azure Machine Learning-Integration in Synapse

Serverlose Spark von Azure Machine Learning bietet einfachen Zugriff auf verteilte Computing-Funktionalität zum Skalieren von Apache Spark-Aufträgen. Serverloses Spark verwendet das gleiche dedizierte Kontingent wie Azure Machine Learning Compute. Die Kontingentgrenzen können erhöht werden, indem Sie ein Support-Ticket erstellen und für die ESv3-Serie unter der Kategorie "Machine Learning Service: VM-Kontingent" eine Anforderung zur Erhöhung des Kontingents und des Grenzwertes stellen.

Navigieren Sie zum Anzeigen des Kontingentverbrauchs zu Machine Learning-Studio, und wählen Sie den Abonnementnamen aus, für den Sie den Verbrauch sehen wollen. Wählen Sie im linken Bereich „Kontingent“ aus.

Virtuelle Computer

Jedes Azure-Abonnement verfügt über einen Grenzwert für die Anzahl virtueller Computer für alle Dienste. Für die Kerne virtueller Computer gilt ein regionaler Gesamtgrenzwert und ein regionaler Grenzwert pro Größenserie. Beide Grenzwerte werden separat erzwungen.

Angenommen, Sie verwenden ein Abonnement mit einem Kerngesamtgrenzwert von 30 für VMs in der Region „USA, Osten“, einem Kerngrenzwert von 30 für die A-Serie und einem Kerngrenzwert von 30 für die D-Serie. Für dieses Abonnement dürfen dann 30 virtuelle A1-Computer bzw. 30 virtuelle D1-Computer bereitgestellt werden, oder eine Kombination der beiden, bei der die Gesamtzahl von 30 Kernen nicht überschritten wird.

Sie können Grenzwerte für virtuelle Computer nicht über die in der folgenden Tabelle angegebenen Werte hinaus erhöhen.

¹ Sie können bis zu 50 Tags direkt auf ein Abonnement anwenden. Innerhalb des Abonnements ist jede Ressource oder Ressourcengruppe auch auf 50 Tags beschränkt. Das Abonnement kann jedoch eine unbegrenzte Anzahl von Tags enthalten, die auf Ressourcen und Ressourcengruppen verteilt sind.

²Resource Manager gibt nur eine Liste mit Tagnamen und Werten im Abonnement zurück, wenn die Anzahl der eindeutigen Tags maximal 80.000 beträgt. Ein eindeutiges Tag wird durch die Kombination von Ressourcen-ID, Tagname und Tagwert definiert. Zwei Ressourcen mit demselben Tagnamen und Wert würden z. B. als zwei eindeutige Tags berechnet. Sie können eine Ressource jedoch auch anhand des Tags finden, wenn die Anzahl 80.000 überschreitet.

³Bereitstellungen werden automatisch aus dem Verlauf gelöscht, wenn Sie den Grenzwert fast erreicht haben. Weitere Informationen finden Sie unter Automatische Löschungen aus dem Bereitstellungsverlauf.

Container Instances

Weitere Informationen finden Sie unter Grenzwerte für Container Instances.

Storage

Für Azure Storage gilt ein Grenzwert von 250 Speicherkonten pro Region und Abonnement. Dieser Grenzwert umfasst sowohl Standard- als auch Storage Premium-Konten.

Kontingente auf Arbeitsbereichsebene

Verwenden Sie Kontingente auf Arbeitsbereichsebene zur Verwaltung der Azure Machine Learning Compute-Zielzuordnung zwischen mehreren Arbeitsbereichen in demselben Abonnement.

Standardmäßig nutzen alle Arbeitsbereiche dasselbe Kontingent als Kontingent für VM-Familien auf Abonnementebene. Sie können jedoch ein maximales Kontingent für einzelne VM-Familien in Arbeitsbereichen in einem Abonnement festlegen. Mit Kontingenten für einzelne VM-Familien können Sie Kapazität freigeben und Ressourcenkonflikte vermeiden.

1. Navigieren Sie zu einem beliebigen Arbeitsbereich Ihres Abonnements.
2. Wählen Sie im linken Bereich Nutzung + Kontingente aus.
3. Wählen Sie die Registerkarte Kontingente konfigurieren aus, um die Kontingente anzuzeigen.
4. Erweitern Sie eine VM-Familie.
5. Legen Sie eine Kontingentgrenze für jeden unter dieser VM-Familie aufgeführten Arbeitsbereich fest.

Sie können keinen Wert festlegen, der negativ oder höher als das Kontingent auf Abonnementebene ist.

Anzeigen von Kontingenten im Studio

1. Wenn Sie eine neue Compute-Ressource erstellen, sehen Sie standardmäßig nur VM-Größen, für die Sie bereits ein Kontingent aufweisen. Wechseln Sie zur Ansicht Auswahl aus allen Optionen.

   

2. Scrollen Sie nach unten, bis Sie die Liste der VM-Größen sehen, für die Sie kein Kontingent haben.

   

3. Benutzen Sie den Link, um direkt zum Online-Kundenservice zu gelangen und mehr Kontingente anzufordern.

Sehen Sie Ihre Nutzung und Kontingente im Azure-Portal ein

Um Ihr Kontingent für verschiedene Azure-Ressourcen wie virtuelle Maschinen, Speicher oder Netzwerk einzusehen, verwenden Sie das Azure-Portal:

1. Wählen Sie im linken Bereich die Option Alle Dienste und dann unter der Kategorie Allgemein die Option Abonnements aus.

2. Wählen Sie in der Abonnementliste das Abonnement aus, nach dessen Kontingent Sie suchen.

3. Wählen Sie Nutzung + Kontingente aus, um Ihre derzeitigen Kontingentgrenzen und Ihre Nutzung anzuzeigen. Verwenden Sie die Filter, um den Anbieter und die Standorte auszuwählen.

   Sie verwalten das Azure Machine Learning Compute-Kontingent für Ihr Abonnement getrennt von anderen Azure-Kontingenten:

4. Navigieren Sie im Azure-Portal zu Ihrem Azure Machine Learning-Arbeitsbereich.

5. Wählen Sie im linken Bereich im Abschnitt Support + Problembehandlung die Option Nutzung + Kontingente aus, um Ihre aktuellen Kontingentgrenzen und die Nutzung anzuzeigen.

   

6. Wählen Sie ein Abonnement aus, um die Kontingentgrenzen anzuzeigen. Filtern Sie nach der Region, an der Sie interessiert sind.

7. Sie können zwischen der Ansicht für die Abonnementebene und der Ansicht für die Arbeitsbereichsebene umschalten.

Anfordern von Kontingent- und Grenzwerterhöhungen

Die Erhöhung des VM-Kontingents besteht darin, die Anzahl der Kerne pro VM-Familie pro Region zu erhöhen. Die Erhöhung der Endpunktgrenzwerte dient dazu, die endpunktspezifischen Grenzwerte pro Abonnement und Region zu erhöhen. Stellen Sie sicher, dass Sie die richtige Kategorie wählen, wenn Sie die Anforderung zur Erhöhung des Kontingents erstellen. Dies ist im nächsten Abschnitt beschrieben.

Erhöhung des VM-Kontingents

Um den Grenzwert für das Azure Machine Learning-VM-Kontingent über den Standardgrenzwert anzuheben, können Sie eine Kontingenterhöhung in der obigen Ansicht Nutzung + Kontingente anfordern oder eine Anforderung zur Kontingenterhöhung über Azure Machine Learning Studio übermitteln.

1. Navigieren Sie zur Seite Nutzung + Kontingente, indem Sie die obigen Anweisungen befolgen. Zeigen Sie die aktuellen Kontingentgrenzen an. Wählen Sie die SKU aus, für die Sie eine Erhöhung anfordern möchten.

   

2. Geben Sie das Kontingent, das Sie erhöhen möchten, und den neuen Grenzwert an. Wählen Sie abschließend Übermitteln aus, um den Vorgang fortzusetzen.

   

Erhöhung des Endpunktgrenzwerts

Um den Endpunktgrenzwert zu erhöhen, können Sie eine Anfrage an den Onlinekundensupport richten. Geben Sie beim Anfordern der Erhöhung des Endpunktgrenzwerts die folgenden Informationen an:

1. Wählen Sie beim Öffnen der Supportanfrage Grenzwerte für Dienste und Abonnements (Kontingente) als Problemtyp aus.

2. Wählen Sie das gewünschte Abonnement aus.

3. Wählen Sie Machine Learning-Dienst: Endpunktgrenzwerte als Kontingenttyp aus.

4. Auf der Registerkarte Zusätzliche Details müssen Sie die Erhöhung des Grenzwertes ausführlich begründen, damit Ihre Anforderung bearbeitet werden kann. Wählen Sie Details eingeben aus und geben Sie dann den Grenzwert an, den Sie erhöhen möchten, sowie den neuen Wert für jeden Grenzwert, den Grund für die Anforderung zur Erhöhung des Grenzwerts und den Standort bzw. die Standorte, an denen Sie die Erhöhung benötigen. Fügen Sie dem Grund für die Erhöhung des Grenzwertes unbedingt die folgenden Informationen hinzu:

   1. Beschreibung Ihres Szenarios und Ihrer Workload (z. B. Text, Bild usw.).
   2. Begründung für die angeforderte Erhöhung.
      1. Geben Sie den Zieldurchsatz und sein Muster an (Durchschnitts-/Spitzen-QPS, gleichzeitige Benutzer*innen).
      2. Geben Sie die angestrebte Wartezeit nach der Skalierung und die aktuelle Wartezeit an, die Sie mit einer einzelnen Instanz beobachten.
      3. Geben Sie die VM-SKU und die Gesamtzahl der Instanzen an, um den angestrebten Durchsatz und die angestrebte Wartezeit zu unterstützen. Geben Sie an, wie viele Endpunkte/Bereitstellungen/Instanzen Sie in jeder Region verwenden möchten.
      4. Überprüfen Sie, ob Sie einen Benchmark-Test haben, der die gewählte VM-SKU und die Anzahl der Instanzen angibt, die Ihre Anforderungen an Durchsatz und Wartezeit erfüllen würden.
      5. Geben Sie den Typ der Nutzlast und die Größe einer einzelnen Nutzlast an. Die Netzwerkbandbreite sollte sich an der Größe der Nutzdaten und den Anforderungen pro Sekunde orientieren.
      6. Legen Sie einen Zeitplan vor (bis wann Sie erhöhte Grenzwerte benötigen – legen Sie einen Stufenplan vor, wenn möglich) und bestätigen Sie, dass (1) die Kosten für den Betrieb in diesem Umfang innerhalb Ihres Budgets möglich sind und (2) die Ziel-VM-SKUs genehmigt wurden.

5. Wählen Sie abschließend Speichern und weiter aus, und fahren Sie fort.

   

   Hinweis

   Diese Anforderung zur Erhöhung des Endpunktgrenzwerts unterscheidet sich von der Anforderung zur Erhöhung des VM-Kontingents. Wenn Ihre Anforderung mit der Erhöhung des VM-Kontingents verknüpft ist, befolgen Sie die Anweisungen im Abschnitt Erhöhung des VM-Kontingents.

Berechnungsgrenzwert erhöht sich

Wenn Sie den Grenzwert erhöhen möchten, erstellen Sie eine Online-Kundensupportanfrage. Geben Sie die folgenden Informationen ein:

1. Wählen Sie bei der Anfrage als Problemtyp die Option Technisch aus.

2. Wählen Sie das gewünschte Abonnement aus.

3. Wählen Sie als Dienst die Option Machine Learning aus.

4. Wählen Sie eine Ressource Ihrer Wahl aus.

5. Erwähnen Sie in der Zusammenfassung „Computelimit insgesamt erhöhen“.

6. Wählen Sie als Problemtyp die Option Computecluster und als Problemuntertyp die Option Cluster kann nicht hochskaliert werden oder reagiert nicht auf die Größenänderung aus.

   

7. Geben Sie auf der Registerkarte Zusätzliche Details die Abonnement-ID, die Region, den neuen Grenzwert (zwischen 500 und 2 500) und eine geschäftliche Begründung an, wenn Sie die Grenzwerte für das Computelimit in dieser Region erhöhen möchten.

   

8. Wählen Sie abschließend Erstellen aus, um ein Supportanfrageticket zu erstellen.

Zugehöriger Inhalt

• Planen und Verwalten von Kosten für Azure Machine Learning
• Diensteinschränkungen in Azure Machine Learning
• Problembehandlung für die Bereitstellung und Bewertung verwalteter Onlineendpunkte