Automatyczne skalowanie punktów końcowych online w usłudze Azure Machine Learning

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

Jeśli nie ustawiono jeszcze ustawień domyślnych dla interfejsu wiersza polecenia platformy Azure, zapisz ustawienia domyślne. Aby uniknąć wielokrotnego przekazywania wartości dla subskrypcji, obszaru roboczego i grupy zasobów, uruchom następujący kod:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Ustaw nazwy punktu końcowego i wdrożenia:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Pobierz identyfikator usługi Azure Resource Manager wdrożenia i punktu końcowego:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Utwórz profil autoskalowania:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Zaimportuj niezbędne moduły:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Zdefiniuj zmienne dla obszaru roboczego, punktu końcowego i wdrożenia:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Uzyskiwanie klientów usługi Azure Machine Learning i usługi Azure Monitor:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Pobierz obiekty punktu końcowego i wdrożenia:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Utwórz profil autoskalowania:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

1. W usłudze Azure Machine Learning Studio przejdź do obszaru roboczego i wybierz pozycję Punkty końcowe z menu po lewej stronie.

2. Na liście dostępnych punktów końcowych wybierz punkt końcowy do skonfigurowania:

   

3. Na karcie Szczegóły wybranego punktu końcowego wybierz pozycję Konfiguruj skalowanie automatyczne:

   

4. Aby wybrać opcję Wybierz sposób skalowania zasobów, wybierz pozycję Niestandardowe autoskalowania, aby rozpocząć konfigurację.

5. W przypadku opcji Domyślny warunek skalowania skonfiguruj następujące wartości:

   • Tryb skalowania: wybierz pozycję Skaluj na podstawie metryki.
   • Minimum limitów wystąpień>: ustaw wartość na 2.
   • Maksymalna liczba wystąpień>: ustaw wartość na 5.
   • Limity wystąpień>Domyślne: ustaw wartość na 2.

   

Pozostaw otwarte okienko konfiguracji. W następnej sekcji skonfigurujesz ustawienia Reguły .

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Reguła jest częścią my-scale-settings profilu, w którym autoscale-name pasuje do name części profilu. Wartość argumentu reguły condition wskazuje wyzwalacz reguły, gdy "Średnie użycie procesora CPU w wystąpieniach maszyn wirtualnych przekracza 70% przez 5 minut". Gdy warunek zostanie spełniony, zostaną przydzielone dwa kolejne wystąpienia maszyn wirtualnych.

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Utwórz definicję reguły:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Ta reguła odwołuje się do ostatniej 5-minutowej średniej CPUUtilizationpercentage wartości z argumentów metric_name, time_windowi time_aggregation. Gdy wartość metryki jest większa niż threshold 70, wdrożenie przydziela dwa kolejne wystąpienia maszyn wirtualnych.

2. Zaktualizuj profil, my-scale-settings aby uwzględnił tę regułę:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Poniższe kroki umożliwiają kontynuowanie konfiguracji automatycznego skalowania.

1. Dla opcji Reguły wybierz link Dodaj regułę. Zostanie otwarta strona Reguła skalowania.

2. Na stronie Reguła skalowania skonfiguruj następujące wartości:

   • Nazwa metryki: wybierz pozycję Procent wykorzystania procesora CPU.
   • Operator: ustaw wartość Większe niż.
   • Próg metryki: ustaw wartość na 70.
   • Czas trwania (minuty): ustaw wartość na 5.
   • Statystyka ziarna czasu: wybierz pozycję Średnia.
   • Operacja: wybierz pozycję Zwiększ liczbę według.
   • Liczba wystąpień: ustaw wartość na 2.

3. Wybierz pozycję Dodaj , aby utworzyć regułę:

   

Pozostaw otwarte okienko konfiguracji. W następnej sekcji dostosujesz ustawienia Reguły .

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Utwórz definicję reguły:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Zaktualizuj profil, my-scale-settings aby uwzględnił tę regułę:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Poniższe kroki dostosowują konfigurację reguł , aby obsługiwać regułę skalowania.

1. Dla opcji Reguły wybierz link Dodaj regułę. Zostanie otwarta strona Reguła skalowania.

2. Na stronie Reguła skalowania skonfiguruj następujące wartości:

   • Nazwa metryki: wybierz pozycję Procent wykorzystania procesora CPU.
   • Operator: ustaw wartość Mniejsze niż.
   • Próg metryki: ustaw wartość na 30.
   • Czas trwania (minuty): ustaw wartość na 5.
   • Statystyka ziarna czasu: wybierz pozycję Średnia.
   • Operacja: wybierz pozycję Zmniejsz liczbę według.
   • Liczba wystąpień: ustaw wartość na 1.

3. Wybierz pozycję Dodaj , aby utworzyć regułę:

   

   Jeśli skonfigurujesz reguły skalowania w poziomie i skalowania w poziomie, reguły będą wyglądać podobnie jak na poniższym zrzucie ekranu. Reguły określają, że jeśli średnie obciążenie procesora CPU przekracza 70% przez 5 minut, należy przydzielić dwa kolejne węzły do limitu pięciu. Jeśli obciążenie procesora CPU jest mniejsze niż 30% przez 5 minut, należy zwolnić jeden węzeł, do minimum dwóch.

   

Pozostaw otwarte okienko konfiguracji. W następnej sekcji określisz inne ustawienia skalowania.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Utwórz definicję reguły:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   To pole reguły metric_resource_uri odwołuje się teraz do punktu końcowego, a nie do wdrożenia.

2. Zaktualizuj profil, my-scale-settings aby uwzględnił tę regułę:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Poniższe kroki umożliwiają kontynuowanie konfiguracji reguły na stronie Niestandardowe skalowanie automatyczne.

1. W dolnej części strony wybierz link Dodaj warunek skalowania.

2. Na stronie Warunek skalowania wybierz pozycję Skaluj na podstawie metryki, a następnie wybierz link Dodaj regułę. Zostanie otwarta strona Reguła skalowania.

3. Na stronie Reguła skalowania skonfiguruj następujące wartości:

   • Źródło metryki: wybierz pozycję Inny zasób.
   • Typ zasobu: wybierz pozycję Punkty końcowe online usługi Machine Learning.
   • Zasób: wybierz punkt końcowy.
   • Nazwa metryki: wybierz pozycję Opóźnienie żądania.
   • Operator: ustaw wartość Większe niż.
   • Próg metryki: ustaw wartość na 70.
   • Czas trwania (minuty): ustaw wartość na 5.
   • Statystyka ziarna czasu: wybierz pozycję Średnia.
   • Operacja: wybierz pozycję Zwiększ liczbę według.
   • Liczba wystąpień: ustaw wartość na 1.

4. Wybierz pozycję Dodaj , aby utworzyć regułę:

   

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Poniższe kroki umożliwiają skonfigurowanie reguły z opcjami na stronie Niestandardowe autoskalowanie w programie Studio.

1. W dolnej części strony wybierz link Dodaj warunek skalowania.

2. Na stronie Warunek skalowania wybierz pozycję Skaluj do określonej liczby wystąpień, a następnie wybierz link Dodaj regułę. Zostanie otwarta strona Reguła skalowania.

3. Na stronie Reguła skalowania skonfiguruj następujące wartości:

   • Liczba wystąpień: ustaw wartość na 2.
   • Harmonogram: wybierz pozycję Powtórz określone dni.
   • Ustaw wzorzec harmonogramu: wybierz pozycję Powtarzaj co i sobotę i niedzielę.

4. Wybierz pozycję Dodaj , aby utworzyć regułę:

   

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

• Aby wyłączyć profil autoskalowania w użyciu, wybierz pozycję Skalowanie ręczne, a następnie wybierz pozycję Zapisz.

• Aby włączyć profil autoskalowania, wybierz pozycję Niestandardowe autoskalowania. Program Studio wyświetla listę wszystkich rozpoznanych profilów skalowania automatycznego dla obszaru roboczego. Wybierz profil, a następnie wybierz pozycję Zapisz , aby włączyć.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

1. W usłudze Azure Machine Learning Studio przejdź do obszaru roboczego i wybierz pozycję Punkty końcowe z menu po lewej stronie.

2. Na liście punktów końcowych wybierz punkt końcowy do usunięcia (sprawdź okrąg obok nazwy modelu).

3. Wybierz Usuń.

Alternatywnie możesz usunąć zarządzany punkt końcowy online bezpośrednio na stronie szczegółów punktu końcowego.