Automatické škálování online koncových bodů ve službě Azure Machine Learning

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

Pokud jste ještě nenastavili výchozí hodnoty pro Azure CLI, uložte výchozí nastavení. Pokud se chcete vyhnout předávání hodnot pro vaše předplatné, pracovní prostor a skupinu prostředků několikrát, spusťte tento kód:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Nastavte názvy koncových bodů a nasazení:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Získejte ID Azure Resource Manageru pro nasazení a koncový bod:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Vytvořte profil automatického škálování:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

1. Import potřebných modulů:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Definujte proměnné pro pracovní prostor, koncový bod a nasazení:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Získejte klienty Azure Machine Learning a Azure Monitor:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Získejte objekty koncového bodu a nasazení:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Vytvořte profil automatického škálování:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

1. V studio Azure Machine Learning přejděte do svého pracovního prostoru a v nabídce vlevo vyberte Koncové body.

2. V seznamu dostupných koncových bodů vyberte koncový bod, který chcete nakonfigurovat:

   

3. Na kartě Podrobnosti pro vybraný koncový bod vyberte Konfigurovat automatické škálování:

   

4. U možnosti Zvolit, jak škálovat prostředky, vyberte Vlastní automatické škálování a zahajte konfiguraci.

5. U možnosti Výchozí podmínka škálování nakonfigurujte následující hodnoty:

   • Režim škálování: Vyberte měřítko na základě metriky.
   • Omezení>instancí Minimum: Nastavte hodnotu na 2.
   • Maximální omezení>instancí: Nastavte hodnotu na 5.
   • Omezení>instancí Výchozí: Nastavte hodnotu na 2.

   

Nechte podokno konfigurace otevřené. V další části nakonfigurujete nastavení pravidel .

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Pravidlo je součástí my-scale-settings profilu, kde autoscale-name odpovídá name části profilu. Hodnota argumentu pravidla označuje triggery pravidla condition , když "Průměrná spotřeba procesoru mezi instancemi virtuálních počítačů překročí 70 % po dobu 5 minut.". Jakmile je podmínka splněná, přidělí se dvě další instance virtuálních počítačů.

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

1. Vytvořte definici pravidla:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Toto pravidlo odkazuje na posledních 5minutový CPUUtilizationpercentage průměr hodnoty z argumentů metric_name, time_windowa time_aggregation. Pokud je hodnota metriky větší než threshold 70, nasazení přidělí dvě více instancí virtuálních počítačů.

2. my-scale-settings Aktualizujte profil tak, aby zahrnoval toto pravidlo:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Následující postup pokračuje v konfiguraci automatického škálování.

1. U možnosti Pravidla vyberte odkaz Přidat pravidlo. Otevře se stránka Pravidla škálování.

2. Na stránce Pravidla škálování nakonfigurujte následující hodnoty:

   • Název metriky: Vyberte procento využití procesoru.
   • Operátor: Nastavte na hodnotu Větší než.
   • Prahová hodnota metriky: Nastavte hodnotu na 70.
   • Doba trvání (minuty):: Nastavte hodnotu na 5.
   • Statistika agregační časového intervalu: Vyberte průměr.
   • Operace: Vyberte Zvýšit počet o.
   • Počet instancí: Nastavte hodnotu na 2.

3. Výběrem možnosti Přidat vytvořte pravidlo:

   

Nechte podokno konfigurace otevřené. V další části upravíte nastavení pravidel .

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

1. Vytvořte definici pravidla:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. my-scale-settings Aktualizujte profil tak, aby zahrnoval toto pravidlo:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Následující kroky upraví konfiguraci pravidel tak, aby podporovala škálování v pravidle.

1. U možnosti Pravidla vyberte odkaz Přidat pravidlo. Otevře se stránka Pravidla škálování.

2. Na stránce Pravidla škálování nakonfigurujte následující hodnoty:

   • Název metriky: Vyberte procento využití procesoru.
   • Operátor: Nastavte na hodnotu Menší než.
   • Prahová hodnota metriky: Nastavte hodnotu na 30.
   • Doba trvání (minuty):: Nastavte hodnotu na 5.
   • Statistika agregační časového intervalu: Vyberte průměr.
   • Operace: Vyberte Snížit počet o.
   • Počet instancí: Nastavte hodnotu na 1.

3. Výběrem možnosti Přidat vytvořte pravidlo:

   

   Pokud nakonfigurujete pravidla horizontálního navýšení kapacity i horizontálního navýšení kapacity, budou vaše pravidla vypadat podobně jako na následujícím snímku obrazovky. Pravidla určují, že pokud průměrné zatížení procesoru překročí 70 % po dobu 5 minut, měly by být přiděleny dva další uzly až do limitu pěti. Pokud je zatížení procesoru méně než 30 % po dobu 5 minut, měl by být uvolněn jeden uzel až do minimálních dvou.

   

Nechte podokno konfigurace otevřené. V další části zadáte další nastavení škálování.

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

1. Vytvořte definici pravidla:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Pole tohoto pravidla metric_resource_uri teď odkazuje na koncový bod, nikoli na nasazení.

2. my-scale-settings Aktualizujte profil tak, aby zahrnoval toto pravidlo:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Následující postup pokračuje v konfiguraci pravidla na stránce Vlastní automatické škálování .

1. V dolní části stránky vyberte odkaz Přidat podmínku škálování.

2. Na stránce Podmínky škálování vyberte Škálovat na základě metriky a pak vyberte odkaz Přidat pravidlo. Otevře se stránka Pravidla škálování.

3. Na stránce Pravidla škálování nakonfigurujte následující hodnoty:

   • Zdroj metriky: Vyberte jiný prostředek.
   • Typ prostředku: Vyberte online koncové body služby Machine Learning.
   • Prostředek: Vyberte koncový bod.
   • Název metriky: Vyberte latenci požadavku.
   • Operátor: Nastavte na hodnotu Větší než.
   • Prahová hodnota metriky: Nastavte hodnotu na 70.
   • Doba trvání (minuty):: Nastavte hodnotu na 5.
   • Statistika agregační časového intervalu: Vyberte průměr.
   • Operace: Vyberte Zvýšit počet o.
   • Počet instancí: Nastavte hodnotu na 1.

4. Výběrem možnosti Přidat vytvořte pravidlo:

   

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Následující kroky nakonfigurují pravidlo s možnostmi na stránce Vlastní automatické škálování v sadě Studio.

1. V dolní části stránky vyberte odkaz Přidat podmínku škálování.

2. Na stránce Podmínky škálování vyberte Škálovat na určitý počet instancí a pak vyberte odkaz Přidat pravidlo. Otevře se stránka Pravidla škálování.

3. Na stránce Pravidla škálování nakonfigurujte následující hodnoty:

   • Počet instancí: Nastavte hodnotu na 2.
   • Plán: Vyberte Opakovat konkrétní dny.
   • Nastavte vzor plánu: Vyberte Opakovat každou a sobotu a neděli.

4. Výběrem možnosti Přidat vytvořte pravidlo:

   

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

• Pokud chcete profil automatického škálování zakázat, vyberte Ruční škálování a pak vyberte Uložit.

• Pokud chcete povolit profil automatického škálování, vyberte Vlastní automatické škálování. Studio zobrazí seznam všech rozpoznané profily automatického škálování pro pracovní prostor. Vyberte profil a pak vyberte Uložit , abyste povolili.

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

1. V studio Azure Machine Learning přejděte do svého pracovního prostoru a v nabídce vlevo vyberte Koncové body.

2. V seznamu koncových bodů vyberte koncový bod, který chcete odstranit (zaškrtněte kruh vedle názvu modelu).

3. Vyberte Odstranit.

Případně můžete odstranit spravovaný online koncový bod přímo na stránce podrobností o koncovém bodu.