Azure Machine Learning'de çevrimiçi uç noktaları otomatik ölçeklendirme

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

Azure CLI için varsayılan ayarları henüz ayarlamadıysanız varsayılan ayarlarınızı kaydedin. Aboneliğinizin, çalışma alanınızın ve kaynak grubunuzun değerlerinin birden çok kez geçirilmesini önlemek için şu kodu çalıştırın:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Uç nokta ve dağıtım adlarını ayarlayın:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Dağıtım ve uç noktanın Azure Resource Manager kimliğini alın:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Otomatik ölçeklendirme profilini oluşturun:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Gerekli modülleri içeri aktarın:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Çalışma alanı, uç nokta ve dağıtım için değişkenleri tanımlayın:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Azure Machine Learning ve Azure İzleyici istemcilerini edinin:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Uç nokta ve dağıtım nesnelerini alın:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Otomatik ölçeklendirme profili oluşturma:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

1. Azure Machine Learning stüdyosu'da çalışma alanınıza gidin ve sol menüden Uç Noktalar'ı seçin.

2. Kullanılabilir uç noktalar listesinde yapılandırılan uç noktayı seçin:

   

3. Seçili uç noktanın Ayrıntılar sekmesinde Otomatik ölçeklendirmeyi yapılandır'ı seçin:

   

4. Kaynaklarınızın nasıl ölçeklendirileceğini seçin seçeneği için Özel otomatik ölçeklendirme'yi seçerek yapılandırmayı başlatın.

5. Varsayılan ölçeklendirme koşulu seçeneği için aşağıdaki değerleri yapılandırın:

   • Ölçek modu: Ölçüme göre ölçeklendir'i seçin.
   • Örnek sınırları>Minimum: Değeri 2 olarak ayarlayın.
   • Örnek sınırları>Üst Sınır: Değeri 5 olarak ayarlayın.
   • Örnek sınırları>Varsayılan: Değeri 2 olarak ayarlayın.

   

Yapılandırma bölmesini açık bırakın. Sonraki bölümde Kurallar ayarlarını yapılandıracaksınız.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Kural profilin my-scale-settings bir parçasıdır ve profilin autoscale-name bölümüyle name eşleşir. Kural condition bağımsız değişkeninin değeri, "VM örnekleri arasındaki ortalama CPU tüketimi 5 dakika boyunca %70'i aştığında" kuralın tetiklediğini gösterir. Koşul karşılandığında iki VM örneği daha ayrılır.

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Kural tanımını oluşturun:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Bu kural , time_windowve time_aggregationbağımsız değişkenlerindeki metric_namedeğerin CPUUtilizationpercentage son 5 dakikalık ortalamasına başvurur. Ölçümün değeri 70'ten threshold büyük olduğunda dağıtım iki vm örneği daha ayırır.

2. my-scale-settings Profili bu kuralı içerecek şekilde güncelleştirin:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Aşağıdaki adımlar otomatik ölçeklendirme yapılandırmasıyla devam ediyor.

1. Kurallar seçeneği için Kural ekle bağlantısını seçin. Ölçek kuralı sayfası açılır.

2. Ölçek kuralı sayfasında aşağıdaki değerleri yapılandırın:

   • Ölçüm adı: CPU Kullanım Yüzdesi'ne tıklayın.
   • İşleç: Büyüktür olarak ayarlayın.
   • Ölçüm eşiği: Değeri 70 olarak ayarlayın.
   • Süre (dakika): Değeri 5 olarak ayarlayın.
   • Zaman dilimi istatistiği: Ortalama'ya tıklayın.
   • İşlem: Sayıyı artırma ölçütü'ne tıklayın.
   • Örnek sayısı: Değeri 2 olarak ayarlayın.

3. Kuralı oluşturmak için Ekle'yi seçin:

   

Yapılandırma bölmesini açık bırakın. Sonraki bölümde Kurallar ayarlarını ayarlarsınız.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Kural tanımını oluşturun:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. my-scale-settings Profili bu kuralı içerecek şekilde güncelleştirin:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Aşağıdaki adımlar Kural yapılandırmasını bir ölçek kuralı destekleyecek şekilde ayarlar.

1. Kurallar seçeneği için Kural ekle bağlantısını seçin. Ölçek kuralı sayfası açılır.

2. Ölçek kuralı sayfasında aşağıdaki değerleri yapılandırın:

   • Ölçüm adı: CPU Kullanım Yüzdesi'ne tıklayın.
   • İşleç: Küçüktür olarak ayarlayın.
   • Ölçüm eşiği: Değeri 30 olarak ayarlayın.
   • Süre (dakika): Değeri 5 olarak ayarlayın.
   • Zaman dilimi istatistiği: Ortalama'ya tıklayın.
   • İşlem: Sayıyı azaltma ölçütü'ne tıklayın.
   • Örnek sayısı: Değeri 1 olarak ayarlayın.

3. Kuralı oluşturmak için Ekle'yi seçin:

   

   Hem ölçeği genişletme hem de ölçeklendirme kurallarını yapılandırdığınızda, kurallarınız aşağıdaki ekran görüntüsüne benzer. Kurallar, ortalama CPU yükünün 5 dakika boyunca %70'i aşması durumunda beş sınırına kadar iki düğüm daha ayrılması gerektiğini belirtir. CPU yükü 5 dakika boyunca %30'un altındaysa, en az iki düğüme kadar tek bir düğüm serbest bırakılmalıdır.

   

Yapılandırma bölmesini açık bırakın. Sonraki bölümde, diğer ölçek ayarlarını belirtirsiniz.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Kural tanımını oluşturun:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Bu kuralın metric_resource_uri alanı artık dağıtım yerine uç noktaya başvuruyor.

2. my-scale-settings Profili bu kuralı içerecek şekilde güncelleştirin:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Aşağıdaki adımlar Özel otomatik ölçeklendirme sayfasında kural yapılandırmasına devam ediyor.

1. Sayfanın en altında Ölçek koşulu ekle bağlantısını seçin.

2. Ölçeklendirme koşulu sayfasında Ölçüme göre ölçeklendir'i ve ardından Kural ekle bağlantısını seçin. Ölçek kuralı sayfası açılır.

3. Ölçek kuralı sayfasında aşağıdaki değerleri yapılandırın:

   • Ölçüm kaynağı: Diğer kaynak'ı seçin.
   • Kaynak türü: Machine Learning çevrimiçi uç noktalarını seçin.
   • Kaynak: Uç noktanızı seçin.
   • Ölçüm adı: İstek gecikme süresi'ne tıklayın.
   • İşleç: Büyüktür olarak ayarlayın.
   • Ölçüm eşiği: Değeri 70 olarak ayarlayın.
   • Süre (dakika): Değeri 5 olarak ayarlayın.
   • Zaman dilimi istatistiği: Ortalama'ya tıklayın.
   • İşlem: Sayıyı artırma ölçütü'ne tıklayın.
   • Örnek sayısı: Değeri 1 olarak ayarlayın.

4. Kuralı oluşturmak için Ekle'yi seçin:

   

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Aşağıdaki adımlar, kuralı stüdyodaki Özel otomatik ölçeklendirme sayfasındaki seçeneklerle yapılandırın.

1. Sayfanın en altında Ölçek koşulu ekle bağlantısını seçin.

2. Koşulu ölçeklendir sayfasında Belirli bir örnek sayısına ölçeklendir'i ve ardından Kural ekle bağlantısını seçin. Ölçek kuralı sayfası açılır.

3. Ölçek kuralı sayfasında aşağıdaki değerleri yapılandırın:

   • Örnek sayısı: Değeri 2 olarak ayarlayın.
   • Zamanlama: Belirli günleri yinele'yi seçin.
   • Zamanlama düzenini ayarlayın: Her ve Cumartesi ve Pazar yinele'yi seçin.

4. Kuralı oluşturmak için Ekle'yi seçin:

   

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

• Kullanımdaki bir otomatik ölçeklendirme profilini devre dışı bırakmak için El ile ölçeklendirme'yi ve ardından Kaydet'i seçin.

• Otomatik ölçeklendirme profilini etkinleştirmek için Özel otomatik ölçeklendirme'yi seçin. Stüdyo, çalışma alanı için tanınan tüm otomatik ölçeklendirme profillerini listeler. Bir profil seçin ve ardından etkinleştirmek için Kaydet'i seçin.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

1. Azure Machine Learning stüdyosu çalışma alanınıza gidin ve sol menüden Uç Noktalar'ı seçin.

2. Uç noktalar listesinde silinecek uç noktayı seçin (model adının yanındaki daireyi denetleyin).

3. Sil'i seçin.

Alternatif olarak, yönetilen çevrimiçi uç noktayı doğrudan uç nokta ayrıntıları sayfasından silebilirsiniz.