Toplu dağıtımlar için düşük öncelikli VM'leri kullanma

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Azure batch dağıtımları, toplu çıkarım iş yüklerinin maliyetini azaltmak için düşük öncelikli sanal makineleri (VM' ler) destekler. Düşük öncelikli VM'ler, düşük maliyet için büyük miktarda işlem gücünün kullanılmasını sağlar. Düşük öncelikli sanal makineler, Azure'daki fazla kapasiteden yararlanıyor. Havuzlarınızda düşük öncelikli VM'ler belirttiğinizde Azure, kullanılabilir olduğunda bu fazlalığı kullanabilir.

Düşük öncelikli sanal makineler, ayrılmış sanal makinelere kıyasla daha düşük bir fiyata sunulur. Fiyatlandırma ayrıntıları için bkz . Azure Machine Learning fiyatlandırması.

Toplu dağıtım düşük öncelikli VM'lerle nasıl çalışır?

Azure Machine Learning Toplu Dağıtımları, düşük öncelikli VM'lerin kullanılmasını ve kullanılmasını kolaylaştıran çeşitli özellikler sağlar:

• Toplu dağıtım işleri, düşük öncelikli VM'lerle oluşturulan Azure Machine Learning işlem kümelerinde çalıştırarak düşük öncelikli VM'leri tüketir. Bir dağıtım düşük öncelikli VM'ler kümesiyle ilişkilendirildikten sonra, bu tür dağıtım tarafından üretilen tüm işler düşük öncelikli VM'leri kullanır. İş başına yapılandırma mümkün değildir.
• Toplu dağıtım işleri, gönderilebilecek görev sayısına göre kullanılabilir işlem kümesindeki hedef VM sayısını otomatik olarak arar. VM'ler önceden damgalanmış veya kullanılamıyorsa, toplu dağıtım işleri başarısız görevleri kümeye kuyruğa alarak kayıp kapasiteyi değiştirmeyi dener.
• Düşük öncelikli VM'lerin ayrılmış VM'ler için olandan farklı ayrı bir vCPU kotası vardır. Bölge başına düşük öncelikli çekirdekler, aboneliğinize bağlı olarak varsayılan olarak 100 ile 3.000 arası bir sınıra sahiptir. Abonelik başına düşük öncelikli çekirdek sayısı artırılabilir ve sanal makine aileleri genelinde tek bir değerdir. Bkz. Azure Machine Learning işlem kotaları.

Dikkat edilmesi gerekenler ve kullanım örnekleri

Birçok toplu iş yükü, düşük öncelikli VM'ler için uygundur. Düşük öncelikli VM'lerin kullanılması, VM'lerin serbest bırakılması gerçekleştiğinde yürütme gecikmelerine neden olabilir. İşlerin bitmek zorunda olduğu süre konusunda esnekliğiniz varsa kapasitedeki olası düşüşleri tolere edebilirsiniz.

Toplu iş uç noktaları altında modelleri dağıttığınızda, yeniden zamanlama minibatch düzeyinde gerçekleştirilebilir. Bu yaklaşım, serbest bırakma özelliğinin yalnızca şu anda işlenmekte olan ve etkilenen düğümde tamamlanmamış olan minibatları etkilemesi avantajına sahiptir. Tamamlanan tüm ilerleme korunur.

Sınırlamalar

• Bir dağıtım düşük öncelikli VM'ler kümesiyle ilişkilendirildikten sonra, bu tür dağıtım tarafından üretilen tüm işler düşük öncelikli VM'leri kullanır. İş başına yapılandırma mümkün değildir.
• Yeniden zamanlama, ilerlemeden bağımsız olarak mini toplu iş düzeyinde yapılır. Denetim noktası oluşturma özelliği sağlanmadı.

Düşük öncelikli VM'ler kullanan toplu dağıtımlar oluşturma

Toplu dağıtım işleri, düşük öncelikli VM'lerle oluşturulan Azure Machine Learning işlem kümelerinde çalıştırarak düşük öncelikli VM'leri tüketir.

Aşağıda gösterildiği gibi düşük öncelikli bir Azure Machine Learning işlem kümesi oluşturabilirsiniz:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

az ml compute create -f low-pri-cluster.yml

from azure.ai.ml.entities import AmlCompute

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)

ml_client.begin_create_or_update(compute_cluster)

Yeni işlem oluşturduktan sonra, yeni kümeyi kullanmak için dağıtımınızı oluşturabilir veya güncelleştirebilirsiniz:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

az ml batch-endpoint create -f endpoint.yml

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Düğüm ayırmayı görüntüleme ve izleme

Düşük öncelikli VM'lerin düşük öncelikli VM'leri izlemesi için Azure portalında yeni ölçümler sağlanır. Bu ölçümler şunlardır:

• Önceden damgalanmış düğümler
• Önceden damgalanmış çekirdekler

Bu ölçümleri Azure portalında görüntülemek için:

1. Azure portalında Azure Machine Learning çalışma alanınıza gidin.
2. İzleme bölümünden Ölçümler'i seçin.
3. Ölçüm listesinden istediğiniz ölçümleri seçin.

İlgili içerik

• Azure Machine Learning işlem kümesi oluşturma
• Toplu dağıtımlarda MLflow modellerini dağıtma
• Model eğitimi için işlem kaynaklarını yönetme