Toplu iş uç noktalarındaki puanlama modellerini dağıtma

Makale
09/01/2024

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Batch uç noktaları, büyük hacimli veriler üzerinde çıkarım çalıştıran modelleri dağıtmak için kullanışlı bir yol sağlar. Bu uç noktalar, modellerinizi toplu puanlama için barındırma sürecini basitleştirerek altyapı yerine makine öğrenmesine odaklanmanızı sağlar.

Aşağıdaki durumlarda model dağıtımı için toplu iş uç noktalarını kullanın:

Çıkarım çalıştırmak için daha uzun süre gerektiren pahalı modelleriniz var.
Birden çok dosyaya dağıtılan büyük miktarda veriden çıkarım yapmanız gerekir.
Düşük gecikme süresi gereksinimleriniz yoktur.
Paralelleştirmeden yararlanabilirsiniz.

Bu makalede, klasik MNIST (Değiştirilmiş Ulusal Standartlar ve Teknoloji Enstitüsü) basamak tanıma sorununu çözen bir makine öğrenmesi modeli dağıtmak için toplu iş uç noktası kullanacaksınız. Dağıtılan modeliniz daha sonra büyük miktarlardaki veriler (bu örnekte görüntü dosyaları) üzerinden toplu çıkarım gerçekleştirir. İlk olarak Torch kullanılarak oluşturulmuş bir modelin toplu dağıtımını oluşturursunuz. Bu dağıtım, uç noktada varsayılan dağıtım olur. Daha sonra, TensorFlow (Keras) ile oluşturulan bir modun ikinci dağıtımını oluşturur, ikinci dağıtımı test eder ve ardından uç noktanın varsayılan dağıtımı olarak ayarlarsınız.

Bu makaledeki komutları yerel olarak çalıştırmak için gereken kod örnekleri ve dosyaları takip etmek için Örnekleri kopyalama deposu bölümüne bakın. Kod örnekleri ve dosyaları azureml-examples deposunda bulunur.

Önkoşullar

Bu makaledeki adımları izlemeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
Azure Machine Learning çalışma alanı. Yoksa, oluşturmak için Çalışma alanlarını yönetme makalesindeki adımları kullanın.
Aşağıdaki görevleri gerçekleştirmek için çalışma alanında bu izinlere sahip olduğunuzdan emin olun:
- Toplu iş uç noktalarını ve dağıtımlarını oluşturmak/yönetmek için: Sahip rolünü, katkıda bulunan rolünü veya izin veren Microsoft.MachineLearningServices/workspaces/batchEndpoints/*özel bir rolü kullanın.
- Çalışma alanı kaynak grubunda ARM dağıtımları oluşturmak için: Çalışma alanının dağıtıldığı kaynak grubunda izin veren Microsoft.Resources/deployments/write sahip rolü, katkıda bulunan rolü veya özel bir rol kullanın.
Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:
- Azure CLI
- Python
- Stüdyo
ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

Azure CLI ve ml Azure Machine Learning uzantısı.
```
az extension add -n ml
```
ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

Python için Azure Machine Learning SDK'sını yükleyin.
```
pip install azure-ai-ml
```
Azure Machine Learning stüdyosu kullanmayı planlıyorsanız başka bir gereksinim yoktur.

Örnek deposunu kopyalama

Bu makaledeki örnek, azureml-examples deposunda yer alan kod örneklerini temel alır. YAML ve diğer dosyaları kopyalamak/yapıştırmak zorunda kalmadan komutları yerel olarak çalıştırmak için önce depoyu kopyalayın ve ardından dizinleri klasöre değiştirin:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli/endpoints/batch/deploy-models/mnist-classifier

!git clone https://github.com/Azure/azureml-examples --depth 1
!cd azureml-examples/sdk/python/endpoints/batch/deploy-models/mnist-classifier

Jupyter Not Defteri'ndeki bu örneği takip etmek için kopyalanan depoda not defterini açın: mnist-batch.ipynb.

Sisteminizi hazırlama

Çalışma alanınıza bağlanma

İlk olarak, çalışacağınız Azure Machine Learning çalışma alanına bağlanın.

Azure CLI için varsayılan ayarları henüz ayarlamadıysanız varsayılan ayarlarınızı kaydedin. Aboneliğinizin, çalışma alanınızın, kaynak grubunuzun ve konumunuzun değerlerini birden çok kez geçirmemek için şu kodu çalıştırın:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Çalışma alanı Azure Machine Learning'in en üst düzey kaynağıdır. Azure Machine Learning'i kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir konum sağlar. Bu bölümde, dağıtım görevlerini gerçekleştirebileceğiniz çalışma alanına bağlanacaksınız.

Gerekli kitaplıkları içeri aktarın:

from azure.ai.ml import MLClient, Input, load_component
from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
from azure.ai.ml.dsl import pipeline
from azure.identity import DefaultAzureCredential

Not

Sınıflar ModelBatchDeployment ve PipelineComponentBatchDeployment SDK'nın 1.7.0 sürümünde tanıtıldı.

Çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına bir tanıtıcı alın:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

İşlem oluşturma

Batch uç noktaları işlem kümelerinde çalışır ve hem Azure Machine Learning işlem kümelerini (AmlCompute) hem de Kubernetes kümelerini destekler. Kümeler paylaşılan bir kaynaktır, bu nedenle bir küme bir veya birden çok toplu dağıtım barındırabilir (isterseniz diğer iş yükleriyle birlikte).

Aşağıdaki kodda gösterildiği gibi adlı batch-clusterbir işlem oluşturun. gerektiği gibi ayarlayabilir ve kullanarak azureml:<your-compute-name>işlemlerinize başvurabilirsiniz.

az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5

compute_name = "batch-cluster"
if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
    compute_cluster = AmlCompute(
        name=compute_name,
        description="CPU cluster compute",
        min_instances=0,
        max_instances=2,
    )
    ml_client.compute.begin_create_or_update(compute_cluster).result()

Not

Bir toplu iş uç noktası çağrılana ve toplu puanlama işi gönderilene kadar küme 0 düğümde kaldığından bu noktada işlem için ücret alınmaz. İşlem maliyetleri hakkında daha fazla bilgi için bkz . AmlCompute maliyetini yönetme ve iyileştirme.

Toplu iş uç noktası oluşturma

Toplu iş uç noktası, istemcilerin toplu puanlama işini tetiklemesi için çağırabileceği bir HTTPS uç noktasıdır. Toplu puanlama işi , birden çok girişi puanlayan bir iştir. Toplu dağıtım , gerçek toplu puanlama (veya toplu çıkarım) yapan modeli barındıran işlem kaynakları kümesidir. Bir toplu iş uç noktasının birden çok toplu dağıtımları olabilir. Toplu iş uç noktaları hakkında daha fazla bilgi için bkz . Toplu iş uç noktaları nedir?.

İpucu

Toplu dağıtımlardan biri, uç nokta için varsayılan dağıtım görevi görür. Uç nokta çağrıldığında, varsayılan dağıtım gerçek toplu puanlama işlemini yapar. Toplu iş uç noktaları ve dağıtımları hakkında daha fazla bilgi için bkz . toplu iş uç noktaları ve toplu dağıtım.

Uç noktayı adlandırın. Uç noktanın adı, uç noktanın URI'sine eklendiğinden azure bölgesinde benzersiz olmalıdır. Örneğin, içinde westus2adı mybatchendpoint olan tek bir toplu iş uç noktası olabilir.
- Azure CLI
- Python
- Stüdyo
Uç noktanın adını bir değişkene yerleştirerek daha sonra kolayca başvurabilirsiniz.
```
ENDPOINT_NAME="mnist-batch"
```
Uç noktanın adını bir değişkene yerleştirerek daha sonra kolayca başvurabilirsiniz.
```
endpoint_name = "mnist-batch"
```
Uç noktanın adını daha sonra, dağıtımı oluştururken sağlayacaksınız.

Toplu iş uç noktasını yapılandırma

Aşağıdaki YAML dosyası bir toplu iş uç noktasını tanımlar. Bu dosyayı batch uç noktası oluşturmak için CLI komutuyla kullanabilirsiniz.

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
name: mnist-batch
description: A batch endpoint for scoring images from the MNIST dataset.
tags:
  type: deep-learning

Aşağıdaki tabloda uç noktanın temel özellikleri açıklanmaktadır. Tam toplu iş uç noktası YAML şeması için bkz . CLI (v2) toplu uç noktası YAML şeması.

Tuş	Açıklama
`name`	Toplu iş uç noktasının adı. Azure bölge düzeyinde benzersiz olması gerekir.
`description`	Toplu iş uç noktasının açıklaması. Bu özellik isteğe bağlıdır.
`tags`	Uç noktaya eklenecek etiketler. Bu özellik isteğe bağlıdır.

endpoint = BatchEndpoint(
    name=endpoint_name,
    description="A batch endpoint for scoring images from the MNIST dataset.",
    tags={"type": "deep-learning"},
)

Aşağıdaki tabloda uç noktanın temel özellikleri açıklanmaktadır. Batch uç noktası tanımı hakkında daha fazla bilgi için bkz . BatchEndpoint Sınıfı.

Tuş	Açıklama
`name`	Toplu iş uç noktasının adı. Azure bölge düzeyinde benzersiz olması gerekir.
`description`	Toplu iş uç noktasının açıklaması. Bu özellik isteğe bağlıdır.
`tags`	Uç noktaya eklenecek etiketler. Bu özellik isteğe bağlıdır.

Uç noktayı oluşturun:
- Azure CLI
- Python
- Stüdyo
Toplu iş uç noktası oluşturmak için aşağıdaki kodu çalıştırın.
```
az ml batch-endpoint create --file endpoint.yml  --name $ENDPOINT_NAME
```
```
ml_client.begin_create_or_update(endpoint).result()
```
Uç noktayı daha sonra, dağıtımı oluştururken oluşturacağınız noktada oluşturursunuz.

Toplu dağıtım oluşturma

Model dağıtımı, gerçek çıkarım yapan modeli barındırmak için gereken bir kaynak kümesidir. Toplu iş modeli dağıtımı oluşturmak için aşağıdaki öğelere ihtiyacınız vardır:

Çalışma alanında kayıtlı bir model
Modeli puanlayanın kodu
Modelin bağımlılıklarının yüklü olduğu bir ortam
Önceden oluşturulmuş işlem ve kaynak ayarları

Dağıtılacak modeli kaydederek başlayın. Popüler rakam tanıma sorunu (MNIST) için bir Torch modeli. Batch Dağıtımları yalnızca çalışma alanına kayıtlı modelleri dağıtabilir. Dağıtmak istediğiniz model zaten kayıtlıysa bu adımı atlayabilirsiniz.

İpucu

Modeller, uç nokta yerine dağıtımla ilişkilendirilir. Bu, farklı modellerin (veya model sürümlerinin) farklı dağıtımlarda dağıtılma şartıyla, tek bir uç noktanın aynı uç nokta altında farklı modellere (veya model sürümlerine) hizmet verebileceği anlamına gelir.
- Azure CLI
- Python
- Stüdyo
```
MODEL_NAME='mnist-classifier-torch'
az ml model create --name $MODEL_NAME --type "custom_model" --path "deployment-torch/model"
```
```
model_name = "mnist-classifier-torch"
model_local_path = "deployment-torch/model/"

model = ml_client.models.create_or_update(
    Model(
        name=model_name,
        path=model_local_path,
        type=AssetTypes.CUSTOM_MODEL,
        tags={"task": "classification", "framework": "torch"},
    )
)
```
1. Yan menüde Modeller sekmesine gidin.
2. Yerel dosyalardan Kaydet'i>seçin.
3. Sihirbazda Model türü seçeneğini Belirtilmemiş tür olarak bırakın.
4. Gözat Klasörüne> Gözat'ı>seçin İleri klasörünü deployment-torch/model>seçin.
5. Modelin adını yapılandırın: mnist-classifier-torch. Kalan alanları olduğu gibi bırakabilirsiniz.
6. Kaydet'i seçin.

Şimdi bir puanlama betiği oluşturmanın zamanı geldi. Toplu dağıtımlar, belirli bir modelin nasıl yürütülmesi gerektiğini ve giriş verilerinin nasıl işlenmesi gerektiğini gösteren bir puanlama betiği gerektirir. Batch uç noktaları Python'da oluşturulan betikleri destekler. Bu durumda, basamakları temsil eden görüntü dosyalarını okuyan ve karşılık gelen rakamı veren bir model dağıtırsınız. Puanlama betiği aşağıdaki gibidir:

Not

MLflow modellerinde Azure Machine Learning puanlama betiğini otomatik olarak oluşturur, bu nedenle bir betik sağlamanız gerekmez. Modeliniz bir MLflow modeliyse bu adımı atlayabilirsiniz. Toplu iş uç noktalarının MLflow modelleriyle nasıl çalıştığı hakkında daha fazla bilgi için Toplu dağıtımlarda MLflow modellerini kullanma makalesine bakın.

Uyarı

Toplu iş uç noktası altında Otomatik makine öğrenmesi (AutoML) modeli dağıtıyorsanız, AutoML'nin sağladığı puanlama betiğinin yalnızca çevrimiçi uç noktalar için çalıştığını ve toplu yürütme için tasarlanmadığını unutmayın. Toplu dağıtımınız için puanlama betiği oluşturma hakkında bilgi için bkz . Toplu dağıtımlar için puanlama betikleri yazma.

deployment-torch/code/batch_driver.py

import os
import pandas as pd
import torch
import torchvision
import glob
from os.path import basename
from mnist_classifier import MnistClassifier
from typing import List


def init():
    global model
    global device

    # AZUREML_MODEL_DIR is an environment variable created during deployment
    # It is the path to the model folder
    model_path = os.environ["AZUREML_MODEL_DIR"]
    model_file = glob.glob(f"{model_path}/*/*.pt")[-1]

    model = MnistClassifier()
    model.load_state_dict(torch.load(model_file))
    model.eval()

    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")


def run(mini_batch: List[str]) -> pd.DataFrame:
    print(f"Executing run method over batch of {len(mini_batch)} files.")

    results = []
    with torch.no_grad():
        for image_path in mini_batch:
            image_data = torchvision.io.read_image(image_path).float()
            batch_data = image_data.expand(1, -1, -1, -1)
            input = batch_data.to(device)

            # perform inference
            predict_logits = model(input)

            # Compute probabilities, classes and labels
            predictions = torch.nn.Softmax(dim=-1)(predict_logits)
            predicted_prob, predicted_class = torch.max(predictions, axis=-1)

            results.append(
                {
                    "file": basename(image_path),
                    "class": predicted_class.numpy()[0],
                    "probability": predicted_prob.numpy()[0],
                }
            )

    return pd.DataFrame(results)

Toplu dağıtımınızın çalıştırılacağı bir ortam oluşturun. Ortamın toplu iş uç noktaları için gerekli olan paketleri azureml-core ve azureml-dataset-runtime[fuse]değerlerinin yanı sıra kodunuzun çalıştırılması için gereken tüm bağımlılıkları içermesi gerekir. Bu durumda bağımlılıklar bir conda.yaml dosyada yakalanmıştır:

deployment-torch/environment/conda.yaml
```
name: mnist-env
channels:
  - conda-forge
dependencies:
  - python=3.8.5
  - pip<22.0
  - pip:
    - torch==1.13.0
    - torchvision==0.14.0
    - pytorch-lightning
    - pandas
    - azureml-core
    - azureml-dataset-runtime[fuse]
```
Önemli

ve azureml-dataset-runtime[fuse] paketleri azureml-core toplu dağıtımlar için gereklidir ve ortam bağımlılıklarına dahil edilmelidir.

Ortamı aşağıdaki gibi belirtin:
- Azure CLI
- Python
- Stüdyo
Ortam tanımı, dağıtım tanımının kendisine anonim bir ortam olarak eklenir. Dağıtımda aşağıdaki satırlarda görürsünüz:
```
environment:
  name: batch-torch-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
```
Ortama bir başvuru alın:
```
env = Environment(
    name="batch-torch-py38",
    conda_file="deployment-torch/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest",
)
```
Azure Machine Learning stüdyosu şu adımları izleyin:
1. Yan menüde Ortamlar sekmesine gidin.
2. Özel ortamlar>Oluştur sekmesini seçin.
3. Bu örnekte torch-batch-envortamın adını girin.
4. Ortam kaynağını seçin için Mevcut docker görüntüsünü isteğe bağlı conda dosyasıyla kullan'ı seçin.
5. Kapsayıcı kayıt defteri görüntü yolu için girinmcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04.
6. İleri'yi seçerek "Özelleştir" bölümüne gidin.
7. GitHub deposundan deployment-torch/environment/conda.yaml dosyasının içeriğini portala kopyalayın.
8. "Gözden Geçir sayfasına" gelene kadar İleri'yi seçin.
9. Oluştur'u seçin ve ortam kullanıma hazır olana kadar bekleyin.
Uyarı

Toplu dağıtımlarda seçilmiş ortamlar desteklenmez. Kendi ortamınızı belirtmeniz gerekir. süreci basitleştirmek için her zaman sizin seçtiğiniz ortamın temel görüntüsünü kullanabilirsiniz.

Dağıtım tanımı oluşturma

deployment-torch/deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/modelBatchDeployment.schema.json
name: mnist-torch-dpl
description: A deployment using Torch to solve the MNIST classification dataset.
endpoint_name: mnist-batch
type: model
model:
  name: mnist-classifier-torch
  path: model
code_configuration:
  code: code
  scoring_script: batch_driver.py
environment:
  name: batch-torch-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
compute: azureml:batch-cluster
resources:
  instance_count: 1
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 10
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 30
  error_threshold: -1
  logging_level: info

Aşağıdaki tabloda toplu dağıtımın temel özellikleri açıklanmaktadır. Tam toplu dağıtım YAML şeması için bkz . CLI (v2) toplu dağıtım YAML şeması.

Tuş	Açıklama
`name`	Dağıtımın adı.
`endpoint_name`	Altında dağıtımın oluşturulacağı uç noktanın adı.
`model`	Toplu puanlama için kullanılacak model. Örnek, kullanarak `path`bir modeli satır içi olarak tanımlar. Bu tanım, model dosyalarının otomatik olarak karşıya yüklenmesini ve otomatik olarak oluşturulan bir ad ve sürümle kaydedilmesini sağlar. Daha fazla seçenek için Bkz. Model şeması. Üretim senaryoları için en iyi uygulama olarak modeli ayrı ayrı oluşturup burada başvurmanız gerekir. Var olan bir modele başvurmak için söz dizimini `azureml:<model-name>:<model-version>` kullanın.
`code_configuration.code`	Modeli puanlayan tüm Python kaynak kodunu içeren yerel dizin.
`code_configuration.scoring_script`	Dizindeki `code_configuration.code` Python dosyası. Bu dosyanın bir `init()` işlevi ve bir `run()` işlevi olmalıdır. `init()` Yüksek maliyetli veya yaygın hazırlıklar için işlevini kullanın (örneğin, modeli belleğe yüklemek için). `init()` , işlemin başlangıcında yalnızca bir kez çağrılır. Her girdiyi puanlarken kullanın `run(mini_batch)` ; değeri `mini_batch` dosya yollarının listesidir. İşlev bir `run()` pandas DataFrame veya dizi döndürmelidir. Döndürülen her öğe, içindeki giriş öğesinin başarılı bir çalıştırmasını `mini_batch`gösterir. Puanlama betiği yazma hakkında daha fazla bilgi için bkz . Puanlama betiğini anlama.
`environment`	Modelin puanını almak için ortam. Örnek, ve `image`kullanarak bir ortamı satır içi olarak `conda_file` tanımlar. `conda_file` Bağımlılıklar öğesinin `image`üzerine yüklenir. Ortam otomatik olarak oluşturulan bir ad ve sürümle kaydedilir. Daha fazla seçenek için Ortam şemasına bakın. Üretim senaryoları için en iyi uygulama olarak, ortamı ayrı ayrı oluşturup buraya başvurmanız gerekir. Var olan bir ortama başvurmak için söz dizimini `azureml:<environment-name>:<environment-version>` kullanın.
`compute`	Toplu puanlama çalıştırılacak işlem. Örnek, başlangıçta oluşturulan öğesini `batch-cluster` kullanır ve söz dizimini `azureml:<compute-name>` kullanarak buna başvurur.
`resources.instance_count`	Her toplu puanlama işi için kullanılacak örnek sayısı.
`settings.max_concurrency_per_instance`	Örnek başına en fazla paralel `scoring_script` çalıştırma sayısı.
`settings.mini_batch_size`	Bir çağrıda `run()` işleyebileceği dosya `scoring_script` sayısı.
`settings.output_action`	Çıkışın çıkış dosyasında nasıl düzenlenmesi gerektiği. `append_row` döndürülen tüm `run()` çıkış sonuçlarını adlı `output_file_name`tek bir dosyada birleştirir. `summary_only` çıkış sonuçlarını birleştirmez ve yalnızca öğesini hesaplar `error_threshold`.
`settings.output_file_name`	için `append_row` `output_action`toplu puanlama çıkış dosyasının adı.
`settings.retry_settings.max_retries`	Başarısız `scoring_script` `run()`olan için en fazla deneme sayısı.
`settings.retry_settings.timeout`	Mini toplu iş puanlama için `scoring_script` `run()` saniye cinsinden zaman aşımı.
`settings.error_threshold`	Yoksayılması gereken giriş dosyası puanlama hatalarının sayısı. Girişin tamamı için hata sayısı bu değerin üzerine çıkarsa toplu puanlama işi sonlandırılır. Örnek, `-1`toplu puanlama işini sonlandırmadan herhangi bir sayıda hataya izin verildiğini gösteren kullanır.
`settings.logging_level`	Günlük ayrıntı düzeyi. Ayrıntı düzeyini artırma değerleri şunlardır: UYARI, BİlGİ ve HATA AYıKLAMA.
`settings.environment_variables`	Her toplu puanlama işi için ayarlanacağı ortam değişkeni ad-değer çiftlerinin sözlüğü.

deployment = ModelBatchDeployment(
    name="mnist-torch-dpl",
    description="A deployment using Torch to solve the MNIST classification dataset.",
    endpoint_name=endpoint_name,
    model=model,
    code_configuration=CodeConfiguration(
        code="deployment-torch/code/", scoring_script="batch_driver.py"
    ),
    environment=env,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
        max_concurrency_per_instance=2,
        mini_batch_size=10,
        instance_count=2,
        output_action=BatchDeploymentOutputAction.APPEND_ROW,
        output_file_name="predictions.csv",
        retry_settings=BatchRetrySettings(max_retries=3, timeout=30),
        logging_level="info",
    ),
)

BatchDeployment Sınıfı, bir toplu iş dağıtımının aşağıdaki temel özelliklerini yapılandırmanıza olanak tanır:

Tuş	Açıklama
`name`	Dağıtımın adı.
`endpoint_name`	Dağıtımın oluşturulacağı uç noktanın adı.
`model`	Dağıtım için kullanılacak model. Bu değer, çalışma alanında var olan bir sürüme sahip modelin başvurusu veya satır içi model belirtimi olabilir.
`environment`	Dağıtım için kullanılacak ortam. Bu değer, çalışma alanında var olan bir sürüme sahip ortama başvuru veya satır içi ortam belirtimi (MLflow modelleri için isteğe bağlı) olabilir.
`code_configuration`	Model için çıkarım çalıştırma hakkında yapılandırma (MLflow modelleri için isteğe bağlı).
`code_configuration.code`	Modeli puanlama için kaynak kod dizininin yolu.
`code_configuration.scoring_script`	Kaynak kod dizinindeki puanlama dosyasının göreli yolu.
`compute`	Toplu puanlama işlerinin yürütüldiği işlem hedefinin adı.
`instance_count`	Her toplu puanlama işi için kullanılacak düğüm sayısı.
`settings`	Model dağıtımı çıkarım yapılandırması.
`settings.max_concurrency_per_instance`	Örnek başına en fazla paralel `scoring_script` çalıştırma sayısı.
`settings.mini_batch_size`	Bir () çağrısında `run`işleyebileceği dosya `code_configuration.scoring_script` sayısı.
`settings.retry_settings`	Her mini toplu işlemi puanlama ayarlarını yeniden deneyin.
`settings.retry_settingsmax_retries`	Başarısız veya zaman aşımına uğradı mini toplu işlem için yeniden deneme sayısı üst sınırı (varsayılan değer 3'tür).
`settings.retry_settingstimeout`	Mini toplu iş puanlama için saniye cinsinden zaman aşımı (varsayılan değer 30'dur).
`settings.output_action`	Çıkışın çıkış dosyasında nasıl düzenlenmesi gerektiği. İzin verilen değerler veya `summary_only`şeklindedir`append_row`. Varsayılan `append_row` değeridir.
`settings.logging_level`	Günlük ayrıntı düzeyi. İzin verilen değerler , `warning`, `infodebug`. Varsayılan `info` değeridir.
`settings.environment_variables`	Her toplu puanlama işi için ayarlanacağı ortam değişkeni ad-değer çiftlerinin sözlüğü.

Stüdyoda şu adımları izleyin:

Yan menüde Uç Noktalar sekmesine gidin.
Batch uç noktaları>Oluştur sekmesini seçin.
Bu örnekte mnist-batchuç noktaya bir ad verin. Kalan alanları yapılandırabilir veya boş bırakabilirsiniz.
"Model" bölümüne gitmek için İleri'yi seçin.
mnist-classifier-torch modelini seçin.
"Dağıtım" sayfasına gitmek için İleri'yi seçin.
Dağıtıma bir ad verin.
Çıktı eylemi için Satır ekle'nin seçili olduğundan emin olun.
Çıktı dosyası adı için, toplu puanlama çıkış dosyasının ihtiyacınız olan dosya olduğundan emin olun. Varsayılan predictions.csv değeridir.
Mini toplu iş boyutu için, her mini toplu işleme eklenecek dosyaların boyutunu ayarlayın. Bu boyut, puanlama betiğinizin toplu iş başına aldığı veri miktarını denetler.
Puanlama zaman aşımı (saniye) için dağıtımınızın belirli bir dosya toplu işlemini puanlaması için yeterli zaman verdiğinizden emin olun. Dosya sayısını artırırsanız, genellikle zaman aşımı değerini de artırmanız gerekir. Daha pahalı modeller (derin öğrenmeyi temel alan modeller gibi), bu alanda yüksek değerler gerektirebilir.
Örnek başına en fazla eşzamanlılık için, dağıtımda elde ettiğiniz her işlem örneği için sahip olmak istediğiniz yürütücü sayısını yapılandırın. Burada daha yüksek bir sayı daha yüksek bir paralelleştirme derecesini garanti eder, ancak işlem örneğindeki bellek baskısını da artırır. Mini toplu iş boyutu ile bu değeri tamamen ayarlayın.
İşiniz bittiğinde İleri'yi seçerek "Kod + ortam" sayfasına gidin.
"Çıkarım için puanlama betiği seçin" için deployment-torch/code/batch_driver.py puanlama betiği dosyasını bulup seçin.
"Ortamı seçin" bölümünde, daha önce oluşturduğunuz torch-batch-env ortamını seçin.
"İşlem" sayfasına gitmek için İleri'yi seçin.
Önceki adımda oluşturduğunuz işlem kümesini seçin.

Uyarı

Azure Kubernetes kümesi toplu dağıtımlarda desteklenir, ancak yalnızca Azure Machine Learning CLI veya Python SDK kullanılarak oluşturulduğunda desteklenir.
Örnek sayısı için dağıtım için istediğiniz işlem örneği sayısını girin. Bu durumda 2 kullanın.
İleri'yi seçin.

Dağıtımı oluşturun:
- Azure CLI
- Python
- Stüdyo
Toplu iş uç noktası altında bir toplu dağıtım oluşturmak ve bunu varsayılan dağıtım olarak ayarlamak için aşağıdaki kodu çalıştırın.
```
az ml batch-deployment create --file deployment-torch/deployment.yml --endpoint-name $ENDPOINT_NAME --set-default
```
İpucu

parametresi, --set-default yeni oluşturulan dağıtımı uç noktanın varsayılan dağıtımı olarak ayarlar. Bu, özellikle ilk dağıtım oluşturma işleminde uç noktanın yeni bir varsayılan dağıtımını oluşturmanın kullanışlı bir yoludur. Üretim senaryoları için en iyi yöntem olarak, varsayılan olarak ayarlamadan yeni bir dağıtım oluşturmak isteyebilirsiniz. Dağıtımın beklediğiniz gibi çalıştığını doğrulayın ve ardından varsayılan dağıtımı daha sonra güncelleştirin. Bu işlemi uygulama hakkında daha fazla bilgi için Yeni model dağıtma bölümüne bakın.
Daha önce oluşturulan öğesini MLClient kullanarak çalışma alanında dağıtımı oluşturun. Bu komut dağıtım oluşturmayı başlatır ve dağıtım oluşturma işlemi devam ederken bir onay yanıtı döndürür.
```
ml_client.begin_create_or_update(deployment).result()
```
Dağıtım tamamlandıktan sonra yeni dağıtımı uç noktada varsayılan dağıtım olarak ayarlayın:
```
endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
```
Sihirbazda Oluştur'u seçerek dağıtım işlemini başlatın.
Toplu iş uç noktasını ve dağıtım ayrıntılarını denetleyin.
- Azure CLI
- Python
- Stüdyo
Uç nokta ve dağıtım ayrıntılarını denetlemek için kullanın show . Toplu dağıtımı denetlemek için aşağıdaki kodu çalıştırın:
```
DEPLOYMENT_NAME="mnist-torch-dpl"
az ml batch-deployment show --name $DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME
```
Toplu dağıtımı denetlemek için aşağıdaki kodu çalıştırın:
```
ml_client.batch_deployments.get(name=deployment.name, endpoint_name=endpoint.name)
```
Toplu iş uç noktasını oluşturduktan sonra uç noktanın ayrıntılar sayfası açılır. Bu sayfayı aşağıdaki adımları izleyerek de bulabilirsiniz:
1. Yan menüde Uç Noktalar sekmesine gidin.
2. Batch uç noktaları sekmesini seçin.
3. Görüntülemek istediğiniz toplu iş uç noktasını seçin.
4. Uç noktanın Ayrıntılar sayfasında uç noktanın ayrıntıları ve uç noktada kullanılabilen tüm dağıtımlar gösterilir.

Toplu iş uç noktalarını çalıştırma ve sonuçlara erişme

Toplu iş uç noktasını çağırmak, toplu puanlama işini tetikler. İş name , çağırma yanıtından döndürülür ve toplu puanlama ilerleme durumunu izlemek için kullanılabilir. Toplu iş uç noktalarındaki puanlama modellerini çalıştırırken, uç noktaların puanlamak istediğiniz verileri bulabilmesi için giriş verilerinin yolunu belirtmeniz gerekir. Aşağıdaki örnekte, Azure Depolama Hesabında depolanan MNIST veri kümesinin örnek verileri üzerinden yeni bir iş başlatma işlemi gösterilmektedir.

Azure CLI, Azure Machine Learning SDK'sı veya REST uç noktalarını kullanarak toplu iş uç noktasını çalıştırabilir ve çağırabilirsiniz. Bu seçenekler hakkında daha fazla ayrıntı için bkz . Toplu iş uç noktaları için iş ve giriş verileri oluşturma.

Not

Paralelleştirme nasıl çalışır?

Toplu dağıtımlar, işi dosya düzeyinde dağıtır. Bu, 10 dosyadan oluşan mini toplu işlerle birlikte 100 dosya içeren bir klasörün her biri 10 dosyadan oluşan 10 toplu iş oluşturacağı anlamına gelir. Bu, söz konusu dosyaların boyutundan bağımsız olarak gerçekleşir. Dosyalarınız büyük mini toplu işlerde işlenemeyecek kadar büyükse, daha yüksek bir paralellik düzeyi elde etmek için dosyaları daha küçük dosyalara bölmenizi veya mini toplu iş başına dosya sayısını azaltmanızı öneririz. Şu anda toplu dağıtımlar, bir dosyanın boyut dağıtımındaki dengesizliklere hesaba katılamıyor.

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/mnist/sample --input-type uri_folder --query name -o tsv)

İpucu

Bir uç noktayı çağırdığınızda ve input parametresi arasındaki inputs fark nedir?

Genel olarak, bir model dağıtımı veya işlem hattı dağıtımı içeren bir toplu iş uç noktasına rastgele sayıda gerekli giriş sağlamak için yöntemiyle invoke bir sözlük inputs = {} parametresi kullanabilirsiniz.

Model dağıtımı için parametresini, dağıtımın input giriş veri konumunu belirtmek için daha kısa bir yol olarak kullanabilirsiniz. Model dağıtımı her zaman tek bir veri girişi aldığından bu yaklaşım çalışır.

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    input=Input(
        path="https://azuremlexampledata.blob.core.windows.net/data/mnist/sample/",
        type=AssetTypes.URI_FOLDER,
    ),
)

Yan menüde Uç Noktalar sekmesine gidin.
Batch uç noktaları sekmesini seçin.
Yeni oluşturduğunuz toplu iş uç noktasını seçin.
İş oluştur'u seçin.
Dağıtım için yürütülecek dağıtımı seçin.
"Veri kaynağını seçin" sayfasına gitmek için İleri'yi seçin.
"Veri kaynağı türü" için Veri deposu'na tıklayın.
"Veri deposu" için açılan menüden workspaceblobstore öğesini seçin.
"Yol" için tam URL'yi https://azuremlexampledata.blob.core.windows.net/data/mnist/samplegirin.

İpucu

Bu yol yalnızca verilen yolda genel erişim etkinleştirildiğinden çalışır. Genel olarak, veri kaynağını Veri deposu olarak kaydetmeniz gerekir. Ayrıntılar için bkz . Batch uç noktaları işlerinden verilere erişme.
İleri'yi seçin.
İşi başlatmak için Oluştur'u seçin.

Batch uç noktaları, farklı konumlarda bulunan dosyaların veya klasörlerin okunmasını destekler. Desteklenen türler ve bunların nasıl belirtilmesi hakkında daha fazla bilgi edinmek için bkz . Batch uç noktaları işlerinden verilere erişme.

Toplu iş yürütme ilerleme durumunu izleme

Toplu puanlama işlerinin giriş kümesinin tamamını işlemesi genellikle biraz zaman alır.

Aşağıdaki kod, iş durumunu denetler ve daha fazla ayrıntı için Azure Machine Learning stüdyosu bir bağlantı oluşturur.

az ml job show -n $JOB_NAME --web

Aşağıdaki kod, iş durumunu denetler ve daha fazla ayrıntı için Azure Machine Learning stüdyosu bir bağlantı oluşturur.

ml_client.jobs.get(job.name)

Toplu puanlama sonuçlarını denetleme

İş çıkışları, çalışma alanının varsayılan blob depolama alanında veya belirttiğiniz depolama alanında depolanır. Varsayılanları değiştirmeyi öğrenmek için bkz . Çıkış konumunu yapılandırma. Aşağıdaki adımlar, iş tamamlandığında puanlama sonuçlarını Azure Depolama Gezgini görüntülemenizi sağlar:

Toplu puanlama işini Azure Machine Learning stüdyosu'da açmak için aşağıdaki kodu çalıştırın. job studio bağlantısı, değeri interactionEndpoints.Studio.endpointolarak yanıtına invokeda eklenir.
```
az ml job show -n $JOB_NAME --web
```
İşin grafiğinde adımı seçin batchscoring .
Çıkışlar + günlükler sekmesini ve ardından Veri çıkışlarını göster'i seçin.
Veri çıkışları'ndan simgeyi seçerek Depolama Gezgini açın.

Depolama Gezgini puanlama sonuçları aşağıdaki örnek sayfaya benzer:

Çıkış konumunu yapılandırma

Varsayılan olarak, toplu puanlama sonuçları çalışma alanının varsayılan blob deposunda iş adıyla (sistem tarafından oluşturulan GUID) adlı bir klasörde depolanır. Toplu iş uç noktasını çağırdığınızda puanlama çıkışlarının depolandığı yeri yapılandırabilirsiniz.

Azure Machine Learning kayıtlı veri deposundaki herhangi bir klasörü yapılandırmak için kullanın output-path . için söz dizimi--output-path, bir klasör azureml://datastores/<datastore-name>/paths/<path-on-datastore>/belirttiğinizde olduğu gibi --input aynıdır. Yeni bir çıkış dosyası adı yapılandırmak için kullanın --set output_file_name=<your-file-name> .

OUTPUT_FILE_NAME=predictions_`echo $RANDOM`.csv
OUTPUT_PATH="azureml://datastores/workspaceblobstore/paths/$ENDPOINT_NAME"

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/mnist/sample --output-path $OUTPUT_PATH --set output_file_name=$OUTPUT_FILE_NAME --query name -o tsv)

Azure Machine Learning kayıtlı veri deposundaki herhangi bir klasörü yapılandırmak için kullanın params_override . Çıkış yolları olarak yalnızca kayıtlı veri depoları desteklenir. Bu örnekte varsayılan veri depounu kullanırsınız:

batch_ds = ml_client.datastores.get_default()

Kullanmak istediğiniz veri depoyu tanımladıktan sonra çıkışı aşağıdaki gibi yapılandırın:

filename = f"predictions-{random.randint(0,99999)}.csv"

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    input=Input(
        path="https://azuremlexampledata.blob.core.windows.net/data/mnist/sample/",
        type=AssetTypes.URI_FOLDER,
    ),
    params_override=[
        {"output_dataset.datastore_id": f"azureml:{batch_ds.id}"},
        {"output_dataset.path": f"/{endpoint_name}/"},
        {"output_file_name": filename},
    ],
)

Uyarı

Benzersiz bir çıkış konumu kullanmanız gerekir. Çıkış dosyası varsa, toplu puanlama işi başarısız olur.

Önemli

Girişlerden farklı olarak çıkışlar yalnızca blob depolama hesaplarında çalışan Azure Machine Learning veri depolarında depolanabilir.

Her iş için dağıtım yapılandırmasının üzerine yaz

Toplu iş uç noktasını çağırdığınızda, işlem kaynaklarından en iyi şekilde yararlanmak ve performansı geliştirmek için bazı ayarların üzerine yazılabilir. Aşağıdaki ayarlar iş başına yapılandırılabilir:

Örnek sayısı: İşlem kümesinden istenecek örnek sayısının üzerine yazmak için bu ayarı kullanın. Örneğin, daha büyük hacimli veri girişleri için uçtan uca toplu puanlama işlemini hızlandırmak için daha fazla örnek kullanmak isteyebilirsiniz.
Mini toplu iş boyutu: Her mini toplu işleme eklenecek dosya sayısının üzerine yazmak için bu ayarı kullanın. Mini toplu iş sayısı, toplam giriş dosyası sayılarına ve mini toplu iş boyutuna göre belirlenir. Daha küçük bir mini toplu iş boyutu daha fazla mini toplu iş oluşturur. Mini toplu işlemler paralel olarak çalıştırılabilir, ancak ek zamanlama ve çağırma ek yükü olabilir.
En fazla yeniden deneme, zaman aşımı ve hata eşiği gibi diğer ayarların üzerine yazılabilir. Bu ayarlar, farklı iş yükleri için uçtan uca toplu puanlama süresini etkileyebilir.

JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/mnist/sample --mini-batch-size 20 --instance-count 5 --query name -o tsv)

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    input=Input(
        path="https://azuremlexampledata.blob.core.windows.net/data/mnist/sample/"
    ),
    params_override=[{"mini_batch_size": "20"}, {"compute.instance_count": "5"}],
)

Uç noktaya dağıtım ekleme

Dağıtımı olan bir toplu iş uç noktanız olduğunda modelinizi iyileştirmeye ve yeni dağıtımlar eklemeye devam edebilirsiniz. Siz aynı uç nokta altında yeni modeller geliştirip dağıtırken Batch uç noktaları varsayılan dağıtıma hizmet almaya devam eder. Dağıtımlar birbirinizi etkilemez.

Bu örnekte, aynı MNIST sorununu çözmek için Keras ve TensorFlow ile oluşturulmuş bir modeli kullanan ikinci bir dağıtım eklersiniz.

İkinci dağıtım ekleme

Toplu dağıtımınızın çalıştırılacağı bir ortam oluşturun. Kodunuzun çalışması için gereken tüm bağımlılıkları ortama ekleyin. Toplu dağıtımların çalışması için gerekli olduğundan kitaplığını azureml-coreda eklemeniz gerekir. Aşağıdaki ortam tanımı, TensorFlow ile bir modeli çalıştırmak için gerekli kitaplıklara sahiptir.
- Azure CLI
- Python
- Stüdyo
Ortam tanımı, dağıtım tanımının kendisine anonim bir ortam olarak eklenir.
```
environment:
  name: batch-tensorflow-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
```
Ortama bir başvuru alın:
```
env = Environment(
    name="batch-tensorflow-py38",
    conda_file="deployment-keras/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest",
)
```
1. Yan menüde Ortamlar sekmesine gidin.
2. Özel ortamlar>Oluştur sekmesini seçin.
3. Bu örnekte keras-batch-envortamın adını girin.
4. Ortam kaynağını seçin için Mevcut docker görüntüsünü isteğe bağlı conda dosyasıyla kullan'ı seçin.
5. Kapsayıcı kayıt defteri görüntü yolu için girinmcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04.
6. İleri'yi seçerek "Özelleştir" bölümüne gidin.
7. Deployment-keras/environment/conda.yaml dosyasının içeriğini GitHub deposundan portala kopyalayın.
8. "Gözden Geçir sayfasına" gelene kadar İleri'yi seçin.
9. Oluştur'u seçin ve ortam kullanıma hazır olana kadar bekleyin.
Kullanılan conda dosyası aşağıdaki gibi görünür:

deployment-keras/environment/conda.yaml
```
name: tensorflow-env
channels:
  - conda-forge
dependencies:
  - python=3.8.5
  - pip
  - pip:
    - pandas
    - tensorflow
    - pillow
    - azureml-core
    - azureml-dataset-runtime[fuse]
```

Model için bir puanlama betiği oluşturun:

deployment-keras/code/batch_driver.py

import os
import numpy as np
import pandas as pd
import tensorflow as tf
from typing import List
from os.path import basename
from PIL import Image
from tensorflow.keras.models import load_model


def init():
    global model

    # AZUREML_MODEL_DIR is an environment variable created during deployment
    model_path = os.path.join(os.environ["AZUREML_MODEL_DIR"], "model")

    # load the model
    model = load_model(model_path)


def run(mini_batch: List[str]) -> pd.DataFrame:
    print(f"Executing run method over batch of {len(mini_batch)} files.")

    results = []
    for image_path in mini_batch:
        data = Image.open(image_path)
        data = np.array(data)
        data_batch = tf.expand_dims(data, axis=0)

        # perform inference
        pred = model.predict(data_batch)

        # Compute probabilities, classes and labels
        pred_prob = tf.math.reduce_max(tf.math.softmax(pred, axis=-1)).numpy()
        pred_class = tf.math.argmax(pred, axis=-1).numpy()

        results.append(
            {
                "file": basename(image_path),
                "class": pred_class[0],
                "probability": pred_prob,
            }
        )

    return pd.DataFrame(results)

Dağıtım tanımı oluşturma
- Azure CLI
- Python
- Stüdyo
deployment-keras/deployment.yml
```
$schema: https://azuremlschemas.azureedge.net/latest/modelBatchDeployment.schema.json
name: mnist-keras-dpl
description: A deployment using Keras with TensorFlow to solve the MNIST classification dataset.
endpoint_name: mnist-batch
type: model
model: 
  name: mnist-classifier-keras
  path: model
code_configuration:
  code: code
  scoring_script: batch_driver.py
environment:
  name: batch-tensorflow-py38
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
  conda_file: environment/conda.yaml
compute: azureml:batch-cluster
resources:
  instance_count: 1
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 10
  output_action: append_row
  output_file_name: predictions.csv
```
```
deployment_keras = ModelBatchDeployment(
    name="mnist-keras-dpl",
    description="A deployment using Keras to solve the MNIST classification dataset.",
    endpoint_name=endpoint_name,
    model=model,
    code_configuration=CodeConfiguration(
        code="deployment-keras/code/", scoring_script="batch_driver.py"
    ),
    environment=env,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
        instance_count=2,
        max_concurrency_per_instance=2,
        mini_batch_size=10,
        output_action=BatchDeploymentOutputAction.APPEND_ROW,
        output_file_name="predictions.csv",
        retry_settings=BatchRetrySettings(max_retries=3, timeout=30),
        logging_level="info",
    ),
)
```
1. Yan menüde Uç Noktalar sekmesine gidin.
2. Batch uç noktaları sekmesini seçin.
3. Dağıtımı eklemek istediğiniz mevcut toplu iş uç noktasını seçin.
4. Dağıtım ekle'yi seçin.
5. "Model" sayfasına gitmek için İleri'yi seçin.
6. Model listesinden modeli mnist seçin ve İleri'yi seçin.
7. Dağıtım yapılandırması sayfasında dağıtıma bir ad verin.
8. Seçeneğin seçimini geri alma: Bu yeni dağıtımı toplu işler için varsayılan olarak ayarlayın.
9. Çıktı eylemi için Satır ekle'nin seçili olduğundan emin olun.
10. Çıktı dosyası adı için, toplu puanlama çıkış dosyasının ihtiyacınız olan dosya olduğundan emin olun. Varsayılan predictions.csv değeridir.
11. Mini toplu iş boyutu için, her mini toplu işleme dahil edilecek dosyaların boyutunu ayarlayın. Bu, puanlama betiğinizin her toplu işlem için aldığı veri miktarını denetler.
12. Puanlama zaman aşımı (saniye) için dağıtımınızın belirli bir dosya toplu işlemini puanlaması için yeterli zaman verdiğinizden emin olun. Dosya sayısını artırırsanız, genellikle zaman aşımı değerini de artırmanız gerekir. Daha pahalı modeller (derin öğrenmeyi temel alan modeller gibi), bu alanda yüksek değerler gerektirebilir.
13. Örnek başına en fazla eşzamanlılık için, dağıtımda elde ettiğiniz her işlem örneği için sahip olmak istediğiniz yürütücü sayısını yapılandırın. Burada daha yüksek bir sayı daha yüksek bir paralelleştirme derecesini garanti eder, ancak işlem örneğindeki bellek baskısını da artırır. Mini toplu iş boyutu ile bu değeri tamamen ayarlayın.
14. "Kod + ortam" sayfasına gitmek için İleri'yi seçin.
15. Çıkarım için puanlama betiği seçin alanında deployment-keras/code/batch_driver.py puanlama betiği dosyasını seçin.
16. Ortam seçin alanında önceki adımda oluşturduğunuz ortamı seçin.
17. İleri'yi seçin.
18. İşlem sayfasında, önceki adımda oluşturduğunuz işlem kümesini seçin.
19. Örnek sayısı için dağıtım için istediğiniz işlem örneği sayısını girin. Bu durumda 2 kullanın.
20. İleri'yi seçin.
Dağıtımı oluşturun:
- Azure CLI
- Python
- Stüdyo
Toplu iş uç noktası altında bir toplu dağıtım oluşturmak ve bunu varsayılan dağıtım olarak ayarlamak için aşağıdaki kodu çalıştırın.
```
az ml batch-deployment create --file deployment-keras/deployment.yml --endpoint-name $ENDPOINT_NAME
```
İpucu

--set-default Bu durumda parametresi eksik. Üretim senaryoları için en iyi yöntem olarak, varsayılan olarak ayarlamadan yeni bir dağıtım oluşturun. Ardından doğrulayın ve varsayılan dağıtımı daha sonra güncelleştirin.
Daha önce oluşturulan öğesini MLClient kullanarak çalışma alanında dağıtımı oluşturun. Bu komut dağıtım oluşturmayı başlatır ve dağıtım oluşturma işlemi devam ederken bir onay yanıtı döndürür.
```
ml_client.begin_create_or_update(deployment_keras).result()
```
Sihirbazda Oluştur'u seçerek dağıtım işlemini başlatın.

Varsayılan olmayan toplu dağıtımı test edin

Yeni varsayılan olmayan dağıtımı test etmek için çalıştırmak istediğiniz dağıtımın adını bilmeniz gerekir.

DEPLOYMENT_NAME="mnist-keras-dpl"
JOB_NAME=$(az ml batch-endpoint invoke --name $ENDPOINT_NAME --deployment-name $DEPLOYMENT_NAME --input https://azuremlexampledata.blob.core.windows.net/data/mnist/sample --input-type uri_folder --query name -o tsv)

Uyarı --deployment-name , yürütülecek dağıtımı belirtmek için kullanılır. Bu parametre, toplu iş uç noktasının invoke varsayılan dağıtımını güncelleştirmeden varsayılan olmayan bir dağıtım yapmanızı sağlar.

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment_keras.name,
    input=Input(
        path="https://azuremlexampledata.blob.core.windows.net/data/mnist/sample/",
        type=AssetTypes.URI_FOLDER,
    ),
)

Uyarı deployment_name , yürütülecek dağıtımı belirtmek için kullanılır. Bu parametre, toplu iş uç noktasının invoke varsayılan dağıtımını güncelleştirmeden varsayılan olmayan bir dağıtım yapmanızı sağlar.

Varsayılan toplu dağıtımı güncelleştirme

Bir uç nokta içinde belirli bir dağıtımı çağırabilirsiniz ancak genellikle uç noktanın kendisini çağırmak ve hangi dağıtımın kullanılacağına (varsayılan dağıtım) uç noktanın karar vermesine izin vermek istersiniz. Kullanıcının uç noktayı çağırmasıyla yaptığınız sözleşmeyi değiştirmeden varsayılan dağıtımı değiştirebilir (ve sonuç olarak dağıtımı sunan modeli değiştirebilirsiniz). Varsayılan dağıtımı güncelleştirmek için aşağıdaki kodu kullanın:

az ml batch-endpoint update --name $ENDPOINT_NAME --set defaults.deployment_name=$DEPLOYMENT_NAME

endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment_keras.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

Toplu iş uç noktasını ve dağıtımı silme

Eski toplu iş dağıtımını kullanmayacaksanız, aşağıdaki kodu çalıştırarak silin. --yes silme işlemini onaylamak için kullanılır.

az ml batch-deployment delete --name mnist-torch-dpl --endpoint-name $ENDPOINT_NAME --yes

Toplu iş uç noktasını ve temel alınan tüm dağıtımlarını silmek için aşağıdaki kodu çalıştırın. Toplu puanlama işleri silinmez.

az ml batch-endpoint delete --name $ENDPOINT_NAME --yes

Eski toplu iş dağıtımını kullanmayacaksanız, aşağıdaki kodu çalıştırarak silin.

ml_client.batch_deployments.begin_delete(
    endpoint_name=endpoint_name, name=deployment.name
).result()

Toplu iş uç noktasını ve temel alınan tüm dağıtımlarını silmek için aşağıdaki kodu çalıştırın. Toplu puanlama işleri silinmez.

ml_client.batch_endpoints.begin_delete(name=endpoint_name)

Toplu uç nokta işlerinden verilere erişme.
Toplu iş uç noktaları üzerinde kimlik doğrulaması.
Toplu iş uç noktalarındaki ağ yalıtımı.
Toplu iş uç noktalarının sorunlarını giderme.

Aracılığıyla paylaş

Toplu iş uç noktalarındaki puanlama modellerini dağıtma

Önkoşullar

Örnek deposunu kopyalama

Sisteminizi hazırlama

Çalışma alanınıza bağlanma

İşlem oluşturma

Toplu iş uç noktası oluşturma

Toplu dağıtım oluşturma

Toplu iş uç noktalarını çalıştırma ve sonuçlara erişme

Toplu iş yürütme ilerleme durumunu izleme

Toplu puanlama sonuçlarını denetleme

Çıkış konumunu yapılandırma

Her iş için dağıtım yapılandırmasının üzerine yaz

Uç noktaya dağıtım ekleme

İkinci dağıtım ekleme

Varsayılan olmayan toplu dağıtımı test edin

Varsayılan toplu dağıtımı güncelleştirme

Toplu iş uç noktasını ve dağıtımı silme

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Toplu iş uç noktalarındaki puanlama modellerini dağıtma

Önkoşullar

Örnek deposunu kopyalama

Sisteminizi hazırlama

Çalışma alanınıza bağlanma

İşlem oluşturma

Toplu iş uç noktası oluşturma

Toplu dağıtım oluşturma

Toplu iş uç noktalarını çalıştırma ve sonuçlara erişme

Toplu iş yürütme ilerleme durumunu izleme

Toplu puanlama sonuçlarını denetleme

Çıkış konumunu yapılandırma

Her iş için dağıtım yapılandırmasının üzerine yaz

Uç noktaya dağıtım ekleme

İkinci dağıtım ekleme

Varsayılan olmayan toplu dağıtımı test edin

Varsayılan toplu dağıtımı güncelleştirme

Toplu iş uç noktasını ve dağıtımı silme

İlgili içerik

Geri Bildirim

Ek kaynaklar