Triton Çıkarım Sunucusu ile yüksek performanslı hizmet sunma

Bu makaledeki adımları takip etmeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

• Azure CLI ve ml Azure CLI uzantısı. Daha fazla bilgi için bkz . CLI'yi (v2) yükleme, ayarlama ve kullanma.

  Önemli

  Bu makaledeki CLI örneklerinde Bash (veya uyumlu) kabuğu kullandığınız varsayılır. Örneğin, bir Linux sisteminden veya Linux için Windows Alt Sistemi.

• Azure Machine Learning çalışma alanı. Yoksa CLI'yı (v2) yükleme, ayarlama ve kullanma bölümünde yer alan adımları kullanarak bir tane oluşturun.

• Çalışan bir Python 3.8 (veya üzeri) ortamı.

• Puanlama için ek Python paketlerinin yüklü olması gerekir ve bunları aşağıdaki kodla yükleyebilirsiniz. Bu ölçümler şunlardır:

  • Numpy - Dizi ve sayısal bilgi işlem kitaplığı
  • Triton Çıkarım Sunucusu İstemcisi - Triton Çıkarım Sunucusuna yönelik istekleri kolaylaştırır
  • Pillow - Görüntü işlemleri için bir kitaplık
  • Gevent - Triton Server'a bağlanırken kullanılan ağ kitaplığı

pip install numpy
pip install tritonclient[http]
pip install pillow
pip install gevent

• Azure aboneliğiniz için NCv3 serisi VM'lere erişim.

  Önemli

  Bu vm serisini kullanabilmek için önce aboneliğiniz için kota artışı istemeniz gerekebilir. Daha fazla bilgi için bkz . NCv3 serisi.

NVIDIA Triton Çıkarım Sunucusu, model sürümü için her model ve alt dizin için bir dizin bulunan belirli bir model deposu yapısı gerektirir. Her model sürümü alt dizininin içeriği, modelin türüne ve modeli destekleyen arka ucun gereksinimlerine göre belirlenir. Tüm model deposu yapısını görmek için https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_repository.md#model-files

Bu belgedeki bilgiler, ONNX biçiminde depolanan bir modelin kullanılmasına dayandığından, model deposunun dizin yapısı şeklindedir <model-repository>/<model-name>/1/model.onnx. Özellikle, bu model görüntü tanımlama gerçekleştirir.

Bu makaledeki bilgiler, azureml-examples deposunda yer alan kod örneklerini temel alır. YAML ve diğer dosyaları kopyalamak/yapıştırmak zorunda kalmadan komutları yerel olarak çalıştırmak için depoyu kopyalayın ve ardından dizinleri depodaki dizinle cli değiştirin:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd cli

Azure CLI için varsayılan ayarları henüz ayarlamadıysanız varsayılan ayarlarınızı kaydedin. Aboneliğinizin, çalışma alanınızın ve kaynak grubunuzun değerlerini birden çok kez geçirmekten kaçınmak için aşağıdaki komutları kullanın. Aşağıdaki parametreleri kendi yapılandırmanıza yönelik değerlerle değiştirin:

• <subscription> öğesini Azure abonelik kimliğinizle değiştirin.
• değerini Azure Machine Learning çalışma alanı adınızla değiştirin <workspace> .
• değerini, çalışma alanınızı içeren Azure kaynak grubuyla değiştirin <resource-group> .
• değerini, çalışma alanınızı içeren Azure bölgesiyle değiştirin <location> .

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

Bu makaledeki adımları takip etmeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

• Azure Machine Learning çalışma alanı. Yoksa, oluşturmak için Hızlı Başlangıç: Çalışma alanı kaynakları oluşturma makalesindeki adımları kullanın.

• Python SDK v2'yi yüklemek için aşağıdaki komutu kullanın:

  pip install azure-ai-ml azure-identity
  

  SDK'nın mevcut yüklemesini en son sürüme güncelleştirmek için aşağıdaki komutu kullanın:

  pip install --upgrade azure-ai-ml azure-identity
  

  Daha fazla bilgi için bkz . Azure Machine Learning için Python SDK v2'yi yükleme.

• Çalışan bir Python 3.8 (veya üzeri) ortamı.

• Puanlama için ek Python paketlerinin yüklü olması gerekir ve bunları aşağıdaki kodla yükleyebilirsiniz. Bu ölçümler şunlardır:

  • Numpy - Dizi ve sayısal bilgi işlem kitaplığı
  • Triton Çıkarım Sunucusu İstemcisi - Triton Çıkarım Sunucusuna yönelik istekleri kolaylaştırır
  • Pillow - Görüntü işlemleri için bir kitaplık
  • Gevent - Triton Server'a bağlanırken kullanılan ağ kitaplığı

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• Azure aboneliğiniz için NCv3 serisi VM'lere erişim.

  Önemli

  Bu vm serisini kullanabilmek için önce aboneliğiniz için kota artışı istemeniz gerekebilir. Daha fazla bilgi için bkz . NCv3 serisi.

Bu makaledeki bilgiler, azureml-examples deposunda bulunan online-endpoints-triton.ipynb not defterini temel alır. Dosyaları kopyalamak/yapıştırmak zorunda kalmadan komutları yerel olarak çalıştırmak için depoyu kopyalayın ve ardından dizinleri depodaki dizinle sdk/endpoints/online/triton/single-model/ değiştirin:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python/endpoints/online/triton/single-model/

• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.

• Azure Machine Learning çalışma alanı. Yoksa portalda Azure Machine Learning çalışma alanlarını yönetme veya Python SDK ile oluşturma adımlarını kullanın.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

Bu bölümde, Machine Learning uzantısı (v2) ile Azure CLI kullanarak yönetilen bir çevrimiçi uç noktaya nasıl dağıtım yapabileceğiniz gösterilmektedir.

1. Birden çok komutun yoluna yazılmasını önlemek için aşağıdaki komutu kullanarak bir BASE_PATH ortam değişkeni ayarlayın. Bu değişken, modelin ve ilişkili YAML yapılandırma dosyalarının bulunduğu dizine işaret ediyor:

   BASE_PATH=endpoints/online/triton/single-model
   

2. Oluşturulacak uç noktanın adını ayarlamak için aşağıdaki komutu kullanın. Bu örnekte, uç nokta için rastgele bir ad oluşturulur:

   export ENDPOINT_NAME=triton-single-endpt-`echo $RANDOM`
   

3. Uç noktanız için bir YAML yapılandırma dosyası oluşturun. Aşağıdaki örnekte uç noktanın adı ve kimlik doğrulama modu yapılandırılır. Aşağıdaki komutlarda kullanılan, daha önce kopyaladığınız azureml-examples deposunda bulunur /cli/endpoints/online/triton/single-model/create-managed-endpoint.yml :

   create-managed-endpoint.yaml

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
   name: my-endpoint
   auth_mode: aml_token
   

4. Dağıtım için bir YAML yapılandırma dosyası oluşturun. Aşağıdaki örnekte, önceki adımda tanımlanan uç noktaya mavi adlı bir dağıtım yapılandırılır. Aşağıdaki komutlarda kullanılan, daha önce kopyaladığınız azureml-examples deposunda bulunur /cli/endpoints/online/triton/single-model/create-managed-deployment.yml :

   Önemli

   Triton kod içermeyen dağıtım (NCD) işlevinin çalışması için ayarı type triton_model​ gereklidir. type: triton_model​ Daha fazla bilgi için bkz . CLI (v2) modeli YAML şeması.

   Bu dağıtımda bir Standard_NC6s_v3 VM kullanılır. Bu VM'yi kullanabilmeniz için önce aboneliğiniz için kota artışı istemeniz gerekebilir. Daha fazla bilgi için bkz . NCv3 serisi.

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
   name: blue
   endpoint_name: my-endpoint
   model:
     name: sample-densenet-onnx-model
     version: 1
     path: ./models
     type: triton_model
   instance_count: 1
   instance_type: Standard_NC6s_v3
   

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

Bu bölümde, Azure Machine Learning Python SDK'sını (v2) kullanarak yönetilen bir çevrimiçi uç noktaya dağıtmak için triton dağıtımı tanımlama adımları gösterilmektedir.

1. Bir çalışma alanına bağlanmak için tanımlayıcı parametrelerine (abonelik, kaynak grubu ve çalışma alanı adı) ihtiyacımız vardır.

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace_name = "<AML_WORKSPACE_NAME>"
   

2. Oluşturulacak uç noktanın adını ayarlamak için aşağıdaki komutu kullanın. Bu örnekte, uç nokta için rastgele bir ad oluşturulur:

   import random
   
   endpoint_name = f"endpoint-{random.randint(0, 10000)}"
   

3. Gerekli Azure Machine Learning çalışma alanına yönelik bir tanıtıcı elde etmek için yukarıdaki MLClient from azure.ai.ml dosyasındaki bu ayrıntıları kullanırız. Kimlik bilgilerini yapılandırma ve çalışma alanına bağlanma hakkında daha fazla bilgi için yapılandırma not defterine bakın.

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   
   ml_client = MLClient(
       DefaultAzureCredential(),
       subscription_id,
       resource_group,
       workspace_name,
   )
   

4. Uç noktayı yapılandırmak için bir ManagedOnlineEndpoint nesne oluşturun. Aşağıdaki örnekte uç noktanın adı ve kimlik doğrulama modu yapılandırılır.

   from azure.ai.ml.entities import ManagedOnlineEndpoint
   
   endpoint = ManagedOnlineEndpoint(name=endpoint_name, auth_mode="key")
   

5. Dağıtımı yapılandırmak için bir ManagedOnlineDeployment nesne oluşturun. Aşağıdaki örnekte, önceki adımda tanımlanan uç noktaya mavi adlı bir dağıtım yapılandırılır ve satır içi yerel bir model tanımlanır.

   from azure.ai.ml.entities import ManagedOnlineDeployment, Model
   
   model_name = "densenet-onnx-model"
   model_version = 1
   
   deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=endpoint_name,
       model=Model(
           name=model_name, 
           version=model_version,
           path="./models",
           type="triton_model"
       ),
       instance_type="Standard_NC6s_v3",
       instance_count=1,
   )
   

Bu bölümde, Azure Machine Learning stüdyosu kullanarak yönetilen bir çevrimiçi uç noktada Triton dağıtımlarını nasıl tanımlayabileceğiniz gösterilmektedir.

1. Aşağıdaki YAML ve CLI komutunu kullanarak modelinizi Triton biçiminde kaydedin. YAML bir densenet-onnx modeli kullanır https://github.com/Azure/azureml-examples/tree/main/cli/endpoints/online/triton/single-model

   create-triton-model.yaml

   name: densenet-onnx-model
   version: 1
   path: ./models
   type: triton_model​
   description: Registering my Triton format model.
   

   az ml model create -f create-triton-model.yaml
   

   Aşağıdaki ekran görüntüsü, kayıtlı modelinizin Azure Machine Learning stüdyosu Modeller sayfasında nasıl görüneceğini gösterir.

   

2. Studio'dan çalışma alanınızı seçin ve uç nokta dağıtımını oluşturmak için uç noktalar veya modeller sayfasını kullanın:

   • Uç noktalar sayfası
   • Modeller sayfası

   1. Uç Noktalar sayfasında Oluştur'u seçin.

      

   2. Uç nokta için bir ad ve kimlik doğrulama türü sağlayın ve İleri'yi seçin.

   3. Bir model seçerken, daha önce kaydedilmiş Triton modelini seçin. Devam etmek için İleri'yi seçin.

   4. Triton biçiminde kaydedilmiş bir modeli seçtiğinizde, sihirbazın Ortam adımında puanlama betiğine ve ortama ihtiyacınız yoktur.

      

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

1. YAML yapılandırmasını kullanarak yeni bir uç nokta oluşturmak için aşağıdaki komutu kullanın:

   az ml online-endpoint create -n $ENDPOINT_NAME -f $BASE_PATH/create-managed-endpoint.yaml
   

2. YAML yapılandırmasını kullanarak dağıtımı oluşturmak için aşağıdaki komutu kullanın:

   az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f $BASE_PATH/create-managed-deployment.yaml --all-traffic
   

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. nesnesini kullanarak ManagedOnlineEndpoint yeni bir uç nokta oluşturmak için aşağıdaki komutu kullanın:

   endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint)
   

2. nesnesini kullanarak ManagedOnlineDeployment dağıtımı oluşturmak için aşağıdaki komutu kullanın:

   ml_client.online_deployments.begin_create_or_update(deployment)
   

3. Dağıtım tamamlandıktan sonra trafik değeri olarak 0%ayarlanır. Trafiği %100 olarak güncelleştirin.

   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint)
   

1. Uç noktaya dağıtmak için sihirbazı tamamlayın.

   

2. Dağıtım tamamlandıktan sonra trafik değeri olarak 0%ayarlanır. İkinci menü satırına tıklayarak Update Traffic Uç Nokta sayfasında trafiği %100 olarak güncelleştirin.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

Dağıtımınız tamamlandıktan sonra, dağıtılan uç noktaya puanlama isteğinde bulunmak için aşağıdaki komutu kullanın.

1. Uç nokta puanlama uri'sini almak için aşağıdaki komutu kullanın:

   scoring_uri=$(az ml online-endpoint show -n $ENDPOINT_NAME --query scoring_uri -o tsv)
   scoring_uri=${scoring_uri%/*}
   

2. Kimlik doğrulama anahtarı almak için aşağıdaki komutu kullanın:

   auth_token=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME --query accessToken -o tsv)
   

3. Uç noktayla veri puanını almak için aşağıdaki komutu kullanın. Uç noktaya bir tavus kuşu (https://aka.ms/peacock-pic) görüntüsünü gönderir:

   python $BASE_PATH/triton_densenet_scoring.py --base_url=$scoring_uri --token=$auth_token --image_path $BASE_PATH/data/peacock.jpg
   

   Betikten gelen yanıt aşağıdaki metne benzer:

   Is server ready - True
   Is model ready - True
   /azureml-examples/cli/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Uç nokta puanlama uri'sini almak için aşağıdaki komutu kullanın:

   endpoint = ml_client.online_endpoints.get(endpoint_name)
   scoring_uri = endpoint.scoring_uri
   

2. Kimlik doğrulama anahtarı almak için şu komutu kullanın: keys = ml_client.online_endpoints.list_keys(endpoint_name) auth_key = keys.primary_key

3. Aşağıdaki puanlama kodu, uç noktaya bir tavus kuşu görüntüsünü göndermek için Triton Çıkarım Sunucusu İstemcisi'ni kullanır. Bu betik, bu örnekteki eşlikçi not defterinde mevcuttur: Triton kullanarak çevrimiçi uç noktalara model dağıtma.

   # Test the blue deployment with some sample data
   import requests
   import gevent.ssl
   import numpy as np
   import tritonclient.http as tritonhttpclient
   from pathlib import Path
   import prepost
   
   img_uri = "http://aka.ms/peacock-pic"
   
   # We remove the scheme from the url
   url = scoring_uri[8:]
   
   # Initialize client handler
   triton_client = tritonhttpclient.InferenceServerClient(
       url=url,
       ssl=True,
       ssl_context_factory=gevent.ssl._create_default_https_context,
   )
   
   # Create headers
   headers = {}
   headers["Authorization"] = f"Bearer {auth_key}"
   
   # Check status of triton server
   health_ctx = triton_client.is_server_ready(headers=headers)
   print("Is server ready - {}".format(health_ctx))
   
   # Check status of model
   model_name = "model_1"
   status_ctx = triton_client.is_model_ready(model_name, "1", headers)
   print("Is model ready - {}".format(status_ctx))
   
   if Path(img_uri).exists():
       img_content = open(img_uri, "rb").read()
   else:
       agent = f"Python Requests/{requests.__version__} (https://github.com/Azure/azureml-examples)"
       img_content = requests.get(img_uri, headers={"User-Agent": agent}).content
   
   img_data = prepost.preprocess(img_content)
   
   # Populate inputs and outputs
   input = tritonhttpclient.InferInput("data_0", img_data.shape, "FP32")
   input.set_data_from_numpy(img_data)
   inputs = [input]
   output = tritonhttpclient.InferRequestedOutput("fc6_1")
   outputs = [output]
   
   result = triton_client.infer(model_name, inputs, outputs=outputs, headers=headers)
   max_label = np.argmax(result.as_numpy("fc6_1"))
   label_name = prepost.postprocess(max_label)
   print(label_name)
   

4. Betikten gelen yanıt aşağıdaki metne benzer:

   Is server ready - True
   Is model ready - True
   /azureml-examples/sdk/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

Triton Çıkarım Sunucusu çıkarım için Triton İstemcisi'nin kullanılmasını gerektirir ve tensor türündeki girişi destekler. Azure Machine Learning stüdyosu şu anda bunu desteklemiyor. Bunun yerine, Triton ile uç noktaları çağırmak için CLI veya SDK kullanın.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

1. Uç noktayla işiniz bittiğinde silmek için aşağıdaki komutu kullanın:

   az ml online-endpoint delete -n $ENDPOINT_NAME --yes
   

2. Modelinizi arşivlerken aşağıdaki komutu kullanın:

   az ml model archive --name $MODEL_NAME --version $MODEL_VERSION
   

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

1. Uç noktayı silin. Uç nokta silindiğinde tüm alt dağıtımlar da silinir, ancak ilişkili Ortamlar veya Modeller arşivlenmez.

   ml_client.online_endpoints.begin_delete(name=endpoint_name)
   

2. Modeli aşağıdaki kodla arşivler.

   ml_client.models.archive(name=model_name, version=model_version)
   

1. Uç noktanın sayfasında uç nokta adının altındaki ikinci satıra tıklayın Delete .

2. Modelin sayfasında, model adının altındaki ilk satıra tıklayın Delete .