Высокопроизводительное обслуживание с помощью сервера вывода Triton

Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:

• Azure CLI и расширение ml для Azure CLI. Дополнительные сведения см. в разделе Установка, настройка и использование CLI (версия 2).

  Внимание

  В примерах CLI в этой статье предполагается, что вы используете оболочку Bash (или совместимый вариант). Например, из системы Linux или подсистемы Windows для Linux.

• Рабочая область Машинного обучения Azure. Если у вас ее нет, выполните действия, описанные в разделе Установка, настройка и использование CLI (версия 2), чтобы создать ее.

• Рабочая среда Python 3.8 (или более поздней версии).

• Необходимо установить дополнительные пакеты Python для оценки и установить их с помощью приведенного ниже кода. К ним относятся:

  • Numpy — массив и библиотека числовых вычислений
  • Клиент сервера вывода Triton — упрощает запросы на сервер вывода Triton
  • Подушка — библиотека для операций с изображением
  • Gevent — сетевая библиотека, используемая при подключении к серверу Triton

pip install numpy
pip install tritonclient[http]
pip install pillow
pip install gevent

• Доступ к виртуальным машинам серии NCv3 для подписки Azure.

  Внимание

  Возможно, потребуется запросить увеличение квоты для подписки, прежде чем можно будет использовать эту серию виртуальных машин. Подробные сведения см. в разделе о серии NCv3.

Для сервера вывода NVIDIA Triton требуется особая структура репозитория модели, где в версиях модели для каждой модели и подкаталогов используются отдельные каталоги. Содержимое подкаталога каждой версии модели определяется типом модели и требованиями серверной части, поддерживающей модель. Просмотр всей структуры репозитория модели https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_repository.md#model-files

Сведения в этом документе основаны на использовании модели, хранящейся в формате ONNX, поэтому структура каталогов репозитория модели — <model-repository>/<model-name>/1/model.onnx. В частности, эта модель выполняет идентификацию изображений.

Сведения в этой статье основаны на примерах кода, имеющихся в репозитории azureml-examples. Чтобы выполнять команды локально без копирования и вставки YAML и других файлов, необходимо клонировать репозиторий, а затем заменить каталоги на каталог cli в репозитории:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd cli

Если вы еще не задали параметры по умолчанию для Azure CLI, сохраните их. Чтобы не указывать значения для подписки, рабочей области и группы ресурсов несколько раз, используйте следующие команды. Замените следующие параметры значениями для конкретной конфигурации:

• Замените <subscription> идентификатором своей подписки Azure.
• Заменить <workspace> рабочей областью машинного обучения Azure.
• Замените <resource-group> группой ресурсов Azure, содержащей вашу рабочую область.
• Замените <location> регионом Azure, содержащим вашу рабочую область.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:

• Рабочая область Машинного обучения Azure. Если у вас ее нет, создайте ее по инструкциям, приведенным в кратком руководстве по созданию ресурсов рабочей области.

• Чтобы установить пакет SDK для Python версии 2, используйте следующую команду:

  pip install azure-ai-ml azure-identity
  

  Чтобы обновить существующую установку пакета SDK до последней версии, выполните следующую команду:

  pip install --upgrade azure-ai-ml azure-identity
  

  Дополнительные сведения см. в статье "Установка пакета SDK для Python версии 2 для Машинное обучение Azure".

• Рабочая среда Python 3.8 (или более поздней версии).

• Необходимо установить дополнительные пакеты Python для оценки и установить их с помощью приведенного ниже кода. К ним относятся:

  • Numpy — массив и библиотека числовых вычислений
  • Клиент сервера вывода Triton — упрощает запросы на сервер вывода Triton
  • Подушка — библиотека для операций с изображением
  • Gevent — сетевая библиотека, используемая при подключении к серверу Triton

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• Доступ к виртуальным машинам серии NCv3 для подписки Azure.

  Внимание

  Возможно, потребуется запросить увеличение квоты для подписки, прежде чем можно будет использовать эту серию виртуальных машин. Подробные сведения см. в разделе о серии NCv3.

Сведения в этой статье основаны на записной книжке online-endpoints-triton.ipynb , содержащейся в репозитории azureml-examples . Чтобы выполнить команды локально, не копируя и вставляя файлы, клонируйте репозиторий, а затем измените каталоги sdk/endpoints/online/triton/single-model/ в каталог в репозитории:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python/endpoints/online/triton/single-model/

• Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу. Попробуйте бесплатную или платную версию Машинного обучения Azure.

• Рабочая область Машинного обучения Azure. Если у вас нет одного, выполните действия, описанные в статье "Управление рабочими областями Машинное обучение Azure на портале" или с помощью пакета SDK для Python, чтобы создать его.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

В этом разделе показано, как развернуть управляемую конечную точку в Сети с помощью Azure CLI с расширением Машинное обучение (версия 2).

1. Чтобы избежать ввода пути для нескольких команд, используйте следующую команду, чтобы задать переменную среды BASE_PATH. Эта переменная указывает каталог, в котором находятся модель и связанные файлы конфигурации YAML:

   BASE_PATH=endpoints/online/triton/single-model
   

2. Используйте следующую команду, чтобы задать имя конечной точки, которая будет создана. В этом примере для конечной точки создано случайное имя:

   export ENDPOINT_NAME=triton-single-endpt-`echo $RANDOM`
   

3. Создайте файл конфигурации YAML для конечной точки. В следующем примере настраивается имя и режим проверки подлинности конечной точки. Файл, используемый в следующих командах, находится по пути /cli/endpoints/online/triton/single-model/create-managed-endpoint.yml в репозитории azureml-examples, клонированном ранее:

   create-managed-endpoint.yaml

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
   name: my-endpoint
   auth_mode: aml_token
   

4. Создайте файл конфигурации YAML для развертывания. В следующем примере выполняется настройка развертывания синим цветом для конечной точки, определенной на предыдущем шаге. Файл, используемый в следующих командах, находится по пути /cli/endpoints/online/triton/single-model/create-managed-deployment.yml в репозитории azureml-examples, клонированном ранее:

   Внимание

   Для развертывания без кода (NCD) с помощью Triton необходимо присвоить параметру type значение triton_model​: type: triton_model​. Дополнительные сведения см. в статье YAML-схема модели для CLI (версия 2).

   В этом развертывании используется виртуальная машина Standard_NC6s_v3. Возможно, потребуется запросить увеличение квоты для подписки, прежде чем можно будет использовать эту виртуальную машину. Подробные сведения см. в разделе о серии NCv3.

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
   name: blue
   endpoint_name: my-endpoint
   model:
     name: sample-densenet-onnx-model
     version: 1
     path: ./models
     type: triton_model
   instance_count: 1
   instance_type: Standard_NC6s_v3
   

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

В этом разделе показано, как определить развертывание Triton для развертывания в управляемой сетевой конечной точке с помощью пакета SDK для Python Машинное обучение Azure версии 2.

1. Чтобы подключиться к рабочей области, потребуются параметры идентификатора — подписка, группа ресурсов и имя рабочей области.

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace_name = "<AML_WORKSPACE_NAME>"
   

2. Используйте следующую команду, чтобы задать имя конечной точки, которая будет создана. В этом примере для конечной точки создано случайное имя:

   import random
   
   endpoint_name = f"endpoint-{random.randint(0, 10000)}"
   

3. Эти сведения используются в MLClient azure.ai.ml приведенном выше примере, чтобы получить дескриптор в требуемую рабочую область Машинное обучение Azure. Дополнительные сведения о настройке учетных данных и подключении к рабочей области см. в записной книжке конфигурации.

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   
   ml_client = MLClient(
       DefaultAzureCredential(),
       subscription_id,
       resource_group,
       workspace_name,
   )
   

4. Создайте объект для настройки конечной ManagedOnlineEndpoint точки. В следующем примере настраивается имя и режим проверки подлинности конечной точки.

   from azure.ai.ml.entities import ManagedOnlineEndpoint
   
   endpoint = ManagedOnlineEndpoint(name=endpoint_name, auth_mode="key")
   

5. ManagedOnlineDeployment Создайте объект для настройки развертывания. В следующем примере выполняется настройка развертывания синим цветом для конечной точки, определенной на предыдущем шаге, и определяет встроенную локальную модель.

   from azure.ai.ml.entities import ManagedOnlineDeployment, Model
   
   model_name = "densenet-onnx-model"
   model_version = 1
   
   deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=endpoint_name,
       model=Model(
           name=model_name, 
           version=model_version,
           path="./models",
           type="triton_model"
       ),
       instance_type="Standard_NC6s_v3",
       instance_count=1,
   )
   

В этом разделе показано, как определить развертывание Triton в управляемой сетевой конечной точке с помощью Студия машинного обучения Azure.

1. Зарегистрируйте модель в формате Triton, используя следующий файл YAML и команду CLI. YAML использует модель densenet-onnx из https://github.com/Azure/azureml-examples/tree/main/cli/endpoints/online/triton/single-model

   create-triton-model.yaml

   name: densenet-onnx-model
   version: 1
   path: ./models
   type: triton_model​
   description: Registering my Triton format model.
   

   az ml model create -f create-triton-model.yaml
   

   На следующем снимке экрана показано, как будет выглядеть зарегистрированная модель на странице моделей в студии машинного обучения Azure.

   

2. В студии выберите рабочую область, а затем используйте страницу Конечные точки или Модели для создания развертывания конечной точки:

   • Страница конечных точек
   • Страница "Модели"

   1. На странице Конечные точки выберите Создать.

      

   2. Укажите имя и тип проверки подлинности для конечной точки, а затем нажмите кнопку Далее.

   3. При выборе модели выберите ранее зарегистрированную модель Triton. Выберите Далее для продолжения.

   4. При выборе модели, зарегистрированной в формате Triton, на шаге "Среда" мастера, сценарий оценки и среда не требуются.

      

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

1. Чтобы создать новую конечную точку с помощью конфигурации YAML, используйте следующую команду:

   az ml online-endpoint create -n $ENDPOINT_NAME -f $BASE_PATH/create-managed-endpoint.yaml
   

2. Чтобы создать развертывание с помощью конфигурации YAML, используйте следующую команду:

   az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f $BASE_PATH/create-managed-deployment.yaml --all-traffic
   

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

1. Чтобы создать новую конечную точку с помощью ManagedOnlineEndpoint объекта, используйте следующую команду:

   endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint)
   

2. Чтобы создать развертывание с помощью ManagedOnlineDeployment объекта, используйте следующую команду:

   ml_client.online_deployments.begin_create_or_update(deployment)
   

3. После завершения развертывания будет задано 0%значение трафика. Обновление трафика до 100 %.

   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint)
   

1. Завершите работу мастера для развертывания в конечной точке.

   

2. После завершения развертывания будет задано 0%значение трафика. Обновите трафик до 100 % на странице конечной точки, щелкнув Update Traffic вторую строку меню.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

После завершения развертывания используйте следующую команду, чтобы выполнить запрос оценки к развернутой конечной точке.

1. Чтобы получить URI оценки конечной точки, используйте следующую команду:

   scoring_uri=$(az ml online-endpoint show -n $ENDPOINT_NAME --query scoring_uri -o tsv)
   scoring_uri=${scoring_uri%/*}
   

2. Чтобы получить ключ проверки подлинности, используйте следующую команду:

   auth_token=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME --query accessToken -o tsv)
   

3. Чтобы оценить данные с помощью конечной точки, используйте следующую команду. Она отправляет изображение павлина (https://aka.ms/peacock-pic) в конечную точку:

   python $BASE_PATH/triton_densenet_scoring.py --base_url=$scoring_uri --token=$auth_token --image_path $BASE_PATH/data/peacock.jpg
   

   В результате выполнения скрипта должен отобразиться примерно следующий текст:

   Is server ready - True
   Is model ready - True
   /azureml-examples/cli/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

1. Чтобы получить URI оценки конечной точки, используйте следующую команду:

   endpoint = ml_client.online_endpoints.get(endpoint_name)
   scoring_uri = endpoint.scoring_uri
   

2. Чтобы получить ключ проверки подлинности, используйте следующую команду: ключи = ml_client.online_endpoints.list_keys(endpoint_name) auth_key = keys.primary_key

3. Следующий код оценки использует клиент сервера вывода Triton для отправки изображения павлина в конечную точку. Этот скрипт доступен в записной книжке-компаньона в этом примере. Развертывание модели в сетевых конечных точках с помощью Triton.

   # Test the blue deployment with some sample data
   import requests
   import gevent.ssl
   import numpy as np
   import tritonclient.http as tritonhttpclient
   from pathlib import Path
   import prepost
   
   img_uri = "http://aka.ms/peacock-pic"
   
   # We remove the scheme from the url
   url = scoring_uri[8:]
   
   # Initialize client handler
   triton_client = tritonhttpclient.InferenceServerClient(
       url=url,
       ssl=True,
       ssl_context_factory=gevent.ssl._create_default_https_context,
   )
   
   # Create headers
   headers = {}
   headers["Authorization"] = f"Bearer {auth_key}"
   
   # Check status of triton server
   health_ctx = triton_client.is_server_ready(headers=headers)
   print("Is server ready - {}".format(health_ctx))
   
   # Check status of model
   model_name = "model_1"
   status_ctx = triton_client.is_model_ready(model_name, "1", headers)
   print("Is model ready - {}".format(status_ctx))
   
   if Path(img_uri).exists():
       img_content = open(img_uri, "rb").read()
   else:
       agent = f"Python Requests/{requests.__version__} (https://github.com/Azure/azureml-examples)"
       img_content = requests.get(img_uri, headers={"User-Agent": agent}).content
   
   img_data = prepost.preprocess(img_content)
   
   # Populate inputs and outputs
   input = tritonhttpclient.InferInput("data_0", img_data.shape, "FP32")
   input.set_data_from_numpy(img_data)
   inputs = [input]
   output = tritonhttpclient.InferRequestedOutput("fc6_1")
   outputs = [output]
   
   result = triton_client.infer(model_name, inputs, outputs=outputs, headers=headers)
   max_label = np.argmax(result.as_numpy("fc6_1"))
   label_name = prepost.postprocess(max_label)
   print(label_name)
   

4. В результате выполнения скрипта должен отобразиться примерно следующий текст:

   Is server ready - True
   Is model ready - True
   /azureml-examples/sdk/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

Для вывода сервера вывода Triton требуется использовать Клиент Triton для вывода, и он поддерживает типизированные тензорные входные данные. Студия машинного обучения Azure в настоящее время не поддерживает эту функцию. Вместо этого используйте ИНТЕРФЕЙС командной строки или пакет SDK для вызова конечных точек с Помощью Triton.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

1. После завершения работы с конечной точкой используйте следующую команду, чтобы удалить ее:

   az ml online-endpoint delete -n $ENDPOINT_NAME --yes
   

2. Чтобы архивировать модель, используйте следующую команду:

   az ml model archive --name $MODEL_NAME --version $MODEL_VERSION
   

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

1. Удалите конечную точку. При удалении конечной точки также удаляются дочерние развертывания, однако они не архивируют связанные среды или модели.

   ml_client.online_endpoints.begin_delete(name=endpoint_name)
   

2. Архивируйте модель с помощью следующего кода.

   ml_client.models.archive(name=model_name, version=model_version)
   

1. На странице конечной точки щелкните Delete вторую строку под именем конечной точки.

2. На странице модели щелкните Delete первую строку под именем модели.