Serviço de alto desempenho com o servidor de inferência Triton

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• A CLI do Azure e a ml extensão na CLI do Azure. Para obter mais informações, confira Instalar, configurar e usar a CLI (v2).

  Importante

  Os exemplos de CLI neste artigo pressupõem que você esteja usando o shell Bash (ou compatível). Por exemplo, de um sistema Linux ou Subsistema do Windows para Linux.

• Um Workspace do Azure Machine Learning. Se você não tiver um, use as etapas em Instalar, configurar e usar a CLI (v2) para criar.

• Um ambiente Python 3.8 (ou superior) em funcionamento.

• Você deve ter pacotes adicionais do Python instalados para pontuação e pode instalá-los com o código abaixo. Eles incluem:

  • Numpy – uma matriz e uma biblioteca de computação numérica
  • Triton Inference Server Client – Facilita as solicitações para o Triton Inference Server
  • Pillow – Uma biblioteca para operações de imagem
  • Gevent – Uma biblioteca de rede usada ao se conectar ao Triton Server

pip install numpy
pip install tritonclient[http]
pip install pillow
pip install gevent

• Acesso a VMs da série NCv3 para sua assinatura do Azure.

  Importante

  Talvez seja necessário solicitar um aumento de cota para sua assinatura antes de usar essa série de VMs. Para saber mais, confira NCv3-series.

O Servidor de Inferência NVIDIA Triton requer uma estrutura de repositório de modelo específica em que haja um diretório para cada modelo e subdiretórios para a versão do modelo. O conteúdo de cada subdiretório de versão do modelo é determinado pelo tipo de modelo e pelos requisitos do back-end que dá suporte ao modelo. Para ver toda a estrutura do repositório de modelo https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_repository.md#model-files

As informações neste documento se baseiam no uso de um modelo armazenado no formato ONNX, ou seja, a estrutura de diretório do repositório de modelo é <model-repository>/<model-name>/1/model.onnx. Mais especificamente, esse modelo executa a identificação da imagem.

As informações deste artigo se baseiam em exemplos de código contidos no repositório azureml-examples. Para executar os comandos localmente sem precisar copiar/colar YAML e outros arquivos, clone o repositório e altere os diretórios para o diretório cli no repositório:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd cli

Se você ainda não definiu os padrões da CLI do Azure, salve as configurações padrão. Para evitar passar os valores para sua assinatura, espaço de trabalho e grupo de recursos várias vezes, use os seguintes comandos. Substitua os seguintes parâmetros por valores para a sua configuração específica:

• Substitua <subscription> por sua ID da assinatura do Azure.
• Substitua <workspace> pelo nome do workspace do Azure Machine Learning.
• Substitua <resource-group> pelo grupo de recursos do Azure que contém o workspace.
• Substitua <location> pela região do Azure que contém o workspace.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• Um Workspace do Azure Machine Learning. Se você não tiver um, use as etapas do artigo Início Rápido: criar recursos de workspace para criar.

• Para instalar o SDK do Python v2, use o seguinte comando:

  pip install azure-ai-ml azure-identity
  

  Para atualizar uma instalação do SDK existente para a versão mais recente, use o seguinte comando:

  pip install --upgrade azure-ai-ml azure-identity
  

  Para saber mais, confira Instalar o SDK do Python v2 para Azure Machine Learning.

• Um ambiente Python 3.8 (ou superior) em funcionamento.

• Você deve ter pacotes adicionais do Python instalados para pontuação e pode instalá-los com o código abaixo. Eles incluem:

  • Numpy – uma matriz e uma biblioteca de computação numérica
  • Triton Inference Server Client – Facilita as solicitações para o Triton Inference Server
  • Pillow – Uma biblioteca para operações de imagem
  • Gevent – Uma biblioteca de rede usada ao se conectar ao Triton Server

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• Acesso a VMs da série NCv3 para sua assinatura do Azure.

  Importante

  Talvez seja necessário solicitar um aumento de cota para sua assinatura antes de usar essa série de VMs. Para saber mais, confira NCv3-series.

As informações deste artigo se baseiam no notebook online-endpoints-triton.ipynb notebook encontrado no repositório azureml-examples. Para executar os comandos localmente sem precisar copiar/colar arquivos, clone o repositório e altere os diretórios para o diretório sdk/endpoints/online/triton/single-model/ no repositório:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python/endpoints/online/triton/single-model/

• Uma assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar. Experimente a versão gratuita ou paga do Azure Machine Learning.

• Um Workspace do Azure Machine Learning. Se você não tiver um, use as etapas em Gerenciar workspaces do Azure Machine Learning no portal ou com o SDK do Python para criar um.

APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

Esta seção mostra como você pode implantar um ponto de extremidade online gerenciado usando a CLI do Azure com a extensão Machine Learning (v2).

1. Para evitar digitar um caminho para vários comandos, use o comando a seguir para definir uma variável de ambiente BASE_PATH. Essa variável aponta para o diretório em que o modelo e os arquivos de configuração YAML associados estão localizados:

   BASE_PATH=endpoints/online/triton/single-model
   

2. Use o comando a seguir para definir o nome do ponto de extremidade que será criado. Neste exemplo, um nome aleatório é criado para o ponto de extremidade:

   export ENDPOINT_NAME=triton-single-endpt-`echo $RANDOM`
   

3. Crie um arquivo de configuração YAML para seu ponto de extremidade. O exemplo a seguir configura o nome e o modo de autenticação do ponto de extremidade. O que é usado nos comandos a seguir está localizado em /cli/endpoints/online/triton/single-model/create-managed-endpoint.yml no repositório azureml-examples clonado anteriormente:

   create-managed-endpoint.yaml

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
   name: my-endpoint
   auth_mode: aml_token
   

4. Crie um arquivo de configuração YAML para a implantação. O exemplo a seguir configura uma implantação chamada blue para o ponto de extremidade definido na etapa anterior. O que é usado nos comandos a seguir está localizado em /cli/endpoints/online/triton/single-model/create-managed-deployment.yml no repositório azureml-examples clonado anteriormente:

   Importante

   Para que o NCD (Triton sem implantação de código) funcione, a configuração type para triton_model​ é necessária, type: triton_model​. Para saber mais, confira o esquema YAML do modelo da CLI (v2).

   Essa implantação usa uma VM Standard_NC6s_v3. Talvez seja necessário solicitar um aumento de cota para sua assinatura antes de usar essa VM. Para saber mais, confira NCv3-series.

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
   name: blue
   endpoint_name: my-endpoint
   model:
     name: sample-densenet-onnx-model
     version: 1
     path: ./models
     type: triton_model
   instance_count: 1
   instance_type: Standard_NC6s_v3
   

APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

Esta seção mostra como você pode definir uma implantação do Triton para implantar em um ponto de extremidade online gerenciado usando o SDK do Python do Azure Machine Learning (v2).

1. Para se conectar a um workspace, precisamos de parâmetros de identificador: uma assinatura, um grupo de recursos e um nome do workspace.

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace_name = "<AML_WORKSPACE_NAME>"
   

2. Use o comando a seguir para definir o nome do ponto de extremidade que será criado. Neste exemplo, um nome aleatório é criado para o ponto de extremidade:

   import random
   
   endpoint_name = f"endpoint-{random.randint(0, 10000)}"
   

3. Usaremos os detalhes acima no MLClient de azure.ai.ml para obter um identificador do workspace do Azure Machine Learning necessário. Verifique a configuração de notebook para obter mais detalhes sobre como configurar credenciais e se conectar a um espaço de trabalho.

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   
   ml_client = MLClient(
       DefaultAzureCredential(),
       subscription_id,
       resource_group,
       workspace_name,
   )
   

4. Crie um objeto ManagedOnlineEndpoint para configurar o ponto de extremidade. O exemplo a seguir configura o nome e o modo de autenticação do ponto de extremidade.

   from azure.ai.ml.entities import ManagedOnlineEndpoint
   
   endpoint = ManagedOnlineEndpoint(name=endpoint_name, auth_mode="key")
   

5. Crie um objeto ManagedOnlineDeployment para configurar a implantação. O exemplo a seguir configura uma implantação chamada blue para o ponto de extremidade e define um modelo local embutido.

   from azure.ai.ml.entities import ManagedOnlineDeployment, Model
   
   model_name = "densenet-onnx-model"
   model_version = 1
   
   deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=endpoint_name,
       model=Model(
           name=model_name, 
           version=model_version,
           path="./models",
           type="triton_model"
       ),
       instance_type="Standard_NC6s_v3",
       instance_count=1,
   )
   

Esta seção mostra como você pode definir uma implantação do Triton em um ponto de extremidade online gerenciado usando o Estúdio do Azure Machine Learning.

1. Registre seu modelo no formato Triton usando o comando YAML e a CLI a seguir. O YAML usa um modelo densenet-onnx de https://github.com/Azure/azureml-examples/tree/main/cli/endpoints/online/triton/single-model

   create-triton-model.yaml

   name: densenet-onnx-model
   version: 1
   path: ./models
   type: triton_model​
   description: Registering my Triton format model.
   

   az ml model create -f create-triton-model.yaml
   

   A captura de tela a seguir mostra a aparência do modelo registrado na página Modelos do Estúdio do Azure Machine Learning.

   

2. No Estúdio, selecione seu espaço de trabalho e use a página pontos de extremidade ou modelos para criar a implantação do ponto de extremidade:

   • Página Pontos de Extremidade
   • Página de modelos

   1. Na página Pontos de extremidade, selecione Criar.

      

   2. Forneça um nome e um tipo de autenticação para o ponto de extremidade e selecione Avançar.

   3. Ao selecionar um modelo, selecione o modelo Triton registrado anteriormente. Selecione Avançar para continuar.

   4. Quando você seleciona um modelo registrado no formato Triton, não precisa de script e ambiente de pontuação na etapa Ambiente do assistente.

      

APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

1. Para criar um ponto de extremidade usando a configuração YAML, use o seguinte comando:

   az ml online-endpoint create -n $ENDPOINT_NAME -f $BASE_PATH/create-managed-endpoint.yaml
   

2. Para criar a implantação usando a configuração YAML, use o seguinte comando:

   az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f $BASE_PATH/create-managed-deployment.yaml --all-traffic
   

APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

1. Para criar um ponto de extremidade usando o objeto ManagedOnlineEndpoint, execute o seguinte comando:

   endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint)
   

2. Para criar a implantação usando o objeto ManagedOnlineDeployment, execute o seguinte comando:

   ml_client.online_deployments.begin_create_or_update(deployment)
   

3. Depois que a implantação for concluída, o valor de tráfego será definido como 0%. Atualize o tráfego para 100%.

   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint)
   

1. Conclua o assistente para implantar no ponto de extremidade.

   

2. Depois que a implantação for concluída, o valor de tráfego será definido como 0%. Atualize o tráfego para 100% na página ponto de extremidade, clicando em Update Traffic na segunda linha de menu.

APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

Quando a implantação for concluída, use o comando a seguir para fazer uma solicitação de pontuação ao ponto de extremidade implantado.

1. Para obter o URI de pontuação do ponto de extremidade, use o seguinte comando:

   scoring_uri=$(az ml online-endpoint show -n $ENDPOINT_NAME --query scoring_uri -o tsv)
   scoring_uri=${scoring_uri%/*}
   

2. Para obter uma chave de autenticação, use o seguinte comando:

   auth_token=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME --query accessToken -o tsv)
   

3. Para pontuar dados com o ponto de extremidade, use o comando a seguir. Ele envia a imagem de um peacock (https://aka.ms/peacock-pic ao ponto de extremidade:

   python $BASE_PATH/triton_densenet_scoring.py --base_url=$scoring_uri --token=$auth_token --image_path $BASE_PATH/data/peacock.jpg
   

   A resposta do script é semelhante ao seguinte texto:

   Is server ready - True
   Is model ready - True
   /azureml-examples/cli/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

1. Para obter o URI de pontuação do ponto de extremidade, use o seguinte comando:

   endpoint = ml_client.online_endpoints.get(endpoint_name)
   scoring_uri = endpoint.scoring_uri
   

2. Para obter uma chave de autenticação, use o seguinte comando: keys = ml_client.online_endpoints.list_keys(endpoint_name) auth_key = keys.primary_key

3. O código de pontuação a seguir usa o Triton Inference Server para enviar a imagem de um pavão para o ponto de extremidade. Esse script está disponível no notebook complementar para este exemplo – Implantar um modelo em pontos de extremidade online usando o Triton.

   # Test the blue deployment with some sample data
   import requests
   import gevent.ssl
   import numpy as np
   import tritonclient.http as tritonhttpclient
   from pathlib import Path
   import prepost
   
   img_uri = "http://aka.ms/peacock-pic"
   
   # We remove the scheme from the url
   url = scoring_uri[8:]
   
   # Initialize client handler
   triton_client = tritonhttpclient.InferenceServerClient(
       url=url,
       ssl=True,
       ssl_context_factory=gevent.ssl._create_default_https_context,
   )
   
   # Create headers
   headers = {}
   headers["Authorization"] = f"Bearer {auth_key}"
   
   # Check status of triton server
   health_ctx = triton_client.is_server_ready(headers=headers)
   print("Is server ready - {}".format(health_ctx))
   
   # Check status of model
   model_name = "model_1"
   status_ctx = triton_client.is_model_ready(model_name, "1", headers)
   print("Is model ready - {}".format(status_ctx))
   
   if Path(img_uri).exists():
       img_content = open(img_uri, "rb").read()
   else:
       agent = f"Python Requests/{requests.__version__} (https://github.com/Azure/azureml-examples)"
       img_content = requests.get(img_uri, headers={"User-Agent": agent}).content
   
   img_data = prepost.preprocess(img_content)
   
   # Populate inputs and outputs
   input = tritonhttpclient.InferInput("data_0", img_data.shape, "FP32")
   input.set_data_from_numpy(img_data)
   inputs = [input]
   output = tritonhttpclient.InferRequestedOutput("fc6_1")
   outputs = [output]
   
   result = triton_client.infer(model_name, inputs, outputs=outputs, headers=headers)
   max_label = np.argmax(result.as_numpy("fc6_1"))
   label_name = prepost.postprocess(max_label)
   print(label_name)
   

4. A resposta do script é semelhante ao seguinte texto:

   Is server ready - True
   Is model ready - True
   /azureml-examples/sdk/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

O Triton Inference Server requer o uso do Triton Client para inferência e dá suporte à entrada tipo tensor. No momento, o Estúdio do Azure Machine Learning não dá suporte a isso. Em vez disso, use a CLI ou o SDK para invocar pontos de extremidade com Triton.

APLICA-SE A: Extensão de ML da CLI do Azurev2 (atual)

1. Depois de terminar o ponto de extremidade, use o seguinte comando para excluí-lo:

   az ml online-endpoint delete -n $ENDPOINT_NAME --yes
   

2. Use o seguinte comando para arquivar o modelo:

   az ml model archive --name $MODEL_NAME --version $MODEL_VERSION
   

APLICA-SE A: SDK do Python azure-ai-ml v2 (atual)

1. Excluir o ponto de extremidade. A exclusão do ponto de extremidade também exclui as implantações filho. No entanto, não arquivará os Ambientes ou Modelos associados.

   ml_client.online_endpoints.begin_delete(name=endpoint_name)
   

2. Arquive o modelo com o código a seguir.

   ml_client.models.archive(name=model_name, version=model_version)
   

1. Na página do ponto de extremidade, clique em Delete na segunda linha abaixo do nome do ponto de extremidade.

2. Na página do modelo, clique em Delete na primeira linha abaixo do nome do modelo.