Execute a distribuição segura de novas implantações para inferência em tempo real

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• A CLI do Azure e a ml extensão para a CLI do Azure. Para obter mais informações, consulte Instalar, configurar e usar a CLI (v2).

  Importante

  Os exemplos de CLI neste artigo pressupõem que você esteja usando o shell Bash (ou compatível). Por exemplo, de um sistema Linux ou Subsistema Windows para Linux.

• Uma área de trabalho do Azure Machine Learning. Se você não tiver uma, use as etapas em Instalar, configurar e usar a CLI (v2) para criar uma.

• Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de proprietário ou colaborador para o espaço de trabalho do Azure Machine Learning ou uma função personalizada que permita Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. Para obter mais informações, consulte Gerenciar o acesso a um espaço de trabalho do Azure Machine Learning.

• (Opcional) Para implantar localmente, você deve instalar o Docker Engine em seu computador local. É altamente recomendável essa opção, para que seja mais fácil depurar problemas.

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• Uma área de trabalho do Azure Machine Learning. Se você não tiver um, use as etapas no artigo Guia de início rápido: criar recursos do espaço de trabalho para criar um.

• Para instalar o Python SDK v2, use o seguinte comando:

  pip install azure-ai-ml azure-identity
  

  Para atualizar uma instalação existente do SDK para a versão mais recente, use o seguinte comando:

  pip install --upgrade azure-ai-ml azure-identity
  

  Para obter mais informações, consulte Instalar o Python SDK v2 para Azure Machine Learning.

• Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de proprietário ou colaborador para o espaço de trabalho do Azure Machine Learning ou uma função personalizada que permita Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. Para obter mais informações, consulte Gerenciar o acesso a um espaço de trabalho do Azure Machine Learning.

• (Opcional) Para implantar localmente, você deve instalar o Docker Engine em seu computador local. É altamente recomendável essa opção, para que seja mais fácil depurar problemas.

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• Uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar. Experimente a versão gratuita ou paga do Azure Machine Learning.

• Um espaço de trabalho do Azure Machine Learning e uma instância de computação. Se você não tiver esses recursos, use as etapas no artigo Guia de início rápido: criar recursos do espaço de trabalho para criá-los.

• Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de proprietário ou colaborador para o espaço de trabalho do Azure Machine Learning ou uma função personalizada que permita Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. Para obter mais informações, consulte Gerenciar o acesso a um espaço de trabalho do Azure Machine Learning.

Definir variáveis de ambiente

Se você ainda não definiu os padrões para a CLI do Azure, salve suas configurações padrão. Para evitar passar os valores da sua assinatura, espaço de trabalho e grupo de recursos várias vezes, execute este código:

az account set --subscription <subscription id>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

Clone o repositório de exemplos

Para acompanhar este artigo, primeiro clone o repositório de exemplos (azureml-examples). Em seguida, vá para o diretório do cli/ repositório:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

Os comandos neste tutorial estão no arquivo deploy-safe-rollout-online-endpoints.sh no cli diretório e os arquivos de configuração YAML estão no endpoints/online/managed/sample/ subdiretório.

Clone o repositório de exemplos

Para executar os exemplos de treinamento, primeiro clone o repositório de exemplos (azureml-examples). Em seguida, vá para o azureml-examples/sdk/python/endpoints/online/managed diretório:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

As informações neste artigo são baseadas no bloco de anotações online-endpoints-safe-rollout.ipynb . Contém o mesmo conteúdo que este artigo, embora a ordem dos códigos seja ligeiramente diferente.

Conectar-se ao espaço de trabalho do Azure Machine Learning

O espaço de trabalho é o recurso de nível superior para o Azure Machine Learning, fornecendo um local centralizado para trabalhar com todos os artefatos que você cria quando usa o Azure Machine Learning. Nesta seção, nos conectaremos ao espaço de trabalho onde você executará tarefas de implantação. Para acompanhar, abra o seu online-endpoints-safe-rollout.ipynb bloco de notas.

1. Importe as bibliotecas necessárias:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   Nota

   Se você estiver usando o ponto de extremidade online do Kubernetes, importe a KubernetesOnlineEndpoint classe e KubernetesOnlineDeployment da azure.ai.ml.entities biblioteca.

2. Configure os detalhes do espaço de trabalho e obtenha um identificador para o espaço de trabalho:

   Para nos conectarmos a um espaço de trabalho, precisamos de parâmetros de identificador — uma assinatura, um grupo de recursos e um nome do espaço de trabalho. Usaremos esses detalhes na MLClient partir para obter um identificador para o espaço de azure.ai.ml trabalho do Azure Machine Learning necessário. Este exemplo usa a autenticação padrão do Azure.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

Se você tiver o Git instalado em sua máquina local, poderá seguir as instruções para clonar o repositório de exemplos. Caso contrário, siga as instruções para baixar arquivos do repositório de exemplos.

Clone o repositório de exemplos

Para acompanhar este artigo, primeiro clone o repositório de exemplos (azureml-examples) e, em seguida, altere para o azureml-examples/cli/endpoints/online/model-1 diretório.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

Baixar arquivos do repositório de exemplos

Se você clonou o repositório de exemplos, sua máquina local já tem cópias dos arquivos para este exemplo, e você pode pular para a próxima seção. Se você não clonou o repositório, você pode baixá-lo para sua máquina local.

1. Aceda a https://github.com/Azure/azureml-examples/.
2. Vá para o <> botão Código na página e selecione Baixar ZIP na guia Local .
3. Localize a pasta /cli/endpoints/online/model-1/model do modelo e o script /cli/endpoints/online/model-1/onlinescoring/score.py de pontuação para um primeiro modelo model-1.
4. Localize a pasta /cli/endpoints/online/model-2/model modelo e o script /cli/endpoints/online/model-2/onlinescoring/score.py de pontuação para um segundo modelo model-2.

Criar ponto de extremidade online

Primeiro, defina o nome do ponto de extremidade e, em seguida, configure-o. Neste artigo, você usará o arquivo endpoints/online/managed/sample/endpoint.yml para configurar o endpoint. O trecho a seguir mostra o conteúdo do arquivo:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

A referência para o formato YAML do ponto de extremidade é descrita na tabela a seguir. Para saber como especificar esses atributos, consulte a referência YAML do ponto de extremidade online. Para obter informações sobre limites relacionados a pontos de extremidade online gerenciados, consulte limites para pontos de extremidade online.

Para criar um ponto de extremidade online:

1. Defina o nome do seu ponto final:

   Para Unix, execute este comando (substitua YOUR_ENDPOINT_NAME por um nome exclusivo):

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   Importante

   Os nomes de ponto de extremidade devem ser exclusivos dentro de uma região do Azure. Por exemplo, na região do Azure westus2 , pode haver apenas um ponto de extremidade com o nome my-endpoint.

2. Crie o ponto de extremidade na nuvem:

   Execute o seguinte código para usar o endpoint.yml arquivo para configurar o ponto de extremidade:

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

Criar a implantação 'azul'

Neste artigo, você usará o arquivo endpoints/online/managed/sample/blue-deployment.yml para configurar os principais aspetos da implantação. O trecho a seguir mostra o conteúdo do arquivo:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

Para criar uma implantação nomeada blue para seu ponto de extremidade, execute o seguinte comando para usar o blue-deployment.yml arquivo para configurar

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

blue-deployment.yaml No arquivo, especificamos o path (de onde fazer upload de arquivos) embutido. A CLI carrega automaticamente os arquivos e registra o modelo e o ambiente. Como prática recomendada para produção, você deve registrar o modelo e o ambiente e especificar o nome registrado e a versão separadamente no YAML. Use o formulário model: azureml:my-model:1 ou environment: azureml:my-env:1.

Para o registro, você pode extrair as definições de YAML de model e environment em arquivos YAML separados e usar os comandos az ml model create e az ml environment create. Para saber mais sobre esses comandos, execute az ml model create -h e az ml environment create -h.

Para obter mais informações sobre como registrar seu modelo como um ativo, consulte Registrar seu modelo como um ativo no Machine Learning usando a CLI. Para obter mais informações sobre como criar um ambiente, consulte Manage Azure Machine Learning environments with the CLI & SDK (v2).

Criar ponto de extremidade online

Para criar um ponto de extremidade online gerenciado, use a ManagedOnlineEndpoint classe. Essa classe permite que os usuários configurem os principais aspetos do ponto de extremidade.

1. Configure o ponto de extremidade:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   Nota

   Para criar um ponto de extremidade online do Kubernetes, use a KubernetesOnlineEndpoint classe.

2. Crie o ponto de extremidade:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Criar a implantação 'azul'

Para criar uma implantação para seu ponto de extremidade online gerenciado, use a ManagedOnlineDeployment classe. Essa classe permite que os usuários configurem os principais aspetos da implantação. A tabela a seguir descreve os atributos de um deployment:

1. Configure a implantação azul:

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   Neste exemplo, especificamos o path (de onde carregar arquivos) embutido. O SDK carrega automaticamente os arquivos e registra o modelo e o ambiente. Como prática recomendada para produção, você deve registrar o modelo e o ambiente e especificar o nome registrado e a versão separadamente nos códigos.

   Para obter mais informações sobre como registrar seu modelo como um ativo, consulte Registrar seu modelo como um ativo no Machine Learning usando o SDK.

   Para obter mais informações sobre como criar um ambiente, consulte Manage Azure Machine Learning environments with the CLI & SDK (v2).

   Nota

   Para criar uma implantação para um ponto de extremidade online do Kubernetes, use a KubernetesOnlineDeployment classe.

2. Crie a implantação:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Ao criar um ponto de extremidade online gerenciado no estúdio do Azure Machine Learning, você deve definir uma implantação inicial para o ponto de extremidade. Antes de definir uma implantação, você deve ter um modelo registrado em seu espaço de trabalho. Vamos começar registrando o modelo a ser usado para a implantação.

Registar o seu modelo

Um registro de modelo é uma entidade lógica no espaço de trabalho. Essa entidade pode conter um único arquivo de modelo ou um diretório de vários arquivos. Como prática recomendada para a produção, você deve registrar o modelo e o ambiente. Ao criar o ponto de extremidade e a implantação neste artigo, assumiremos que você registrou a pasta modelo que contém o modelo.

Para registar o modelo de exemplo, siga estes passos:

1. Vá para o estúdio do Azure Machine Learning.

2. Na barra de navegação esquerda, selecione a página Modelos .

3. Selecione Registrar e, em seguida, escolha De arquivos locais.

4. Selecione Tipo não especificado para o Tipo de modelo.

5. Selecione Procurar e escolha Procurar pasta.

   

6. Selecione a \azureml-examples\cli\endpoints\online\model-1\model pasta na cópia local do repositório que você clonou ou baixou anteriormente. Quando solicitado, selecione Carregar e aguarde a conclusão do carregamento.

7. Selecione Avançar após a conclusão do carregamento da pasta.

8. Insira um Nome amigável para o modelo. As etapas neste artigo pressupõem que o modelo é chamado model-1.

9. Selecione Avançar e, em seguida , Registrar para concluir o registro.

10. Repita as etapas anteriores para registrar um model-2 da \azureml-examples\cli\endpoints\online\model-2\model pasta na cópia local do repositório que você clonou ou baixou anteriormente.

Para obter mais informações sobre como trabalhar com modelos registrados, consulte Registrar e trabalhar com modelos.

Para obter informações sobre como criar um ambiente no estúdio, consulte Criar um ambiente.

Criar um endpoint online gerenciado e a implantação 'azul'

Use o estúdio do Azure Machine Learning para criar um ponto de extremidade online gerenciado diretamente em seu navegador. Ao criar um ponto de extremidade online gerenciado no estúdio, você deve definir uma implantação inicial. Não é possível criar um ponto de extremidade online gerenciado vazio.

Uma maneira de criar um endpoint online gerenciado no estúdio é a partir da página Modelos . Esse método também fornece uma maneira fácil de adicionar um modelo a uma implantação online gerenciada existente. Para implantar o modelo nomeado model-1 que você registrou anteriormente na seção Registrar seu modelo :

1. Vá para o estúdio do Azure Machine Learning.

2. Na barra de navegação esquerda, selecione a página Modelos .

3. Selecione o modelo nomeado model-1 marcando o círculo ao lado de seu nome.

4. Selecione Implantar>ponto de extremidade em tempo real.

   

   Esta ação abre uma janela onde você pode especificar detalhes sobre seu ponto de extremidade.

   

5. Insira um nome de ponto de extremidade.

6. Manter as seleções padrão: Gerenciado para o tipo de computação e autenticação baseada em chave para o tipo de autenticação.

7. Selecione Avançar, até chegar à página "Implantação". Aqui, execute as seguintes tarefas:

   • Nomeie a implantação como "azul".
   • Marque a caixa para Habilitar diagnóstico e coleta de dados do Application Insights para permitir que você visualize gráficos das atividades do seu endpoint no estúdio mais tarde.

8. Selecione Avançar para ir para a página "Ambiente". Aqui, execute as seguintes etapas:

   • Na caixa "Selecionar arquivo de pontuação e dependências", procure e selecione o \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py arquivo do repositório clonado ou baixado anteriormente.
   • Comece a digitar sklearn na caixa de pesquisa acima da lista de ambientes e selecione o ambiente curado AzureML-sklearn-0.24.

9. Selecione Avançar para ir para a página "Computação". Aqui, mantenha a seleção padrão para a máquina virtual "Standard_DS3_v2" e altere a contagem de instâncias para 1.

10. Selecione Avançar para aceitar a alocação de tráfego padrão (100%) para a implantação azul.

11. Revise suas configurações de implantação e selecione o botão Criar .

    

Como alternativa, você pode criar um ponto de extremidade online gerenciado na página Pontos de extremidade no estúdio.

1. Vá para o estúdio do Azure Machine Learning.

2. Na barra de navegação esquerda, selecione a página Pontos de extremidade .

3. Selecione + Criar.

   

Essa ação abre uma janela para você especificar detalhes sobre seu ponto de extremidade e implantação. Insira as configurações para seu ponto de extremidade e implantação conforme descrito nas etapas anteriores de 5 a 11, aceitando padrões até que você seja solicitado a Criar a implantação.

Você pode exibir o status do ponto de extremidade e da implantação existentes executando:

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

Você deve ver o ponto de extremidade identificado por $ENDPOINT_NAME e, uma implantação chamada blue.

Testar o ponto de extremidade com dados de amostra

O ponto de extremidade pode ser invocado usando o invoke comando. Enviaremos uma solicitação de exemplo usando um arquivo json .

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Verifique o status para ver se o modelo foi implantado sem erros:

ml_client.online_endpoints.get(name=online_endpoint_name)

Testar o ponto de extremidade com dados de amostra

Usando o MLClient criado anteriormente, obteremos um identificador para o ponto de extremidade. O ponto de extremidade pode ser invocado usando o invoke comando com os seguintes parâmetros:

• endpoint_name - Nome do ponto final
• request_file - Arquivo com dados de solicitação
• deployment_name - Nome da implantação específica a ser testada em um endpoint

Enviaremos uma solicitação de exemplo usando um arquivo json .

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

Exibir endpoints online gerenciados

Você pode visualizar todos os seus endpoints online gerenciados na página Endpoints . Vá para a página Detalhes do ponto de extremidade para encontrar informações críticas, incluindo o URI do ponto de extremidade, status, ferramentas de teste, monitores de atividade, logs de implantação e código de consumo de exemplo:

1. Na barra de navegação esquerda, selecione Pontos de extremidade. Aqui, você pode ver uma lista de todos os pontos de extremidade no espaço de trabalho.
2. (Opcional) Crie um filtro no tipo de computação para mostrar apenas os tipos de computação gerenciados.
3. Selecione um nome de ponto de extremidade para exibir a página Detalhes do ponto de extremidade.

Testar o ponto de extremidade com dados de amostra

Use a guia Teste na página de detalhes do ponto de extremidade para testar sua implantação online gerenciada. Insira a entrada de amostra e visualize os resultados.

1. Selecione a guia Teste na página de detalhes do ponto de extremidade. A implantação azul já está selecionada no menu suspenso.
2. Copie a entrada de exemplo do arquivo json
3. Cole a entrada de amostra na caixa de teste.
4. Selecione Teste.

Na implantação descrita em Implantar e pontuar um modelo de aprendizado de máquina com um ponto de extremidade online, você define o instance_count para o valor 1 no arquivo yaml de implantação. Você pode expandir usando o update comando:

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

Usando o MLClient criado anteriormente, teremos um identificador para a implantação. A implantação pode ser dimensionada aumentando ou diminuindo o instance_count.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

Obter detalhes do endpoint

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

Use as instruções a seguir para aumentar ou diminuir a implantação ajustando o número de instâncias:

1. Na página Detalhes do ponto final. Encontre o cartão para a implantação azul.
2. Selecione o ícone de edição no cabeçalho do cartão azul da implantação.
3. Altere a contagem de instâncias para 2.
4. Selecione Atualizar.

Crie uma nova implantação chamada green:

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

Como não alocamos explicitamente nenhum tráfego para o green, ele tem zero tráfego alocado a ele. Você pode verificar que usando o comando:

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

Testar a nova implantação

Embora green tenha 0% do tráfego alocado, você pode invocá-lo diretamente especificando o --deployment nome:

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

Se você quiser usar um cliente REST para invocar a implantação diretamente sem passar pelas regras de tráfego, defina o seguinte cabeçalho HTTP: azureml-model-deployment: <deployment-name>. O trecho de código abaixo é usado curl para invocar a implantação diretamente. O trecho de código deve funcionar em ambientes Unix/WSL:

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

Crie uma nova implantação para seu ponto de extremidade online gerenciado e nomeie a implantação greencomo :

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

Testar a nova implantação

Embora green tenha 0% do tráfego alocado, você ainda pode invocar o ponto de extremidade e a implantação com o arquivo json .

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

Crie uma nova implantação para adicionar ao seu ponto de extremidade online gerenciado e nomeie a implantação green.

Na página Detalhes do ponto final

1. Selecione o botão + Adicionar implantação na página "Detalhes" do ponto final.

2. Selecione Implantar um modelo.

3. Selecione Avançar para ir para a página "Modelo" e selecione o modelo modelo-2.

4. Selecione Avançar para ir para a página "Implantação" e executar as seguintes tarefas:

   1. Nomeie a implantação como "verde".
   2. Habilite o diagnóstico e a coleta de dados do Application Insights.

5. Selecione Avançar para ir para a página "Ambiente". Aqui, execute as seguintes etapas:

   • Na caixa "Selecionar arquivo de pontuação e dependências", procure e selecione o \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py arquivo do repositório clonado ou baixado anteriormente.
   • Comece a digitar sklearn na caixa de pesquisa acima da lista de ambientes e selecione o ambiente curado AzureML-sklearn-0.24.

6. Selecione Avançar para ir para a página "Computação". Aqui, mantenha a seleção padrão para a máquina virtual "Standard_DS3_v2" e altere a contagem de instâncias para 1.

7. Selecione Avançar para ir para a página "Tráfego". Aqui, mantenha a alocação de tráfego padrão para as implantações (100% de tráfego para "azul" e 0% de tráfego para "verde").

8. Selecione Avançar para revisar suas configurações de implantação.

   

9. Selecione Criar para criar a implantação.

Como alternativa, você pode usar a página Modelos para adicionar uma implantação:

1. Na barra de navegação esquerda, selecione a página Modelos .
2. Selecione um modelo marcando o círculo ao lado do nome do modelo.
3. Selecione Implantar>ponto de extremidade em tempo real.
4. Escolha implantar em um ponto de extremidade online gerenciado existente.
5. Siga as etapas anteriores 3 a 9 para concluir a criação da implantação verde.

Testar a nova implantação

Embora green tenha 0% do tráfego alocado, você ainda pode invocar o ponto de extremidade e a implantação. Use a guia Teste na página de detalhes do ponto de extremidade para testar sua implantação online gerenciada. Insira a entrada de amostra e visualize os resultados.

1. Selecione a guia Teste na página de detalhes do ponto de extremidade.
2. Selecione a implantação verde no menu suspenso.
3. Copie a entrada de exemplo do arquivo json .
4. Cole a entrada de amostra na caixa de teste.
5. Selecione Teste.

O comando a seguir espelha 10% do tráfego para a green implantação:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

Você pode testar o tráfego espelhado invocando o ponto de extremidade várias vezes sem especificar uma implantação para receber o tráfego de entrada:

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

Você pode confirmar que a porcentagem específica do tráfego foi enviada para a green implantação vendo os logs da implantação:

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

Após o teste, você pode definir o tráfego de espelho como zero para desabilitar o espelhamento:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

O comando a seguir espelha 10% do tráfego para a green implantação:

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

Você pode testar o tráfego espelhado invocando o ponto de extremidade várias vezes sem especificar uma implantação para receber o tráfego de entrada:

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

Você pode confirmar que a porcentagem específica do tráfego foi enviada para a green implantação vendo os logs da implantação:

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

Após o teste, você pode definir o tráfego de espelho como zero para desabilitar o espelhamento:

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

Para espelhar 10% do tráfego para a green implantação:

1. Na página Detalhes do ponto final, selecione Atualizar tráfego.
2. Deslize o botão para Ativar tráfego espelhado.
3. Selecione a implantação verde no menu suspenso "Nome da implantação".
4. Mantenha a alocação de tráfego padrão de 10%.
5. Selecione Atualizar.

A página de detalhes do ponto de extremidade agora mostra a alocação de tráfego espelhado de 10% para a green implantação.

Para testar o tráfego espelhado, consulte as guias CLI ou Python do Azure para invocar o ponto de extremidade várias vezes. Confirme se a porcentagem específica do tráfego foi enviada para a green implantação vendo os logs da implantação. Você pode acessar os logs de implantação na guia Logs de implantação do ponto de extremidade. Você também pode usar métricas e logs para monitorar o desempenho do tráfego espelhado. Para obter mais informações, consulte Monitorar pontos de extremidade online.

Após o teste, você pode desativar o espelhamento:

1. Na página Detalhes do ponto final, selecione Atualizar tráfego.
2. Deslize o botão ao lado de Ativar tráfego espelhado novamente para desativar o tráfego espelhado.
3. Selecione Atualizar.

Depois de testar sua green implantação, aloque uma pequena porcentagem de tráfego para ela:

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

Depois de testar sua green implantação, aloque uma pequena porcentagem de tráfego para ela:

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

Depois de testar sua green implantação, aloque uma pequena porcentagem de tráfego para ela:

1. Na página Detalhes do ponto final, selecione Atualizar tráfego.
2. Ajuste o tráfego de implantação alocando 10% para a implantação verde e 90% para a implantação azul.
3. Selecione Atualizar.

Quando estiver totalmente satisfeito com sua green implantação, alterne todo o tráfego para ela.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

Quando estiver totalmente satisfeito com sua green implantação, alterne todo o tráfego para ela.

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

Quando estiver totalmente satisfeito com sua green implantação, alterne todo o tráfego para ela.

1. Na página Detalhes do ponto final, selecione Atualizar tráfego.
2. Ajuste o tráfego de implantação alocando 100% para a implantação verde e 0% para a implantação azul.
3. Selecione Atualizar.

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. Na página Detalhes do ponto final, localize a implantação azul.
2. Selecione o ícone de exclusão ao lado do nome da implantação.

Se você não vai usar o ponto de extremidade e a implantação, exclua-os. Ao excluir o ponto de extremidade, você também excluirá todas as suas implantações subjacentes.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Se você não vai usar o ponto de extremidade e a implantação, exclua-os. Ao excluir o ponto de extremidade, você também excluirá todas as suas implantações subjacentes.

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

Se você não vai usar o ponto de extremidade e a implantação, exclua-os. Ao excluir o ponto de extremidade, você também excluirá todas as suas implantações subjacentes.

1. Vá para o estúdio do Azure Machine Learning.
2. Na barra de navegação esquerda, selecione a página Pontos de extremidade .
3. Selecione um ponto de extremidade marcando o círculo ao lado do nome do modelo.
4. Selecione Eliminar.

Como alternativa, você pode excluir um ponto de extremidade online gerenciado diretamente selecionando o ícone Excluir na página de detalhes do ponto de extremidade.