Atualizar pontos de extremidade de implantação para SDK v2

Com o SDK/CLI v1, você pode implantar modelos em ACI ou AKS como serviços Web. Suas implantações de modelo v1 e serviços Web existentes continuarão a funcionar como estão, mas usar SDK/CLI v1 para implantar modelos em ACI ou AKS como serviços Web agora é considerado como legado. Para implantações de novos modelos, recomendamos a atualização para v2.

Na v2, oferecemos endpoints gerenciados ou pontos de extremidade Kubernetes. Para obter uma comparação de v1 e v2, consulte Pontos de extremidade e implantação.

Há vários funis de implantação, como pontos de extremidade online gerenciados, pontos de extremidade online do kubernetes (incluindo Serviços Kubernetes do Azure e Kubernetes habilitados para Arc) na v2 e Webservices de Instâncias de Contêiner do Azure (ACI) e Serviços Kubernetes (AKS) na v1. Neste artigo, vamos nos concentrar na comparação da implantação em webservices ACI (v1) e pontos de extremidade online gerenciados (v2).

Exemplos neste artigo mostram como:

• Implantar seu modelo no Azure
• Pontuação usando o endpoint
• Excluir o webservice/endpoint

Criar recursos de inferência

• SDK v1

  1. Configure um modelo, um ambiente e um script de pontuação:

     # configure a model. example for registering a model 
     from azureml.core.model import Model
     model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx")
     
     # configure an environment
     from azureml.core import Environment
     env = Environment(name='myenv')
     python_packages = ['nltk', 'numpy', 'onnxruntime']
     for package in python_packages:
         env.python.conda_dependencies.add_pip_package(package)
     
     # configure an inference configuration with a scoring script
     from azureml.core.model import InferenceConfig
     inference_config = InferenceConfig(
         environment=env,
         source_directory="./source_dir",
         entry_script="./score.py",
     )
     

  2. Configure e implante um serviço Web ACI:

     from azureml.core.webservice import AciWebservice
     
     # defince compute resources for ACI
     deployment_config = AciWebservice.deploy_configuration(
         cpu_cores=0.5, memory_gb=1, auth_enabled=True
     )
     
     # define an ACI webservice
     service = Model.deploy(
         ws,
         "myservice",
         [model],
         inference_config,
         deployment_config,
         overwrite=True,
     )
     
     # create the service 
     service.wait_for_deployment(show_output=True)
     

Para obter mais informações sobre como registrar modelos, consulte Registrar um modelo a partir de um arquivo local.

• SDK v2

  1. Configure um modelo, um ambiente e um script de pontuação:

     from azure.ai.ml.entities import Model
     # configure a model
     model = Model(path="../model-1/model/sklearn_regression_model.pkl")
     
     # configure an environment
     from azure.ai.ml.entities import Environment
     env = Environment(
         conda_file="../model-1/environment/conda.yml",
         image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1",
     )
     
     # configure an inference configuration with a scoring script
     from azure.ai.ml.entities import CodeConfiguration
     code_config = CodeConfiguration(
             code="../model-1/onlinescoring", scoring_script="score.py"
         )
     

  2. Configure e crie um ponto de extremidade online:

     import datetime
     from azure.ai.ml.entities import ManagedOnlineEndpoint
     
     # create a unique endpoint name with current datetime to avoid conflicts
     online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
     
     # define an online endpoint
     endpoint = ManagedOnlineEndpoint(
         name=online_endpoint_name,
         description="this is a sample online endpoint",
         auth_mode="key",
         tags={"foo": "bar"},
     )
     
     # create the endpoint:
     ml_client.begin_create_or_update(endpoint)
     

  3. Configure e crie uma implantação online:

     from azure.ai.ml.entities import ManagedOnlineDeployment
     
     # define a deployment
     blue_deployment = ManagedOnlineDeployment(
         name="blue",
         endpoint_name=online_endpoint_name,
         model=model,
         environment=env,
         code_configuration=code_config,
         instance_type="Standard_F2s_v2",
         instance_count=1,
     )
     
     # create the deployment:
     ml_client.begin_create_or_update(blue_deployment)
     
     # blue deployment takes 100 traffic
     endpoint.traffic = {"blue": 100}
     ml_client.begin_create_or_update(endpoint)
     

Para obter mais informações sobre conceitos para pontos de extremidade e implantações, consulte O que são pontos de extremidade online?

Submeter um pedido

• SDK v1

  import json
  data = {
      "query": "What color is the fox",
      "context": "The quick brown fox jumped over the lazy dog.",
  }
  data = json.dumps(data)
  predictions = service.run(input_data=data)
  print(predictions)
  

• SDK v2

  # test the endpoint (the request will route to blue deployment as set above)
  ml_client.online_endpoints.invoke(
      endpoint_name=online_endpoint_name,
      request_file="../model-1/sample-request.json",
  )
  
  # test the specific (blue) deployment
  ml_client.online_endpoints.invoke(
      endpoint_name=online_endpoint_name,
      deployment_name="blue",
      request_file="../model-1/sample-request.json",
  )
  

Eliminar recursos

• SDK v1

  service.delete()
  

• SDK v2

  ml_client.online_endpoints.begin_delete(name=online_endpoint_name)
  

Mapeamento das principais funcionalidades no SDK v1 e SDK v2

Documentos relacionados

Para obter mais informações, consulte,

v2 documentos:

• O que são pontos finais?
• Implante modelos de aprendizado de máquina em endpoint online gerenciado usando o Python SDK v2

v1 documentos:

• MLOps: Gerenciamento de modelo de ML v1
• Implantar modelos de aprendizado de máquina