CLI (v2) schemalägger YAML-schema för modellövervakning (förhandsversion)

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML-syntaxen som beskrivs i det här dokumentet baseras på JSON-schemat för den senaste versionen av ML CLI v2-tillägget. Den här syntaxen är garanterad att endast fungera med den senaste versionen av ML CLI v2-tillägget. Det omfattande JSON-schemat kan visas på https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Du hittar scheman för äldre tilläggsversioner på https://azuremlschemasprod.azureedge.net/.

YAML-syntax

Utlösarkonfiguration

Återkomstutlösare

Återkommande schema

Upprepningsschemat definierar upprepningsmönstret som innehåller hours, minutesoch weekdays.

• När frekvensen är daykan mönstret ange hours och minutes.
• När frekvensen är week och monthkan mönstret ange hours, minutes och weekdays.

CronTrigger

Övervaka definition

Övervakningssignaler

Dataavvikelse

När de data som används för att träna modellen utvecklas i produktion kan fördelningen av data skifta, vilket resulterar i ett matchningsfel mellan träningsdata och verkliga data som modellen används för att förutsäga. Dataavvikelse är ett fenomen som inträffar inom maskininlärning när de statistiska egenskaperna för indata som används för att träna modellen ändras över tid.

Förutsägelseavvikelse

Förutsägelseavvikelse spårar ändringar i fördelningen av en modells förutsägelseutdata genom att jämföra den med validerings- eller testetiketterade data eller senaste tidigare produktionsdata.

Datakvalitet

Datakvalitetssignal spårar datakvalitetsproblem i produktionen genom att jämföra med träningsdata eller tidigare produktionsdata.

Funktionsatributionsavvikelse (förhandsversion)

Funktionstilldelningen för en modell kan ändras över tid på grund av ändringar i fördelningen av data, ändringar i relationerna mellan funktioner eller ändringar i det underliggande problemet som löses. Funktionstillskrivningsavvikelse är ett fenomen som inträffar i maskininlärningsmodeller när funktionernas betydelse eller bidrag till förutsägelseutdata ändras över tid.

Anpassad övervakningssignal

Anpassad övervakningssignal via en anpassad Azure Mašinsko učenje-komponent.

Modellprestanda (förhandsversion)

Modellprestanda spårar den objektiva prestandan för en modells utdata i produktionen genom att jämföra den med insamlade mark sanningsdata.

Kommentarer

Kommandot az ml schedule kan användas för att hantera Azure Mašinsko učenje-modeller.

Exempel

Övervakning av CLI-exempel är tillgängliga i GitHub-exempellagringsplatsen. Ett par är följande:

YAML: Out-of-box monitor

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Avancerad övervakare

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Bilaga

Tidszon

Aktuellt schema stöder följande tidszoner. Nyckeln kan användas direkt i Python SDK, medan värdet kan användas i YAML-jobbet. Tabellen ordnas efter UTC(Coordinated Universal Time).