Övervaka prestanda för modeller som distribuerats till produktion

Innan du följer stegen i den här artikeln kontrollerar du att du har följande förutsättningar:

• Azure CLI och ml tillägget till Azure CLI. Mer information finns i Installera, konfigurera och använda CLI (v2).

  Viktigt!

  CLI-exemplen i den här artikeln förutsätter att du använder Bash-gränssnittet (eller det kompatibla). Till exempel från ett Linux-system eller Windows podsistem za Linux.

• En Azure Machine Learning-arbetsyta. Om du inte har någon använder du stegen i Installera, konfigurera och använda CLI (v2) för att skapa en.

Innan du följer stegen i den här artikeln kontrollerar du att du har följande förutsättningar:

• En Azure Machine Learning-arbetsyta. Om du inte har någon använder du stegen i artikeln Snabbstart: Skapa arbetsyteresurser för att skapa en.

• Om du vill installera Python SDK v2 använder du följande kommando:

  pip install azure-ai-ml azure-identity
  

  Om du vill uppdatera en befintlig installation av SDK:et till den senaste versionen använder du följande kommando:

  pip install --upgrade azure-ai-ml azure-identity
  

  Mer information finns i Installera Python SDK v2 för Azure Mašinsko učenje.

Innan du följer stegen i den här artikeln kontrollerar du att du har följande förutsättningar:

• En Azure-prenumeration. Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar. Prova den kostnadsfria eller betalda versionen av Azure Mašinsko učenje.

• En Azure Mašinsko učenje-arbetsyta och en beräkningsinstans. Om du inte har dessa resurser använder du stegen i artikeln Snabbstart: Skapa arbetsyteresurser för att skapa dem.

Azure Mašinsko učenje modellövervakning används az ml schedule för att schemalägga ett övervakningsjobb. Du kan skapa den färdiga modellövervakaren med följande CLI-kommando och YAML-definition:

az ml schedule create -f ./out-of-box-monitoring.yaml

Följande YAML innehåller definitionen för övervakning av färdiga modeller.

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

Du kan använda följande kod för att konfigurera den färdiga modellövervakningen:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

1. Gå till Azure Mašinsko učenje Studio.

2. Gå till din arbetsyta.

3. Välj Övervakning i avsnittet Hantera

4. Markera Lägga till.

   

5. På sidan Grundläggande inställningar använder du (Valfritt) Välj modell för att välja den modell som ska övervakas.

6. Listrutan (Valfritt) Välj distribution med datainsamling aktiverat bör fyllas i automatiskt om modellen distribueras till en Azure Mašinsko učenje onlineslutpunkt. Välj distributionen i listrutan.

7. Välj de träningsdata som ska användas som jämförelsereferens i rutan (Valfritt) Välj träningsdata .

8. Ange ett namn för övervakningen i Övervakningsnamn eller behåll standardnamnet.

9. Observera att storleken på den virtuella datorn redan har valts åt dig.

10. Välj din Tidszon.

11. Välj Schemaläggning av återkommande eller Cron-uttryck .

12. För schemaläggning av upprepningar anger du upprepningsfrekvens, dag och tid. För schemaläggning av Cron-uttryck anger du ett cron-uttryck för övervakningskörning.

    

13. Välj Nästa för att gå till avsnittet Avancerade inställningar .

14. Välj Nästa på sidan Konfigurera datatillgång för att behålla standarddatauppsättningarna.

15. Välj Nästa för att gå till sidan Välj övervakningssignaler .

16. Välj Nästa för att gå till sidan Meddelanden . Lägg till din e-post för att ta emot e-postaviseringar.

17. Granska övervakningsinformationen och välj Skapa för att skapa övervakaren.

Skapa en avancerad modellövervakningskonfiguration med följande CLI-kommando och YAML-definition:

az ml schedule create -f ./advanced-model-monitoring.yaml

Följande YAML innehåller definitionen för avancerad modellövervakning.

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Använd följande kod för konfiguration av avancerad modellövervakning:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify the online deployment (if you have one)
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)

# specify a lookback window size and offset, or omit this to use the defaults, which are specified in the documentation
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_inputs:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-default-reference:1"
    ),
    data_column_names={
        "target_column":"DEFAULT_NEXT_MONTH"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)

# create an advanced prediction drift signal
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds
)

# create an advanced data quality signal
features = ['SEX', 'EDUCATION', 'AGE']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# create feature attribution drift signal
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# specify the frequency on which to run your monitor
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create your monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Så här konfigurerar du avancerad övervakning:

1. Slutför hela på sidan Grundläggande inställningar enligt beskrivningen tidigare i avsnittet Konfigurera övervakning av färdiga modeller .

2. Välj Nästa för att öppna sidan Konfigurera datatillgång i avsnittet Avancerade inställningar .

3. Lägg till en datauppsättning som ska användas som referensdatauppsättning. Vi rekommenderar att du använder modellträningsdata som jämförelsereferensdatauppsättning för dataavvikelse och datakvalitet. Använd även modellverifieringsdata som jämförelsereferensdatauppsättning för förutsägelseavvikelse.

   

4. Välj Nästa för att gå till sidan Välj övervakningssignaler . På den här sidan ser du några övervakningssignaler som redan har lagts till (om du valde en Azure Mašinsko učenje onlinedistribution tidigare). Signalerna (dataavvikelse, förutsägelseavvikelse och datakvalitet) använder senaste, tidigare produktionsdata som jämförelsereferensdatauppsättning och använder smarta standardvärden för mått och tröskelvärden.

   

5. Välj Redigera bredvid dataavvikelsesignalen.

6. Konfigurera dataavvikelsen i fönstret Redigera signal enligt följande:

   1. I steg 1 väljer du datauppsättningen för datauppsättningen för produktionsdata. Gör också följande val:
      • Välj önskad storlek på tillbakablicksfönstret.
   2. I steg 2 väljer du din träningsdatauppsättning för referensdatatillgången. Gör också följande val:
      • Välj kolumnen mål (utdata).
   3. I steg 3 väljer du för att övervaka drift för de viktigaste N-funktionerna eller övervaka driften för en specifik uppsättning funktioner.
   4. I steg 4 väljer du önskat mått och tröskelvärden som ska användas för numeriska funktioner.
   5. I steg 5 väljer du önskat mått och tröskelvärden som ska användas för kategoriska funktioner.

   

7. Välj Spara för att återgå till sidan Välj övervakningssignaler .

8. Välj Lägg till för att öppna fönstret Redigera signal .

9. Välj Funktionsttributionsavvikelse (förhandsversion) för att konfigurera funktionstillskrivningssignalen enligt följande:

   1. I steg 1 väljer du den produktionsdatatillgång som har dina modellindata
      • Välj också önskad storlek på tillbakablicksfönstret.
   2. I steg 2 väljer du den produktionsdatatillgång som har dina modellutdata.
      • Välj också den gemensamma kolumnen mellan dessa datatillgångar som de ska kopplas till. Om data samlades in med datainsamlaren är correlationidden gemensamma kolumnen .
   3. (Valfritt) Om du använde datainsamlaren för att samla in data som redan har dina modellindata och utdata anslutna väljer du den anslutna datamängden som din produktionsdatatillgång (i steg 1)
      • Ta också bort steg 2 i konfigurationspanelen.
   4. I steg 3 väljer du din träningsdatauppsättning som ska användas som referensdatauppsättning.
      • Välj också kolumnen mål (utdata) för din träningsdatauppsättning.
   5. I steg 4 väljer du önskat mått och tröskelvärde.

   

10. Välj Spara för att återgå till sidan Välj övervakningssignaler .

    

11. När du är klar med konfigurationen av övervakningssignaler väljer du Nästa för att gå till sidan Meddelanden .

12. På sidan Meddelanden aktiverar du aviseringsmeddelanden för varje signal och väljer Nästa.

13. Granska inställningarna på sidan Granska övervakningsinställningar .

    

14. Välj Skapa för att skapa den avancerade modellövervakaren.

När du har uppfyllt kraven för övervakning av modellprestanda kan du konfigurera modellövervakning med följande CLI-kommando och YAML-definition:

az ml schedule create -f ./model-performance-monitoring.yaml

Följande YAML innehåller definitionen för modellövervakning med produktionsinferensdata som du har samlat in.

$schema:  http://azureml/sdk-2-0/Schedule.json
name: model_performance_monitoring
display_name: Credit card fraud model performance
description: Credit card fraud model performance

trigger:
  type: recurrence
  frequency: day
  interval: 7 
  schedule: 
    hours: 10
    minutes: 15
  
create_monitor:
  compute: 
    instance_type: standard_e8s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment

  monitoring_signals:
    fraud_detection_model_performance: 
      type: model_performance 
      production_data:
        data_column_names:
          prediction: is_fraud
          correlation_id: correlation_id
      reference_data:
        input_data:
          path: azureml:my_model_ground_truth_data:1
          type: mltable
        data_column_names:
          actual: is_fraud
          correlation_id: correlation_id
        data_context: actuals
      alert_enabled: true
      metric_thresholds: 
        tabular_classification:
          accuracy: 0.95
          precision: 0.8
  alert_notification: 
      emails: 
        - abc@example.com

När du har uppfyllt kraven för övervakning av modellprestanda kan du konfigurera modellövervakning med följande Python-kod:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# reference your azureml endpoint and deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# MDC-generated production data with data column names 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_outputs:1"
    ),
    data_column_names={
        "target_column": "DEFAULT_NEXT_MONTH",
        "join_column": "correlationid"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# ground truth reference data 
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-ground-truth:1"
    ),
    data_column_names={
        "target_column": "ground_truth",
        "join_column": "correlationid"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# create the model performance signal
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'model_performance':model_performance,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Så här konfigurerar du modellprestandaövervakning:

1. Slutför posterna på sidan Grundläggande inställningar enligt beskrivningen tidigare i avsnittet Konfigurera övervakning av färdiga modeller .

2. Välj Nästa för att öppna sidan Konfigurera datatillgång i avsnittet Avancerade inställningar .

3. Välj + Lägg till för att lägga till en datauppsättning som ska användas som datauppsättning för grundsanning.

   Se till att din modell matar ut datamängden också ingår i listan över tillagda datauppsättningar. Den datauppsättning för grundsanning som du lägger till bör ha en unik ID-kolumn. Värdena i den unika ID-kolumnen för både den grundläggande sanningsdatauppsättningen och modellen som matar ut datamängden måste matcha för att båda datauppsättningarna ska kunna kopplas samman före måttberäkning.

   

   

4. Välj Nästa för att gå till sidan Välj övervakningssignaler . På den här sidan ser du några övervakningssignaler som redan har lagts till (om du valde en Azure-Mašinsko učenje onlinedistribution tidigare).

5. Ta bort befintliga övervakningssignaler på sidan eftersom du bara är intresserad av att skapa en modellprestandaövervakningssignal.

6. Välj Lägg till för att öppna fönstret Redigera signal .

7. Välj Modellprestanda (förhandsversion) för att konfigurera modellens prestandasignal enligt följande:

   1. I steg 1 för produktionsdatatillgången väljer du din modell som matar ut datauppsättningen. Gör också följande val:
      • Välj lämplig målkolumn (till exempel is_fraud).
      • Välj önskad lookback-fönsterstorlek och förskjutning av återblicksfönster.
   2. För referensdatatillgången i steg 2 väljer du den datatillgång för grundsanning som du lade till tidigare. Gör också följande val:
      • Välj lämplig målkolumn.
      • Välj den kolumn där du vill utföra kopplingen med modellens utdatauppsättning. Kolumnen som används för kopplingen ska vara den kolumn som är gemensam mellan de två datauppsättningarna och som har ett unikt ID för varje rad i datamängden (till exempel correlationid).
   3. I steg 3 väljer du önskade prestandamått och anger sina respektive tröskelvärden.

   

8. Välj Spara för att återgå till sidan Välj övervakningssignaler .

   

9. Välj Nästa för att gå till sidan Meddelanden .

10. På sidan Meddelanden aktiverar du aviseringsmeddelande för modellens prestandasignal och väljer Nästa.

11. Granska inställningarna på sidan Granska övervakningsinställningar .

    

12. Välj Skapa för att skapa modellens prestandaövervakare.

När du har uppfyllt de tidigare kraven kan du konfigurera modellövervakning med följande CLI-kommando och YAML-definition:

az ml schedule create -f ./model-monitoring-with-collected-data.yaml

Följande YAML innehåller definitionen för modellövervakning med produktionsinferensdata som du har samlat in.

# model-monitoring-with-collected-data.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with your own production data

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:
  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
  
  monitoring_signals:

    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_inputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_training_data:1 # use training data as comparison baseline
          type: mltable
        data_context: training
        data_column_names:
          target_column: is_fraud
      features: 
        top_n_feature_importance: 20 # monitor drift for top 20 features
      metric_thresholds:
        numberical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02

    advanced_prediction_drift: # monitoring signal name, any user defined name works
      type: prediction_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_outputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
          type: mltable
        data_context: validation
      metric_thresholds:
        categorical:
          pearsons_chi_squared_test: 0.02
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

När du har uppfyllt de tidigare kraven kan du konfigurera modellövervakning med följande Python-kod:

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.2"
)

#define target dataset (production dataset)
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:my_model_production_data:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:production_data_preprocessing:1"
)


# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:my_model_training_data:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)


# create an advanced data quality signal
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled="False"
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Studion stöder för närvarande inte konfiguration av övervakning för modeller som distribueras utanför Azure Mašinsko učenje. Se flikarna Azure CLI eller Python SDK i stället.

När du har konfigurerat bildskärmen med CLI eller SDK kan du visa övervakningsresultaten i studion. Mer information om hur du tolkar övervakningsresultat finns i Tolka övervakningsresultat.

När du har uppfyllt kraven för att använda anpassade signaler och mått kan du konfigurera modellövervakning med följande CLI-kommando och YAML-definition:

az ml schedule create -f ./custom-monitoring.yaml

Följande YAML innehåller definitionen för modellövervakning med en anpassad signal. Några saker att märka om koden:

• Det förutsätter att du redan har skapat och registrerat din komponent med den anpassade signaldefinitionen i Azure Mašinsko učenje.
• Den component_id registrerade anpassade signalkomponenten är azureml:my_custom_signal:1.0.0.
• Om du har samlat in dina data med datainsamlaren kan du utelämna egenskapenpre_processing_component. Om du vill använda en förbearbetningskomponent för att förbearbeta produktionsdata som inte samlas in av datainsamlaren kan du ange dem.

# custom-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: my-custom-signal
trigger:
  type: recurrence
  frequency: day # can be minute, hour, day, week, month
  interval: 7 # #every day
create_monitor:
  compute:
    instance_type: "standard_e4s_v3"
    runtime_version: "3.3"
  monitoring_signals:
    customSignal:
      type: custom
      component_id: azureml:my_custom_signal:1.0.0
      input_data:
        production_data:
          input_data:
            type: uri_folder
            path: azureml:my_production_data:1
          data_context: test
          data_window:
            lookback_window_size: P30D
            lookback_window_offset: P7D
          pre_processing_component: azureml:custom_preprocessor:1.0.0
      metric_thresholds:
        - metric_name: std_deviation
          threshold: 2
  alert_notification:
    emails:
      - abc@example.com

Python SDK stöder för närvarande inte övervakning av anpassade signaler. Se fliken Azure CLI i stället.

Studion stöder för närvarande inte övervakning av anpassade signaler. Se fliken Azure CLI i stället.