モデル監視用の CLI (v2) スケジュール YAML スキーマ (プレビュー)

適用対象: Azure CLI ml 拡張機能 v2 (現行)

このドキュメントで詳しく説明されている YAML 構文は、最新バージョンの ML CLI v2 拡張機能の JSON スキーマに基づいています。 この構文は、ML CLI v2 拡張機能の最新バージョンでのみ動作することが保証されています。 包括的な JSON スキーマは、 https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.jsonで表示できます。 以前のバージョンの拡張機能のスキーマについては、https://azuremlschemasprod.azureedge.net/ でご確認いただけます。

YAML 構文

トリガーの構成

Recurrence トリガー

繰り返しスケジュール

繰り返しスケジュールは、hours、minutes、weekdays などの繰り返しパターンを定義します。

• 頻度が day の場合、パターンで hours と minutes を指定できます。
• 頻度が week と month の場合、パターンで hours、minutes、weekdays を指定できます。

CronTrigger

モニターの定義

監視シグナル

データ ドリフト

モデルのトレーニングに使われるデータが運用環境で進化すると、データの分布が変化し、トレーニング データとモデルが予測に使われる実際のデータとの間に、不一致が発生する可能性があります。 データ ドリフトは、モデルのトレーニングに使われる入力データの統計プロパティが時間経過によって変化したときに、機械学習で発生する現象です。

予測ドリフト

予測ドリフトは、検証またはテスト ラベル付きデータまたは最近の運用データと比較することによって、モデルの予測出力の分布の変化を追跡します。

データ品質

データ品質シグナルは、トレーニング データまたは最近の運用データと比較することで、運用環境のデータ品質の問題を追跡します。

特徴量属性ドリフト (プレビュー)

データの分布の変化、特徴量間の関係の変化、または基になる解決対象の問題の変化により、モデルの特徴量属性が時間の経過と共に変化する可能性があります。 特徴量属性ドリフトは、予測出力に対する特徴量の重要性または寄与が時間の経過と共に変化したときに、機械学習モデルで発生する現象です。

カスタム監視信号

カスタム Azure Machine Learning コンポーネントを介したカスタム監視シグナル。

モデルのパフォーマンス (プレビュー)

モデルのパフォーマンスは、運用環境でのモデルの出力を収集されたグラウンド トゥルース データと比較して、客観的なパフォーマンスを追跡します。

解説

az ml schedule コマンドは、Azure Machine Learning モデルを管理するために使用できます。

例

監視 CLI の例は、 サンプル GitHub リポジトリで入手できます。 次に 2 つ示しておきます。

YAML: すぐに使用可能なモニター

適用対象: Azure CLI ml 拡張機能 v2 (現行)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: 高度なモニター

適用対象: Azure CLI ml 拡張機能 v2 (現行)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

付録

タイム ゾーン

現在のスケジュールでは、次のタイムゾーンがサポートされています。 キーは Python SDK で直接使用できますが、値は YAML ジョブで使用できます。 テーブルは UTC (協定世界時) で編成されています。