Dataavvikelsen (förhandsversion) dras tillbaka och ersätts av Modellövervakaren

Dataavvikelse (förhandsversion) tas ur bruk den 2025-09-01 och du kan börja använda Modellövervakaren för dina dataavvikelseuppgifter. Kontrollera innehållet nedan för att förstå ersättning, funktionsluckor och manuella ändringssteg.

GÄLLER FÖR: Python SDK azureml v1

Lär dig hur du övervakar dataavvikelser och anger aviseringar när driften är hög.

Med Azure Machine Learning-datauppsättningsövervakare (förhandsversion) kan du:

• Analysera driften i dina data för att förstå hur de ändras över tid.
• Övervaka modelldata för skillnader mellan tränings- och serveringsdatauppsättningar. Börja med att samla in modelldata från distribuerade modeller.
• Övervaka nya data för skillnader mellan valfri baslinje och måldatauppsättning.
• Profilera funktioner i data för att spåra hur statistiska egenskaper ändras över tid.
• Konfigurera aviseringar om dataavvikelser för tidiga varningar om potentiella problem.
• Skapa en ny datamängdsversion när du fastställer att data har drivit för mycket.

En Azure Machine Learning-datauppsättning används för att skapa övervakaren. Datamängden måste innehålla en tidsstämpelkolumn.

Du kan visa dataavvikelsemått med Python SDK eller i Azure Machine Learning-studio. Andra mått och insikter är tillgängliga via Azure Application Insights-resursen som är associerad med Azure Machine Learning-arbetsytan.

Förutsättningar

Om du vill skapa och arbeta med datauppsättningsövervakare behöver du:

• En Azure-prenumeration. Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar. Prova den kostnadsfria eller betalda versionen av Azure Machine Learning idag.
• En Azure Machine Learning-arbetsyta.
• Azure Machine Learning SDK för Python installerat, som innehåller paketet azureml-datasets.
• Strukturerade data (tabell) med en tidsstämpel som anges i filsökvägen, filnamnet eller kolumnen i data.

Krav (Migrera till modellövervakaren)

När du migrerar till Modellövervakaren kontrollerar du kraven enligt vad som anges i den här artikeln Krav för övervakning av Azure Machine Learning-modell.

Vad är dataavvikelse?

Modellnoggrannheten försämras med tiden, till stor del på grund av dataavvikelser. För maskininlärningsmodeller är dataavvikelse den förändring i modellindata som leder till försämrad modellprestanda. Övervakning av dataavvikelser hjälper till att identifiera dessa modellprestandaproblem.

Orsaker till dataavvikelse är:

• Överordnad process ändras, till exempel en sensor som ersätts som ändrar måttenheterna från tum till centimeter.
• Problem med datakvalitet, till exempel att en trasig sensor alltid läser 0.
• Naturlig drift i data, till exempel genomsnittlig temperatur som ändras med årstiderna.
• Ändra i relation mellan funktioner eller samvariera skift.

Azure Machine Learning förenklar avvikelseidentifiering genom att beräkna ett enda mått som abstraherar komplexiteten i de datauppsättningar som jämförs. Dessa datauppsättningar kan ha hundratals funktioner och tiotusentals rader. När driften har identifierats ökar du detaljnivån för vilka funktioner som orsakar driften. Sedan inspekterar du mått på funktionsnivå för att felsöka och isolera rotorsaken till driften.

Den här metoden gör det enkelt att övervaka data i stället för traditionella regelbaserade tekniker. Regelbaserade tekniker som tillåtet dataintervall eller tillåtna unika värden kan vara tidskrävande och felbenägna.

I Azure Machine Learning använder du datauppsättningsövervakare för att identifiera och varna för dataavvikelser.

Datauppsättningsövervakare

Med en datamängdsövervakare kan du:

• Identifiera och varna för dataavvikelser på nya data i en datauppsättning.
• Analysera historiska data för drift.
• Profilera nya data över tid.

Algoritmen för dataavvikelse ger ett övergripande mått på ändringar i data och anger vilka funktioner som är ansvariga för ytterligare undersökning. Datamängdsövervakare producerar många andra mått genom att profilera nya data i datamängden timeseries .

Anpassade aviseringar kan konfigureras för alla mått som genereras av övervakaren via Azure Application Insights. Datamängdsövervakare kan användas för att snabbt fånga upp dataproblem och minska tiden för att felsöka problemet genom att identifiera troliga orsaker.

Konceptuellt finns det tre primära scenarier för att konfigurera datauppsättningsövervakare i Azure Machine Learning.

Övervakare av datauppsättningar beror på följande Azure-tjänster.

Baslinje- och måldatauppsättningar

Du övervakar Azure Machine Learning-datauppsättningar för dataavvikelse. När du skapar en datamängdsövervakare refererar du till din:

• Baslinjedatauppsättning – vanligtvis träningsdatauppsättningen för en modell.
• Måldatauppsättningen – vanligtvis modellindata – jämförs över tid med din baslinjedatauppsättning. Den här jämförelsen innebär att måldatauppsättningen måste ha en angiven tidsstämpelkolumn.

Övervakaren jämför baslinje- och måldatauppsättningarna.

Migrera till modellövervakaren

I Modellövervakaren hittar du motsvarande begrepp enligt följande, och du hittar mer information i den här artikeln Konfigurera modellövervakning genom att hämta dina produktionsdata till Azure Machine Learning:

• Referensdatauppsättning: liknar din baslinjedatauppsättning för dataavvikelseidentifiering, den anges som den senaste datauppsättningen för produktionsinferens.
• Produktionsinferensdata: på samma sätt som din måldatauppsättning i identifiering av dataavvikelse kan produktionsinferensdata samlas in automatiskt från modeller som distribueras i produktion. Det kan också vara slutsatsdragningsdata som du lagrar.

Skapa måldatauppsättning

Måldatauppsättningen behöver den timeseries egenskap som angetts på den genom att ange tidsstämpelkolumnen antingen från en kolumn i data eller en virtuell kolumn som härletts från sökvägsmönstret för filerna. Skapa datauppsättningen med en tidsstämpel via Python SDK eller Azure Machine Learning-studio. En kolumn som representerar en "tidsstämpel" måste anges för att lägga timeseries till ett drag i datauppsättningen. Om dina data partitioneras i mappstrukturen med tidsinformation, till exempel {åååå/MM/dd}, skapar du en virtuell kolumn via sökvägsmönsterinställningen och anger den som "partitionstidsstämpeln" för att aktivera api-funktioner för tidsserier.

from azureml.core import Workspace, Dataset, Datastore

# get workspace object
ws = Workspace.from_config()

# get datastore object
dstore = Datastore.get(ws, 'your datastore name')

# specify datastore paths
dstore_paths = [(dstore, 'weather/*/*/*/*/data.parquet')]

# specify partition format
partition_format = 'weather/{state}/{date:yyyy/MM/dd}/data.parquet'

# create the Tabular dataset with 'state' and 'date' as virtual columns
dset = Dataset.Tabular.from_parquet_files(path=dstore_paths, partition_format=partition_format)

# assign the timestamp attribute to a real or virtual column in the dataset
dset = dset.with_timestamp_columns('date')

# register the dataset as the target dataset
dset = dset.register(ws, 'target')

Skapa datamängdsövervakare

Skapa en datamängdsövervakare för att identifiera och varna för dataavvikelser på en ny datauppsättning. Använd antingen Python SDK eller Azure Machine Learning-studio.

Som beskrivs senare körs en datamängdsövervakare med en angiven frekvens (dagligen, varje vecka, varje månad) intervall. Den analyserar nya data som är tillgängliga i måldatauppsättningen sedan den senaste körningen. I vissa fall räcker det kanske inte med en sådan analys av de senaste uppgifterna:

• De nya data från den överordnade källan försenades på grund av en trasig datapipeline och dessa nya data var inte tillgängliga när datamängdsövervakaren kördes.
• En tidsseriedatauppsättning hade endast historiska data och du vill analysera driftmönster i datauppsättningen över tid. Till exempel: jämför trafik som flödar till en webbplats, under både vinter- och sommarsäsonger, för att identifiera säsongsmönster.
• Datauppsättningsövervakare har inte använts tidigare. Du vill utvärdera hur funktionen fungerar med dina befintliga data innan du konfigurerar den för att övervaka framtida dagar. I sådana scenarier kan du skicka en körning på begäran, med ett specifikt datumintervall för måldatauppsättningen, för att jämföra med baslinjedatauppsättningen.

Funktionen för återfyllnad kör ett återfyllnadsjobb för ett angivet start- och slutdatumintervall. Ett återfyllnadsjobb fyller i förväntade saknade datapunkter i en datauppsättning som ett sätt att säkerställa datanoggrannhet och fullständighet.

from azureml.core import Workspace, Dataset
from azureml.datadrift import DataDriftDetector
from datetime import datetime

# get the workspace object
ws = Workspace.from_config()

# get the target dataset
target = Dataset.get_by_name(ws, 'target')

# set the baseline dataset
baseline = target.time_before(datetime(2019, 2, 1))

# set up feature list
features = ['latitude', 'longitude', 'elevation', 'windAngle', 'windSpeed', 'temperature', 'snowDepth', 'stationName', 'countryOrRegion']

# set up data drift detector
monitor = DataDriftDetector.create_from_datasets(ws, 'drift-monitor', baseline, target,
                                                      compute_target='cpu-cluster',
                                                      frequency='Week',
                                                      feature_list=None,
                                                      drift_threshold=.6,
                                                      latency=24)

# get data drift detector by name
monitor = DataDriftDetector.get_by_name(ws, 'drift-monitor')

# update data drift detector
monitor = monitor.update(feature_list=features)

# run a backfill for January through May
backfill1 = monitor.backfill(datetime(2019, 1, 1), datetime(2019, 5, 1))

# run a backfill for May through today
backfill1 = monitor.backfill(datetime(2019, 5, 1), datetime.today())

# disable the pipeline schedule for the data drift detector
monitor = monitor.disable_schedule()

# enable the pipeline schedule for the data drift detector
monitor = monitor.enable_schedule()

Skapa modellövervakare (Migrera till modellövervakare)

När du migrerar till Model Monitor, om du har distribuerat din modell till produktion i en Azure Machine Learning-slutpunkt online och aktiverat datainsamling vid distributionen, samlar Azure Machine Learning in produktionsinferensdata och lagrar dem automatiskt i Microsoft Azure Blob Storage. Du kan sedan använda Azure Machine Learning-modellövervakning för att kontinuerligt övervaka dessa produktionsinferensdata, och du kan välja modellen direkt för att skapa måldatauppsättningen (produktionsinferensdata i Model Monitor).

Om du migrerar till Model Monitor, om du inte distribuerade din modell till produktion i en Azure Machine Learning-slutpunkt online, eller om du inte vill använda datainsamling, kan du också konfigurera modellövervakning med anpassade signaler och mått.

Följande avsnitt innehåller mer information om hur du migrerar till Modellövervakaren.

Skapa modellövervakaren via automatiskt insamlade produktionsdata (Migrera till modellövervakaren)

Om du har distribuerat din modell till produktion i en Azure Machine Learning-slutpunkt online och aktiverat datainsamling vid distributionstillfället.

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

az ml schedule create -f ./out-of-box-monitoring.yaml

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

Skapa modellövervakaren via komponenten för förbearbetning av anpassade data (Migrera till modellövervakaren)

Om du migrerar till Model Monitor, om du inte distribuerade din modell till produktion i en Azure Machine Learning-slutpunkt online, eller om du inte vill använda datainsamling, kan du också konfigurera modellövervakning med anpassade signaler och mått.

Om du inte har någon distribution, men du har produktionsdata, kan du använda data för att utföra kontinuerlig modellövervakning. Om du vill övervaka dessa modeller måste du kunna:

• Samla in produktionsinferensdata från modeller som distribuerats i produktion.
• Registrera produktionsinferensdata som en Azure Machine Learning-datatillgång och se till att data uppdateras kontinuerligt.
• Ange en komponent för förbearbetning av anpassade data och registrera den som en Azure Machine Learning-komponent.

Du måste ange en komponent för förbearbetning av anpassade data om dina data inte samlas in med datainsamlaren. Utan den här komponenten för förbearbetning av anpassade data vet inte Azure Machine Learning-modellövervakningssystemet hur du bearbetar dina data i tabellformat med stöd för tidsfönster.

Din anpassade förbearbetningskomponent måste ha dessa indata- och utdatasignaturer:

Ett exempel på en komponent för förbearbetning av anpassade data finns i custom_preprocessing i GitHub-lagringsplatsen azuremml-examples.

Förstå dataavvikelseresultat

Det här avsnittet visar resultatet av övervakningen av en datamängd som finns på sidan Datauppsättningsdatauppsättningsövervakare / i Azure Studio. Du kan uppdatera inställningarna och analysera befintliga data under en viss tidsperiod på den här sidan.

Börja med insikter på den översta nivån om dataavvikelsens omfattning och en markering av funktioner som ska undersökas ytterligare.

Trend för driftst magnitude

Se hur datamängden skiljer sig från måldatauppsättningen under den angivna tidsperioden. Ju närmare 100 %, desto mer skiljer sig de två datauppsättningarna åt.

Driftsstorlek efter funktioner

Det här avsnittet innehåller insikter på funktionsnivå om ändringen i den valda funktionens distribution och annan statistik över tid.

Måldatauppsättningen profileras också över tid. Det statistiska avståndet mellan baslinjefördelningen för varje funktion jämförs med måldatauppsättningens över tid. Konceptuellt liknar detta dataavvikelsens storlek. Det här statistiska avståndet gäller dock för en enskild funktion snarare än för alla funktioner. Min, max och medelvärde är också tillgängliga.

I Azure Machine Learning-studio väljer du ett fält i diagrammet för att se information på funktionsnivå för det datumet. Som standard ser du baslinjedatauppsättningens distribution och det senaste jobbets distribution av samma funktion.

Dessa mått kan också hämtas i Python SDK via get_metrics() metoden för ett DataDriftDetector objekt.

Information om funktionen

Rulla slutligen ned för att visa information för varje enskild funktion. Använd listrutorna ovanför diagrammet för att välja funktionen och välj dessutom det mått som du vill visa.

Mått i diagrammet beror på typen av funktion.

• Numeriska funktioner

  Mätvärde	Beskrivning
  Wasserstein avstånd	Minsta mängd arbete för att omvandla baslinjedistributionen till målfördelningen.
  Medelvärde	Genomsnittligt värde för funktionen.
  Minvärde	Minsta värde för funktionen.
  Maxvärde	Maximalt värde för funktionen.

• Kategoriska funktioner

  Mätvärde	Beskrivning
  Euklidiskt avstånd	Beräknas för kategoriska kolumner. Euklidiskt avstånd beräknas på två vektorer som genereras från empirisk fördelning av samma kategoriska kolumn från två datamängder. 0 anger ingen skillnad i de empiriska fördelningarna. Ju mer den avviker från 0, desto mer har den här kolumnen drivits. Trender kan observeras från ett tidsseriediagram för det här måttet och kan vara till hjälp när du ska upptäcka en drifting-funktion.
  Unika värden	Antal unika värden (kardinalitet) för funktionen.

I det här diagrammet väljer du ett enda datum för att jämföra funktionsfördelningen mellan målet och det här datumet för den aktuella funktionen. För numeriska funktioner visar detta två sannolikhetsfördelningar. Om funktionen är numerisk visas ett stapeldiagram.

Mått, aviseringar och händelser

Mått kan efterfrågas i Azure Application Insights-resursen som är associerad med din maskininlärningsarbetsyta. Du har åtkomst till alla funktioner i Application Insights, inklusive konfiguration för anpassade aviseringsregler och åtgärdsgrupper för att utlösa en åtgärd, till exempel e-post/SMS/push/röst eller Azure-funktion. Mer information finns i den fullständiga Application Insights-dokumentationen.

Kom igång genom att gå till Azure Portal och välja arbetsytans översiktssida. Den associerade Application Insights-resursen finns längst till höger:

Välj Loggar (Analys) under Övervakning i den vänstra rutan:

Datamängdens övervakningsmått lagras som customMetrics. Du kan skriva och köra en fråga när du har konfigurerat en datamängdsövervakare för att visa dem:

När du har identifierat mått för att konfigurera aviseringsregler skapar du en ny aviseringsregel:

Du kan använda en befintlig åtgärdsgrupp eller skapa en ny för att definiera den åtgärd som ska vidtas när de angivna villkoren uppfylls:

Felsökning

Begränsningar och kända problem för övervakare av dataavvikelser:

• Tidsintervallet vid analys av historiska data är begränsat till 31 intervall i övervakarens frekvensinställning.

• Begränsning av 200 funktioner, såvida inte en funktionslista inte har angetts (alla funktioner som används).

• Beräkningsstorleken måste vara tillräckligt stor för att hantera data.

• Se till att datamängden har data inom start- och slutdatumet för ett visst övervakningsjobb.

• Datauppsättningsövervakare fungerar bara på datauppsättningar som innehåller 50 rader eller mer.

• Kolumner eller funktioner i datamängden klassificeras som kategoriska eller numeriska baserat på villkoren i följande tabell. Om funktionen inte uppfyller dessa villkor – till exempel en kolumn med typsträng med >100 unika värden – tas funktionen bort från vår algoritm för dataavvikelse, men är fortfarande profilerad.

  Funktionstyp	Datatyp	Villkor	Begränsningar
  Kategoriska	sträng	Antalet unika värden i funktionen är mindre än 100 och mindre än 5 % av antalet rader.	Null behandlas som en egen kategori.
  Numerisk	int, float	Värdena i funktionen är av numerisk datatyp och uppfyller inte villkoret för en kategorisk funktion.	Funktionen har tagits bort om >15 % av värdena är null.

• När du har skapat en övervakare av dataavvikelser men inte kan se data på sidan Datauppsättningsövervakare i Azure Machine Learning-studio kan du prova följande.

  1. Kontrollera om du har valt rätt datumintervall överst på sidan.
  2. På fliken Datauppsättningsövervakare väljer du experimentlänken för att kontrollera jobbstatusen. Den här länken finns längst till höger i tabellen.
  3. Om jobbet har slutförts kontrollerar du drivrutinsloggarna för att se hur många mått som har genererats eller om det finns några varningsmeddelanden. Hitta drivrutinsloggar på fliken Utdata + loggar när du har valt ett experiment.

• Om SDK-funktionen backfill() inte genererar förväntade utdata kan det bero på ett autentiseringsproblem. När du skapar beräkningen för att skicka till den här funktionen ska du inte använda Run.get_context().experiment.workspace.compute_targets. Använd i stället ServicePrincipalAuthentication , till exempel följande för att skapa den beräkning som du skickar till den backfill() funktionen:

 auth = ServicePrincipalAuthentication(
        tenant_id=tenant_id,
        service_principal_id=app_id,
        service_principal_password=client_secret
        )
 ws = Workspace.get("xxx", auth=auth, subscription_id="xxx", resource_group="xxx")
 compute = ws.compute_targets.get("xxx")

• Från modelldatainsamlaren kan det ta upp till 10 minuter innan data tas emot i ditt bloblagringskonto. Det tar dock vanligtvis mindre tid. I ett skript eller en notebook-fil väntar du 10 minuter för att säkerställa att cellerna nedan körs.

  import time
  time.sleep(600)
  

Nästa steg

• Gå till Azure Machine Learning-studio eller Python Notebook för att konfigurera en datamängdsövervakare.
• Se hur du konfigurerar dataavvikelser för modeller som distribuerats till Azure Kubernetes Service.
• Konfigurera datauppsättningsavdriftsövervakare med Azure Event Grid.