O descompasso de dados (versão prévia) será desativado e substituído pelo Monitor de Modelo

O descompasso de dados(versão prévia) será desativado em 01/09/2025 e você pode começar a usar o Monitor de Modelo para suas tarefas de descompasso de dados. Verifique o conteúdo abaixo para entender a substituição, as lacunas de recursos e as etapas manuais de alteração.

APLICA-SE A: SDK do Python azureml v1

Saiba como monitorar o descompasso de dados e configurar alertas quando o descompasso estiver alto.

Com os monitores de conjunto de dados do Azure Machine Learning (versão prévia), você pode:

• Analisar o descompasso dos dados para compreender como ele muda com o tempo.
• Monitorar os dados do modelo quanto às diferenças entre os conjuntos de dados de treinamento e atendimento. Começar coletando dados de modelo nos modelos implantados.
• Monitorar novos dados para obter as diferenças entre as linhas de base e os conjuntos de dados de destino.
• Descrever os recursos nos dados para acompanhar a forma como as propriedades estatísticas são alteradas com o tempo.
• Configurar alertas sobre o descompasso de dados para obter avisos antecipados relacionados a possíveis problemas.
• Crie uma versão do conjunto de dados quando você determinar que os dados estão em muito descompasso.

Um conjunto de dados do Azure Machine Learning é usado para criar o monitor. Ele deve incluir uma coluna de carimbo de data/hora.

As métricas de descompasso dos dados podem ser exibidas com o SDK do Python ou no Estúdio do Azure Machine Learning. Outras métricas e informações ficam disponíveis por meio do recurso Azure Application Insights associado ao espaço de trabalho do Azure Machine Learning.

Pré-requisitos

Para criar e trabalhar com monitores de conjunto de dados, você precisa de:

• Uma assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar. Experimente hoje mesmo a versão gratuita ou paga do Azure Machine Learning.
• Um workspace do Azure Machine Learning.
• O SDK do Azure Machine Learning para Python instalado, que inclui o pacote de conjunto de dados do azureml.
• Dados estruturados (tabulares) com um carimbo de data/hora especificado no caminho do arquivo, nome do arquivo ou coluna nos dados.

Pré-requisitos (Migrar para o Monitor de Modelo)

Ao migrar para o Monitor de Modelo, verifique os pré-requisitos, conforme mencionado neste artigo Pré-requisitos do monitoramento de modelos do Azure Machine Learning.

O que é descompasso de dados?

A precisão do modelo diminui ao longo do tempo, em grande parte devido ao descompasso de dados. Para modelos do Machine Learning, o descompasso de dados é a alteração nos dados de entrada do modelo que leva a um desempenho pior. O monitoramento desse descompasso ajuda a detectar os problemas de desempenho do modelo.

As causas incluem:

• Alterações no processo de upstream, como a substituição de um sensor que muda as unidades de medida de polegadas para centímetros.
• Problemas de qualidade de dados, como um sensor quebrado que sempre lê 0.
• Descompasso natural nos dados, como a mudança da temperatura média de acordo com as estações.
• Alteração na relação entre recursos ou deslocamento de covariáveis.

O Azure Machine Learning simplifica a detecção de descompasso pela computação de uma única métrica, abstraindo a complexidade dos conjuntos de dados que estão sendo comparados. Esses conjuntos podem ter centenas de recursos e dezenas de milhares de linhas. Depois que o descompasso for detectado, faça uma busca detalhada dos recursos que estão causando o problema. Em seguida, inspecione as métricas de nível de recurso para depurar e isolar a causa raiz do descompasso.

Em vez das técnicas tradicionais baseadas em regras, essa abordagem de cima para baixo facilita o monitoramento dos dados. As técnicas baseadas em regras, como o intervalo de dados permitido ou valores exclusivos permitidos, podem ser demoradas e estão sujeitas a erros.

No Azure Machine Learning, você usa os monitores de conjunto de dados para detectar o descompasso de dados e fornecer alertas.

Monitores de conjunto de dados

Com um monitor de conjunto de dados, você pode:

• Detectar e fornecer alertas de descompasso relacionado a novos dados em um conjunto.
• Analisar os dados históricos do descompasso.
• Criar perfil de novos dados ao longo do tempo.

O algoritmo de descompasso de dados fornece uma medida geral das alterações nos dados e a indicação de quais recursos são responsáveis por investigações adicionais. Os monitores de conjunto de dados produzem várias outras métricas por meio da criação de perfil de novos dados no conjunto de dados timeseries.

Os alertas personalizados podem ser configurados em todas as métricas geradas pelo monitor através do Azure Application Insights. Os monitores também podem ser usados para detectar rapidamente problemas de dados e reduzir o tempo de depuração, identificando as causas prováveis.

Conceitualmente, há três cenários principais para configurar monitores de conjuntos de dados no Azure Machine Learning.

Os monitores de conjunto de dados dependem dos seguintes serviços do Azure.

Linha de base e conjuntos de dados de destino

Você monitora os conjuntos de dados do Azure Machine Learning quanto ao descompasso de dados. Ao criar um monitor de conjunto de dados, você faz referência ao:

• Conjunto de dados da linha de base – geralmente o conjunto de treinamento para um modelo.
• Conjunto de dados de destino - geralmente, os dados de entrada do modelo – é comparado ao longo do tempo com o conjunto de dados da linha de base. Essa comparação significa que o conjunto de dados de destino deve ter uma coluna de carimbo de data/hora especificada.

O monitor compara os conjuntos de dados da linha de base e de destino.

Migrar para o Monitor de Modelo

No Monitor de Modelo, você pode encontrar conceitos correspondentes da seguinte maneira e encontrar mais detalhes neste artigo Configurar o monitoramento de modelos trazendo seus dados de produção para o Azure Machine Learning:

• Conjunto de dados de referência: semelhante ao conjunto de dados de linha de base para detecção de descompasso de dados, ele é definido como o conjunto de dados de inferência de produção anterior recente.
• Dados de inferência de produção: semelhante ao conjunto de dados de destino na detecção de descompasso de dados, os dados de inferência de produção podem ser coletados automaticamente de modelos implantados em produção. Também podem ser dados de inferência armazenados.

Criar um conjunto de dados de destino

O conjunto de dados de destino precisa do conjunto de características timeseries, especificando a coluna de carimbo de data/hora de uma coluna nos dados ou de uma coluna virtual derivada do padrão de caminho dos arquivos. Crie o conjunto de dados com um carimbo de data/hora por meio do SDK do Python ou do Estúdio do Azure Machine Learning. A coluna que representa um "carimbo de data/hora" deve ser especificada para adicionar a característica timeseries ao conjunto de dados. Se os dados forem particionados na estrutura de pastas com informações de tempo, como '{yyyy/MM/dd}', crie uma coluna virtual por meio da configuração do padrão de caminho e defina-a como "carimbo de data/hora de partição" para habilitar a funcionalidade da API de série temporal.

from azureml.core import Workspace, Dataset, Datastore

# get workspace object
ws = Workspace.from_config()

# get datastore object
dstore = Datastore.get(ws, 'your datastore name')

# specify datastore paths
dstore_paths = [(dstore, 'weather/*/*/*/*/data.parquet')]

# specify partition format
partition_format = 'weather/{state}/{date:yyyy/MM/dd}/data.parquet'

# create the Tabular dataset with 'state' and 'date' as virtual columns
dset = Dataset.Tabular.from_parquet_files(path=dstore_paths, partition_format=partition_format)

# assign the timestamp attribute to a real or virtual column in the dataset
dset = dset.with_timestamp_columns('date')

# register the dataset as the target dataset
dset = dset.register(ws, 'target')

Criar monitor de conjunto de dados

Crie um monitor de conjunto de dados para detectar e fornecer alertas relacionados ao descompasso em um novo conjunto de dados. Use o SDK do Python ou o Estúdio do Azure Machine Learning.

Conforme descrito posteriormente, um monitor de conjunto de dados é executado em intervalos de frequência definidos (diários, semanais, mensais). Ele analisa novos dados disponíveis no conjunto de dados de destino desde sua última execução. Em alguns casos, essa análise dos dados mais recentes pode não ser suficiente:

• Os novos dados da fonte de upstream foram atrasados devido a um pipeline de dados desfeito e esses novos dados não estavam disponíveis quando o monitor do conjunto de dados foi executado.
• Um conjunto de dados de série temporal tinha apenas dados históricos e você deseja analisar padrões de descompasso no conjunto de dados ao longo do tempo. Por exemplo: compare o tráfego que flui para um site, nas estações de inverno e verão, para identificar padrões sazonais.
• Você é novo nos monitores de conjunto de dados. Você deseja avaliar como o recurso funciona com seus dados existentes antes de configurá-lo para monitorar dias no futuro. Nesses cenários, você pode enviar uma execução sob demanda, com um intervalo de datas de conjunto de dados de destino específico, para comparar com o conjunto de dados de linha de base.

A função backfill executa um trabalho de provisionamento para um intervalo de datas com início e término especificado. Um trabalho de provisionamento preenche os pontos de dados ausentes esperados em um conjunto de dados, o que é uma maneira de garantir a precisão e a integridade dos dados.

from azureml.core import Workspace, Dataset
from azureml.datadrift import DataDriftDetector
from datetime import datetime

# get the workspace object
ws = Workspace.from_config()

# get the target dataset
target = Dataset.get_by_name(ws, 'target')

# set the baseline dataset
baseline = target.time_before(datetime(2019, 2, 1))

# set up feature list
features = ['latitude', 'longitude', 'elevation', 'windAngle', 'windSpeed', 'temperature', 'snowDepth', 'stationName', 'countryOrRegion']

# set up data drift detector
monitor = DataDriftDetector.create_from_datasets(ws, 'drift-monitor', baseline, target,
                                                      compute_target='cpu-cluster',
                                                      frequency='Week',
                                                      feature_list=None,
                                                      drift_threshold=.6,
                                                      latency=24)

# get data drift detector by name
monitor = DataDriftDetector.get_by_name(ws, 'drift-monitor')

# update data drift detector
monitor = monitor.update(feature_list=features)

# run a backfill for January through May
backfill1 = monitor.backfill(datetime(2019, 1, 1), datetime(2019, 5, 1))

# run a backfill for May through today
backfill1 = monitor.backfill(datetime(2019, 5, 1), datetime.today())

# disable the pipeline schedule for the data drift detector
monitor = monitor.disable_schedule()

# enable the pipeline schedule for the data drift detector
monitor = monitor.enable_schedule()

Criar Monitor de Modelo (Migrar para o Monitor de Modelo)

Ao migrar para o Monitor de Modelo, se você implantou seu modelo para produção em um ponto de extremidade online do Azure Machine Learning e habilitou coleta de dados no momento da implantação, o Azure Machine Learning coletará dados de inferência de produção e os armazenará automaticamente no Armazenamento de Blobs do Microsoft Azure. Em seguida, você pode usar o monitoramento de modelo do Azure Machine Learning para monitorar continuamente esses dados de inferência de produção e escolher diretamente o modelo para criar um conjunto de dados de destino (dados de inferência de produção no Monitor de Modelo).

Ao migrar para o Monitor de Modelo, se você não implantou seu modelo em produção em um ponto de extremidade online do Azure Machine Learning ou não quiser usar a coleta de dados, também poderá configurar o monitoramento de modelos com sinais e métricas personalizados.

As seções a seguir contêm mais detalhes sobre como migrar para o Monitor de Modelo.

Criar Monitor de Modelo por meio de dados de produção coletados automaticamente (Migrar para o Monitor de Modelo)

Se você implantou seu modelo para produção em um ponto de extremidade online do Azure Machine Learning e habilitou a coleta de dados no momento da implantação.

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

az ml schedule create -f ./out-of-box-monitoring.yaml

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

Criar Monitor de Modelo por meio do componente de pré-processamento de dados personalizados (Migrar para o Monitor de Modelo)

Ao migrar para o Monitor de Modelo, se você não implantou seu modelo em produção em um ponto de extremidade online do Azure Machine Learning ou não quiser usar a coleta de dados, também poderá configurar o monitoramento de modelos com sinais e métricas personalizados.

Se você não tem uma implantação, mas tem dados de produção, é possível usar os dados para executar o monitoramento contínuo de modelos. Para monitorar esses modelos, é necessário:

• Coletar dados de inferência de produção de modelos implantados em produção.
• Registrar os dados de inferência de produção como um ativo de dados do Azure Machine Learning e garantir atualizações contínuas dos dados.
• Fornecer um componente personalizado de pré-processamento de dados e registrá-lo como um componente do Azure Machine Learning.

Você deve fornecer um componente personalizado de pré-processamento de dados se os dados não forem coletados com o coletor de dados. Sem esse componente personalizado de pré-processamento de dados, o sistema de monitoramento de modelo do Azure Machine Learning não saberá como processar seus dados em formato de tabela com suporte para janelas de tempo.

Seu componente personalizado de pré-processamento deve ter estas assinaturas de entrada e saída:

Para obter um exemplo de um componente personalizado de pré-processamento de dados, consulte custom_preprocessing no repositório GitHub azuremml-examples.

Compreender os resultados do descompasso de dados

Esta seção mostra os resultados do monitoramento de um conjunto de dados, encontrados na página Conjunto de dados / Monitores de conjunto de dados no Estúdio do Azure. Nesta página, é possível atualizar as configurações e analisar os dados existentes para um período de tempo específico.

Comece com as informações de nível superior sobre a magnitude do descompasso de dados e um destaque dos recursos a serem mais investigados.

Tendência da magnitude do descompasso

Veja como o conjunto de dados difere do conjunto de dados de destino no período de tempo especificado. Quanto mais próximo a 100%, mais diferem os dois conjuntos de dados.

Magnitude do descompasso por recursos

Esta seção contém informações em nível de recurso sobre a alteração na distribuição do recurso selecionado e outras estatísticas ao longo do tempo.

O conjunto de dados de destino também é analisado com o tempo. A distância estatística entre a distribuição de linha de base de cada recurso é comparada com a do conjunto de dados de destino ao longo do tempo. Conceitualmente, isso se assemelha à magnitude do descompasso de dados. No entanto, essa distância estatística é relacionada a um recurso individual, e não a todos os recursos. Mín., máx. e média também estão disponíveis.

No Estúdio do Azure Machine Learning, selecione uma barra no grafo para ver os detalhes de nível de recurso para a data. Por padrão, você verá a distribuição do conjunto de dados de linha de base e a distribuição do trabalho mais recente do mesmo recurso.

Essas métricas também podem ser recuperadas no SDK do Python por meio do método get_metrics() em um objeto DataDriftDetector.

Detalhes do recurso

Por fim, role para baixo para exibir os detalhes de cada recurso individual. Use as listas suspensas acima do gráfico para selecionar o recurso e, além disso, selecione a métrica que deseja exibir.

As métricas no gráfico dependem do tipo de recurso.

• Recursos numéricos

  Métrica	Descrição
  Distância Wasserstein	Quantidade mínima de trabalho para transformar a distribuição da linha de base na distribuição de destino.
  Valor médio	Valor médio do recurso.
  Valor mínimo	Valor mínimo do recurso.
  Valor máximo	Valor máximo do recurso.

• Recursos categóricos

  Métrica	Descrição
  Distância euclidiana	Computado para colunas categóricas. A distância euclidiana é computada em dois vetores, gerados da distribuição empírica da mesma coluna categórica de dois conjuntos de dados. 0 indica que não há diferença nas distribuições empíricas. Quanto mais se desviar de 0, maior será o descompasso dessa coluna. As tendências podem ser observadas em uma plotagem de série temporal dessa métrica e podem ser úteis para descobrir um recurso em descompasso.
  Valores únicos	Número de valores exclusivos (cardinalidade) do recurso.

Neste gráfico, selecione uma única data para comparar a distribuição de recursos entre o destino e essa data para o recurso exibido. Para recursos numéricos, são mostradas duas distribuições de probabilidade. Se o recurso for numérico, um gráfico de barras será mostrado.

Métricas, alertas e eventos

As métricas podem ser consultadas no recurso Azure Application Insights associado ao espaço de trabalho do Machine Learning. Você tem acesso a todos os recursos do Application Insights incluindo a configuração personalizada de regras de alerta e grupos de ação para disparar uma ação como, por exemplo, um Email/SMS/Push/Voice ou Azure Function. Consulte a documentação completa do Application Insights para obter detalhes.

Para começar, navegue até o Portal do Azure e selecione a página Visão geral do espaço de trabalho. O recurso do Application Insights associado fica na extrema direita:

Selecione Logs (Análise) em Monitoramento no painel esquerdo:

As métricas do monitor de conjunto de um banco de dados são armazenadas como customMetrics. Você pode gravar e executar uma consulta depois de configurar um monitor de conjunto de dados para exibi-los:

Depois de identificar as métricas para configurar as regras de alerta, crie uma nova regra:

Você pode usar um grupo de ações existente ou criar um novo para definir a ação a ser tomada quando as condições definidas forem atendidas:

Solução de problemas

Limitações e problemas conhecidos dos monitores de descompasso de dados:

• O intervalo de tempo durante a análise de dados históricos é limitado a 31 intervalos da configuração de frequência do monitor.

• Limitação de 200 recursos, a menos que uma lista de recursos não seja especificada (todos os recursos usados).

• O tamanho da computação deve ser grande o suficiente para tratar os dados.

• Verifique se o conjunto de dados tem os dados dentro da data de início e de término de um determinado trabalho do monitor.

• Os monitores de conjunto de dados só funcionam em conjuntos que contenham 50 linhas ou mais.

• As colunas ou recursos, no conjunto de dados, são classificados como categóricos ou numéricos com base nas condições da tabela a seguir. Se o recurso não atender a essas condições, por exemplo, uma coluna do tipo cadeia de caracteres com valores exclusivos >100, o recurso será descartado do algoritmo de descompasso de dados, mas ainda será analisado.

  Tipo de recurso	Tipo de dados	Condição	Limitações
  Categóricos	string	O número de valores exclusivos no recurso é menor que 100 e menor que 5% do número de linhas.	Nulo é tratado conforme sua própria categoria.
  Numérico	int, float	Os valores no recurso são do tipo de dados numérico e não atendem à condição de um recurso categórico.	Recurso descartado se > 15% dos valores forem nulos.

• Quando você tiver criado um monitor de descompasso de dados, mas não conseguir ver os dados na página Monitores de conjunto de dados no Estúdio do Azure Machine Learning, tente o seguinte.

  1. Verifique se selecionou o intervalo de datas correto na parte superior da página.
  2. Na guia Monitores de Conjunto de Dados, selecione o link do teste para verificar o status do trabalho. Ele fica na extrema direita da tabela.
  3. Se o trabalho for concluído com êxito, verifique os logs do driver para ver quantas métricas foram geradas ou se há alguma mensagem de aviso. Localize os logs de driver na guia Saída + logs depois de selecionar um experimento.

• Se a função backfill() do SDK não gerar a saída esperada, pode ser que haja um problema de autenticação. Ao criar a computação para passar por essa função, não use Run.get_context().experiment.workspace.compute_targets. No lugar, use ServicePrincipalAuthentication, como a seguirbackfill():

 auth = ServicePrincipalAuthentication(
        tenant_id=tenant_id,
        service_principal_id=app_id,
        service_principal_password=client_secret
        )
 ws = Workspace.get("xxx", auth=auth, subscription_id="xxx", resource_group="xxx")
 compute = ws.compute_targets.get("xxx")

• No Coletor de Dados do Modelo, pode levar até 10 minutos para que os dados cheguem na conta de armazenamento de blobs. No entanto, geralmente leva menos tempo. Em um script ou notebook, aguarde 10 minutos para garantir que as células abaixo sejam executadas com êxito.

  import time
  time.sleep(600)
  

Próximas etapas

• Vá para o Estúdio do Azure Machine Learning ou para o bloco de anotações do Python para configurar um monitor de conjunto de dados.
• Consulte como detectar o descompasso de dados em modelos implantados no Serviço de Kubernetes do Azure.
• Configure os monitores de descompasso dos conjuntos de dados com a Grade de Eventos do Azure.