Monitorare l'equità e il pregiudizio per i modelli di classificazione

Con Databricks Lakehouse Monitoring è possibile monitorare le stime di un modello di classificazione per verificare se il modello esegue in modo analogo sui dati associati a gruppi diversi. Ad esempio, è possibile esaminare se un classificatore predefinito del prestito genera lo stesso tasso false positivo per i candidati provenienti da diversi dati demografici.

Usare le metriche di equità e pregiudizi

Per monitorare l'equità e il pregiudizio, si crea un'espressione di sezione booleana. Il gruppo definito dall'espressione di sezione che valuta a True è considerato il gruppo protetto, ovvero il gruppo che si sta controllando per il pregiudizio. Ad esempio, se si crea slicing_exprs=["age < 25"], la sezione identificata da = "età < 25" e viene considerata il gruppo protetto e la sezione identificata da slice_keyslice_key = "età < 25" e slice_valueFalseslice_value = True = viene considerata il gruppo non protetto.

Il monitoraggio calcola automaticamente le metriche che confrontano le prestazioni del modello di classificazione tra gruppi. Le metriche seguenti vengono segnalate nella tabella delle metriche del profilo:

• predictive_parity, che confronta la precisione del modello tra i gruppi.
• predictive_equality, che confronta i tassi falsi positivi tra i gruppi.
• equal_opportunity, che misura se un'etichetta viene stimata ugualmente bene per entrambi i gruppi.
• statistical_parity, che misura la differenza tra i risultati stimati tra i gruppi.

Queste metriche vengono calcolate solo se il tipo di analisi è InferenceLog e problem_type è classification.

Per le definizioni di queste metriche, vedere i riferimenti seguenti:

• Articolo di Wikipedia sull'equità in Machine Learning: https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• Definizioni di equità spiegate, Verma e Rubin, 2018

Equità e metriche di pregiudizio

Per informazioni dettagliate su queste metriche, vedere informazioni dettagliate sulle metriche e su come visualizzarle nelle tabelle delle metriche. Tutte le metriche di equità e di pregiudizio condividono lo stesso tipo di dati riportato di seguito, che mostra i punteggi di equità calcolati in tutte le classi stimate in modo "one-vs-all" come coppie chiave-valore.

È possibile creare un avviso in queste metriche. Ad esempio, il proprietario del modello può configurare un avviso quando la metrica di equità supera una soglia e quindi instradare l'avviso a una persona o a un team di chiamata per l'indagine.