Überwachung von Fairness und Trend für Klassifizierungsmodelle

Mit Databricks Lakehouse Monitoring können Sie die Vorhersagen eines Klassifizierungsmodells überwachen, um festzustellen, ob das Modell bei Daten aus unterschiedlichen Gruppen ähnlich funktioniert. Beispielsweise können Sie untersuchen, ob ein Klassifizierer für Kreditaußenstände dieselbe falsch positive Rate für Antragsteller aus verschiedenen Demografien generiert.

Arbeiten mit Metriken für Fairness und Trends

Um Fairness und Trends zu überwachen, erstellen Sie einen booleschen Sliceausdruck. Die durch den Sliceausdruck definierte Gruppe, die als True ausgewertet wird, gilt als geschützte Gruppe (d. h. die Gruppe, gegenüber der Sie auf Trends prüfen). Wenn Sie z. B. slicing_exprs=["age < 25"] erstellen, gilt der durch slice_key = „age < 25“ und slice_value = True identifizierte Slice als die geschützte Gruppe und der durch slice_key = „age < 25“ und slice_value = False identifizierte Slice als die nicht geschützte Gruppe.

Der Monitor berechnet automatisch Metriken, die die Leistung des Klassifizierungsmodells zwischen Gruppen vergleichen. Die folgenden Metriken werden in der Profilmetrikentabelle gemeldet:

• predictive_parity als Vergleich der Modellgenauigkeit zwischen Gruppen.
• predictive_equality als Vergleich der Raten falsch positiver Werte zwischen Gruppen.
• equal_opportunity als Messung, ob eine Bezeichnung für beide Gruppen gleichermaßen gut vorhergesagt wird.
• statistical_parity als Messung des Unterschieds in den vorhergesagten Ergebnissen zwischen Gruppen.

Diese Metriken werden nur berechnet, wenn der Analysetyp InferenceLog lautet und problem_type als classification angegeben ist.

Definitionen dieser Metriken finden Sie in den folgenden Referenzen:

• Wikipedia-Artikel zur Fairness beim maschinellen Lernen: https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• Fairness Definitions Explained (Erläuterungen zu Fairnessdefinitionen), Verma and Rubin, 2018

Ausgaben für Fairness- und Trendmetriken

Ausführliche Informationen zu diesen Metriken und ihrer Anzeige in den Metriktabellen finden Sie in der API-Referenz. Alle Fairness- und Trendmetriken verwenden denselben Datentyp wie unten dargestellt und zeigen die in den vorhergesagten Klassen als Vergleich mit allen anderen berechneten Fairnessscores als Schlüssel-Wert-Paare.

Sie können eine Warnung für diese Metriken erstellen. Beispielsweise kann der/die Besitzer*in des Modells eine Warnung einrichten, wenn die Fairnessmetrik einen bestimmten Schwellenwert überschreitet, und diese Warnung dann zur Untersuchung an eine zuständige Person oder ein Team weiterleiten.