Generieren von Erkenntnissen zu verantwortungsvoller KI mit YAML und Python

GILT FÜR:Azure CLI ML-Erweiterung v2 (aktuell)Python SDK azure-ai-ml v2 (aktuell)

Sie können ein Dashboard und eine Scorecard für verantwortungsvolle KI über einen Pipelineauftrag generieren, indem Sie verantwortungsvolle KI-Komponenten verwenden. Es gibt sechs Kernkomponenten zum Erstellen von Dashboards für verantwortungsvolle KI, zusammen mit ein paar Hilfskomponenten. Hier folgt ein Beispielexperimentdiagramm:

Komponenten der verantwortungsvollen KI

Die Kernkomponenten für den Aufbau des Dashboards für verantwortungsvolle KI in Azure Machine Learning sind:

• RAI Insights dashboard constructor
• Die Toolkomponenten:
  • Add Explanation to RAI Insights dashboard
  • Add Causal to RAI Insights dashboard
  • Add Counterfactuals to RAI Insights dashboard
  • Add Error Analysis to RAI Insights dashboard
  • Gather RAI Insights dashboard
  • Gather RAI Insights score card

Die Komponenten RAI Insights dashboard constructor und Gather RAI Insights dashboard sind immer erforderlich, plus mindestens eine der Toolkomponenten. Es ist jedoch nicht notwendig, alle Tools in jedem Dashboard für verantwortungsvolle KI zu verwenden.

In den folgenden Abschnitten finden Sie Spezifikationen der Komponenten für verantwortungsvolle KI sowie Beispiele für Codeausschnitte in YAML und Python.

Begrenzungen

Für die aktuelle Gruppe von Komponenten gelten eine Reihe von Nutzungseinschränkungen:

• Alle Modelle müssen in Azure Machine Learning im MLflow-Format mit einer Sklearn-Variante (scikit-learn) registriert sein.
• Die Modelle müssen in der Komponentenumgebung geladen werden können.
• Die Modelle müssen auswählbar sein.
• Die Modelle müssen für die Komponenten für verantwortungsvolle KI mithilfe der von uns bereitgestellten Komponente Fetch Registered Model bereitgestellt werden.
• Die Dataseteingaben müssen im Format mltable erfolgen.
• Ein Modell muss auch dann bereitgestellt werden, wenn nur eine Ursachenanalyse der Daten ausgeführt wird. Sie können dazu die Schätzer DummyClassifier und DummyRegressor von scikit-learn verwenden.

Konstruktor für Dashboard „RAI-Erkenntnisse“

Diese Komponente verfügt über drei Eingabeports:

• Das Machine Learning-Modell.
• Das Trainingsdataset.
• Das Testdataset.

Um Erkenntnisse zum Modelldebugging mit Komponenten wie Fehleranalyse und Modellerklärungen zu generieren, verwenden Sie das Training- und Testdataset, das Sie beim Training Ihres Modells verwendet haben. Für Komponenten wie die Kausalanalyse, für die kein Modell erforderlich ist, verwenden Sie das Trainingsdataset, um das Kausalmodell zu trainieren, um die kausalen Erkenntnisse zu generieren. Sie verwenden das Testdataset zum Auffüllen der Visualisierungen Ihres Dashboards für verantwortungsvolle KI.

Die einfachste Möglichkeit, das Modell zur Verfügung zu stellen, besteht darin, das Eingabemodell zu registrieren und auf dasselbe Modell im Modelleingabeport der RAI Insight Constructor-Komponente zu verweisen, die weiter unten in diesem Artikel erläutert wird.

Die beiden Datasets sollten das Format mltable aufweisen. Die bereitgestellten Trainings- und Testdatasets müssen nicht dieselben Datasets sein, die für das Training des Modells verwendet werden, aber sie können dieselben sein. Aus Leistungsgründen ist das Testdataset standardmäßig auf 5.000 Zeilen der Visualisierungsbenutzeroberfläche beschränkt.

Die Konstruktorkomponente akzeptiert auch die folgenden Parameter:

¹ Die Listen sollten als einzelne JSON-codierte Zeichenfolge für categorical_column_names-, classes- und feature_metadata-Eingaben bereitgestellt werden.

Die Konstruktorkomponente verfügt über eine einzelne Ausgabe namens rai_insights_dashboard. Dies ist ein leeres Dashboard, mit dem die einzelnen Toolkomponenten arbeiten. Alle Ergebnisse werden am Ende durch die Gather RAI Insights dashboard-Komponente zusammengefügt.

 create_rai_job: 

    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_constructor/versions/<get current version>
    inputs: 
      title: From YAML snippet 
      task_type: regression
      type: mlflow_model
      path: azureml:<registered_model_name>:<registered model version> 
      train_dataset: ${{parent.inputs.my_training_data}} 
      test_dataset: ${{parent.inputs.my_test_data}} 
      target_column_name: ${{parent.inputs.target_column_name}} 
      categorical_column_names: '["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]' 

# First load the component:

        rai_constructor_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_constructor", label="latest")

#Then inside the pipeline:

            construct_job = rai_constructor_component( 
                title="From Python", 
                task_type="classification", 
                model_input= model_input= Input(type=AssetTypes.MLFLOW_MODEL, path="<azureml:model_name:model_id>"),
                train_dataset=train_data, 
                test_dataset=test_data, 
                target_column_name=target_column_name, 
                categorical_column_names='["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]', 
                maximum_rows_for_test_dataset=5000, 
                classes="[]", 
            ) 

Hinzufügen von Kausalität zum Dashboard „RAI-Erkenntnisse“

Diese Komponente führt eine Ursachenanalyse mit den angegebenen Datasets aus. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights dashboard constructor akzeptiert. Er akzeptiert ferner die folgenden Parameter:

² Für die list-Parameter: Mehrere der Parameter akzeptieren Listen anderer Typen (Zeichenfolgen, Zahlen, sogar andere Listen). Um diese an die Komponente zu übergeben, müssen sie zuerst in eine einzelne Zeichenfolge JSON-codiert werden.

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights Dashboard-Komponente verbunden werden kann.

  causal_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_causal/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      treatment_features: `["Number of GitHub repos contributed to", "YOE"]' 

#First load the component: 

        rai_causal_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_causal", label="latest")

#Use it inside a pipeline definition: 
            causal_job = rai_causal_component( 
                rai_insights_dashboard=construct_job.outputs.rai_insights_dashboard, 
                treatment_features='`["Number of GitHub repos contributed to", "YOE"]', 
            ) 

Hinzufügen von kontrafaktischen Datenpunkten zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert kontrafaktische Datenpunkte für das bereitgestellte Testdataset. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des Konstruktors für das Dashboard „RAI-Erkenntnisse“ akzeptiert. Er akzeptiert ferner die folgenden Parameter:

³ Für die nicht skalaren Parameter: Parameter, die Listen oder Wörterbücher sind, sollten als einzelne JSON-codierte Zeichenfolgen übergeben werden.

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights dashboard-Komponente verbunden werden kann.

 counterfactual_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_counterfactual/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      total_CFs: 10 
      desired_range: "[5, 10]" 

#First load the component: 
        rai_counterfactual_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_counterfactual", label="latest")

#Use it in a pipeline function: 
            counterfactual_job = rai_counterfactual_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                total_cfs=10, 
                desired_range="[5, 10]", 
            ) 

Hinzufügen der Fehleranalyse zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert eine Fehleranalyse für das Modell. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights Dashboard Constructor akzeptiert. Er akzeptiert ferner die folgenden Parameter:

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights Dashboard-Komponente verbunden werden kann.

  error_analysis_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_erroranalysis/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      filter_features: `["style", "Employer"]' 

#First load the component: 
        rai_erroranalysis_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_erroranalysis", label="latest")

#Use inside a pipeline: 
            erroranalysis_job = rai_erroranalysis_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                filter_features='["style", "Employer"]', 
            ) 

Hinzufügen von Erläuterungen zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert eine Erläuterung für das Modell. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights Dashboard Constructor akzeptiert. Sie akzeptiert eine einzelne, optionale Kommentarzeichenfolge als Parameter.

Diese Komponente verfügt über einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather-Komponente des Dashboards „RAI-Erkenntnisse“ verbunden werden kann.

  explain_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_explanation/versions/<version>
    inputs: 
      comment: My comment 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 

#First load the component: 
        rai_explanation_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_explanation", label="latest"

#Use inside a pipeline: 
            explain_job = rai_explanation_component( 
                comment="My comment", 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
            ) 

Gather-Komponente des Dashboards „RAI-Erkenntnisse“

Diese Komponente setzt die generierten Erkenntnisse zu einem einzelnen Dashboard für verantwortungsvolle KI zusammen. Sie verfügt über fünf Eingabeports:

• Den constructor-Port, der mit der Konstruktorkomponente des Dashboards „RAI-Erkenntnisse“ verbunden sein muss.
• Vier insight_[n]-Ports, die mit der Ausgabe der Toolkomponenten verbunden werden können. Mindestens einer dieser Ports muss verbunden sein.

Es gibt zwei Ausgabeports:

• Der dashboard-Port enthält das abgeschlossene RAIInsights-Objekt.
• Der ux_json-Port enthält die Daten, die zur Anzeige eines minimalen Dashboards erforderlich sind.

  gather_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_gather/versions/<version>
    inputs: 
      constructor: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      insight_1: ${{parent.jobs.causal_01.outputs.causal}} 
      insight_2: ${{parent.jobs.counterfactual_01.outputs.counterfactual}} 
      insight_3: ${{parent.jobs.error_analysis_01.outputs.error_analysis}} 
      insight_4: ${{parent.jobs.explain_01.outputs.explanation}} 

#First load the component: 
        rai_gather_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_gather", label="latest")
#Use in a pipeline: 
            rai_gather_job = rai_gather_component( 
                constructor=create_rai_job.outputs.rai_insights_dashboard, 
                insight_1=explain_job.outputs.explanation, 
                insight_2=causal_job.outputs.causal, 
                insight_3=counterfactual_job.outputs.counterfactual, 
                insight_4=erroranalysis_job.outputs.error_analysis, 
            ) 

Generieren einer Scorecard für verantwortungsvolle KI (Vorschau)

In der Konfigurationsphase müssen Sie Ihr Fachwissen hinsichtlich des Problems nutzen, um die gewünschten Zielwerte für die Modellleistung und die Fairnessmetriken festzulegen.

Wie andere Dashboard-Komponenten für verantwortungsvolle KI, die in der YAML-Pipeline konfiguriert sind, können Sie eine Komponente hinzufügen, um die Scorecard in der YAML-Pipeline zu generieren.

scorecard_01: 

   type: command 
   component: azureml:rai_score_card@latest 
   inputs: 
     dashboard: ${{parent.jobs.gather_01.outputs.dashboard}} 
     pdf_generation_config: 
       type: uri_file 
       path: ./pdf_gen.json 
       mode: download 

     predefined_cohorts_json: 
       type: uri_file 
       path: ./cohorts.json 
       mode: download 

Dabei ist „pdf_gen.json“ die JSON-Konfigurationsdatei für die Scorecardgenerierung und predifined_cohorts_json die vorgefertigte JSON-Definitionsdatei für Kohorten.

Hier ist eine Beispiel-JSON-Datei für die Kohortendefinition und die Konfiguration der Scorecard-Generierung:

Definition der Kohorten:

[ 
  { 
    "name": "High Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "greater", 
        "arg": [ 
          5 
        ], 
        "column": "YOE" 
      } 
    ] 
  }, 
  { 
    "name": "Low Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "less", 
        "arg": [ 
          6.5 
        ], 
        "column": "YOE" 
      } 
    ] 
  } 
] 

Hier ist eine Konfigurationsdatei zur Scorecard-Generierung als Regressionsbeispiel:

{ 
  "Model": { 
    "ModelName": "GPT-2 Access", 
    "ModelType": "Regression", 
    "ModelSummary": "This is a regression model to analyze how likely a programmer is given access to GPT-2" 
  }, 
  "Metrics": { 
    "mean_absolute_error": { 
      "threshold": "<=20" 
    }, 
    "mean_squared_error": {} 
  }, 
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YOE", 
      "age" 
    ] 
  }, 
  "Fairness": {
    "metric": ["mean_squared_error"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  },
  "Cohorts": [ 
    "High Yoe", 
    "Low Yoe" 
  ]  
} 

Hier ist eine Konfigurationsdatei zur Scorecard-Generierung als Klassifizierungsbeispiel:

{
  "Model": {
    "ModelName": "Housing Price Range Prediction",
    "ModelType": "Classification",
    "ModelSummary": "This model is a classifier that predicts whether the house will sell for more than the median price."
  },
  "Metrics" :{
    "accuracy_score": {
        "threshold": ">=0.85"
    },
  }
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YearBuilt", 
      "OverallQual", 
      "GarageCars"
    ] 
  },
  "Fairness": {
    "metric": ["accuracy_score", "selection_rate"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  }
}

Definition von Eingaben für die Scorecard-Komponente Responsible AI

In diesem Abschnitt werden die Parameter aufgelistet und definiert, die zum Konfigurieren der Scorecard-Komponente Responsible AI erforderlich sind.

Modell

Metriken

Schwellenwert: Der gewünschte Schwellenwert für die ausgewählte Metrik. Zulässige mathematische Token sind >, <, >= und <=m, gefolgt von einer reellen Zahl. Beispielsweise bedeutet >= 0,75, dass das Ziel für die ausgewählte Metrik größer als oder gleich 0,75 ist.

Featurepriorität

top_n: Die Anzahl der anzuzeigenden Features, maximal 10. Erlaubt sind positive ganze Zahlen bis 10.

Fairness

Sie können aus den folgenden Metriken, gepaart mit fairness_evaluation_kind, auswählen, um Ihre Fairness-Bewertungskomponente der Scorecard zu konfigurieren:

Eingabeeinschränkungen

Welche Modellformate und -varianten werden unterstützt?

Das Modell muss sich im MLflow-Verzeichnis befinden, mit einer verfügbaren sklearn-Variante. Darüber hinaus muss das Modell ladefähig in die Umgebung sein, die von den Komponenten für verantwortungsvolle KI verwendet wird.

Welche Datenformate werden unterstützt?

Die bereitgestellten Datasets sollten mltable mit Tabellendaten sein.

Nächste Schritte

• Nachdem Sie Ihr Responsible AI-Dashboard generiert haben, sehen Sie sich an, wie Sie in Azure Machine Learning Studio darauf zugreifen und es verwenden.
• Fassen Sie Ihre Erkenntnisse zu verantwortungsvoller KI zusammen, und teilen Sie sie über die Scorecard für verantwortungsbewusste KI als PDF-Export.
• Erfahren Sie mehr über die Konzepte und Methoden hinter dem Dashboard für verantwortungsbewusste KI.
• Erfahren Sie mehr darüber, wie Sie Daten verantwortungsvoll sammeln.
• Zeigen Sie YAML- und Python-Beispiel-Notebooks an, um das Dashboard für verantwortungsbewusste KI mit YAML oder Python zu generieren.
• Erfahren Sie mehr darüber, wie Sie das Responsible AI-Dashboard und die Scorecard verwenden können, um Daten und Modelle zu debuggen und eine bessere Entscheidungsfindung in diesem Tech-Community-Blogbeitrag zu ermöglichen.
• Erfahren Sie in einer realen Kundengeschichte, wie das Responsible AI-Dashboard und die Scorecard vom britischen National Health Service (NHS) verwendet wurden.
• Erkunden Sie die Funktionen des Responsible AI-Dashboards in dieser interaktiven AI Lab-Webdemo.