Generowanie szczegółowych informacji o odpowiedzialnej sztucznej inteligencji przy użyciu kodu YAML i języka Python

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (current)Zestaw PYTHON SDK azure-ai-ml v2 (bieżąca)

Pulpit nawigacyjny odpowiedzialnej sztucznej inteligencji i kartę wyników można wygenerować za pomocą zadania potoku przy użyciu składników odpowiedzialnej sztucznej inteligencji. Istnieje sześć podstawowych składników do tworzenia pulpitów nawigacyjnych odpowiedzialnej sztucznej inteligencji oraz kilka składników pomocniczych. Oto przykładowy wykres eksperymentu:

Składniki odpowiedzialnej sztucznej inteligencji

Podstawowe składniki tworzenia pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji w usłudze Azure Machine Learning to:

• RAI Insights dashboard constructor
• Składniki narzędzia:
  • Add Explanation to RAI Insights dashboard
  • Add Causal to RAI Insights dashboard
  • Add Counterfactuals to RAI Insights dashboard
  • Add Error Analysis to RAI Insights dashboard
  • Gather RAI Insights dashboard
  • Gather RAI Insights score card

Składniki RAI Insights dashboard constructor i Gather RAI Insights dashboard są zawsze wymagane, a do tego wymagany jest co najmniej jeden składnik narzędziowy. Nie trzeba jednak używać wszystkich narzędzi na każdym pulpicie nawigacyjnym odpowiedzialnej sztucznej inteligencji.

W poniższych sekcjach przedstawiono specyfikacje składników odpowiedzialnej sztucznej inteligencji oraz przykłady fragmentów kodu w języku YAML i Python.

Ograniczenia

Bieżący zestaw składników ma wiele ograniczeń dotyczących ich użycia:

• Wszystkie modele muszą być zarejestrowane w usłudze Azure Machine Learning w formacie MLflow z odmianą sklearn (scikit-learn).
• Modele muszą być ładowalne w środowisku składników.
• Modele muszą być możliwe do wyboru.
• Modele muszą być dostarczane do składników odpowiedzialnej sztucznej Fetch Registered Model inteligencji przy użyciu składnika, który udostępniamy.
• Dane wejściowe zestawu danych muszą być w mltable formacie.
• Model musi być dostarczony nawet wtedy, gdy jest wykonywana tylko analiza przyczynowa danych. W tym celu możesz użyć DummyClassifier narzędzi do szacowania i DummyRegressor z biblioteki scikit-learn.

Konstruktor pulpitu nawigacyjnego RAI Insights

Ten składnik ma trzy porty wejściowe:

• Model uczenia maszynowego
• Zestaw danych trenowania
• Testowy zestaw danych

Aby wygenerować szczegółowe informacje debugowania modelu za pomocą składników, takich jak analiza błędów i wyjaśnienia modelu, użyj zestawu danych trenowania i testowania, które były używane podczas trenowania modelu. W przypadku składników, takich jak analiza przyczynowa, która nie wymaga modelu, należy użyć zestawu danych trenowania do wytrenowania modelu przyczynowego w celu wygenerowania szczegółowych informacji przyczynowych. Zestaw danych testowych służy do wypełniania wizualizacji pulpitów nawigacyjnych odpowiedzialnej sztucznej inteligencji.

Najprostszym sposobem dostarczenia modelu jest zarejestrowanie modelu wejściowego i odwołanie do tego samego modelu w porcie RAI Insight Constructor wejściowym modelu składnika, który omówimy w dalszej części tego artykułu.

Dwa zestawy danych powinny być w mltable formacie. Udostępnione zestawy danych trenowania i testowania nie muszą być tymi samymi zestawami danych, które są używane podczas trenowania modelu, ale mogą być takie same. Domyślnie ze względu na wydajność testowy zestaw danych jest ograniczony do 5000 wierszy interfejsu użytkownika wizualizacji.

Składnik konstruktora akceptuje również następujące parametry:

¹ Listy powinny być podawane jako pojedynczy ciąg zakodowany w formacie JSON dla categorical_column_names, classesfeature_metadata danych wejściowych.

Składnik konstruktora ma jedno wyjście o nazwie rai_insights_dashboard. Jest to pusty pulpit nawigacyjny, na którym działają poszczególne składniki narzędzia. Wszystkie wyniki są zbierane przez Gather RAI Insights dashboard składnik na końcu.

 create_rai_job: 

    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_constructor/versions/<get current version>
    inputs: 
      title: From YAML snippet 
      task_type: regression
      type: mlflow_model
      path: azureml:<registered_model_name>:<registered model version> 
      train_dataset: ${{parent.inputs.my_training_data}} 
      test_dataset: ${{parent.inputs.my_test_data}} 
      target_column_name: ${{parent.inputs.target_column_name}} 
      categorical_column_names: '["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]' 

# First load the component:

        rai_constructor_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_constructor", label="latest")

#Then inside the pipeline:

            construct_job = rai_constructor_component( 
                title="From Python", 
                task_type="classification", 
                model_input= model_input= Input(type=AssetTypes.MLFLOW_MODEL, path="<azureml:model_name:model_id>"),
                train_dataset=train_data, 
                test_dataset=test_data, 
                target_column_name=target_column_name, 
                categorical_column_names='["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]', 
                maximum_rows_for_test_dataset=5000, 
                classes="[]", 
            ) 

Dodawanie przyczynowości do pulpitu nawigacyjnego usługi RAI Insights

Ten składnik wykonuje analizę przyczynową w podanych zestawach danych. Ma jeden port wejściowy, który akceptuje dane wyjściowe elementu RAI Insights dashboard constructor. Akceptuje również następujące parametry:

² W przypadku list parametrów: kilka parametrów akceptuje listy innych typów (ciągi, liczby, nawet inne listy). Aby przekazać je do składnika, muszą najpierw zostać zakodowane w formacie JSON w jeden ciąg.

Ten składnik ma jeden port wyjściowy, który można połączyć z jednym z insight_[n] portów wejściowych Gather RAI Insights Dashboard składnika.

  causal_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_causal/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      treatment_features: `["Number of GitHub repos contributed to", "YOE"]' 

#First load the component: 

        rai_causal_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_causal", label="latest")

#Use it inside a pipeline definition: 
            causal_job = rai_causal_component( 
                rai_insights_dashboard=construct_job.outputs.rai_insights_dashboard, 
                treatment_features='`["Number of GitHub repos contributed to", "YOE"]', 
            ) 

Dodawanie kontraktualistów do pulpitu nawigacyjnego USŁUGI RAI Insights

Ten składnik generuje punkty counterfactual dla dostarczonego zestawu danych testowych. Ma jeden port wejściowy, który akceptuje dane wyjściowe konstruktora pulpitu nawigacyjnego RAI Insights. Akceptuje również następujące parametry:

³ W przypadku parametrów nieskalarnych: Parametry, które są listami lub słownikami, powinny być przekazywane jako pojedyncze ciągi zakodowane w formacie JSON.

Ten składnik ma jeden port wyjściowy, który można połączyć z jednym z insight_[n] portów wejściowych Gather RAI Insights dashboard składnika.

 counterfactual_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_counterfactual/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      total_CFs: 10 
      desired_range: "[5, 10]" 

#First load the component: 
        rai_counterfactual_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_counterfactual", label="latest")

#Use it in a pipeline function: 
            counterfactual_job = rai_counterfactual_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                total_cfs=10, 
                desired_range="[5, 10]", 
            ) 

Dodawanie analizy błędów do pulpitu nawigacyjnego usługi RAI Insights

Ten składnik generuje analizę błędów dla modelu. Ma jeden port wejściowy, który akceptuje dane wyjściowe elementu RAI Insights Dashboard Constructor. Akceptuje również następujące parametry:

Ten składnik ma jeden port wyjściowy, który można połączyć z jednym z insight_[n] portów wejściowych Gather RAI Insights Dashboard składnika.

  error_analysis_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_erroranalysis/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      filter_features: `["style", "Employer"]' 

#First load the component: 
        rai_erroranalysis_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_erroranalysis", label="latest")

#Use inside a pipeline: 
            erroranalysis_job = rai_erroranalysis_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                filter_features='["style", "Employer"]', 
            ) 

Dodawanie wyjaśnienia do pulpitu nawigacyjnego USŁUGI RAI Insights

Ten składnik generuje wyjaśnienie modelu. Ma jeden port wejściowy, który akceptuje dane wyjściowe elementu RAI Insights Dashboard Constructor. Akceptuje pojedynczy, opcjonalny ciąg komentarza jako parametr.

Ten składnik ma jeden port wyjściowy, który można połączyć z jednym z insight_[n] portów wejściowych składnika pulpitu nawigacyjnego Zbieraj dane RAI Insights.

  explain_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_explanation/versions/<version>
    inputs: 
      comment: My comment 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 

#First load the component: 
        rai_explanation_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_explanation", label="latest"

#Use inside a pipeline: 
            explain_job = rai_explanation_component( 
                comment="My comment", 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
            ) 

Zbieranie pulpitu nawigacyjnego usługi RAI Insights

Ten składnik tworzy wygenerowany wgląd w pojedynczy pulpit nawigacyjny odpowiedzialnej sztucznej inteligencji. Ma pięć portów wejściowych:

• constructor Port, który musi być połączony ze składnikiem konstruktora pulpitu nawigacyjnego RAI Insights.
• Cztery insight_[n] porty, które można połączyć z danymi wyjściowymi składników narzędzi. Co najmniej jeden z tych portów musi być połączony.

Istnieją dwa porty wyjściowe:

• Port dashboard zawiera ukończony RAIInsights obiekt.
• Port ux_json zawiera dane wymagane do wyświetlenia minimalnego pulpitu nawigacyjnego.

  gather_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_gather/versions/<version>
    inputs: 
      constructor: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      insight_1: ${{parent.jobs.causal_01.outputs.causal}} 
      insight_2: ${{parent.jobs.counterfactual_01.outputs.counterfactual}} 
      insight_3: ${{parent.jobs.error_analysis_01.outputs.error_analysis}} 
      insight_4: ${{parent.jobs.explain_01.outputs.explanation}} 

#First load the component: 
        rai_gather_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_gather", label="latest")
#Use in a pipeline: 
            rai_gather_job = rai_gather_component( 
                constructor=create_rai_job.outputs.rai_insights_dashboard, 
                insight_1=explain_job.outputs.explanation, 
                insight_2=causal_job.outputs.causal, 
                insight_3=counterfactual_job.outputs.counterfactual, 
                insight_4=erroranalysis_job.outputs.error_analysis, 
            ) 

Jak wygenerować kartę wyników odpowiedzialnej sztucznej inteligencji (wersja zapoznawcza)

Etap konfiguracji wymaga użycia specjalistycznej wiedzy dotyczącej danej domeny w celu ustawienia żądanych wartości docelowych dotyczących wydajności modelu i metryk sprawiedliwości.

Podobnie jak w przypadku innych składników pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji skonfigurowanych w potoku YAML, można dodać składnik do generowania karty wyników w potoku YAML:

scorecard_01: 

   type: command 
   component: azureml:rai_score_card@latest 
   inputs: 
     dashboard: ${{parent.jobs.gather_01.outputs.dashboard}} 
     pdf_generation_config: 
       type: uri_file 
       path: ./pdf_gen.json 
       mode: download 

     predefined_cohorts_json: 
       type: uri_file 
       path: ./cohorts.json 
       mode: download 

Gdzie pdf_gen.json jest plikiem json konfiguracji generacji karty wyników, a predifined_cohorts_json identyfikatorem wstępnie utworzonego pliku json definicji kohorty.

Oto przykładowy plik JSON dla definicji kohorty i konfiguracji generowania kart wyników:

Definicja kohort:

[ 
  { 
    "name": "High Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "greater", 
        "arg": [ 
          5 
        ], 
        "column": "YOE" 
      } 
    ] 
  }, 
  { 
    "name": "Low Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "less", 
        "arg": [ 
          6.5 
        ], 
        "column": "YOE" 
      } 
    ] 
  } 
] 

Oto plik konfiguracji karty wyników jako przykład regresji:

{ 
  "Model": { 
    "ModelName": "GPT-2 Access", 
    "ModelType": "Regression", 
    "ModelSummary": "This is a regression model to analyze how likely a programmer is given access to GPT-2" 
  }, 
  "Metrics": { 
    "mean_absolute_error": { 
      "threshold": "<=20" 
    }, 
    "mean_squared_error": {} 
  }, 
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YOE", 
      "age" 
    ] 
  }, 
  "Fairness": {
    "metric": ["mean_squared_error"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  },
  "Cohorts": [ 
    "High Yoe", 
    "Low Yoe" 
  ]  
} 

Oto plik konfiguracji generacji karty wyników jako przykład klasyfikacji:

{
  "Model": {
    "ModelName": "Housing Price Range Prediction",
    "ModelType": "Classification",
    "ModelSummary": "This model is a classifier that predicts whether the house will sell for more than the median price."
  },
  "Metrics" :{
    "accuracy_score": {
        "threshold": ">=0.85"
    },
  }
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YearBuilt", 
      "OverallQual", 
      "GarageCars"
    ] 
  },
  "Fairness": {
    "metric": ["accuracy_score", "selection_rate"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  }
}

Definicja danych wejściowych dla składnika karty wyników odpowiedzialnej sztucznej inteligencji

W tej sekcji wymieniono i zdefiniowano parametry wymagane do skonfigurowania składnika karty wyników odpowiedzialnej sztucznej inteligencji.

Model

Metryki

Próg: żądany próg dla wybranej metryki. Dozwolone tokeny matematyczne to >, , <>= i <=m, a następnie liczba rzeczywista. Na przykład = 0,75 oznacza, >że element docelowy dla wybranej metryki jest większy lub równy 0,75.

Ważność funkcji

top_n: liczba wyświetlanych funkcji z maksymalnie 10. Dodatnie liczby całkowite do 10 są dozwolone.

Sprawiedliwość

Możesz wybrać spośród następujących metryk w połączeniu z elementem fairness_evaluation_kind, aby skonfigurować składnik oceny sprawiedliwości karty wyników:

Ograniczenia danych wejściowych

Jakie formaty i smaki modelu są obsługiwane?

Model musi znajdować się w katalogu MLflow z dostępnym smakiem sklearn. Ponadto model musi być ładowalny w środowisku używanym przez składniki odpowiedzialnej sztucznej inteligencji.

Jakie formaty danych są obsługiwane?

Podane zestawy danych powinny zawierać mltable dane tabelaryczne.

Następne kroki

• Po wygenerowaniu pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji wyświetl sposób uzyskiwania dostępu do niego i używania go w usłudze Azure Machine Learning Studio.
• Podsumuj i udostępnij szczegółowe informacje o odpowiedzialnej sztucznej inteligencji za pomocą karty wyników odpowiedzialnej sztucznej inteligencji jako eksportu w formacie PDF.
• Dowiedz się więcej o pojęciach i technikach związanych z pulpitem nawigacyjnym odpowiedzialnej sztucznej inteligencji.
• Dowiedz się więcej na temat odpowiedzialnego zbierania danych.
• Wyświetl przykładowe notesy YAML i Python, aby wygenerować pulpit nawigacyjny odpowiedzialnej sztucznej inteligencji przy użyciu języka YAML lub Python.
• Dowiedz się więcej o sposobie używania pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji i karty wyników do debugowania danych i modeli oraz informowania o lepszym podejmowaniu decyzji w tym wpisie w blogu społeczności technicznej.
• Dowiedz się, jak pulpit nawigacyjny i karta wyników odpowiedzialnej sztucznej inteligencji były używane przez brytyjski narodowy Usługa kondycji (NHS) w prawdziwej historii klienta.
• Zapoznaj się z funkcjami pulpitu nawigacyjnego Odpowiedzialne używanie sztucznej inteligencji za pomocą tego interaktywnego pokazu internetowego laboratorium sztucznej inteligencji.