Gere insights de IA responsável com YAML e Python

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Você pode gerar um painel e scorecard de IA Responsável por meio de um trabalho de pipeline usando componentes de IA Responsável. Existem seis componentes principais para criar dashboards de IA Responsável, juntamente com alguns componentes auxiliares. Aqui está um exemplo de gráfico de experimento:

Componentes de IA responsável

Os principais componentes para construir o painel de IA Responsável no Azure Machine Learning são:

• RAI Insights dashboard constructor
• Os componentes da ferramenta:
  • Add Explanation to RAI Insights dashboard
  • Add Causal to RAI Insights dashboard
  • Add Counterfactuals to RAI Insights dashboard
  • Add Error Analysis to RAI Insights dashboard
  • Gather RAI Insights dashboard
  • Gather RAI Insights score card

Os componentes RAI Insights dashboard constructor e Gather RAI Insights dashboard são sempre necessários, além de, pelo menos, um dos componentes de ferramenta. No entanto, não é necessário usar todas as ferramentas em todos os painéis de IA responsável.

Nas seções a seguir estão especificações dos componentes de IA responsável e exemplos de trechos de código em YAML e Python.

Limitações

O conjunto atual de componentes tem muitas limitações em seu uso:

• Todos os modelos devem ser registrados no Azure Machine Learning no formato MLflow com um sabor sklearn (scikit-learn).
• Tem de ser possível carregar os modelos no ambiente do componente.
• Os modelos devem ser decapáveis.
• Os modelos devem ser fornecidos aos componentes de IA responsável usando o Fetch Registered Model componente, que fornecemos.
• As entradas do conjunto de dados devem estar no mltable formato.
• Deve ser fornecido um modelo mesmo que apenas seja realizada uma análise causal dos dados. Você pode usar os DummyClassifier e DummyRegressor estimadores de scikit-learn para este propósito.

Construtor do painel RAI Insights

Este componente tem três portas de entrada:

• O modelo de aprendizagem automática
• O conjunto de dados de treinamento
• O conjunto de dados de teste

Para gerar insights de depuração de modelo com componentes como análise de erros e explicações de modelo, use o conjunto de dados de treinamento e teste que você usou quando treinou seu modelo. Para componentes como a análise causal, que não requer um modelo, você usa o conjunto de dados de treinamento para treinar o modelo causal para gerar os insights causais. Você usa o conjunto de dados de teste para preencher suas visualizações do painel de IA responsável.

A maneira mais fácil de fornecer o modelo é registrar o modelo de entrada e fazer referência ao mesmo modelo na porta de entrada do componente do RAI Insight Constructor modelo, que discutiremos mais adiante neste artigo.

Os dois conjuntos de dados devem estar em mltable formato. Os conjuntos de dados de treinamento e teste fornecidos não precisam ser os mesmos conjuntos de dados usados no treinamento do modelo, mas podem ser os mesmos. Por padrão, por motivos de desempenho, o conjunto de dados de teste é restrito a 5.000 linhas da interface do usuário de visualização.

O componente do construtor também aceita os seguintes parâmetros:

1 As listas devem ser fornecidas como uma única cadeia de caracteres codificada em JSON para categorical_column_names, classes, feature_metadata entradas.

O componente do construtor tem uma única saída chamada rai_insights_dashboard. Este é um painel vazio, no qual os componentes individuais da ferramenta operam. Todos os resultados são montados pelo Gather RAI Insights dashboard componente no final.

 create_rai_job: 

    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_constructor/versions/<get current version>
    inputs: 
      title: From YAML snippet 
      task_type: regression
      type: mlflow_model
      path: azureml:<registered_model_name>:<registered model version> 
      train_dataset: ${{parent.inputs.my_training_data}} 
      test_dataset: ${{parent.inputs.my_test_data}} 
      target_column_name: ${{parent.inputs.target_column_name}} 
      categorical_column_names: '["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]' 

# First load the component:

        rai_constructor_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_constructor", label="latest")

#Then inside the pipeline:

            construct_job = rai_constructor_component( 
                title="From Python", 
                task_type="classification", 
                model_input= model_input= Input(type=AssetTypes.MLFLOW_MODEL, path="<azureml:model_name:model_id>"),
                train_dataset=train_data, 
                test_dataset=test_data, 
                target_column_name=target_column_name, 
                categorical_column_names='["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]', 
                maximum_rows_for_test_dataset=5000, 
                classes="[]", 
            ) 

Adicionar Causal ao painel do RAI Insights

Este componente realiza uma análise causal nos conjuntos de dados fornecidos. Ele tem uma única porta de entrada, que aceita a saída do RAI Insights dashboard constructor. Ele também aceita os seguintes parâmetros:

2 Para os list parâmetros: Vários dos parâmetros aceitam listas de outros tipos (strings, números, até mesmo outras listas). Para passá-los para o componente, eles devem primeiro ser codificados em JSON em uma única cadeia de caracteres.

Este componente tem uma única porta de saída, que pode ser conectada a uma das portas de insight_[n] entrada do Gather RAI Insights Dashboard componente.

  causal_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_causal/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      treatment_features: `["Number of GitHub repos contributed to", "YOE"]' 

#First load the component: 

        rai_causal_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_causal", label="latest")

#Use it inside a pipeline definition: 
            causal_job = rai_causal_component( 
                rai_insights_dashboard=construct_job.outputs.rai_insights_dashboard, 
                treatment_features='`["Number of GitHub repos contributed to", "YOE"]', 
            ) 

Adicionar contrafactuais ao painel do RAI Insights

Este componente gera pontos contrafactuais para o conjunto de dados de teste fornecido. Ele tem uma única porta de entrada, que aceita a saída do construtor do painel RAI Insights. Ele também aceita os seguintes parâmetros:

3 Para os parâmetros não escalares: Os parâmetros que são listas ou dicionários devem ser passados como cadeias de caracteres codificadas em JSON únicas.

Este componente tem uma única porta de saída, que pode ser conectada a uma das portas de insight_[n] entrada do Gather RAI Insights dashboard componente.

 counterfactual_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_counterfactual/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      total_CFs: 10 
      desired_range: "[5, 10]" 

#First load the component: 
        rai_counterfactual_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_counterfactual", label="latest")

#Use it in a pipeline function: 
            counterfactual_job = rai_counterfactual_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                total_cfs=10, 
                desired_range="[5, 10]", 
            ) 

Adicionar análise de erros ao painel do RAI Insights

Este componente gera uma análise de erro para o modelo. Ele tem uma única porta de entrada, que aceita a saída do RAI Insights Dashboard Constructor. Ele também aceita os seguintes parâmetros:

Este componente tem uma única porta de saída, que pode ser conectada a uma das portas de insight_[n] entrada do Gather RAI Insights Dashboard componente.

  error_analysis_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_erroranalysis/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      filter_features: `["style", "Employer"]' 

#First load the component: 
        rai_erroranalysis_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_erroranalysis", label="latest")

#Use inside a pipeline: 
            erroranalysis_job = rai_erroranalysis_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                filter_features='["style", "Employer"]', 
            ) 

Adicionar explicação ao painel do RAI Insights

Este componente gera uma explicação para o modelo. Ele tem uma única porta de entrada, que aceita a saída do RAI Insights Dashboard Constructor. Ele aceita uma única cadeia de comentários opcional como parâmetro.

Esse componente tem uma única porta de saída, que pode ser conectada a uma das portas de insight_[n] entrada do componente do painel Reunir RAI Insights.

  explain_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_explanation/versions/<version>
    inputs: 
      comment: My comment 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 

#First load the component: 
        rai_explanation_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_explanation", label="latest"

#Use inside a pipeline: 
            explain_job = rai_explanation_component( 
                comment="My comment", 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
            ) 

Reunir painel do RAI Insights

Este componente reúne os insights gerados em um único painel de IA responsável. Tem cinco portas de entrada:

• A constructor porta que deve ser conectada ao componente construtor do painel do RAI Insights.
• Quatro insight_[n] portas que podem ser conectadas à saída dos componentes da ferramenta. Pelo menos uma dessas portas deve estar conectada.

Existem duas portas de saída:

• A dashboard porta contém o objeto concluído RAIInsights .
• A ux_json porta contém os dados necessários para exibir um painel mínimo.

  gather_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_gather/versions/<version>
    inputs: 
      constructor: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      insight_1: ${{parent.jobs.causal_01.outputs.causal}} 
      insight_2: ${{parent.jobs.counterfactual_01.outputs.counterfactual}} 
      insight_3: ${{parent.jobs.error_analysis_01.outputs.error_analysis}} 
      insight_4: ${{parent.jobs.explain_01.outputs.explanation}} 

#First load the component: 
        rai_gather_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_gather", label="latest")
#Use in a pipeline: 
            rai_gather_job = rai_gather_component( 
                constructor=create_rai_job.outputs.rai_insights_dashboard, 
                insight_1=explain_job.outputs.explanation, 
                insight_2=causal_job.outputs.causal, 
                insight_3=counterfactual_job.outputs.counterfactual, 
                insight_4=erroranalysis_job.outputs.error_analysis, 
            ) 

Como gerar um scorecard de IA Responsável (visualização)

O estágio de configuração exige que você use sua experiência de domínio em torno do problema para definir os valores-alvo desejados nas métricas de desempenho e equidade do modelo.

Como outros componentes do painel de IA responsável configurados no pipeline YAML, você pode adicionar um componente para gerar o scorecard no pipeline YAML:

scorecard_01: 

   type: command 
   component: azureml:rai_score_card@latest 
   inputs: 
     dashboard: ${{parent.jobs.gather_01.outputs.dashboard}} 
     pdf_generation_config: 
       type: uri_file 
       path: ./pdf_gen.json 
       mode: download 

     predefined_cohorts_json: 
       type: uri_file 
       path: ./cohorts.json 
       mode: download 

Onde pdf_gen.json é o arquivo json de configuração de geração de cartão de pontuação e ID de predifined_cohorts_json o arquivo json de definição de coortes pré-construído.

Aqui está um arquivo JSON de exemplo para definição de coortes e configuração de geração de scorecard:

Definição de coortes:

[ 
  { 
    "name": "High Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "greater", 
        "arg": [ 
          5 
        ], 
        "column": "YOE" 
      } 
    ] 
  }, 
  { 
    "name": "Low Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "less", 
        "arg": [ 
          6.5 
        ], 
        "column": "YOE" 
      } 
    ] 
  } 
] 

Aqui está um arquivo de configuração de geração de scorecard como um exemplo de regressão:

{ 
  "Model": { 
    "ModelName": "GPT-2 Access", 
    "ModelType": "Regression", 
    "ModelSummary": "This is a regression model to analyze how likely a programmer is given access to GPT-2" 
  }, 
  "Metrics": { 
    "mean_absolute_error": { 
      "threshold": "<=20" 
    }, 
    "mean_squared_error": {} 
  }, 
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YOE", 
      "age" 
    ] 
  }, 
  "Fairness": {
    "metric": ["mean_squared_error"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  },
  "Cohorts": [ 
    "High Yoe", 
    "Low Yoe" 
  ]  
} 

Aqui está um arquivo de configuração de geração de scorecard como um exemplo de classificação:

{
  "Model": {
    "ModelName": "Housing Price Range Prediction",
    "ModelType": "Classification",
    "ModelSummary": "This model is a classifier that predicts whether the house will sell for more than the median price."
  },
  "Metrics" :{
    "accuracy_score": {
        "threshold": ">=0.85"
    },
  }
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YearBuilt", 
      "OverallQual", 
      "GarageCars"
    ] 
  },
  "Fairness": {
    "metric": ["accuracy_score", "selection_rate"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  }
}

Definição de inputs para o componente Responsible AI scorecard

Esta seção lista e define os parâmetros necessários para configurar o componente Scorecard de IA Responsável.

Modelo

Métricas

Limite: o limite desejado para a métrica selecionada. Os tokens matemáticos permitidos são >, <, >=, e <=m, seguidos por um número real. Por exemplo, >= 0,75 significa que o alvo para a métrica selecionada é maior ou igual a 0,75.

Importância do recurso

top_n: O número de recursos a mostrar, com um máximo de 10. São permitidos números inteiros positivos até 10.

Justiça

Você pode selecionar entre as seguintes métricas, emparelhadas com fairness_evaluation_kind, para configurar seu componente de avaliação de equidade do scorecard:

Restrições de entrada

Que formatos e sabores de modelo são suportados?

O modelo deve estar no diretório MLflow com um sabor sklearn disponível. Além disso, o modelo precisa ser carregável no ambiente usado pelos componentes de IA responsável.

Que formatos de dados são suportados?

Os conjuntos de dados fornecidos devem ser mltable com dados tabulares.

Próximos passos

• Depois de gerar seu painel de IA responsável, veja como acessá-lo e usá-lo no estúdio do Azure Machine Learning.
• Resuma e compartilhe seus insights de IA Responsável com o scorecard de IA Responsável como uma exportação de PDF.
• Saiba mais sobre os conceitos e técnicas por trás do painel de IA responsável.
• Saiba mais sobre como recolher dados de forma responsável.
• Veja exemplos de blocos de anotações YAML e Python para gerar o painel de IA responsável com YAML ou Python.
• Saiba mais sobre como usar o painel e o scorecard da IA Responsável para depurar dados e modelos e informar uma melhor tomada de decisão nesta postagem do blog da comunidade de tecnologia.
• Saiba mais sobre como o painel e o scorecard da IA Responsável foram usados pelo Serviço Nacional de Saúde do Reino Unido (NHS) em uma história de cliente da vida real.
• Explore os recursos do painel de IA responsável por meio desta demonstração interativa da web do laboratório de IA.