Desempenho e equidade do modelo

Este artigo descreve métodos que você pode usar para entender o desempenho e a equidade do seu modelo no Azure Machine Learning.

O que é equidade de aprendizado de máquina?

A inteligência artificial e os sistemas de aprendizagem automática podem apresentar comportamentos injustos. Uma forma de definir o comportamento injusto é pelo seu dano, ou pelo seu impacto nas pessoas. Os sistemas de IA podem dar origem a muitos tipos de danos. Para saber mais, consulte a palestra NeurIPS 2017 de Kate Crawford.

Dois tipos comuns de danos causados pela IA são:

• Danos da alocação: um sistema de IA estende ou retém oportunidades, recursos ou informações para determinados grupos. Exemplos incluem contratação, admissões escolares e empréstimos, onde um modelo pode ser melhor para escolher bons candidatos entre um grupo específico de pessoas do que entre outros grupos.

• Danos da qualidade de serviço: um sistema de IA não funciona tão bem para um grupo de pessoas como funciona para outro. Por exemplo, um sistema de reconhecimento de voz pode não funcionar tão bem para as mulheres como para os homens.

Para reduzir o comportamento injusto em sistemas de IA, é preciso avaliar e mitigar esses danos. O componente de visão geral do modelo do painel de IA responsável contribui para o estágio de identificação do ciclo de vida do modelo, gerando métricas de desempenho do modelo para todo o seu conjunto de dados e suas coortes de dados identificadas. Ele gera essas métricas em subgrupos identificados em termos de recursos ou atributos confidenciais.

Neste componente do painel de IA responsável, a equidade é conceituada por meio de uma abordagem conhecida como equidade de grupo. Esta abordagem pergunta: "Que grupos de indivíduos estão em risco de sofrer danos?" O termo características sensíveis sugere que o designer de sistemas deve ser sensível a essas características ao avaliar a equidade do grupo.

Durante a fase de avaliação, a equidade é quantificada através de métricas de disparidade. Essas métricas podem avaliar e comparar o comportamento do modelo entre grupos como proporções ou diferenças. O painel de IA Responsável suporta duas classes de métricas de disparidade:

• Disparidade no desempenho do modelo: esses conjuntos de métricas calculam a disparidade (diferença) nos valores da métrica de desempenho selecionada entre subgrupos de dados. Eis alguns exemplos:

  • Disparidade na taxa de precisão
  • Disparidade na taxa de erro
  • Disparidade na precisão
  • Disparidade na recolha
  • Disparidade no erro absoluto médio (MAE)

• Disparidade na taxa de seleção: Esta métrica contém a diferença na taxa de seleção (previsão favorável) entre os subgrupos. Um exemplo disso é a disparidade na taxa de aprovação de empréstimos. Taxa de seleção significa a fração de pontos de dados em cada classe classificada como 1 (em classificação binária) ou distribuição de valores de previsão (em regressão).

As capacidades de avaliação de equidade deste componente vêm do pacote Fairlearn . O Fairlearn fornece uma coleção de métricas de avaliação de equidade de modelos e algoritmos de mitigação de injustiças.

Restrições de paridade para mitigar injustiças

Depois de entender os problemas de equidade do seu modelo, você pode usar os algoritmos de mitigação no pacote de código aberto Fairlearn para mitigar esses problemas. Esses algoritmos suportam um conjunto de restrições no comportamento do preditor chamado restrições ou critérios de paridade.

As restrições de paridade exigem que alguns aspetos do comportamento do preditor sejam comparáveis entre os grupos que as características sensíveis definem (por exemplo, raças diferentes). Os algoritmos de mitigação no pacote de código aberto Fairlearn usam essas restrições de paridade para mitigar os problemas de equidade observados.

O pacote Fairlearn suporta os seguintes tipos de restrições de paridade:

Algoritmos de mitigação

O pacote de código aberto Fairlearn fornece dois tipos de algoritmos de mitigação de injustiça:

• Redução: Esses algoritmos usam um estimador de aprendizado de máquina de caixa preta padrão (por exemplo, um modelo LightGBM) e geram um conjunto de modelos retreinados usando uma sequência de conjuntos de dados de treinamento reponderados.

  Por exemplo, os candidatos de um determinado género podem ser sujeitos a um maior ou menor peso para reciclar os modelos e reduzir as disparidades entre grupos de género. Os usuários podem escolher um modelo que forneça a melhor compensação entre precisão (ou outra métrica de desempenho) e disparidade, com base em suas regras de negócios e cálculos de custo.

• Pós-processamento: Esses algoritmos usam um classificador existente e um recurso sensível como entrada. Em seguida, derivam uma transformação da previsão do classificador para impor as restrições de equidade especificadas. A maior vantagem de um algoritmo de pós-processamento, a otimização de limites, é sua simplicidade e flexibilidade, porque não precisa treinar novamente o modelo.

Próximos passos

• Saiba como gerar o painel de IA Responsável por meio de CLI e SDK ou da interface do usuário do estúdio Azure Machine Learning.
• Explore a visão geral do modelo suportado e as visualizações de avaliação de equidade do painel de IA responsável.
• Saiba como gerar um scorecard de IA Responsável com base nos insights observados no painel de IA Responsável.
• Saiba como usar os componentes verificando o repositório GitHub do Fairlearn, o guia do usuário, exemplos e exemplos de blocos de anotações.