Análise contrafactual e hipóteses

Os cenários contrafactuais hipotéticos abordam a questão do que o modelo preveria se você alterasse a entrada da ação. Eles permitem a compreensão e depuração de um modelo de aprendizado de máquina em termos de como ele reage às alterações de entrada (recurso).

As técnicas de interpretabilidade padrão aproximam um modelo de aprendizado de máquina ou classificam recursos por sua importância preditiva. Por outro lado, a análise contrafactual "interroga" um modelo para determinar quais alterações em um determinado ponto de dados mudariam a decisão do modelo.

Tal análise ajuda a desembaraçar o impacto de características correlacionadas isoladamente. Ele também ajuda você a obter uma compreensão mais matizada de quanto de uma alteração de recurso é necessária para ver uma mudança de decisão de modelo para modelos de classificação e uma mudança de decisão para modelos de regressão.

A análise contrafactual e o componente hipotético do painel de IA responsável têm duas funções:

• Gere um conjunto de exemplos com alterações mínimas em um ponto específico, de modo que alterem a previsão do modelo (mostrando os pontos de dados mais próximos com previsões de modelo opostas).
• Permita que os usuários gerem suas próprias perturbações hipotéticas para entender como o modelo reage às alterações de recursos.

Um dos principais diferenciais do componente de análise contrafactual do painel de IA responsável é o fato de que você pode identificar quais recursos devem variar e seus intervalos permitidos para exemplos contrafactuais válidos e lógicos.

As capacidades deste componente vêm do pacote DiCE .

Use cenários contrafactuais hipotéticos quando precisar:

• Examine os critérios de equidade e confiabilidade como um avaliador de decisão, perturbando atributos sensíveis, como gênero e etnia, e, em seguida, observando se as previsões do modelo mudam.
• Depure instâncias de entrada específicas em profundidade.
• Fornecer soluções aos usuários e determinar o que eles podem fazer para obter um resultado desejável do modelo.

Como são gerados os exemplos contrafactuais?

Para gerar contrafactuais, o DiCE implementa algumas técnicas agnósticas de modelos. Estes métodos aplicam-se a qualquer classificador ou regressor de caixa opaca. Eles são baseados na amostragem de pontos próximos a um ponto de entrada, enquanto otimizam uma função de perda com base na proximidade (e, opcionalmente, esparsidade, diversidade e viabilidade). Os métodos atualmente suportados são:

• Pesquisa aleatória: Este método amostra, pontos aleatoriamente perto de um ponto de consulta e retorna contrafactuais como pontos cujo rótulo previsto é a classe desejada.
• Pesquisa genética: Este método de amostragem de pontos usando um algoritmo genético, dado o objetivo combinado de otimizar a proximidade com o ponto de consulta, alterar o menor número possível de recursos e buscar diversidade entre os contrafactuais gerados.
• Pesquisa em árvore KD: Este algoritmo retorna contrafactuais do conjunto de dados de treinamento. Ele constrói uma árvore KD sobre os pontos de dados de treinamento com base em uma função de distância e, em seguida, retorna os pontos mais próximos para um ponto de consulta específico que produz o rótulo previsto desejado.

Próximos passos

• Saiba como gerar o painel de IA responsável via CLIv2 e SDKv2 ou interface do usuário do estúdio.
• Explore a análise contrafactual suportada e as visualizações de perturbação hipotética do painel de IA responsável.
• Saiba como gerar um scorecard de IA Responsável com base nos insights observados no painel de IA Responsável.