Diretrizes para integração e uso responsável do Personalizador

A Microsoft trabalha para ajudar os clientes a desenvolver e implantar soluções com responsabilidade usando o Personalizador de IA do Azure. Nossa abordagem de princípios defende a agência pessoal e a dignidade considerando o sistema de IA:

• Imparcialidade, confiabilidade e segurança.
• Privacidade e segurança.
• Inclusão.
• Transparência.
• Responsabilidade humana.

Essas considerações refletem nosso compromisso com o desenvolvimento de IA responsável.

Diretrizes gerais para princípios de integração e uso responsável

Quando você se preparar para integrar e usar com responsabilidade produtos ou recursos habilitados para IA, as seguintes atividades vão prepará-lo para o sucesso:

• Entenda o que ela pode fazer. Avalie completamente o potencial do Personalizador para entender seus recursos e suas limitações. Entenda como ele será executado em seu cenário e contexto específicos testando-o completamente com condições e dados da vida real.

• Respeite o direito de privacidade de um indivíduo. Colete apenas dados e informações de indivíduos para fins legais e justificáveis. Use apenas dados e informações que você tenha consentimento para usar para essa finalidade.

• Obtenha revisão legal. Obtenha a orientação jurídica apropriada para examinar o Personalizador e como você o está usando em sua solução, especialmente se usá-lo em aplicativos confidenciais ou de alto risco. Entenda quais restrições você pode precisar para trabalhar e sua responsabilidade de resolver quaisquer problemas que possam surgir no futuro.

• Mantenha uma pessoa no loop. Inclua a supervisão humana como uma área de padrão consistente a ser explorada. Garanta a supervisão humana constante do produto ou o recurso habilitado para IA. Mantenha a função das pessoas na tomada de decisões. Verifique se você pode ter uma intervenção humana em tempo real na solução para evitar danos e gerenciar situações em que o sistema de IA não funciona conforme o esperado.

• Crie confiança com os stakeholders afetados. Comunique os benefícios esperados e os possíveis riscos aos stakeholders afetados. Ajude as pessoas a entender por que os dados são necessários e como o uso desses dados resultará em benefícios. Descreva o tratamento de dados de uma maneira compreensível.

• Crie um loop de comentários do cliente. Forneça um canal de comentários que permita que usuários e indivíduos relatem problemas com o serviço após sua implantação. Depois de implantar um produto ou recurso habilitado para IA, ele requer monitoramento e aprimoramento contínuos. Esteja pronto para implementar comentários e sugestões de melhoria. Estabeleça canais para coletar perguntas e preocupações dos stakeholders afetados. As pessoas que podem ser afetadas direta ou indiretamente pelo sistema incluem funcionários, visitantes e o público em geral.

• Comentários: busque comentários de uma amostragem diversificada da comunidade durante o processo de desenvolvimento e avaliação (por exemplo, grupos historicamente marginalizados, pessoas com deficiências e trabalhos de serviço). Para obter mais informações, confira Comissão jurídica da comunidade.

• Estudo do usuário: todas as recomendações de consentimento ou divulgação devem ser enquadradas em um estudo do usuário. Avalie a primeira experiência de uso contínuo com uma amostra representativa da comunidade para validar se as escolhas de design levam à divulgação efetiva. Realize uma pesquisa de usuários com 10 a 20 membros da comunidade (stakeholders afetados) para avaliar sua compreensão das informações e determinar se suas expectativas são atendidas.

• Transparência e Explicabilidade: considere habilitar e usar a funcionalidade de explicabilidade de inferência do Personalizador para entender melhor quais recursos desempenham um papel significativo na escolha de decisão do Personalizador em cada chamada de Classificação. Essa funcionalidade permite que você forneça transparência aos usuários sobre o papel desempenhado pelos dados na produção da melhor ação recomendada. Por exemplo, você pode dar a seus usuários um botão chamado Por que essas sugestões? que mostra quais recursos principais desempenharam um papel na produção dos resultados do Personalizador. Essas informações também podem ser usadas para entender melhor quais atributos de dados sobre usuários, contextos e ações estão funcionando a favor da escolha da melhor ação do Personalizador, quais estão funcionando contra ela e quais podem ter pouco ou nenhum efeito. Essa funcionalidade também pode fornecer insights sobre os segmentos de usuário e ajudar a identificar e abordar possíveis vieses.

• Uso do adversário: considere estabelecer um processo para detectar e agir sobre manipulação mal-intencionada. Há atores que aproveitarão o machine learning e a capacidade dos sistemas de IA para aprender com seu ambiente. Com ataques coordenados, eles podem falsificar artificialmente padrões de comportamento que deslocam os dados e os modelos de IA para seus objetivos. Se o uso do Personalizador influenciar escolhas importantes, certifique-se de ter os meios apropriados para detectar e mitigar esses tipos de ataques.

• Recusar: considere fornecer um controle para que os usuários optem por não receber recomendações personalizadas. Para esses usuários, a API de Classificação do Personalizador não será chamada do aplicativo. Em vez disso, o aplicativo pode usar um mecanismo alternativo para decidir qual ação é tomada. Por exemplo, ao recusar recomendações personalizadas e escolher a ação padrão ou de linha de base, o usuário faz com que seja aplicada a ação que seria executada sem a recomendação do Personalizador. Como alternativa, o aplicativo pode usar recomendações com base em medidas agregadas ou baseadas em população (por exemplo, tendências atuais, os dez mais populares etc.).

Sua responsabilidade

Todas as diretrizes para a implementação responsável são desenvolvidas considerando que os desenvolvedores e as empresas que usam o Personalizador são responsáveis pelos efeitos do uso desses algoritmos na sociedade. Se você estiver desenvolvendo um aplicativo que sua organização implantará, deverá reconhecer sua função e responsabilidade por sua operação e como ele afeta as pessoas. Se você estiver criando um aplicativo para ser implantado por um terceiro, chegue a um acordo sobre quem é o responsável pelo comportamento do aplicativo. Certifique-se de documentar esse entendimento.

Perguntas e comentários

A Microsoft está continuamente atualizando ferramentas e documentos para ajudar você a atuar com base nessas responsabilidades. Nossa equipe convida você a fornecer comentários à Microsoft caso acredite que outras ferramentas, recursos do produto e documentos ajudariam você a implementar essas diretrizes para usar o Personalizador.

Leitura recomendada

• Veja os seis princípios da Microsoft para o desenvolvimento responsável de IA publicados no livro de janeiro de 2018, O futuro computado.

Próximas etapas

Entenda como a API do Personalizador recebe recursos: Recursos: ação e contexto