Identificar os princípios que orientam o uso responsável da IA

• 12 minutos

Na última unidade, discutimos algumas das implicações sociais da IA. Falamos sobre a responsabilidade de empresas, governos, ONGs e pesquisadores acadêmicos de prever e atenuar as consequências não intencionais da tecnologia de IA. À medida que as organizações consideram essas responsabilidades, mais estão criando políticas e práticas internas para orientar seus esforços de IA.

Na Microsoft, reconhecemos seis princípios que acreditamos que devem orientar o desenvolvimento e o uso da IA – imparcialidade, confiabilidade e segurança, privacidade e segurança, inclusão, transparência e responsabilidade. Para nós, esses princípios são a base de uma abordagem de uso de IA responsável e confiável, especialmente na medida que a tecnologia inteligente se torna cada vez mais predominante nos produtos e nos serviços que usamos todos os dias.

Imparcialidade

Os sistemas de IA devem tratar todos de forma justa e evitar tratar grupos de pessoas similarmente situadas de formas diferentes. Por exemplo, quando os sistemas de IA fornecem diretrizes sobre tratamento médico, solicitações de empréstimo ou emprego, eles devem fazer as mesmas recomendações para todos com sintomas, circunstâncias financeiras ou qualificações profissionais semelhantes.

Para garantir a imparcialidade em seu sistema de IA, você deve:

• Entenda o escopo, o espírito e os possíveis usos do sistema de IA fazendo perguntas, por exemplo, como o sistema deve funcionar? Para quem o sistema foi projetado para funcionar? O sistema funcionará para todos igualmente? Como ele pode prejudicar outras pessoas?
• Atraia um pool diversificado de talentos. Garanta que a equipe de design reflita o mundo em que vivemos, incluindo membros da equipe que tenham formação, experiências, educação e perspectivas diferentes.
• Identifique os preconceitos em conjuntos de dados avaliando a origem dos dados, entendendo como eles foram organizados e testando-os para garantir que eles sejam representados. Os preconceitos podem ser introduzidos em cada estágio da criação, da coleta à modelagem e à operação. O Painel de IA Responsável, disponível na seção Recursos, inclui um recurso para ajudar nessa tarefa.
• Identifique os preconceitos em algoritmos de aprendizado de máquina aplicando ferramentas e técnicas que melhoram a transparência e a inteligibilidade dos modelos. Os usuários devem identificar e remover ativamente o viés em algoritmos de aprendizado de máquina.
• Utilize a experiência de domínio e revisão humana. Treine os funcionários para entender o significado e as implicações dos resultados de IA, especialmente quando a IA é usada para informar decisões consequenciais sobre pessoas. As decisões que usam IA sempre devem ser supervisionadas por revisão humana. Inclua especialistas relevantes no assunto no processo de design e nas decisões de implantação. Um exemplo seria incluir um especialista em assuntos de crédito do consumidor para um sistema de IA de pontuação de crédito. Você deve usar a IA como um copiloto, ou seja, uma ferramenta de assistência que ajuda você a fazer seu trabalho melhor e mais rápido, mas requer algum grau de supervisão.
• Pesquise e empregue melhores práticas, técnicas analíticas ferramentas de outras instituições e empresas para ajudar a detectar, prevenir e abordar preconceitos em sistemas de IA.

Confiabilidade e segurança

Para conquistar a confiança, é fundamental que os sistemas de IA funcionem de maneira confiável, segura e consistente em circunstâncias normais e em condições inesperadas. Esses sistemas devem conseguir funcionar de acordo com o modo como foram originalmente projetados, responder com segurança a condições não previstas e resistir à manipulação prejudicial. Também é importante conseguir verificar se esses sistemas estão se comportando conforme esperado em condições operacionais reais. A maneira como eles se comportam e a variedade de condições com as quais eles podem lidar de maneira confiável e segura refletem, em grande parte, a variedade de situações e circunstâncias previstas pelos desenvolvedores durante o design e o teste.

Para garantir a confiabilidade e a segurança em seu sistema de IA, você deve:

• Desenvolva processos para a auditoria de sistemas de IA a fim de avaliar a qualidade e a adequação dos dados e dos modelos, monitorar o desempenho contínuo e verificar se os sistemas estão se comportando conforme o esperado de acordo com medidas de desempenho estabelecidas.
• Forneça uma explicação detalhada da operação do sistema, incluindo especificações de design, informações sobre dados de treinamento, falhas de treinamento ocorridas e possíveis inadequações com os dados de treinamento, bem como as inferências e as previsões significativas geradas.
• Projete o sistema para circunstâncias não intencionais, como interações acidentais do sistema, a introdução de dados maliciosos ou ataques cibernéticos.
• Envolva especialistas de domínio nos processos de design e implementação, especialmente ao usar a IA para ajudar a tomar decisões consequenciais sobre pessoas.
• Conduza testes rigorosos durante o desenvolvimento e a implantação dos sistemas de IA para garantir que os sistemas possam responder com segurança a circunstâncias não previstas, não apresentem falhas de desempenho inesperadas e não evoluam de maneiras inesperadas. Os sistemas de IA envolvidos em cenários de alto risco que afetam a segurança humana ou populações maiores devem ser testados em cenários de laboratório e do mundo real.
• Avalie quando e como um sistema de IA deve buscar contribuições humanas para decisões de impacto ou durante situações críticas. Considere como um sistema de IA deve transferir o controle para um humano de uma maneira que seja significativa e inteligível. Crie sistemas de IA para garantir que os humanos tenham o nível necessário de contribuição em decisões altamente impactantes.
• Desenvolva um mecanismo robusto de comentários para os usuários relatarem problemas de desempenho a fim de que você possa resolvê-los rapidamente.

Privacidade e segurança

À medida que a IA se torna mais predominante, a proteção da privacidade e das informações pessoais e comerciais importantes se torna mais crítica e complexa. Com a IA, problemas de privacidade e segurança de dados exigem, principalmente, atenção especial, porque o acesso aos dados é essencial para os sistemas de IA fazer previsões e tomar decisões precisas e informadas sobre as pessoas.

Para garantir a privacidade e a segurança em seu sistema de IA, você deve:

• Cumprir as leis de proteção de dados, privacidade e transparência pertinentes, investindo recursos no desenvolvimento de tecnologias de conformidade e processos ou trabalhando com um líder de tecnologia durante o desenvolvimento dos sistemas de IA. Desenvolva processos para verificar continuamente que os sistemas de IA atendam a todos os aspectos dessas leis.
• Crie sistemas de IA para manter a integridade dos dados pessoais, de modo que eles só possam usar dados pessoais durante o tempo necessário e para os objetivos definidos que foram compartilhados com os clientes. Exclua dados pessoais coletados inadvertidamente ou dados que não sejam mais relevantes para o objetivo definido.
• Proteja os sistemas de IA contra atores ruins projetando sistemas de IA de acordo com os fundamentos de desenvolvimento e operações seguros, usando o acesso baseado em função e protegendo dados pessoais e confidenciais transferidos a terceiros. Crie sistemas de IA para identificar comportamentos anormais e prevenir manipulação e ataques mal-intencionados.
• Crie sistemas de IA com controles adequados para os clientes tomarem decisões sobre como e por que seus dados são coletados e usados.
• Verificar se o sistema de IA mantém o anonimato levando em conta como o sistema remove a identificação pessoal dos dados.
• Conduza revisões de privacidade e segurança para todos os sistemas de IA.
• Pesquise e implemente as melhores práticas do setor para acompanhar informações relevantes sobre os dados do cliente, acessar e usar esses dados e auditar o acesso e o uso.

Inclusão

Na Microsoft, acreditamos firmemente que todas as pessoas devem se beneficiar de tecnologias inteligentes, o que significa que elas precisam incorporar e abordar uma ampla gama de necessidades e experiências humanas. Para o 1 bilhão de pessoas com deficiências em todo o mundo, as tecnologias de IA podem ser um divisor de águas. A IA pode melhorar o acesso à educação, a serviços governamentais, a emprego, a informações e a uma ampla variedade de outras oportunidades. Soluções inteligentes, como transcrição de fala em texto em tempo real, serviços de reconhecimento visual e funcionalidade de texto preditivo, já estão capacitando pessoas com deficiências auditivas, visuais e outras.

Princípios de design inclusivo da Microsoft:

• Reconhecer exclusão
• Resolver os problemas por diversão, estender a solução para todos
• Aprender com a diversidade

Para garantir a inclusão em seu sistema de IA, você deve:

• Cumprir as leis relativas à acessibilidade e inclusão que exigem a aquisição de tecnologia acessível.
• Use o Guia Básico Inclusivo, disponível na seção de recursos deste módulo, para ajudar os desenvolvedores de sistemas a entender e resolver possíveis obstáculos em um ambiente de produto que possam, involuntariamente, excluir pessoas.
• Solicite que pessoas com deficiências testem seus sistemas para ajudá-lo a descobrir se o sistema pode ser usado como pretendido pelo maior público-alvo possível.
• Considere os padrões de acessibilidade comumente usados para ajudar a garantir que o sistema seja acessível para pessoas de todas as aptidões.

Transparência

Como base dos valores anteriores estão dois princípios fundamentais que são essenciais para garantir a eficácia do restante: transparência e responsabilidade. É fundamental que as pessoas entendam como os sistemas de IA chegam a conclusões quando estão acostumados a informar decisões que têm um efeito na vida das pessoas. Por exemplo, um banco pode usar um sistema de IA para decidir se uma pessoa pode receber crédito, ou uma empresa pode usar um sistema de IA para determinar os candidatos mais qualificados para contratação.

Uma parte crucial da transparência é o que chamamos de inteligibilidade ou a explicação útil do comportamento dos sistemas de IA e seus componentes. A melhoria da inteligibilidade exige que os stakeholders compreendam como e por que eles funcionam, de modo que possam identificar possíveis problemas de desempenho, preocupações de segurança e privacidade, preconceitos, práticas exclusivas ou resultados não intencionais. Também acreditamos que as pessoas que usam os sistemas de IA devem ser honestos e comunicativos sobre quando, por que e como escolheram implantá-los.

Para garantir a transparência em seu sistema de IA, você deve:

• Compartilhe as principais características dos conjuntos de dados para ajudar os desenvolvedores a entender se um conjunto de dados específico é apropriado para seu caso de uso.
• Melhorar a inteligibilidade do modelo utilizando modelos mais simples e gerando explicações inteligíveis sobre o comportamento do modelo. Para essa tarefa, você pode usar o Painel de IA Responsável, disponível na seção de recursos.
• Treine os funcionários em como interpretar os resultados da IA e garanta que eles permaneçam responsáveis pela tomada de decisões consequenciais, com base nos resultados.

Responsabilidade

As pessoas que criam e implantam sistemas de IA precisam ser responsáveis pela forma como seus sistemas operam. As organizações devem se basear nos padrões do setor para desenvolver normas de responsabilidade. Essas normas podem garantir que os sistemas de IA não sejam a autoridade final sobre qualquer decisão que afete as vidas das pessoas e que os humanos mantenham controle significativo sobre sistemas de IA que, de outro modo, seriam altamente autônomos.

Para garantir a responsabilidade em seu sistema de IA, você deve:

• Forme conselhos de revisão internos para fornecer supervisão e diretrizes sobre o desenvolvimento e a implantação responsáveis de sistemas de IA. Eles também podem ajudar com tarefas como definir práticas recomendadas para documentar e testar sistemas de IA durante o desenvolvimento ou fornecer diretrizes para casos confidenciais.
• Garantir que os funcionários sejam treinados para usar e manter a solução de maneira responsável e ética e entender quando a solução pode exigir suporte técnico extra.
• Mantenha humanos com experiência básica atualizados sobre o processo informando-os e envolvendo-os nas decisões sobre a execução do modelo. Quando a automação das decisões for necessária, verifique se eles estão aptos a inspecionar, identificar e resolver os desafios com a saída e a execução do modelo.
• Implemente um sistema claro de responsabilidade e governança para realizar atividades de correção, caso os modelos sejam vistos se comportando de maneira injusta ou potencialmente prejudicial.

Reconhecemos que cada indivíduo, empresa e região tem suas próprias crenças e seus próprios padrões que devem ser refletidos em sua jornada de IA. Compartilhamos com você nossa perspectiva enquanto você considera o desenvolvimento de seus próprios princípios orientadores.

Esses princípios fornecem uma ideia geral do que devemos fazer ao desenvolver e usar a IA. No entanto, eles precisam ser refletidos em um nível mais prático. Em seguida, vamos explorar como esses princípios podem ser garantidos com um sistema de governança de IA.