Bases da avaliação de danos

A modelagem de danos é uma prática projetada para ajudar você a prever o potencial de danos, identificar lacunas no produto que poderiam colocar as pessoas em risco e, por fim, criar abordagens que resolvam os danos proativamente.

Por que modelagem de danos?

Como criadores de tecnologia, seu trabalho é global. Projetar a IA para ser confiável exige a criação de soluções que reflitam os princípios de ética profundamente enraizados em valores importantes e atemporais. No processo de design e criação de suas tecnologias, é essencial avaliar não apenas os resultados ideais, mas também os possíveis negativos.

Tecnologia e direitos humanos

Como sempre, é importante saber de que forma a tecnologia digital poderia afetar os direitos humanos. Além de continuar a proteger a privacidade e a segurança, devemos abordar os riscos da IA e de outras tecnologias emergentes, como o reconhecimento facial. A história nos ensina que violações de direitos humanos são resultado do uso perigoso da tecnologia e da falta de conscientização entre aqueles com boas intenções. Como parte da dedicação de nossa empresa com a proteção dos direitos humanos, a Microsoft firmou uma parceria com stakeholders importantes fora de nosso setor, incluindo a ONU (Nações Unidas).

Um conjunto importante de princípios da ONU a que nossa empresa dá suporte com firmeza, que foi ratificado por mais de 250 nações, é a DUDH (Declaração Universal dos Direitos Humanos). A DUDH é um documento de marco. Rascunhada por um grupo global diversificado de especialistas jurídicos e culturais, a declaração foi proclamada pela Assembleia Geral das Nações Unidas em 1948 como um padrão comum de conquistas para todas as pessoas e todas as nações. Ele define, pela primeira vez, os direitos humanos fundamentais a serem protegidos universalmente. Ela foi traduzida em mais de 500 idiomas. Além disso, a Microsoft é um dos 4.700 signatários corporativos do Pacto Global da ONU, uma iniciativa de negócios internacional projetada para promover a cidadania corporativa responsável.

Baixe um arquivo do Microsoft Word desta tabela

Entendimento humano

Além de apreciar a importância dos direitos humanos, a criação de sistemas confiáveis exige que consideremos as perspectivas de muitas pessoas. Perguntar quem são os stakeholders, o que eles valorizam, como eles podem se beneficiar e como podem ser prejudicados pela nossa tecnologia é uma etapa poderosa que nos permite projetar e criar melhores produtos.

Quem faz o impacto da tecnologia?

Quem são os clientes?

• O que eles valorizam?
• Como eles devem se beneficiar?
• Como a tecnologia poderia prejudicá-los?

Quem são os stakeholders que não são clientes?

• O que eles valorizam?
• Como eles devem se beneficiar?
• Como a tecnologia poderia prejudicá-los?

Fazer essas perguntas é uma prática em Value Sensitive Design e é o começo para entender melhor o que é importante para os stakeholders e como isso contribui para o relacionamento deles com o produto.

Tipos de stakeholders

Responsáveis pelo projeto

Apoiadores, tomadores de decisões e proprietários compõem esta categoria. Seus valores são articulados na estratégia e nas metas do projeto.

Criadores técnicos

Designers, desenvolvedores, gerentes de projeto e aqueles que trabalham diretamente na criação de sistemas compõem este grupo. Eles trazem seus próprios padrões éticos e valores específicos da profissão para o sistema.

Stakeholders direitos e indiretos

Estes stakeholders são afetados significativamente pelo sistema. As partes afetadas incluem os usuários finais, a equipe de software, os clientes, os espectadores, as instituições de interface e até mesmo as gerações anteriores ou futuras. Os fatores não humanos, como lugares, por exemplo, prédios históricos ou espaços sagrados, também podem ser incluídos.

Populações marginalizadas

Esta categoria é composta da população frequentemente considerada como minoria, vulnerável ou estigmatizada. Esta categoria inclui crianças, adultos mais velhos, membros da comunidade LGBTQ+, minorias étnicas e outras populações que geralmente experimentam consequências exclusivas e desproporcionais.

Avaliação dos danos

Depois de definir a finalidade da tecnologia, os casos de uso e os stakeholders, realize um exercício de modelagem de danos para avaliar possíveis maneiras em que o uso de uma tecnologia que você está criando pode gerar resultados negativos para pessoas e a sociedade.

Baixe um arquivo do Microsoft Word deste diagrama.

O diagrama acima é um exemplo de avaliação de danos. Este modelo é uma abordagem qualitativa usada para entender a possível magnitude dos danos.

Você pode concluir essa atividade de idealização individualmente, mas, de preferência, ela é conduzida como colaboração entre desenvolvedores, cientistas de dados, designers, pesquisador de usuários, tomadores de decisões de negócios e outras disciplinas envolvidas na criação da tecnologia.

Sugestões para declarações de descrição de danos:

• Uso pretendido: se o [recurso] foi usado para [caso de uso], o [stakeholder] pode experimentar [descrição dos danos].
• Uso não pretendido: se o [usuário] tentou usar o [recurso] para [caso de uso], o [stakeholder] pode experimentar [descrição dos danos].
• Erro do sistema: se o [recurso] não funcionou corretamente quando usado para [caso de uso], o [stakeholder] pode experimentar [descrição dos danos].
• Uso indevido: [ator mal-intencionado] pode potencialmente usar o [recurso], para causar [descrição dos danos] a [stakeholder].

Use as categorias, as perguntas e os exemplos descritos no Tipos de danos para gerar ideias específicas de como podem ocorrer danos. O artigo lista as categorias de danos, que se baseiam em áreas comuns de impacto negativo. Adapte e adote categorias adicionais que sejam relevantes para você.

Próximas etapas

Leia Tipos de danos para análise de danos adicionais.