https://ai-talks.org/blog-english-potugues/

Confiar em uma IA pode ser um problema complexo e cheio de nuances por vários motivos. Por um lado, a IA tem o potencial de revolucionar várias áreas de nossas vidas, oferecendo novas possibilidades para saúde, transporte, finanças pessoais e outros setores. Por exemplo, os sistemas baseados em IA podem ajudar os profissionais médicos a diagnosticar e tratar doenças ou auxiliar na descoberta de medicamentos, tornando os cuidados de saúde mais eficientes e eficazes. Nos transportes, a IA pode ser usada para desenvolver carros autônomos, reduzindo acidentes de trânsito e melhorando a segurança nas estradas. Os sistemas financeiros baseados em IA podem ajudar os indivíduos a tomar melhores decisões de investimento ou gerenciar suas finanças pessoais com mais eficiência.

No entanto, também existem preocupações legítimas sobre os riscos e desafios de confiar demais na IA e confiar cegamente em suas decisões. Uma das principais preocupações é a questão do bias. Os sistemas de IA são tão objetivos e imparciais quanto os dados nos quais são treinados. Se uma IA for treinada com dados tendenciosos ou incompletos, ela poderá tomar decisões que reflitam e reforcem esses bias. Por exemplo, uma IA usada para analisar pedidos de emprego pode aprender a favorecer candidatos de determinados grupos demográficos ou origens, perpetuando as desigualdades existentes. Isso pode levar à discriminação e injustiça na tomada de decisões, o que pode ter sérias consequências para os indivíduos e para a sociedade em geral.

Outro problema com a confiança na IA é o chamado problema da “caixa preta”. Muitos sistemas de IA operam usando algoritmos complexos que são difíceis ou impossíveis para humanos entenderem ou interpretarem. Isso pode dificultar o conhecimento de como uma IA está tomando decisões e pode dificultar a identificação e correção de erros ou bias no sistema. Isso pode ser particularmente problemático em aplicações de alto risco, como saúde ou justiça criminal, onde as decisões tomadas por sistemas de IA podem ter impactos significativos na vida das pessoas.

Além disso, os sistemas de IA são vulneráveis a ataques ou manipulações. Pessoas mal-intencionadas podem manipular intencionalmente os dados usados para treinar uma IA ou introduzir bias no sistema para obter um resultado específico. Isso pode levar a sérias consequências, como carros autônomos sendo enganados para causar acidentes ou sistemas financeiros com IA sendo usados para atividades fraudulentas. Isso pode corroer a confiança nos sistemas de IA e minar seus benefícios potenciais.

Em geral, embora a IA tenha o potencial de tornar nossas vidas mais fáceis e eficientes, é importante abordá-la com cautela e ceticismo e tomar medidas para mitigar possíveis riscos e vieses. Isso pode incluir auditar e testar regularmente os sistemas de IA, ser transparente sobre como eles funcionam e incorporar considerações éticas no design e implantação da IA. Ao fazer isso, podemos maximizar os benefícios potenciais da IA e, ao mesmo tempo, minimizar os riscos e desafios de depender demais dela.

Aqui estão algumas maneiras de criar confiança na IA:

Transparência: os desenvolvedores de IA devem ser transparentes sobre como seus sistemas funcionam, quais dados são usados para treiná-los e quais algoritmos são usados para tomar decisões. Isso ajudará os usuários a entender como os sistemas de IA funcionam e torná-los mais responsáveis.
Qualidade dos dados: para evitar bias, os desenvolvedores de IA devem garantir a qualidade dos dados usados para treinar seus sistemas. Isso ajudará a garantir que os sistemas de IA não perpetuem preconceitos e desigualdades existentes.
Segurança: os desenvolvedores de IA devem garantir a segurança de seus sistemas para protegê-los contra ataques e manipulações. Isso ajudará a impedir que atores mal-intencionados explorem sistemas de IA para seu próprio ganho.
Considerações éticas: os desenvolvedores de IA devem considerar questões éticas no design e na implantação de seus sistemas. Isso ajudará a garantir que os sistemas de IA estejam alinhados com os valores sociais e não causem danos.

Construir confiança na IA é uma responsabilidade compartilhada. Desenvolvedores, formuladores de políticas e o público devem trabalhar juntos para criar uma estrutura de confiança que equilibre os benefícios e riscos da IA. Ao fazer isso, podemos maximizar os benefícios potenciais da IA e, ao mesmo tempo, minimizar os riscos e desafios de depender demais dela.

Referências:

Toreini, E., Aitken, M., Coopamootoo, K., Elliott, K., Zelaya, C. G., & Van Moorsel, A. (2020, January). The relationship between trust in AI and trustworthy machine learning technologies. In Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 272-283).

Este documento fornece uma estrutura valiosa para projetar e implementar sistemas confiáveis baseados em IA. Os autores enfatizam a importância de entender como as tecnologias de aprendizado de máquina afetam a confiança na IA e propõem uma abordagem sistemática para relacionar as considerações sobre confiança das ciências sociais às tecnologias de confiabilidade. Eles ampliam a estrutura ABI+ com um mapeamento de qualidades de tecnologias que dão suporte à confiança e discutem quatro categorias de tecnologias de confiabilidade para aprendizado de máquina: Justiça, Explicabilidade, Auditabilidade e Segurança (FEAS). Os autores então introduzem o conceito de “Cadeia de Confiança” para discutir tecnologias de confiabilidade ao longo do ciclo de vida de sistemas baseados em IA. Eles mostram como o FEAS está relacionado a várias estruturas políticas e tecnológicas internacionais de “IA baseada em princípios” que surgiram nos últimos anos. No geral, este documento fornece um roteiro claro e útil para a construção de sistemas baseados em IA confiáveis que podem ser confiáveis pelos usuários e pelo público em geral.

Jacovi, A., Marasović, A., Miller, T., & Goldberg, Y. (2021, March). Formalizing trust in artificial intelligence: Prerequisites, causes and goals of human trust in AI. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 624-635).

O artigo “Formalizando a confiança na inteligência artificial: pré-requisitos, causas e objetivos da confiança humana na IA” investiga a natureza da confiança na inteligência artificial (IA), os fatores que a influenciam e como ela pode ser formalizada. A confiança é um componente crucial da interação entre as pessoas e a IA, pois níveis incorretos de confiança podem levar ao uso indevido, abuso ou desuso da tecnologia. Os autores propõem um modelo de confiança inspirado na confiança interpessoal, mas adaptado para IA, incorporando a vulnerabilidade do usuário e a capacidade de antecipar o impacto das decisões do modelo de IA. Eles também introduzem o conceito de ‘confiança contratual’, onde a confiança entre um usuário e um modelo de IA é baseada na expectativa de que algum contrato implícito ou explícito será válido. O artigo formaliza o conceito de ‘confiabilidade’ e discute as causas da confiança garantida, incluindo raciocínio intrínseco e comportamento extrínseco. Os autores fornecem recomendações para projetar IA confiável e avaliar se a confiança foi garantida. Eles também exploram a conexão entre confiança e IA explicável (XAI) usando sua formalização. No geral, este artigo apresenta uma estrutura valiosa para entender e formalizar a confiança na IA, oferecendo insights que podem orientar o desenvolvimento de sistemas de IA confiáveis.

Broderick, T., Gelman, A., Meager, R., Smith, A. L., & Zheng, T. (2021). Toward a Taxonomy of Trust for Probabilistic Machine Learning. arXiv preprint arXiv:2112.03270.

O artigo “A Taxonomy of Trust for Probabilistic Machine Learning” enfoca a importância de construir confiança no aprendizado de máquina probabilístico, particularmente porque cada vez mais informa decisões críticas em campos como medicina, economia e política. Os autores propõem uma taxonomia que identifica quatro etapas principais no processo de modelagem em que a confiança pode ser quebrada: (1) traduzir objetivos do mundo real em objetivos em um conjunto específico de dados de treinamento disponíveis, (2) traduzir objetivos abstratos em um problema matemático concreto , (3) usando um algoritmo para resolver o problema matemático e (4) implementando o algoritmo no código. Para cada etapa, os autores detalham como a confiança pode falhar e fornecem exemplos para ilustrar a taxonomia, como uma análise da eficácia do microcrédito e as previsões do The Economist sobre as eleições presidenciais de 2020 nos EUA. O artigo também sugere vários métodos para aumentar a confiança em cada etapa da taxonomia, destacando onde a pesquisa existente sobre confiança tende a se concentrar e onde estabelecer a confiança é particularmente desafiador. No geral, este artigo oferece uma contribuição valiosa para o desenvolvimento de modelos de aprendizado de máquina probabilísticos confiáveis, fornecendo uma abordagem sistemática para entender e abordar possíveis quebras de confiança.