Na imprensa e no imaginário coletivo, quase toda a discussão em torno de Inteligência Artificial hoje gira em torno da ideia de Aprendizagem de Máquina. O termo foi criado em 1962 por Arthur Samuel, pioneiro da IA então trabalhando na IBM, com o objetivo de capturar a estratégia  para embutir “inteligência” em seu sistema. Como o sistema havia sido criado para jogar o jogo de damas, Samuel propôs usar a experiência adquirida em partidas jogadas para refinar o comportamento da máquina.

Usando essa estratégia, o sistema derrotaria um mestre do jogo de damas (Robert Nealey), faria aparições na televisão americana e contribuiria para a primeira fase de euforia com a IA. Naquele ano de 1962, seríamos então apresentados ao nosso “futuro” com o desenho animado Os Jetsons.

O desenho ilustrava o cotidiano de uma família comum em um futuro então distante e acertou em várias previsões: a família usava TVs de tela plana, telefones celulares, aparelhos capazes de transmitir vídeos em tempo real, entre outras coisas. No entanto, considerando o que vivemos hoje, errou em duas previsões essenciais: carros voadores popularizados e a robô ajudante Rosie.

Rosie era capaz de realizar todas as tarefas domésticas, mas também conseguia se emocionar (como quando o menino da família escreve um poema para sua mãe), se apaixonar, além de ajudar na resolução de conflitos domésticos ao perceber sutilezas na linguagem e nas emoções da família Jetson.

Para isso, ela possuía senso comum (por exemplo, ao atender a um pedido de “tirar todas as louças da pia”, ela não as jogaria pela janela nem as quebraria para guardar os restos em um armário de roupas) e uma teoria da mente (desejos, intenções, crenças, emoções) sobre os humanos com os quais interagia.

O ponto que gostaria de discutir hoje não é o quão perto estamos de criar uma entidade como Rosie, com inteligência generalizada pelo menos equivalente a humana, mas se, com o que conhecemos atualmente, deveríamos perseguir esse objetivo. Em outras palavras: se construíssemos algo como Rosie com o conhecimento que dispomos atualmente em IA, poderíamos confiar nela?

O termo “inteligência” remete à capacidade de resolução de problemas complexos em situações diversas (inteligência generalizada) bem como a ideia de autonomia — uma máquina com capacidade sobre-humana para realizar uma única tarefa extremamente restrita e que responde exclusivamente quando estimulada por um humano (por exemplo, uma calculadora) dificilmente seria considerada realmente inteligente.

Nomos, em grego, significa “lei” ou “regra” e, portanto, um sistema autônomo (auto + nomos) como Rosie precisa ser capaz de agir por sua própria deliberação, seguindo seu próprio julgamento, sem depender de comandos explícitos externos.

Um importante consórcio interdisciplinar que influenciou as diretrizes da União Europeia sobre inteligência artificial propõe requisitos em cinco dimensões que deveriam ser atendidos para que sistemas artificiais autônomos possam ser considerados confiáveis, são eles:

1. Beneficência: o sistema deve realizar ações que contribuam positivamente para os objetivos da coletividade e em conformidade com seus valores.
2. Não maleficência: o sistema não pode executar ações que impactem negativamente tais objetivos nem que firam tais valores.
3. Controle da autonomia: pessoas e organizações afetadas por um sistema precisam ter controle sobre as possíveis ações do sistema que afetem seus objetivos.
4. Justiça: o sistema deve tratar de forma equivalente situações que contribuem da mesma forma para objetivos coletivos.
5. Explicabilidade: o sistema precisa ser capaz de explicar seu processo decisório de forma que humanos com seus diversos perfis possam compreendê-lo.

Como podemos observar, todas essas dimensões fazem referências às noções de valor e objetivo e ressalta que, para a maioria dos sistemas autônomos, devemos considerar objetivos e valores da coletividade. Por exemplo, no caso de um carro autônomo, essa coletividade inclui além do seu motorista, outros motoristas, pedestres, cidadãos preocupados com o impacto ambiental do veículo, entre outros.

Estabelecer esses objetivos coletivos é uma tarefa complexa, mas pode ser feita com ajuda de arcabouços e teorias éticas (propostos pela filosofia) bem como com técnicas computacionais conhecidas.

Agora pensem nos sistemas de IA atualmente populares no imaginário coletivo. Vocês acham que podemos confiar que eles sempre respeitarão essas dimensões éticas? Como discuti na coluna passada, sistemas puramente baseados em dados (incluindo todos os grandes modelos de linguagem) possuem sérias limitações nesse respeito que podemos conhecer de antemão.

Gostaria de focalizar aqui uma dessas limitações: a incapacidade desses sistemas de representarem conceitos e de formar representações internas sofisticadas sobre o mundo no qual estão inseridos. Isso inclui conceitos sobre objetivos de outros agentes, bem como sobre capacidades e vulnerabilidades das entidades ao seu redor.

Os sistemas atualmente populares de IA utilizam versões modernas da abordagem de Aprendizagem de Máquina de Samuel, em particular, eles implementam essa estratégia usando as chamadas redes neurais artificiais profundas. Essas são matrizes enormes de “neurônios artificiais” (funções matemáticas) que conectados uns aos outros propagam certos valores numéricos.

“Aprender” nesse contexto (ou treinar a rede) é achar uma configuração no oceano de valores numéricos conectando essas funções que faça a rede realizar uma tarefa específica (ex. reconhecer ursos polares em fotos) errando o menos possível.

Uma questão fundamental é que essas redes são incapazes de compreender, de fato, o significado dos dados que processam. A rede do meu exemplo, não possui realmente um conceito de “urso polar”; ela apenas manipula distribuições numéricas que refletem correlações estatísticas observadas em imagens durante o treinamento.

Muitas vezes, essas correlações nem têm relação direta com o animal em si, mas sim com outros padrões recorrentes nos dados (como a alta presença de pixels brancos nas fotos).

Incapaz de formar conceitos, tais sistemas não conseguem construir modelos conceituais que capturem relações complexas do mundo externo (tecnicamente chamados “modelos de mundo”). Com esses modelos, entenderiam, por exemplo, que ursos polares são um tipo de urso, logo mamíferos e carnívoros; que a espécie é típica do Polo Norte; que um urso polar específico chamado “Hans”, visto no zoológico de Berlim no ano passado, é o mesmo que agora está em turnê pela Patagônia; e que o Polo Norte é uma região geográfica da Terra com temperaturas de até –68 °C.

Sem esses modelos, tais sistemas não conseguem representar objetivos coletivos complexos nem lidar com situações que se distanciam dos dados de treinamento. Por exemplo, eu nunca vi um urso polar de perto, mas sei que são grandes carnívoros e, portanto, prefiro continuar sem encontrá-los. No entanto, se isso acontecesse, poderia recorrer a todo o conhecimento prévio que possuo (estratégias de defesa, distância, velocidade etc.) para elaborar, naquela situação inédita, uma estratégia para preservar meus objetivos (continuar vivo, de preferência preservando também a vida do urso).

Sem capacidade para criar esses modelos e raciocinar sobre o mundo e sobre os objetivos de outros agentes (humanos e artificiais), os sistemas não compreendem de fato as consequências de suas ações e, assim, não podem garantir que agirão sempre com beneficência e não maleficência.

Além disso, por não compreenderem o significado dos dados que processam, esses sistemas são vulneráveis a inúmeros ataques. É possível, por exemplo, gerar perturbações em suas redes neurais (inclusive usando outras redes neurais para isso) que alteram radicalmente o seu comportamento, por exemplo, induzindo-os a revelar informações confidenciais de pessoas e organizações usadas no seu treinamento, ou alterando sua percepção do mundo para que aja de forma incompatível com a realidade (por exemplo, uma modificação sutil em uma imagem pode levar um sistema de visão computacional a interpretar uma placa de “PARE” como se fosse de “limite de 100 km/h”).

Esse desacoplamento entre sistema e mundo faz com que a IA não possua, de fato, uma noção de veracidade. Um exemplo é o fenômeno chamado “alucinação” nos chamados grandes modelos de linguagem (um tipo de rede neural profunda) e que não vai desaparecer, pois é inerente à tecnologia.

Ao “alucinar”, o sistema não está funcionando mal, ele está cumprindo exatamente sua programação: inferir, de forma probabilística, a próxima sequência de texto mais plausível. Nós é que resolvemos chamar esse fenômeno de “alucinação”, quando percebemos que o conteúdo não corresponde à realidade.

Sem uma noção de verdade, ou seja, sem um mapeamento fiel entre representações internas e o mundo, perdemos, além da beneficência e da não maleficência, a própria garantia de controle da autonomia. Está tudo ligado à mesma limitação: sem entender o mundo nem os efeitos de suas ações, o sistema não pode garantir que (mesmo indiretamente) não fará algo que está proibido de fazer.

Por exemplo, por mais que peçamos a um sistema desse tipo que nunca produza conteúdo falso (texto, imagens, vídeos, áudios), ele não pode garantir que sempre atenderá, simplesmente porque não sabe o que é verdadeiro ou falso. Para ele, em certo sentido, tudo é confabulação que, por coincidência, muitas vezes corresponde ao mundo real.

Sem modelos de mundo, não podemos separar “sinal” e “ruído” nos dados de treinamento, ou seja, não podemos identificar quais informações devem ser consideradas e quais devem ser descartadas. Sem uma teoria de valor que oriente essa separação, é impossível garantir justiça.

Um exemplo: durante décadas, orquestras musicais eram compostas majoritariamente por homens, em parte devido a preconceito e à crença infundada de que eles eram melhores músicos. Essa crença influenciava a percepção dos jurados, ou seja, percebiam músicos homens tocando melhor.

Se julgarmos que o valor de um músico para uma orquestra e para o público está na sua capacidade de oferecer a melhor performance possível, afinação, destreza, virtuosismo serão os nossos “sinais”, ou seja, as características que contribuem positivamente para os objetivos do público e dos colegas músicos e, todas as outras propriedades dos candidatos (altura, peso, sexo, etnia, idade, tatuagens etc.) serão consideradas como “ruído”.

A solução encontrada foi a audição cega: músicos tocam sem serem vistos, atrás de um painel. O painel materializa uma teoria de valor, implementando um procedimento justo. Por outro lado, sem capacidade de pensar sobre objetivos e capacidades, um sistema de IA completamente baseado em dados tende a repetir padrões estatísticos do passado (por exemplo, continuar selecionando homens para orquestras porque, no passado, a maioria dos músicos era homem). Afinal de contas, grande parte desses sistemas de IA tomam decisões baseando-se no histórico de dados.

Sem modelos de mundo, esses sistemas também não conseguem explicar suas ações ou conclusões. Isso tem implicações legais sérias, por exemplo, no contexto europeu, já que a explicabilidade está diretamente ligada à contestabilidade: se uma decisão afeta uma pessoa, ela deve ser explicável de forma compreensível por essa pessoa, com proposições passíveis de verificação.

Isso vale para ações e para conclusões. Exemplo de ação: um carro autônomo percebe que está sem freios e decide colidir contra um muro em vez de avançar contra um cruzamento movimentado ou em vez de subir numa calçada de pedestres. Essa escolha deveria ser explicável em termos de opções de ação, preferências de resultado e valores coletivos.

Exemplo de conclusão: um sistema diagnostica uma doença a partir do código genético de uma pessoa. O sistema deve ser capaz de reconstruir uma narrativa causal verdadeira ligando aqueles genes à doença. Explicar é, em certo sentido, revelar parte de um modelo do mundo, e a veracidade dessa explicação depende da relação entre esse modelo e a realidade.

É impossível garantir comportamento ético sem uma noção clara de verdade como correspondência entre o mundo e suas representações. Vale para sistemas de IA (que precisam ir além de uma abordagem puramente baseada em redes neurais profundas); vale para nós como indivíduos e sociedades, e é por isso que considero o maior risco dos sistemas atuais de IA a sua capacidade de confundir nosso senso de verdade, por exemplo, com a produção e disseminação massiva de informações falsas e a criação de bolhas que reforçam teorias conspiratórias.

Precisamos ter clareza sobre nossos valores e objetivos coletivos, alguns dos quais devem ser traduzidos em normas, inclusive legais. Sem esses valores, não podemos projetar sistemas confiáveis. Não podemos nem decidir se realmente precisamos de determinados sistemas, ou se poderíamos atingir nossos objetivos com menos riscos usando outras soluções. Não pode existir autonomia sem nomos.