A Rússia e a Ucrânia estão em guerra. Fernanda Montenegro tem 96 anos. Ela é brasileira. Covid-19 é causada pelo vírus SARS-COV-2. Tivemos 716.626 óbitos por Covid-19 no Brasil.
Suponhamos que todas essas afirmações sejam verdadeiras. Como sabemos que são verdadeiras? Antes disso, o que faz com que sejam verdadeiras? Essas duas perguntas têm naturezas muito diferentes: a primeira se refere a um aspecto epistêmico (como sabemos o que sabemos); a segunda a um aspecto semântico (o que as palavras significam) e, em última análise, ontológico (o que existe).
Comecemos pelo aspecto ontológico. Se é verdade que Rússia e Ucrânia estão em guerra, então o que faz isso verdade? Naturalmente, tem que ser algo no mundo, a saber, um processo complexo de conflito envolvendo milhares de pessoas espalhado no espaço e tempo. De forma análoga, é um relacionamento legal de cidadania que faz com que Fernanda Montenegro seja brasileira, e é um conjunto de capacidades do vírus SARS-COV-2 de causar processos patológicos em organismos hospedeiros e com natureza específica (que chamamos de Covid-19) que torna verdadeira a terceira afirmação acima.
Em todos esses casos, temos entidades no mundo (objetos, relacionamentos, eventos, processos) que fazem dessas proposições verdadeiras, mas nem sempre é óbvio que tipo de entidades estamos pressupondo. Por exemplo, o que faz verdade que Fernanda Montenegro tenha 96 anos? Se estamos falando da sua idade biológica então é duração de sua vida (uma característica de um processo biológico); se estamos falando de sua idade legal é um relacionamento de cidadania (com o estado brasileiro) representado em sua certidão de nascimento.
Para dar um exemplo ainda mais complexo, o que exatamente é um óbito por Covid-19?: (1) quando alguém morre com Covid-19 (ou seja, estando infectado pelo vírus) (2) quando alguém tem a morte causada por aquele vírus, ou seja, não teria morrido se não fosse pelo vírus; (3) quando a morte é causada pelo vírus sem que alguém tenha o vírus no momento da morte (pense em Covid de longa duração); (4) quando a morte é causada pela pandemia do Covid sem que a pessoa esteja infectada (por negação de tratamento devido à superlotação do complexo de saúde do país); qualquer combinação de (1), (2), (3) e (4).
O primeiro motivo pelo qual duas pessoas podem discordar sobre a veracidade de uma afirmação é se discordam sobre a visão de mundo que a torna verdadeira. Esse também deveria ser o primeiro passo para resolver a disputa. Para saber se concordamos sobre uma afirmação, precisamos primeiro concordar em como o mundo deveria ser para que ela seja verdadeira.
Isso vale também para máquinas e, sem um modelo de mundo e um conjunto de pressuposições sobre o que esses modelos significam (semântica de dados) e quais desses modelos são possíveis (o que chamamos tecnicamente de teoria de senso comum), sistemas artificiais cometem três falhas recorrentes relacionadas ao conceito de verdade.
Em primeiro lugar, elas confabulam, ou seja, inventam informações que, apesar de plausíveis em um contexto, são inverídicas (porque não possuem correspondência com a realidade). Um exemplo disso é inventar que Elon Musk morreu em um acidente de carro envolvendo um Tesla em 2012. Sem saber o nome do motorista e dada a forte associação estatística entre Musk e Tesla, o sistema confabula para cobrir essa lacuna na narrativa.
Outros exemplos incluem casos em que esses sistemas geram citações em textos legais e em artigos científicos que simplesmente não existem. Assistimos a vários exemplos de textos jurídicos fazendo referências a jurisprudências inexistentes e, recentemente, uma das principais conferências internacionais de IA rejeitou dezenas de artigos por referenciarem artigos inexistentes.
Não é que esses sistemas mentem: mentir pressupõe que saberiam a verdade e que intencionalmente afirmariam algo falso. Eles não sabem a verdade e, não tendo um modelo do mundo, não teriam como saber a verdade. Eles simplesmente não se importam com a verdade. Segundo alguns autores, eles são simplesmente geradores de “papo-furado”, na minha tradução educada do conceito de “bullshitting” do filósofo Harry Frankfurt. São essencialmente bullshitters.
Em segundo lugar, esses sistemas não têm nenhuma estabilidade ou constância. Por exemplo, se eu acredito que Fernanda Montenegro tem 96 anos, vou continuar acreditando nisso até o seu próximo aniversário. Como não raciocinam sobre fatos do mundo e almejam não a veracidade, mas a plausibilidade estatística, eles podem afirmar uma coisa agora (ex. a Argentina ganhou a copa de 78) e o oposto disso momentos depois (ex. a Holanda ganhou a copa de 78).
Por fim, eles podem afirmar coisas que contradizem não só com a realidade mas também o senso comum como, por exemplo, que Ayrton Senna foi campeão da temporada de 1995. Isso não só por não saberem que Senna morreu tragicamente em 1994, mas por não saberem que, uma vez falecida, uma pessoa não volta à vida, que pessoas falecidas não podem participar de corridas de F1, etc.
Agora voltemos à primeira questão, aquela epistêmica. Suponhamos que a gente concorde em como deveria ser o mundo para que sejam verdadeiras as afirmações “a Rússia e a Ucrânia estão em guerra” e “Fernanda Montenegro tem 96 anos (de idade biológica)”. Como poderíamos verificar se o mundo é desse jeito ou não? Não estávamos lá para observar o nascimento de Fernanda e, a maioria de nós, felizmente, não pode observar diretamente o processo complexo da guerra Rússia-Ucrânia.
Em ambos os casos, confiamos em representações simbólicas (dados, fotos, vídeos, notícias) e em uma cadeia de processos informacionais que as produziram. Em outras palavras, a aferição da veracidade para a maioria das coisas nas quais acreditamos não se dá por percepção direta de entidades no mundo, mas é mediada por representações dessas entidades.
Aqui a coisa começa a ficar complexa e não é de hoje. Em 1981, o filosofo francês Jean Baudrillard escreveu um importante texto chamado “Simulacros e Simulação”. Nele, Baudrillard descreve um cenário no qual a sociedade se torna complexa o suficiente para que a construção das nossas visões de mundo seja quase sempre mediada, e mediada por uma proliferação de visões concorrentes.
Nesse cenário, cada individuo ou grupo formaria a sua própria visão de mundo e teríamos uma imensa dificuldade para construirmos uma visão compartilhada. Além disso, com a impossibilidade de lidar com essas visões mutuamente excludentes ou de integrar as diversas nuances sobre a realidade, escolheríamos as visões que nos trariam conforto emocional e que reforçassem as nossas crenças.
Segundo ele, esse processo não se dá em um único passo. Na verdade, ele descreve quatro estágios da erosão da relação entre representações e a realidade. No início temos uma relação direta de correspondência entre a representação e o que ela representa (ex: pense em uma foto sem filtros de uma praia na Sicília em um dia nublado).
Em um segundo passo, a representação distorce características da realidade (ex: imagine a mesma foto, mas com filtros que clareiem o dia, façam o céu ficar mais azul, e o mar verde mais esmeralda). Em um terceiro passo, a representação esconde o fato de que aquilo que ela representa simplesmente não existe (ex: imagine que você inclua artificialmente na foto alguém que nunca esteve naquela praia).
Finalmente, em um último estágio, a representação não tem qualquer relação com a realidade, ou seja, faz referência apenas a outras representações (ex: imagine agora uma foto gerada por IA de uma pessoa que nunca existiu, em uma praia que nunca existiu).
Para Baudrillard, representações nesses quatro estágios de relações com a realidade alimentam umas às outras em cadeias de geração de representação, ou seja, em cadeias de mediação. Por exemplo, sabemos sobre a guerra Rússia-Ucrânia por artigos sobre a guerra, que são baseados em outros artigos sobre a guerra, que, por sua vez, são baseados em fotos e vídeos sobre a guerra etc.
Analogamente, decidimos o que vestir, que carro dirigir, como falar, o que comer influenciados por representações, por exemplo, obras de ficção, que são baseadas em outras obras de ficção, bem como em representações de eventos reais no mundo, que por sua vez são influenciados por representações ficcionais etc.
No limite, segundo Baudrillard, cada um de nós viveria não no mundo real, mas em um mundo ficcional criado por essa cadeia de representações. Essa ideia é muito bem ilustrada em uma sequência de artigos que ele escreveu durante a primeira Guerra do Golfo intitulados: “A Guerra do Golfo não vai acontecer”, “A Guerra do Golfo não está acontecendo”, e “A Guerra do Golfo não aconteceu”.
Neles, ele não nega a existência do complexo processo subjacente acontecendo no mundo e consequências geopolíticas espalhadas no espaço e no tempo, mas comenta que, para a maioria de nós, nossas crenças sobre a “Guerra do Golfo” são ficções mediadas por cadeias de representações que culminavam em clipes curtos exibidos no noticiário noturno.
Se isso parece com o filme "Matrix", não é coincidência. O filme é declaradamente inspirado em “Simulacros e Simulações” e com várias referências a ele. Em "Matrix", num futuro pós-apocalíptico, humanos são mantidos presos como componentes de uma malha energética essencialmente como baterias biológicas e inconscientes da sua situação.
Para maximizar a estabilidade desse sistema, agentes artificiais criam para esses humanos uma grande simulação da realidade, uma ficção de um mundo de outrora, formada por representações nos quatro estágios de Baudrillard. Em uma passagem do filme, quando um desses humanos se liberta da “matrix” e conhece a realidade e suas complexidades, faz de tudo para retornar ao conforto daquela situação.
Não é só no filme que a relação entre a verdade e a ficção é completamente desigual: a verdade é difícil, nem sempre confortável, e requer capacidade e esforço não triviais (por exemplo para analisar as pressuposições sobre o mundo subjacentes às nossas crenças; para integrar nuances presentes em dados dispersos e em visões complementares); em contraste, a ficção escolhida é fácil, reconfortante, e cognitivamente econômica ao prover uma visão de mundo simples e condizente com o que já acreditamos.
Baudrillard teorizou tudo isso em 1981 pensando sobre a mídia tradicional, ou seja, jornais, revistas, programas de televisão. Obviamente, não poderia imaginar à época que tudo isso seria concretizado e amplificado por redes sociais e IA. As primeiras, com seus algoritmos criadores de bolhas, já proliferavam múltiplas e dissociadas visões da realidade. Com os novos sistemas de IA generativa, temos a criação em massa de representações nos últimos níveis de dissociação da realidade, ou seja, notícias enviesadas sobre fatos, notícias sobre fatos que nunca aconteceram e, no limite, representações de entidades que não existem envolvidas em fatos que também não aconteceram ou poderiam ter acontecido.
A IA também embaralha enormemente os nossos conceitos de autenticidade e originalidade de representações, como discute neste artigo o filósofo italiano Luciano Floridi. Ela cita o exemplo de uma colaboração entre Microsoft com o Museu Rembrandt na Holanda, na qual um sistema de IA gerou um quadro “inédito” de Rembrandt.
Ao analisar todos as obras do mestre do chiaroscuro holandês, o sistema foi capaz de reproduzir o tema preferido do pintor, com que características, e até o estilo de suas pinceladas. Em outro exemplo, temos o áudio gerado por um sistema de IA do discurso que J.F. Kennedy teria feito em 22/11/1963 se não tivesse sido assassinado. O conteúdo do discurso fora escrito por Kennedy, mas a voz no áudio foi sintetizada por IA a partir de amostras da voz do presidente. No primeiro caso, temos uma representação que é derivada da assinatura única de Rembrandt, mas que não foi feita por ele; no segundo caso, algo que foi feito por Kennedy mas não representa um evento real.
Indo muito além do que Baudrillard poderia ter imaginado, sistemas de IA generativa criam entidades a partir de fragmentos de características de representações de entidades reais, mas também de entidades artificiais criadas por elas próprias. Com o exaurimento de dados reais, e em sua ganância por mais dados, esses sistemas passam a ser treinados por dados “sintéticos”, com seus erros de veracidade e suas confabulações (“alucinações”) e, nesse ciclo de retroalimentação, vão progressivamente se distanciando da realidade. O que fica é bullshitting amplificado.
Como já previsto por Baudrillard, não somos agentes passivos nesse processo. Nem quando escolhemos ficções reconfortantes (ex: bolhas sociais, leituras e vídeos que só confirmam nossas crenças, relações românticas com entidades artificiais) nem quando agimos para gerar e propagar ficções.
Sobre a última, estamos assistindo a agentes humanos e artificiais intencionalmente distorcendo as bases de representações que alimentam esses sistemas de IA e gerando grandes volumes de dados com representações inverídicas sobre fatos históricos da realidade.
Recentemente, em um episódio digno de "Matrix", assistimos a um experimento de uma “rede social” em teoria formada exclusivamente por agentes artificiais (Moltbook). Segundo vários relatos na mídia (alguns baseados e amplificados por outros relatos da mídia), nessa rede, agentes teriam formado subcomunidades, conspirado contra os humanos, criado uma linguagem artificial e até uma religião própria.
Na interpretação incauta de alguns observadores, isso teria demostrado a presença e emergência de inteligência, intencionalidade, e até consciência artificial. Essa é mais uma fabricação que se soma à torrente de ruídos que circunda a IA. Nada de inteligência, consciência ou intencionalidade. Nada também de agência real, é claro. Somente uma enormidade de LLMs (modelos de linguagem) executando em paralelo e prompting umas às outras. Uma versão anabolizada do que acontece quando elas (por vezes, tragicamente) alimentam as fantasias, alucinações e propensões conspiratórias de humanos.
Para piorar, a rede não era exclusiva de agente artificiais e vários agentes humanos infiltrados, esses sim com inteligência e intencionalidade, realizaram inúmeros ataques de segurança que fizeram com que esses agentes produzissem em massa informações falsas.
Eu penso que a erosão da verdade seja o maior risco que nos impõem esses sistemas. Para entendermos a razão, basta que pensemos sobre por que a verdade é fundamental. Primeiro, ela é importante como um valor ético essencial (imagino que o leitor prefira se relacionar com pessoas que falam a verdade, e que aconselharia seus filhos, de maneira geral, a dizerem a verdade). Segundo, ao ignorarmos a verdade, perdemos controle sobre a realidade que, aliás, não está nem aí para o que acreditamos: mesmo que alguém não acredite que a terra é redonda, ao construir um foguete, sofrerá as consequências de ignorar esse fato; mesmo que não acredite em uma doença, poderá se tornar gravemente doente; mesmo que acredite que uma mensagem de phishing é real (ex: que o seu banco realmente está te contactando para conferir seus dados), poderá sofrer um golpe.
Terceiro, sem verdade não existe explicação, pois explicar é revelar a estrutura do mundo que torna afirmações verdadeiras e de uma maneira que seja contestável. Contestar um sistema de IA (por exemplo, que negou seu pedido de empréstimo) é contestar as premissas do seu processo decisório e/ou a veracidade dos dados usados por ele.
Por último e mais importante: o mundo é complexo demais para que qualquer pessoa saiba como lidar com ele e é por isso que precisamos colaborar e resolver problemas de forma coletiva. A democracia é um desses processos de resolução coletiva de problemas imensamente complexos e inalcançáveis para qualquer individuo. Sem visões compartilhadas da realidade e sem representações que tenham correspondência com o mundo não pode existir cooperação.
Esqueçamos os cenários apocalíticos ficcionais como em "Exterminador do Futuro" ou "Matrix", em que um agente artificial (ou um conjunto deles) toma consciência e resolve acabar com a humanidade. O que me tira o sono é a realização de uma versão radicalmente amplificada da visão de um filósofo francês imaginada há 45 anos. O que me tira o sono é que nós humanos estejamos contribuindo para isso e ignorando que sem verdade não pode haver ciência ou democracia. Fora da verdade não há salvação.
