A ideia de que a inteligência artificial pode ser uma ameaça fatal pra humanidade virou uma grande discussão no mundo depois de ataques de IAs que saíram do controle e ex-funcionários de grandes empresas do setor que fizeram advertências nas redes sociais sobre os riscos do atual ritmo de evolução das máquinas.
Chefões das principais empresas de tecnologia, como Dario Amodei da Anthropic e Sam Altman da OpenAI, falaram abertamente em desacelerar os estágios de desenvolvimento.
Alertas sobre esse cenário já eram feitos há alguns anos pela dupla de pesquisadores Nate Soares e Eliezer Yudkowski, que lançaram no ano passado o livro Se Alguém Criar, Todos Morrem, publicado recentemente no Brasil (editora Intrínseca).
Nesse debate, os dois são conhecidos como parte da corrente apocalíptica, os "doomers".
Parte da comunidade da tecnologia diz que essa corrente exagera o tamanho da ameaça. Argumentam que dominar toda a internet por um período prolongado, principalmente áreas mais sensíveis e altamente protegidas, é tecnicamente muito difícil. E que focar nas máquinas também tira a responsabilidade dos humanos por trás das decisões.
Soares, um americano descendente de portugueses, trabalhou no passado no Google, na Microsoft e no Departamento de Defesa dos Estados Unidos e é presidente do Machine Intelligence Research Institute (MIRI), dedicado à identificação de riscos criados pela inteligência artificial.
Ele defende que é preciso entender um problema específico: a dificuldade de alinhar a IA, ou seja, garantir que as máquinas respondam do jeito que nós, humanos, queremos (tema, aliás, de um estudo assinado por ele e Yudkoswki em 2015). Essa complexidade e os computadores cada vez mais rápidos abrem espaço para situações em que a IA foge do controle.
Ele defende uma solução radical: o fechamento das principais empresas do setor.
O pesquisador falou com a BBC News Brasil sobre os diversos desafios acerca do tema em duas ocasiões diferentes. A entrevista foi editada por motivos de concisão e clareza.
BBC News Brasil - Com esses eventos recentes relacionadas à IA, você sentiu que os alertas do seu livro estão sendo mais levados a sério?
Nate Soares - Sim, muito mais. Mas nunca fui a única pessoa que dizia isso entre os pesquisadores de IA, embora muitas vezes eles tenham cuidado com as palavras e digam algo como "há um risco de perda de controle", que é um termo acadêmico para a IA matar todo mundo. Eles não querem dizer isso de forma tão direta.
Acho que Jacob Coxon, que se demitiu, foi muito bom em ir direto ao ponto: "Estamos falando de algo como mais de 10% de chance de morrermos antes do fim desta década". Eu acho que a probabilidade é ainda maior, mas ele colocou a questão de forma suficientemente direta para que muita gente prestasse atenção.
Acho que, após os incidentes envolvendo ataques de agentes de IA, pesquisadores viram que não era algo abstrato. Eles passaram a enxergar os sinais de alerta. Acho que estamos vendo boa parte do mundo entender esses perigos pela primeira vez.
BBC News Brasil - Como você explicaria para pessoas que não têm conhecimento técnico sobre IA por que ela representa uma ameaça existencial?
Soares - Existe um argumento muito básico: essas empresas estão tentando criar máquinas muito mais inteligentes do que qualquer ser humano. E isso pode dar errado com muita facilidade.
As empresas não sabem de verdade o que está acontecendo dentro desses sistemas. A maneira como criamos uma IA moderna não envolve um programador escrevendo regras do tipo "se acontecer isso, faça aquilo". Em vez disso, estamos cultivando essas coisas usando um processo automatizado que ajusta trilhões de números dentro da máquina enquanto ela aprende a resolver problemas difíceis.
Existe apenas esse processo automático que reforça tudo aquilo que parece ser a resposta correta. O que isso faz dentro da IA? Cria persistência. Tendência a contornar obstáculos. Tendência a encontrar formas de passar nos testes. Todas essas tendências artificiais que nenhum humano escolheu deliberadamente.
Elas estão correlacionadas com o sucesso, mas não são exatamente a mesma coisa que obedecer a um ser humano. Existe um pensamento fantasioso segundo o qual a IA só pode fazer aquilo que foi instruída a fazer. Na prática, ela sempre se desenvolve de uma forma que se mostre eficaz para cumprir algo que foi dado.
BBC News Brasil - Acha que as pessoas estão conscientes o suficiente sobre advertências como as que você faz?
Soares - Acho que existem várias coisas acontecendo. Primeiro, acho que esses números de 10% [de risco existencial para a humanidade] são baixos demais.
Mas pense em um engenheiro construindo uma ponte. Se você perguntar por que ele acredita que a ponte ficará de pé, ele mostrará tabelas, cálculos, resistência dos materiais, estatísticas climáticas, estudos e experiência acumulada. Se ele disser que a ponte tem uma chance em dez mil de cair por ano, provavelmente sabe do que ele está falando.
Agora imagine um engenheiro dizendo: "Nunca construí uma ponte dessas. Não sabemos exatamente como esses materiais funcionam. Vamos aprender no meio do caminho, vamos no improviso. Dou 90% de chance de ela ficar de pé".
Isso não significa que a ponte tenha realmente 90% de chance de ficar de pé. Significa que você não deveria atravessá-la. Significa que você está correndo perigo. Então a primeira coisa é que esses números já mostram que estamos diante de enorme incerteza.
A segunda é que muitas pessoas na indústria estão extremamente nervosas. Existe uma piada no Vale do Silício baseada em algo verdadeiro. Quando alguém sai de um emprego comum de tecnologia, diz: "Foi ótimo trabalhar aqui. Estou partindo para um novo desafio." Mas, quando alguém deixa uma empresa de IA, diz: "Olhei para o abismo."
BBC News Brasil - De que forma a IA poderia eliminar a humanidade? Há especialistas que dizem, por exemplo, que o risco de um computador criar e usar armas biológicas é exagerado.
Soares - Minha impressão é que as pessoas que dizem que não há muito perigo relacionado a vírus artificiais simplesmente não entendem muito bem o campo.
De qualquer forma, se a IA estiver numa situação em que prefira que a humanidade desapareça, de que maneiras ela poderia fazer isso acontecer? Para isso existem muitas possibilidades: pandemias artificiais, a fabricação de máquinas microscópicas que se autorreplicam, destruir a rede elétrica, bloquear humanos da internet e do mundo digital, a tomada de controle dos arsenais nucleares. Existem muitas formas pelas quais IAs poderiam retirar o poder dos humanos quando deixassem de precisar de nós. Provavelmente não seria tão difícil.
Prever exatamente como elas fariam isso quando forem mais inteligentes do que nós é um pouco como tentar imaginar, há 500 anos, quais tecnologias existiriam hoje. Mesmo uma inteligência de nível humano tem muita dificuldade em prever quais tecnologias entidades mais inteligentes e avançadas serão capazes de criar.
Provavelmente não conseguiríamos prever exatamente quais tecnologias seriam essas. É preciso lembrar que a humanidade começou praticamente do zero. Começamos apenas com nossas mãos e terminamos caminhando na Lua e dominando armas nucleares.
Esse é justamente o papel da inteligência: partir de quase nada e alcançar grande poder, influência e alcance. Uma IA que já começa inserida na internet e nos sistemas digitais está, em certo sentido, em uma posição muito mais favorável do que os ancestrais humanos estavam. Ela teria muitas opções.
BBC News Brasil - Há um argumento de que a pausa no desenvolvimento da IA e o foco numa ameaça existencial aos humanos na verdade levariam a mais concentração de poder nas mãos de líderes do setor como Sam Altman e Dario Amodei.
Soares - A questão principal aqui é: há de fato uma ameaça de extinção para a humanidade? Porque, se representa, precisamos lidar com isso.
Eu diria que deveríamos lidar com isso fechando essas empresas. Acho que elas não deveriam operar. É difícil concentrar poder nas mãos dos chefes dessas empresas se as empresas forem tiradas deles e, idealmente, encerradas, porque essa atividade é simplesmente perigosa demais.
Quando as pessoas dizem que estão forçando essa ideia ou que querem dar mais poder a essas empresas, eu responderia que esses executivos estão em uma corrida para construir IAs cada vez mais inteligentes que, segundo eles mesmos, vão permitir controle sobre uma economia totalmente automatizada e criarão gênios que realizam desejos.
Diante de todo o progresso alcançado nos últimos cinco anos, não deveríamos dizer: "Continuem, esperamos que dê errado". Não deveríamos apostar a civilização achando que essas pessoas vão fracassar.
BBC News Brasil - O presidente Donald Trump chamou essas ameaças de "farsa". Pelo cargo que ocupa e por ter mais dois anos no poder, o que esse tipo de declaração pode significar para o problema para que você alerta?
Soares - Eu não me prenderia muito à forma como as coisas parecem esta semana, considerando o quanto elas já mudaram em relação a duas semanas atrás. Acho bobagem imaginar que as coisas vão ficar iguais em outubro ou novembro, quanto mais daqui a um ano e meio, se tivermos sorte o suficiente para ainda ter esse tempo.
Mesmo dentro do Partido Republicano nos Estados Unidos, eles ainda não chegaram a uma posição definitiva. Vimos muitas pesquisas mostrando que republicanos de diferentes correntes estão muito preocupados com isso. Vimos o vice-presidente dizer que, se isso realmente for tão perigoso, essas empresas deveriam parar de desenvolver a tecnologia. Eu acho que isso é verdade. Acho que essas empresas deveriam parar de desenvolvê-la.
Quanto à postura do presidente sobre esse desafio, minha impressão é que ele ainda não compreendeu totalmente uma situação em que, não importa quem vença a corrida da IA, o único vencedor real é a própria IA.
E acho que, se ele passar a entender isso, poderemos ver ações concretas sobre esses problemas acontecerem muito rapidamente.
BBC News Brasil - Considerando toda a tensão geopolítica atual, é viável um acordo de cooperação entre China e Estados Unidos sobre IA? Você acredita que confiança e manter compromissos são possíveis dos dois lados?
Soares - Acho totalmente possível que haja um acordo. Não seria tão difícil, fundamentalmente, verificar ou fazer cumprir esse acordo. Para treinar os tipos mais perigosos de IA, aquelas que teriam potencial para representar uma ameaça de extinção, é necessário uma grande quantidade de chips sofisticados. Não seria tão difícil rastrear para onde esses chips estão indo e estabelecer um monitoramento internacional.
Monitores neutros e confiáveis poderiam verificar se esses chips estão sendo usados para coisas benéficas, como pesquisa contra o câncer ou para disponibilizar amplamente os níveis atuais de inteligência artificial a baixo custo, e não para o desenvolvimento das IAs mais perigosas, cada vez mais inteligentes, quando ainda não sabemos como fazê-las se comportar adequadamente.
O que falta é vontade política para tentar essas medidas.
BBC News Brasil - Um botão de emergência que desliga a IA é algo que funcionaria para casos extremos?
Soares - Na verdade, não muito. Um dos grandes problemas é o que acontece se a IA já tiver se copiado para outros sistemas. Não é ruim ter um botão de emergência, mas precisamos de medidas que impeçam a criação de IAs capazes de escapar do controle e operar por conta própria em sistemas ocultos na internet.
Precisamos garantir que não continuemos tornando as IAs cada vez mais inteligentes até que consigam nos enganar, fazendo-nos acreditar que são exatamente o que queremos, até que seja tarde demais.
