Doutor maligno

Em 1914, às vésperas da Primeira Guerra Mundial, H.G. Wells publicou uma novela sobre as possibilidades de uma conflagração ainda maior. The World Set Free (O Mundo Libertado) imagina, 30 anos antes do Projeto Manhattan, a criação de armas atômicas que permitiriam a “um homem carregar numa bolsa uma quantidade de energia latente suficiente para destruir meia cidade”. A guerra global irrompe e leva a um apocalipse atômico. É preciso “estabelecer um governo mundial” para trazer a paz.

O que preocupava Wells não eram apenas os riscos de uma nova tecnologia, mas os perigos da democracia. O governo mundial de Wells não foi criado por meio da vontade democrática, mas imposto como uma ditadura benigna. “Os governados demonstrarão seu consentimento com o silêncio”, observa ameaçadoramente o Rei Egberto da Inglaterra. Para Wells, o “homem comum” era “um louco violento nos assuntos sociais e públicos”. Só uma elite educada e com mentalidade científica poderia “salvar a democracia de si mesma”.

Um século depois, outra tecnologia provoca um tipo semelhante de admiração e medo – a Inteligência Artificial. Das salas de reuniões do Vale do Silício aos bastidores de Davos, líderes políticos, magnatas da tecnologia e acadêmicos exultam com os imensos benefícios que a IA trará, mas temem que possa anunciar o fim da humanidade, na medida em que máquinas superinteligentes passarem a governar o mundo. E, assim como um século atrás, no centro do debate estão questões de democracia e controle social.

Em 2015, o jornalista Steven Levy entrevistou Elon Musk e Sam Altman, dois fundadores da OpenAI, a empresa de tecnologia que invadiu a consciência pública há dois anos com o lançamento do ­ChatGPT, o chatbot aparentemente humano. Uma galáxia de pesos pesados do Vale do Silício, temerosos em relação às potenciais consequências da IA, criaram a empresa como um fundo sem fins lucrativos, com o objetivo de desenvolver tecnologia de forma ética para beneficiar a “humanidade como um todo”.

Levy questionou Musk e Altman sobre o futuro da IA. “Existem duas escolas de pensamento”, refletiu Musk. “Você quer muitas IAs ou um pequeno número de IAs? Achamos que, provavelmente, é bom ter muitas.” “Se eu for o Dr. Maligno e usá-la, você não estará me fortalecendo?”, perguntou Levy. É mais provável que o Dr. Maligno seja fortalecido, respondeu Altman, se apenas alguns controlarem a tecnologia: “Então estaremos realmente num lugar ruim”.

Na realidade, esse “lugar ruim” tem sido construído pelas próprias empresas tecnológicas. Musk, que deixou o conselho da OpenAI há seis anos para desenvolver seus próprios projetos, agora processa sua antiga empresa por quebra de contrato, por ter colocado os lucros à frente do bem público e por não ter desenvolvido a IA “em benefício da humanidade”.

Em 2019, a OpenAI criou uma subsidiária com fins lucrativos para arrecadar dinheiro de investidores, principalmente da Microsoft. Quando lançou o ChatGPT, em 2022, o funcionamento interno do modelo foi mantido oculto. Era necessário ser menos aberto, afirmou Ilya ­Sutskever, outro fundador da OpenAI e à época o cientista-chefe da empresa, em resposta às críticas, para evitar que aqueles com intenções malévolas a usassem “para causar muitos danos”. O medo da tecnologia tornou-se a cobertura para se criar um escudo contra o escrutínio.

Em resposta ao processo de Musk, a OpenAI publicou uma série de e-mails entre o bilionário e outros integrantes do conselho. Estes deixam claro que, desde o início, todos concordaram que a “­OpenAI” não poderia realmente ser aberta. À medida que a IA se desenvolver, escreveu Sutskever a Musk, “fará sentido começar a ser menos aberto. O ‘Open’ de ‘OpenAI’ significa que todos devem beneficiar-se dos frutos da IA após sua construção, mas é totalmente normal não compartilhar a ciência”. “Sim”, respondeu Musk. Independentemente do que diga o processo dele, Musk não é mais favorável à abertura do que outros magnatas da tecnologia. O desafio legal à OpenAI é mais uma luta pelo poder no Vale do Silício do que uma tentativa de gerar prestação de contas.

Wells escreveu The World Set Free em uma época de grande turbulência política, quando muitos questionavam a sabedoria de se estender o sufrágio à classe trabalhadora. “Seria desejável, seria mesmo seguro confiar às massas as urnas, a criação e o controle do governo da Grã-Bretanha, com sua enorme riqueza e seus domínios extensos?”, perguntou-se Beatrice Webb, da Sociedade Fabiana. Esta era também a questão central do livro de Wells.

Os problemas colocados pela IA não são existenciais, mas sociais

Um século depois, temos novamente um debate acirrado sobre as virtudes da democracia. Para alguns, a turbulência política dos últimos anos é produto do excesso de democracia, de permitir que os irracionais e sem instrução tomem decisões importantes. “É injusto atribuir a simplórios desqualificados a responsabilidade de tomar decisões históricas de grande complexidade e sofisticação”, disse Richard Dawkins após o referendo do Brexit, sentimento com o qual Wells teria concordado. Para outros, é exatamente esse desdém pelos comuns que ajudou a criar um déficit democrático, no qual grandes setores da população se sentem privados de opinar sobre a forma como a sociedade é gerida.

O mesmo desdém alimenta as discussões sobre tecnologia. Tal como em The World Set Free, o debate sobre IA concentra-se não apenas em questões tecnológicas, mas também em abertura e controle. Apesar do alarmismo, estamos muito longe de máquinas “superinteligentes”. Os modelos de IA atuais, como ChatGPT ou Claude 3, lançado por outra empresa, a Anthropic, são tão bons ao prever qual deve ser a próxima palavra numa sequência que podem nos enganar, fazendo-nos imaginar que conseguem manter uma conversa semelhante à humana. Contudo, eles não são inteligentes em nenhum sentido humano, têm uma compreensão insignificante do mundo real e não estão prestes a extinguir a humanidade.

Os problemas colocados pela IA não são existenciais, mas sociais. Do viés algorítmico à vigilância em massa, da desinformação e da censura ao roubo de direitos autorais, nossa preocupação não deveria ser o fato de as máquinas um dia exercerem poder sobre os seres humanos, mas de funcionarem de formas que reforçam as desigualdades e injustiças, fornecendo ferramentas com as quais os que estão no poder possam consolidar sua autoridade.

Por isso, o que poderíamos chamar de “manobra de Egbert” – a insistência de que algumas tecnologias são tão perigosas que devem ser afastadas da pressão democrática e controladas por um grupo seleto – é tão ameaçadora. O problema não é apenas o Dr. Maligno, mas aqueles que usam o medo do Dr. Maligno para se proteger do escrutínio. •

Tradução de Luiz Roberto M. Gonçalves.

Publicado na edição n° 1302 de CartaCapital, em 20 de março de 2024.