Imagine consultar um sistema de inteligência artificial sobre uma doença rara e receber uma explicação detalhada, tecnicamente organizada e apresentada com segurança clínica. Sintomas, possíveis causas, hipóteses terapêuticas — tudo descrito em linguagem médica convincente. Há apenas um detalhe: a doença não existe.
O episódio foi relatado recentemente na revista Nature. Pesquisadores da Universidade de Gothenburg, na Suécia, criaram a descrição de uma enfermidade fictícia, chamada “bixonimania”, produziram artigos acadêmicos falsos sobre ela e deixaram esse material circular online em repositórios que armazenam versões preliminares de trabalhos científicos. Algum tempo depois, testaram diferentes modelos de linguagem. O resultado foi desconcertante. Os sistemas passaram a tratar a doença imaginária como um problema médico real, indicando-a como potencial causa de sintomas relatados por usuários dos chatbots.
O aspecto mais inquietante do experimento não está exatamente no erro. Erros fazem parte da atividade humana e acompanharão qualquer tecnologia produzida por humanos. O problema maior é que os sistemas não apenas erraram; erraram de modo plausível. Produziram respostas coerentes, organizadas e convincentes. Foram capazes de fabricar credibilidade retórica a partir de informações sobre uma doença inexistente!
Informação falsa tende a manifestar fragilidades. Contradições, referências inexistentes ou argumentação precária denunciam, com frequência, a baixa confiabilidade. A automação da linguagem modifica esse equilíbrio, porque agora é possível produzir textos plausíveis, organizados e tecnicamente convincentes em escala industrial. Fica fácil imitar o verniz de legitimidade.
Isso ocorre porque modelos de linguagem não operam a partir de critérios epistemológicos. Não distinguem verdade de falsidade no sentido humano do termo. Seu funcionamento repousa em regularidades estatísticas da linguagem. São máquinas de plausibilidade textual. Quando encontram padrões recorrentes associados ao discurso científico — terminologia técnica, estrutura argumentativa, tom impessoal, citações, conexões semânticas — tendem a reproduzi-los independentemente da validade factual do conteúdo.
A ciência sempre dependeu de formas institucionais de filtragem: revisão por pares, replicação, crítica pública, rastreabilidade de evidências, prestígio acumulado de periódicos e comunidades de pesquisa. Nenhum desses mecanismos é perfeito. Ainda assim, funcionam como dispositivos coletivos de contenção do erro. O problema surge quando a aparência desses mecanismos pode ser simulada sem a presença efetiva dos processos que lhes davam significado.
A falsa doença criada pelos pesquisadores funciona quase como uma parábola contemporânea sobre autoridade científica. O simples fato de um texto “parecer científico” já se torna suficiente para produzir reconhecimento algorítmico. E talvez isso diga algo não apenas sobre os sistemas atuais, mas também sobre nossa própria cultura informacional. Em ambientes saturados de conteúdo, frequentemente avaliamos credibilidade por sinais superficiais de forma: fluidez textual, segurança retórica, vocabulário técnico ou estética documental.
O risco maior não está apenas em respostas isoladas incorretas. Está nos ciclos de retroalimentação que podem emergir desse processo. Conteúdo sintético produzido por IA passa a circular online, é indexado por buscadores, incorporado em novos conjuntos de treinamento e devolvido ao público com aparência renovada de legitimidade. A distinção entre fonte primária, comentário, simulação e falsificação vai se tornando nebulosa.
Em certo sentido, trata-se de uma inversão curiosa. A internet foi inicialmente celebrada como mecanismo de democratização do acesso ao conhecimento. Hoje, parte do desafio consiste justamente em reconstruir critérios de validação em um ambiente em que a abundância informacional enfraquece os sinais tradicionais de confiabilidade. Quanto mais conteúdo disponível, maior a dificuldade de separar conhecimento validado de material apenas plausível.
Esse problema não se limita ao campo científico. Sociedades complexas dependem de formas distribuídas de confiança. Nenhum indivíduo consegue verificar diretamente tudo aquilo em que acredita. Confiamos em especialistas, instituições, protocolos e comunidades de validação porque o conhecimento moderno é inevitavelmente coletivo. Quando os sinais externos dessa confiança podem ser simulados sem correspondência com processos reais de verificação, instala-se uma espécie de inflação epistêmica: credenciais simbólicas se multiplicam enquanto o lastro factual se torna mais difícil de rastrear.
Há também um aspecto quase irônico nesse episódio. Durante décadas, o principal temor relacionado à desinformação esteve associado à precariedade intelectual: textos mal escritos, teorias conspiratórias improvisadas ou pseudociência rudimentar. A nova geração de sistemas automatizados desloca o problema para outro patamar. A desinformação pode agora assumir a forma de conteúdo elegante, coerente e linguisticamente sofisticado.
Isso não significa que entramos em uma era em que a verdade perdeu completamente o sentido, nem que os instrumentos digitais sejam incompatíveis com produção séria de conhecimento. Significa apenas que critérios tradicionais de plausibilidade talvez já não sejam suficientes. A fluidez de uma resposta deixou de ser evidência de compreensão. A confiança retórica deixou de implicar compromisso factual.
O experimento da “bixonimania” expõe precisamente essa fissura. Não entre humanos e máquinas, mas entre aparência e validação. Entre a simulação convincente de conhecimento e os processos lentos, imperfeitos e coletivos pelos quais as sociedades constroem algo próximo da verdade.
E talvez seja justamente aí que resida a principal lição do episódio: em tempos de automação da linguagem, a defesa do conhecimento depende menos da produção acelerada de respostas e mais da preservação dos mecanismos sociais capazes de corrigir erros, sustentar crítica pública e distinguir evidência de mera plausibilidade.
Americo Cunha Jr é pesquisador do Laboratório Nacional de Computação Científica (LNCC) e professor associado do Departamento de Matemática Aplicada da Universidade do Estado do Rio de Janeiro (UERJ). Em seu tempo livre, lê e escreve sobre divulgação científica, filosofia da ciência e a relação entre conhecimento, incerteza e sociedade