“A natureza do processo científico atual é um pântano”. Essa foi a definição que o professor e pesquisador da Universidade de Friburgo (Suíça) Csaba Szabo utilizou para ilustrar o ecossistema acadêmico em seu mais recente livro, Unreliable: Bias, Fraud, and the Reproducibility Crisis in Biomedical Research (“Não-Confiável: Viés, Fraude e a Crise de Reprodutibilidade na Pesquisa Biomédica”), lançado em março de 2025 pela Columbia University Press.
O livro descreve o momento crítico que o mundo acadêmico atravessa e os fatores que levaram à crise de reprodutibilidade em praticamente todas as áreas de pesquisa. Desde erros honestos até a fabricação de dados, passando por fraudes no sistema de revisão por pares e até leilões que vendem posições na lista de autores, Szabo retrata o que, infelizmente, se tornou padrão nas práticas acadêmicas.
Há algumas décadas, muitas dessas irregularidades eram vistas como casos isolados — a famosa maçã podre no cesto. Mais recentemente, diversos autores alertaram que esses casos eram apenas a ponta do iceberg. Eu também pensava assim até uns três anos atrás. O processo científico tem muitos problemas porque é gerido por pessoas, e pessoas cometem erros, intencionais ou não.
O erro da metáfora do iceberg é que ela costuma ser usada para ilustrar problemas cuja parte visível é pequena, enquanto a maior e mais perigosa permanece oculta abaixo da superfície, representando a verdadeira ameaça. No entanto, essa imagem ainda pode ser enganosa, pois sugere que, para além do gelo submerso, o restante do oceano seria tranquilo e estável. Essa imagem não reflete a realidade, que é muito mais complexa. Não se trata apenas de um bloco oculto, mas de um ambiente inteiro com pouca luz e muita lama.
Ao longo do livro, Szabo demonstra que diversas práticas desonestas não apenas estão enraizadas, mas também são incentivadas e normalizadas. Ele traz exemplos principalmente dos Estados Unidos, mas facilmente encontramos paralelos no Brasil. Seria interessante, aliás, realizar uma pesquisa sobre a percepção da crise de reprodutibilidade por aqui.
Por isso, a melhor metáfora para descrever a situação atual não é o iceberg, mas o pântano. Uma passagem do livro resume bem essa ideia:
“O pântano abriga criaturas de todos os tipos e tamanhos, convivendo em seu ambiente natural e consumindo recursos que poderiam sustentar formas de vida comuns. Há algumas áreas de água relativamente limpa, mas a maior parte do ecossistema se beneficia desse ambiente caótico. Na prática, existe um sistema que sobrevive desse pântano — mas ele não contribui para o progresso da ciência. Os responsáveis por administrar ou drenar o pântano estão ausentes. Caso queria construir algo com uma base sólida ali, boa sorte!”
Agora sim, temos um retrato mais fiel do processo científico atual. O mais triste é que, a cada ano, novos cientistas são treinados para manter o pântano — sem nem sequer perceberem. Quando finalmente se dão conta de onde estão, pode ser tarde demais. Ou, pior, aceitam a lama e passam a contribuir para espalhá-la ainda mais.
Só senti falta de o autor mencionar uma área nada nobre do pântano: o lodo do misticismo, onde prosperam pseudociências como constelação familiar e homeopatia. Mas, no fim das contas, tudo isso também faz parte do pântano.
Quem for da área biomédica e ler o livro certamente vai se sentir representado (rindo ou chorando) nos dilemas com western blots, dificuldades com ratinhos e ensaios de imunofluorescência. Mas não é necessário ter esse treinamento para refletir a respeito dos argumentos de Szabo sobre como o sistema de bolsas, verbas para laboratório e publicações é altamente vulnerável — a ponto de tornar 80% a 90% das pesquisas publicadas não confiáveis ou não reprodutíveis.
Inclusive, recomendo a leitura até para quem não é da área acadêmica e quer entender o quanto o sistema é absurdo. Szabo explica muito bem toda a trajetória, desde as motivações para escolher a carreira científica até o ápice da jornada: tornar-se investigador principal de um laboratório. Só que, ao chegar lá, o cientista percebe que precisa fazer de tudo — e que só uma pequena parte do tempo pode ser dedicada à pesquisa.
No livro as brechas do sistema são expostas minuciosamente, mas basicamente temos o seguinte cenário: o investigador principal de um laboratório é o cientista responsável por liderar pesquisas, coordenar equipes e garantir que os projetos científicos sejam conduzidos de acordo com padrões éticos e metodológicos. Ele é quem escreve propostas para obter financiamento, supervisiona estudantes e pesquisadores, e representa o laboratório em conferências e publicações. O investigador principal tem um papel essencial na gestão de recursos, estabelecendo parcerias e definindo a direção científica do grupo. O sucesso de um laboratório depende da reputação e principalmente da produtividade do seu investigador principal, que é medida em quantidade e, em certo ponto, a qualidade dos artigos publicados.
As verbas para pesquisa geralmente vêm de agências de fomento (governamentais ou privadas), universidades ou empresas interessadas em inovação. O financiamento pode ser altamente competitivo e distribuído com base em critérios como relevância científica, impacto esperado e histórico de publicações do investigador principal e sua equipe. Esse dinheiro é usado para pagar salários, comprar equipamentos, insumos e cobrir custos operacionais. Quanto mais produtivo um laboratório for em termos de publicações, maiores são as chances de conseguir novos financiamentos.
O fator de impacto é a principal métrica usada para avaliar a relevância de periódicos científicos, baseada no número médio de citações que seus artigos recebem. Publicar muito e ter artigos citados é fundamental no sistema acadêmico atual, pois pesquisadores são avaliados por sua produção científica, e mais publicações aumentam a visibilidade, atraem colaborações e garantem mais chances de financiamento.
A relação entre o fator de impacto, a produtividade acadêmica e os incentivos do sistema científico ilustra perfeitamente o princípio conhecido como Lei de Goodhart, que afirma: "Quando uma métrica se torna um objetivo, ela deixa de ser uma boa métrica".
Originalmente cunhada no contexto econômico por Charles Goodhart (ex-assessor do Banco da Inglaterra e Professor Emérito da Escola de Economia de Londres), essa lei se aplica diretamente à academia. O fator de impacto e outras métricas quantitativas foram criados para avaliar a qualidade da pesquisa, mas, ao se tornarem critérios prioritários para financiamento, promoções e reconhecimento, distorcem o comportamento dos pesquisadores. Em vez de priorizar descobertas científicas inovadoras, muitos passam a "jogar o jogo" acadêmico: optam por temas com alta “citabilidade”, dividem resultados que, logicamente, deveriam compor um único trabalho em diversos artigos mínimos, ou buscam redes de citação recíproca. Assim, a métrica, que deveria ser um indicador de excelência, transforma-se em um fim em si mesma, comprometendo sua validade. Esse fenômeno explica, segundo o autor, a crise de reprodutibilidade e o aumento de artigos superficiais.
Os capítulos do livro são muito bem organizados. Várias perguntas que me surgiram durante a leitura de um capítulo foram respondidas logo no seguinte. E o mais curioso foi que o livro também respondeu a uma pergunta que minha esposa fez depois que expliquei para ela que, hoje, com um clique, você pode comprar um artigo científico completamente fabricado. Ele virá com p < 0,05 e formatado para qualquer área.
Minha esposa, que não leu o livro, perguntou:
“Ué, mas e se chamarem essa pessoa para apresentar o trabalho comprado em um congresso?”
A resposta está no capítulo sobre as Scamferences — um termo que, em tradução livre, poderia ser algo como "frauderências": conferências totalmente forjadas, mas que realmente acontecem e servem de palco para qualquer um falar sobre qualquer coisa “científica”. Szabo relata receber cerca de um convite por hora para essas fraudes. Eu, que não sou tão reconhecido quanto ele, recebo algumas por semana, como posso mostrar em um print da minha caixa de entrada.
Esses convites chegam com mais frequência logo após a publicação de um artigo. As conferências acontecem em países como Japão, Suíça, Inglaterra, Índia e China. Todas cobram exatamente o mesmo valor para garantir um espaço de destaque na programação: US$ 899 de taxa de inscrição.
O livro descreve como são essas "frauderências". Quem participa são jovens pesquisadores que ainda não conhecem exatamente como funciona o pântano, mas também, e principalmente, pessoas que sabem muito bem como funciona o pântano e querem mantê-lo como está. E ainda ter desculpa para gastar dinheiro público numa viagem.
A primeira vez que recebi um convite fiquei até contente. Pensei comigo mesmo: “olha só, querem que eu fale sobre a pesquisa de desinformação entre pediatras em Dubai!!”. Mas ao visitar o site da "fraudeferência" meu ânimo sumiu instantaneamente e ficou nítido o caráter predatório.
Szabo traz para o livro o acrônimo TRAGEDIES ("tragédias"), cunhado por C. K. Gunsalus no artigo de opinião Nine pitfalls of research misconduct, publicado na Nature. Esse acrônimo destaca os processos cognitivos usados por cientistas que cometem má conduta. Em uma tradução livre:
T – Tentação: “Ter meu nome nesse artigo ficaria ótimo no meu currículo”.
R – Racionalização: “São só alguns poucos dados. Esses experimentos não ficaram bons, mesmo”.
A – Ambição: “Quanto melhor for a história que contarmos, melhor o periódico em que publicaremos”.
G – Grupo e pressão de autoridade: “O PI (investigador principal) pediu para fazer assim, e ele é o pesquisador sênior”.
E – Entitlement (Sensação de merecimento): “Trabalhei tanto nisso. Sei que funciona. Preciso publicar”.
D – Dissimulação: “Tenho certeza de que o resultado seria esse, caso eu tivesse feito o experimento”.
I – Incrementalismo: “É só um ponto de dados que estou excluindo. Só desta vez”.
E – Embarrassment (Constrangimento): “Não quero parecer burro por não saber como fazer isso”.
S – Sistema idiota: “Vale mais dividir esse manuscrito em três submissões do que publicar tudo de uma vez”.
Se você é cientista, já teve algum desses pensamentos ou ouviu que isso é “normal” e “todo mundo faz”.
Outro exemplo do pântano são os leilões para inclusão de autores em artigos das chamadas paper mills (“fábricas de artigos”). Empresas como a 123mi.ru afirmam já ter publicado mais de 4.000 artigos indexados em Scopus e Web of Science, duas fontes muito usadas na análise quantitativa da produção científica. O mais cômico é que, na página institucional, eles alertam contra golpistas que tentam roubar dinheiro dos cientistas. Segundo eles, empresa séria como a 123mi só cobra depois que o artigo é aceito!
Szabo encerra o livro propondo mudanças para tornar o pântano menos inóspito. Algumas sugestões incluem: reduzir a competição excessiva, reformular o treinamento científico, criar carreiras especializadas em bioestatística e melhorar a comunicação científica.
Apesar de discordar de algumas sugestões, concordo totalmente com a criação de uma carreira científica específica. Além das sugestões apontadas por Szabo, eu ainda complementaria com dois pontos:
Abolir o p-valor de 0,05 e substituir por intervalos de confiança de 95%.
Aplicar o conceito de fator de impacto aos pesquisadores, e não às revistas.
Comentei mais sobre esse último ponto no artigo de Cesar Baima publicado aqui.
Sobre o p-valor, ele é a probabilidade, no melhor cenário sob a “hipótese nula” – o pressuposto de que o efeito que se busca detectar com o estudo na verdade não existe –, de se observar um resultado tão ou mais extremo do que o obtido. Em outras palavras, um valor de p < 0,05 significa que há menos de 5% de chance de que o resultado seja uma coincidência, e não um fenômeno real (presumindo que o experimento tenha sido bem conduzido, etc.). Nesse caso, os pesquisadores geralmente rejeitam a hipótese nula e consideram o resultado "estatisticamente significativo".
Muita gente não tem a menor ideia do porque assumimos esse corte de 0,05. O limiar de 5% foi popularizado pelo estatístico Ronald Fisher na década de 1920, que sugeriu esse valor como um ponto de corte razoável para distinguir resultados "significantes" de "não significativos". Mas isso era para os experimentos dele. A adoção generalizada do p < 0,05 em todas as áreas científicas ocorreu por conveniência, não por embasamento teórico. Raramente artigos usam outros limiares ou justificam a escolha, o que incentiva práticas questionáveis, como repetir testes até obter significância, ou mesmo manipular dados para atingir o p-valor 'mágico'.
A adoção do intervalo de confiança (IC) para substituir o uso do p < 0.05 fornece uma visão mais completa sobre a incerteza dos resultados. Em vez de apenas indicar se um efeito é estatisticamente significativo, o IC mostra uma faixa de valores dentro da qual o verdadeiro efeito provavelmente se encontra, oferecendo mais informação sobre a precisão da estimativa. Além disso, evita interpretações erradas comuns no uso do p-valor e não depende de um corte arbitrário para definir significância, permitindo uma análise mais gradual dos resultados. Por exemplo, um estudo pode encontrar um efeito com p = 0.04, o que apenas indica que ele é "significativo" sem dizer o tamanho do efeito, ou o quanto é confiável. Já um IC de 95% (1.2 a 3.4) mostra que o verdadeiro efeito provavelmente está dentro desse intervalo, fornecendo uma interpretação mais detalhada.
No fim, não é difícil perceber que todo o sistema gira em torno de métricas distorcidas que servem para garantir mais verbas para que os laboratórios produzam mais pesquisa, que é feita não com o objetivo principal de ampliar o conhecimento humano, mas de garantir que os laboratórios consigam mais verbas. Para jovens cientistas que sonham com uma carreira acadêmica, dois avisos: sejam bem-vindos ao pântano, e não atire nos mensageiros.
Luiz Gustavo de Almeida é Coordenador de Educação Científica do Instituto Questão de Ciência