Mais de uma vez durante a pandemia, principalmente na fase mais tresloucada, quando repositórios de pré-prints e mesmo periódicos com revisão pelos pares pareciam prestes a explodir com resultados “promissores” os mais absurdos, chamei atenção para as lições oferecidas pela história da pesquisa pseudocientífica sobre efeitos irreais, como a influência das estrelas no destino humano, o “poder” de prever o futuro, a eficácia da homeopatia ou do reiki.
Meu argumento era que a existência de estudos “científicos” com resultados positivos a respeito desses pseudofenômenos oferecia uma taxonomia de falhas metodológicas e de vieses que deveríamos manter em mente, ao analisar os trabalhos a respeito de supostas “curas” para a (então) nova doença. No primeiro comentário que publiquei numa rede social a respeito do hoje infame estudo original de Didier Raoult sobre hidroxicloroquina, azitromicina e COVID-19, escrevi que, com um método tão nas coxas como o usado ali, seria possível até “provar” que homeopatia funciona.
Mas o aviso (que não veio só de mim) foi pouco ouvido. Muita gente que, pelo menos até então, tinha carreira e currículo respeitáveis caiu de joelhos (ou de quatro) diante do druida de Marselha, e embora a maioria tenha, com o tempo, se levantado, sacudido a poeira e saído de fininho, há uma minoria voluntariosa que parece ter descoberto o sentido da vida na postura quadrupedante.
A sociologia da ciência e a psicologia social têm aí campo fértil de estudo: por que especialistas e instituições que, supõe-se, descartariam em dois tempos um trabalho assim tão malfeito e enviesado se o assunto fosse, digamos, o poder dos chacras, assentiram bovinamente à patacoada marselhesa?
Teoria do viés puro
O potencial didático (e, de certa forma, sociológico) das pesquisas pseudocientíficas é um dos temas de um artigo publicado há alguns meses no periódico Royal Society Open Science, e que trata, ostensivamente, de uma tentativa de replicar um estudo sobre precognição (a suposta capacidade humana de pressentir o futuro por meios paranormais). Mas é muito mais do que isso: trata-se, no fim, de um manifesto sobre rigor metodológico e transparência – sobre honestidade na prática científica, enfim. O trecho abaixo é longo, mas também uma das coisas mais importantes já escritas a respeito do assunto (os grifos são meus):
“Vamos nos referir a este ponto de vista como a ‘teoria do viés puro’ dos efeitos parapsicológicos. Essa teoria tem apoio muito forte na comunidade científica e traz implicações profundas para outros campos das ciências biomédicas e sociais. Ela implica que, na absoluta ausência de efeitos reais, graus de liberdade do pesquisador e vieses inerentes ao sistema de publicação podem, por si mesmos, gerar todo um campo de achados positivos, e níveis de significância estatística que seriam considerados convincentes em campos de pesquisa mais conservadores. Se a teoria do viés puro estiver correta, precisamos reconsiderar como avaliamos o valor da evidência e como interpretamos os achados científicos acumulados em todos os campos de pesquisa caracterizados pelas mesmas práticas de pesquisa e publicação”.
Em outras palavras, se métodos e processos normalmente aceitos (ou, no mínimo, tolerados) pela academia permitem “demonstrar” hipóteses absurdas, então talvez a academia esteja aceitando e tolerando coisas que não deveria. Principalmente, quando esses mesmos métodos e processos são usados para testar hipóteses superficialmente mais plausíveis do que, digamos, a realidade da astrologia. Peneira por onde passa horóscopo também passa cloroquina.
Os autores oferecem um teste da teoria ao replicar, com o maior rigor metodológico possível e com amplas garantias de transparência e honestidade – incluindo coleta aberta de dados, registros em vídeo dos testes, registro prévio das análises planejadas –, um estudo de 2011 que teria mostrado que pessoas são capazes de prever o futuro, adivinhando em qual das janelas de uma tela de computador uma imagem erótica vai aparecer.
Havendo duas janelas, a chance de a adivinhação dar certo por puro acaso seria 50%. O trabalho de 2011 encontrou uma taxa de 53,07% – um efeito pequeno, mas significativo. Já a replicação transparente encontrou 49,89%. Resultado dentro do esperado por pura sorte, reforçando a teoria do viés puro.
A verdadeira gaveta
O artigo recente em Royal Society Open Science menciona duas causas para o efeito de viés puro, “graus de liberdade do pesquisador” e “vieses inerentes ao sistema de publicação”. O segundo ponto é o chamado “efeito gaveta”.
Esse efeito costuma ser explicado como a preferência de periódicos científicos (e dos patrocinadores de estudos) por resultados positivos, o que faz com que, dos vários testes de uma hipótese, aqueles com resultados positivos tenham mais chance de ver a luz do dia, enquanto os negativos ficam “na gaveta”, o que distorce a literatura científica.
Já “graus de liberdade do pesquisador” refere-se à série de decisões que o cientista pode vir a tomar ao longo da execução de um estudo – quais dados considerar válidos, que testes estatísticos utilizar – que podem acabar extraindo a fórceps um resultado positivo de um experimento, na verdade, pouco ou nada significativo. No limite, o abuso desses graus de liberdade vem a configurar má prática ou mesmo fraude.
A comunidade científica reconhece formalmente o problema do abuso dos graus de liberdade, principalmente sob a forma conhecida como “p-hacking”, mas na prática ainda existe muita complacência – e uma ênfase um tanto quanto exagerada no problema do “efeito gaveta”. É sempre mais confortável culpar “o sistema” do que o indivíduo, por mais que se trate de uma falsa dicotomia (os incentivos para p-hacking e outras manobras desonestas vêm, afinal, da forma como o sistema está estruturado, com sua ênfase em produtividade bruta).
No entanto, trabalho publicado em 2018 sobre o estado geral da pesquisa científica em psicologia indicava que, ao menos nessa área, o efeito gaveta era muito menos significativo do que o abuso dos métodos estatísticos para gerar resultados positivos a qualquer custo. Os autores sugerem uma série de remédios – congruentes com as práticas de transparência e controle adotadas no artigo que aborda a “teoria do viés puro” – e alertam que, se um campo é dominado por táticas de p-hacking, a realização de meta-análises (trabalhos que buscam extrair uma conclusão geral de um agregado de estudos semelhantes) amplia, e não reduz, o impacto dos resultados falso-positivos.
Lição aprendida?
O confronto com o desafio da precognição foi, ao lado da crise reprodutibilidade e de uma série de denúncias de fraude, uma das molas-mestras que levaram a psicologia a se lançar numa audaciosa operação de faxina metodológica que já dura mais de uma década.
Se os fiascos da pandemia recente trouxerem estímulo semelhante à área biomédica, poderíamos talvez dizer que algo de bom veio da tragédia – mas o espírito atual parece ser mais de esquecer, perdoar e voltar ao “business as usual” do que de sobriedade e correção de rumos.
A resiliência da zona de conforto é compreensível, na medida que o sistema de incentivos continua a ser o que era em tempos pré-pandêmicos; currículos e concursos só raramente distinguem publicações baseadas em viés puro das que reportam efeitos reais. Mas compreensível não é igual a aceitável ou, mesmo, tolerável. A COVID-19 fez pelo menos uma parte do público levar o método científico realmente a sério, e não só como retórica maquiada de estatística. Seria bom se tivesse o mesmo efeito sobre alguns cientistas.
Carlos Orsi é jornalista, editor-chefe da Revista Questão de Ciência, autor de "O Livro dos Milagres" (Editora da Unesp), "O Livro da Astrologia" (KDP), "Negacionismo" (Editora de Cultura) e coautor de "Pura Picaretagem" (Leya), "Ciência no Cotidiano" (Editora Contexto), obra ganhadora do Prêmio Jabuti, e "Contra a Realidade" (Papirus 7 Mares)