Na última década, várias áreas científicas têm se deparado com acalorados debates sobre a dificuldade da reprodução de resultados. Muitas conclusões, de estudos publicados em revistas científicas prestigiadas, não têm sido reproduzidas quando grupos e laboratórios independentes tentam repetir os protocolos de pesquisa. Mas, por que essa questão é relevante e tem recebido atenção da mídia especializada? Não seria o assunto da reprodutibilidade um dos mais triviais de ser tratado no cotidiano da atividade científica? Pois é, por mais estranho que possa parecer, o assunto não está trivializado nas práticas científicas atuais, em diversas disciplinas.
Diversos são os motivos para o tema estar em evidência, e a maioria deles pode ser identificada na intensificação do debate em tempos recentes. Um exemplo do que me refiro, e poderia até ser compreendido como um marco relevante sobre essas discussões, foi publicado no ano de 2005 e abordou o problema na área de medicina. Com o sugestivo título “Por que a maioria dos resultados de pesquisa são falsos” (Why most published research findings are false), o autor escancarou um conjunto de limitações nas práticas metodológicas correntes em diferentes subáreas da pesquisa médica, que fazem com que a pesquisa publicada, ainda que avaliada por árbitros, seja baseada em resultados falsos.
Na minha área, Psicologia, convencionou-se chamar de práticas questionáveis de pesquisa (Questionable Research Practices) o conjunto de estratégias utilizadas pelos pesquisadores para maximizar as chances de que um resultado ‘interessante’ fosse apresentado para editores e revisores de revistas científicas. Não tardou que a literatura científica, em diversos campos nos quais esses problemas são mais evidentes, fosse inundada com discussões sobre potenciais fatores que expliquem por que os cientistas vêm usando práticas que fragilizam suas conclusões. Há muitos aspectos que nos auxiliam a compreender esse cenário.
O tipo de incentivo fornecido aos cientistas, baseado na necessidade de publicação em grande quantidade para crescer na carreira, preferencialmente em periódicos em que poucos conseguem ser aprovados, aliado a linhas editoriais que demandam novidades, não reproduções, criou um sistema social de incentivo para publicar aquilo que pareceria mais aprazível aos olhos dos editores científicos.
Um sistema social incentivador da publicação em quantidade, aliado a revistas que apenas buscavam publicar o que era novidade, parece ter deixado de lado o incentivo a um dos fundamentos do pensamento científico, o que permite, por exemplo, a autocorreção do empreendimento da ciência: a reprodutibilidade.
A boa notícia é que surgiram propostas de mudança desse cenário, iniciadas há cerca de 10 anos, e que já têm surtido efeitos relevantes, como, por exemplo, a mudança da linha editorial de muitos periódicos científicos. Outra dessas alterações foi o desenvolvimento de ações massivas de pesquisa em reprodutibilidade, algo que tem sido realizado em diferentes disciplinas.
Em Psicologia, temos realizado ações colaborativas internacionais que visam a replicação de centenas de efeitos publicados em revistas científicas. Já tive a oportunidade de participar de duas dessas iniciativas massivas, os projetos Manylabs 1, publicado em 2014, e o Manylabs 2, recém-publicado em dezembro de 2018.
A reprodutibilidade em ciência é um tema muito relevante, que merece atenção especial, principalmente na formação dos cientistas. Em Psicologia, a reprodução de resultados possui particularidades muito relevantes, que fazem a pesquisa em reprodutibilidade um desafio. A variação cultural traz efeitos relevantes, e muitos dos processos psicológicos são afetados pelo grupo no qual os participantes das pesquisas são socializados.
A variação mais evidente é a língua. Esse aspecto deve ser levado em consideração para que, além de equivalência semântica, estímulos e conceitos empregados possuam equivalência cultural. Mas se a pesquisa de reprodutibilidade em Psicologia enfrenta muitos desafios, os meios contemporâneos de colaboração, em plataformas digitais, permitem a execução de projetos que seriam impensáveis há alguns anos. Tais plataformas abrem uma nova fronteira em meios de colaboração, possibilitando um trabalho metodologicamente rigoroso e ao mesmo tempo massivo, realizado simultaneamente com dezenas de milhares de participantes em dezenas de países.
E qual lição podemos tirar de toda essa discussão? Que mesmo disciplinas científicas bem consolidadas podem produzir padrões e formas ‘normais’ de fazer o seu trabalho que geram problemas gravíssimos, como é o caso da publicação de resultados falsos.
Sistemas de incentivo que primam pela publicação de ‘novidades’ em quantidade, em detrimento da reprodutibilidade e da qualidade (impacto), aliada a gerações de cientistas formados para priorizar sua vaidade em termos de números de produção, têm grande potencial em criar práticas pseudocientíficas. Discuto um pouco mais sobre essa questão no livro “Ciência e Pseudociência: Por que acreditamos apenas naquilo em que queremos acreditar”, que por limitação de espaço não tenho como abordar nesse artigo.
Esse tipo de situação sempre nos faz lembrar de que, além de olhar para o resultado da pesquisa científica, temos que entender a maneira pela qual esses achados têm sido produzidos. Em ciência, mais do que em qualquer outro empreendimento humano, o método de como chegar às conclusões é tão ou mais importante do que a conclusão em si.
Vivemos uma época de pós-verdade que produz fenômenos sociais, graças à comunicação nas redes sociais, em que fatos científicos são ignorados e argumentos retóricos, utilizados para substituir verdades fundamentadas em séculos de conhecimento humano.
Exemplos abundam, como os negadores do aquecimento global, os defensores da terra plana e os propagadores da conspiração dos chemtrails. Se perdermos de vista o método, inevitavelmente, correremos o risco de fazer pseudociência (má ciência ou ciência picareta), convencidos falsamente de que estamos fazendo ciência.
É necessário que a ciência seja realizada de forma a produzir as evidências mais robustas possíveis, para minimizar o efeito perverso que essa nova era comunicacional tem gerado para a compreensão pública da ciência.
Muitas vezes, a linha de separação entre ciência e não-ciência pode ser tênue, levando a comunidades inteiras de cientistas a não ter clareza dos erros que estão cometendo.
Reconhecer os erros e percalços de como a ciência é feita, e implementar mudanças de rota quando necessário, é parte fundamental para seguir no bom caminho da razão de ser do empreendimento humano mais relevante já inventado.
Ronaldo Pilati é professor de Psicologia da Universidade de Brasília (UnB) e autor do livro Ciência e Pseudociência: Por que acreditamos apenas naquilo em que queremos acreditar