O controle da qualidade do que se faz em ciência está no cerne do pensamento científico. A própria ideia básica de uma revista científica, com seu processo de revisão cega por pares, é uma das estratégias mais fundamentais para garantir que aquilo que se torna público tenha passado pelo crivo de pessoas capacitadas para julgar a qualidade dos trabalhos. A ciência procura se autocorrigir de várias maneiras, tendo no esforço de reprodução de resultados por pesquisadores independentes uma das opções mais eficazes. Abordei o assunto neste artigo aqui, na revista do IQC no começo desse ano.
Na esteira de várias ações recentes que visam reavaliar e aprimorar a prática científica, a questão da integridade dos cientistas é um tema importante.
Quando se pensa em integridade do cientista, o mais usual são as pessoas imaginarem falsificação de dados. Mas esse protótipo da falta de ética é apenas a ponta do iceberg. Há inúmeras outras estratégias empregadas por muitos pesquisadores para aumentar as chances de ver seus dados publicados.
O mercado da publicação acadêmica é altamente competitivo. As maioria das pessoas não faz ideia de como ter um artigo publicado em uma revista prestigiada é extremamente difícil. Em várias revistas, de cada 100 manuscritos recebidos para análise editorial, menos do que 5 são publicados. Os outros 95 sucumbem no processo, seja pela avaliação inicial do editor, seja após a crítica dos avaliadores que desconhecem o autor. Em geral, quanto mais prestigiada a revista, mais difícil é a publicação.
A publicação em periódicos científicos é o principal critério utilizado para avaliar o sucesso de um pesquisador, pois quanto maior o número de publicações – e o impacto delas no trabalho de outros cientistas – maiores chances de conquistar financiamento para pesquisa, maior a possibilidade de bolsas e, em muitos contextos universitários, maior o salário do pesquisador (esse último aspecto não é realidade na grande maioria das universidades públicas brasileiras). E o que ocorre em mercados altamente competitivos como esse? Os profissionais desenvolvem estratégias para maximizar seu desempenho no critério de avaliação – no caso, sua chance de publicar.
É aí que entram as práticas questionáveis de pesquisa. Esse termo, que em português ganha o curioso acrônimo PQP, diz respeito a um conjunto de estratégias que os cientistas utilizam para aumentar a chance de apresentar resultados que sejam vistos, por seus pares, como interessantes e, consequentemente, publicáveis. Algumas dessas práticas são flagrantemente ilegais, como é o caso da falsificação de dados, mas outras ganham, a depender da área e do momento histórico, contornos um pouco menos claros.
A situação é tão preocupante que várias dessas práticas foram normalizadas na comunidade científica e passaram a ser, inclusive, ensinadas nos cursos de doutorado pelo mundo afora. Há poucos dias, tivemos um trabalho pré-publicado sobre a prevalência de práticas questionáveis entre pesquisadores brasileiros da área de psicologia (nesse link o artigo).
Esse estudo é uma replicação, para comparação com resultados de dois outros países, Estados Unidos e Itália. Foram dez as práticas investigadas: (1) omissão de variáveis medidas do estudo; (2) coletar mais dados do que o planejado, para achar significância estatística; (3) omissão de condições de variáveis que foram manipuladas no estudo; (4) interromper a coleta de dados após encontrar o que procurava; (5) arredondar valor-p (0,05); (6) relatar apenas estudos que “deram certo”; (7) exclusão de dados impactantes; (8) reportar resultados inesperados como se fossem inicialmente esperados; (9) negligenciar dados socio-demográficos; e (10) falsificar dados.
Participaram da nossa pesquisa 232 pesquisadores da área de psicologia de todo o Brasil.
Alguns resultados que merecem destaque: mais de 50% dos participantes admitiram que já relataram apenas estudos que “deram certo”; e aproximadamente 40% relataram já ter omitido, no artigo final, algumas das condições experimentais de suas pesquisas. Há diferenças na admissão do uso de práticas questionáveis entre os pesquisadores brasileiros e dos dois países comparados (EUA e Itália). Nos Estados Unidos e entre os italianos é mais frequente a omissão de medições e a ampliação da coleta de dados, depois que “uma olhada” em resultados preliminares falha em confirmar as expectativas.
A pesquisa sobre as PQP é relevante para dar visibilidade ao assunto e, ao mesmo tempo, conhecer esse uso entre os cientistas. Essas práticas são danosas para o conhecimento científico, pois apresentam resultados falsos como se fossem verdadeiros, além de mistificar o processo de pesquisa dando a impressão, sobretudo a jovens cientistas, de que o que se publica nas revistas científicas tem um ar de perfeição, pois tudo o que ali está “dá certo”.
Boa parte do que se faz dentro do laboratório está muito longe da intuição que o pesquisador tem sobre mundo empírico, e várias das mais relevantes descobertas da ciência foram fruto do acaso, pois os cientistas não estavam tentando encontrar aquele resultado específico.
Para dar apenas dois exemplos famosos (dos inúmeros que ocorrem nos laboratórios): a penicilina e os neurônios espelho. Sobre a penicilina, muito provavelmente, sem ela, você e eu não estaríamos aqui, dada a importância dessa descoberta para a saúde moderna. Os neurônios espelho, por sua vez, produziram uma compreensão fundamental do funcionamento do cérebro em inúmeros processos cognitivos, como o da empatia, por exemplo.
Descrever as PQP é fundamental para desnaturalizar práticas que podem ser comuns, e até passam a ser vistas como normais, nos campos de pesquisa científica. As PQP minam a produção de conhecimento e o debate científico, pois têm como única finalidade o aumento da chance de publicação de artigos científicos.
Também é necessário que outros fatores da política científica sejam levados em conta no ambiente acadêmico, como é o caso das linhas editoriais de revistas científicas, o incremento das ações de ciência aberta em todas as etapas do fluxo de trabalho científico, o incentivo a ações colaborativas de replicação de resultados por grupos independentes, antes da publicação de novos resultados.
Apenas a combinação de ações dessa natureza pode mitigar a ocorrência das PQP, criando uma condição mais favorável à boa conduta, resultando em mais probidade dos cientistas. A boa notícia é que tais iniciativas têm se tornado cada vez mais recorrentes na ciência, nos últimos 10 anos. A expectativa é que isso se intensifique e forme melhor as novas gerações de cientistas.
Ronaldo Pilati é professor de Psicologia Social da Universidade de Brasília. Site: ronaldopilati.org Twitter: @PilatiRonaldo