"A democracia é a pior forma de governo, com exceção de todas as outras". A frase, comumente atribuída ao ex-primeiro-ministro britânico Winston Churchill (1874-1965), bem pode ser adaptada para descrever a situação atual da revisão por pares. Um dos pilares da produção científica moderna, não são raros os casos de falhas, manipulação e fraudes envolvendo sua aplicação, o que leva a pensar que talvez seja a pior maneira de manter a integridade e confiabilidade da ciência, com exceção de todas as outras. Pelo menos por enquanto. Os problemas em torno do que já se vê como uma crise da revisão por pares estão estimulando a busca por melhorias ou mesmo formatos alternativos, em um processo que pode mudar como se faz ciência e revolucionar a publicação científica.
Exemplos desta crise não faltam. Só aqui na Revista Questão de Ciência recentemente ganharam destaque dois casos de estudos que poderiam ter sido barrados - ou ao menos não publicados na versão que foram - por uma revisão por pares mais meticulosa - ou seja, feita como deveria ser. No primeiro, publicado em novembro do ano passado no periódico PLoS Medicine, pesquisadores analisaram a eficácia da cloroquina na quimioprofilaxia da COVID-19. Não tardou para adeptos do "tratamento precoce" verem nos resultados a "revanche" da hidroxicloroquina no contexto da pandemia, ignorando as limitações metodológicas e o efeito modesto - para não dizer nulo - detectado.
Como observado pelo microbiologista Luiz Gustavo de Almeida e o professor de Farmacologia André Bacchi em texto publicado à época na RQC, os métodos estatísticos usados para extrair este efeito dos dados do estudo são inadequados para este tipo de análise. Além disso, faltaram os ajustes necessários para sua aplicação, bem como levar em consideração variáveis como sexo e idade, esta última comprovadamente um importante fator de risco na doença. Também foram ignoradas violações das suposições de técnica estatística que permitiu aos autores chegar a um resultado minimamente positivo para a cloroquina.
"Qualquer extrapolação desses achados para justificar o uso generalizado da hidroxicloroquina como profilaxia, ou pior, como uma forma anacrônica de justificar erros cometidos no passado, é excessivamente otimista e cientificamente questionável", conclui a dupla.
Já o segundo estudo, publicado em dezembro passado no periódico Frontiers in Medicine, procurou determinar como fatores como vacinação, idade e condições de saúde influenciaram as chances de sobrevivência após uma infecção grave de COVID-19 no Brasil. Mais uma vez, interpretação dos resultados aparentemente desfavorável à vacinação foi logo “capturada” por redes bolsonaristas e negacionistas para alimentar a falsa narrativa de que as vacinas seriam mais perigosas que a própria doença.
Novamente, coube ao microbiologista Luiz Gustavo de Almeida esmiuçar as reais implicações do estudo para os leitores da RQC. Em sua análise, Almeida aponta limitações do estudo tanto na escolha quanto no tratamento dos dados, que introduziram diversos vieses nos resultados. Além disso, as discussões deixaram em segundo plano o impacto das desigualdades regionais do país, entre elas o acesso a serviços de saúde, que podem ter influenciado no aumento da mortalidade a longo prazo de vítimas de casos graves de COVID-19 nestas localidades.
Os problemas no estudo e na interpretação de seus resultados levaram a Frontiers in Medicine a emitir uma "expressão de preocupação" (expression of concern, na linguagem acadêmica) sobre o artigo menos de um mês depois de sua publicação, um sinal de que o trabalho tem problemas e poderá ser retratado, algo como um “subiu no telhado” da literatura científica. A repercussão em torno do estudo também obrigou a Fundação Oswaldo Cruz (Fiocruz) - à qual as autoras estão vinculadas - a divulgar uma tímida nota reforçando sua confiança na efetividade e segurança das vacinas contra a COVID-19, mesmo que não citando o trabalho em si.
"Com esse estudo da Frontiers até que a reação foi rápida, porque eram erros grotescos e saíram críticas em todo lugar", conta Almeida. "Talvez essa pressão de pessoas que entendem os dados, como é que chegaram neste resultado, tenha funcionado. Mas nesse estudo da cloroquina, mandamos carta para os editores lá no final de outubro, começo de novembro, e até agora só recebemos uma resposta padrão".
Iniciativas incipientes e restritas
Atitudes como as de Almeida e Bacchi não são isoladas, e fazem parte de outro pilar da produção científica moderna: a verificação e, quando possível, a replicação dos estudos e experimentos relatados. Tanto que nos últimos anos ganhou destaque o trabalho de "diletantes" como a também microbiologista Elisabeth Bik, conhecida no meio acadêmico por suas denúncias de violações da integridade científica, ou Guillaume Cabanac, cientista da computação da Universidade de Toulouse, França, que criou um sistema automatizado para detectar estudos potencialmente "problemáticos", o Problematic Paper Screener. Também vimos o surgimento de sites como o PubPeer, uma plataforma digital em que cientistas e acadêmicos divulgam e discutem casos de erros e suspeitas de fraudes ou má conduta em estudos que passaram pelos processos de revisão por pares e publicação, e o Retraction Watch, blog que reporta retratações de artigos científicos, isto é, sua remoção da literatura científica.
Mas estas são iniciativas ainda incipientes, insuficientes para um abrangente processo de autocorreção da ciência pós-publicação diante da explosão da produção científica dos últimos anos - a depender dos critérios de seleção, estimativas do número de artigos técnico-científicos publicados anualmente varia de cerca de 3 milhões a mais de 5 milhões, em dados referentes a 2022, com um crescimento da ordem de 10% anuais. E também restritas a estudos já publicados, quando muitas vezes a repercussão em torno deles já causou estragos na opinião pública.
Problema agravado pela em geral lentidão e opacidade dos critérios e processos de retratação adotados por periódicos e editoras, e pela "ciência zumbi", na qual artigos retratados, isto é, que já "caíram do telhado" da validade científica, seguem sendo citados e informando novos estudos. Exemplo notório disto é o infame estudo do ex-médico britânico Andrew Wakefield que associou a vacina tríplice viral (sarampo, caxumba e rubéola) a casos de transtorno do espectro autista em crianças. Originalmente publicado em 1998 na prestigiosa revista médica Lancet, o estudo, comprovadamente fraudulento, só foi retratado 12 anos depois, em 2010.
Apesar disso, levantamento do Retraction Watch feito em dezembro do ano passado aponta o artigo de Wakefield como o oitavo estudo retratado mais citado na literatura científica, curiosamente acumulando mais citações depois da retratação (1.074) do que antes (643). Isso sem contar seu repetido uso como "argumento" por ativistas antivacina ainda hoje. E não é um caso único. O segundo lugar da lista do Retraction Watch é ocupado por outro estudo infame, a "obra" do francês Didier Raoult que catapultou a hidroxicloroquina como suposta alternativa para tratamento da COVID-19, e que, para além de falhas metodológicas, se mostrou fraudulento. Assim como Wakefield, Raoult também teve cassada a licença para exercer a medicina em função da fraude.
Corrigir antes de publicar
Diante disso, a revisão por pares ganha ainda mais importância, seja barrando estudos falsos ou mal desenhados, com metodologias falhas, análises e interpretações equivocadas, ou apontando e permitindo que estes problemas sejam corrigidos antes que os artigos sejam publicados, evitando que "contaminem" a literatura científica. Como medida emergencial para enfrentar a crise, de implementação simples e rápida, Almeida defende a remuneração dos revisores, já que o trabalho tradicionalmente é voluntário. Segundo ele, algumas pequenas editoras e periódicos isolados, especialmente no campo da psicometria, já experimentam este modelo, que teria o potencial de não só melhorar as revisões - e reforçar a atenção das editoras quanto à qualidade delas - como abriria novas oportunidades de carreira para acadêmicos e especialistas.
"Tem iniciativas tentando mudar um pouco o conceito dessa cadeia de produção e a remuneração dos revisores talvez seja uma boa solução, pois exige mais profissionalismo e talvez ser uma carreira, enquanto uma revista séria vai querer ter os melhores revisores para avaliar e limpar os artigos que elas publica", considera. "Mas são editoras pequenas, longe de ser uma Elsevier ou qualquer destas editoras grandes, nova e que são puramente digitais. Elas não têm muita frescura de ficar formatando artigo para sair no estilo da revista e conseguiram reduzir o tamanho dos arquivos, então conseguem abrigar tudo em um servidor pequeno. E já que estão economizando dinheiro aí, remuneram os revisores. Mas são casos raros".
Não que dinheiro seja um problema para o setor de publicações científicas, principalmente as grandes editoras privadas. Livres da obrigação - e dos custos - de imprimir e distribuir seus periódicos na transição da literatura científica do analógico para o digital, e contando com o trabalho voluntário de milhares de cientistas revisores e outros integrantes do corpo editorial das publicações, estas empresas trabalham com margens de lucro folgadas, que podem chegar a 40%, em um negócio que fatura cerca de US$ 30 bilhões (R$ 180 bilhões) por ano.
Mas nem todos especialistas acham melhor uma solução pecuniária. Doutor em cienciometria e avaliação de pesquisas pela Universidade de Leiden, Holanda, e servidor da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), André Brasil prefere a valorização do trabalho de revisão do ponto de vista acadêmico, lado a lado com outros parâmetros comumente usados para medir o "sucesso" no campo, como quantidade de artigos assinados, publicações em periódicos de alto "fator de impacto" ou número de citações. Este formato, argumenta, evitaria que a revisão virasse um fim em si mesma, um problema que já afeta estas outras métricas resumidas pelo que ficou conhecido como a "Lei de Goodhart", segundo a qual "quando uma métrica torna-se a meta (ou alvo), ela deixa de ser uma boa métrica".
"Um dos problemas com seguir por este caminho de remuneração da revisão por pares é que uma vez que ela vira uma possibilidade de emprego ou de complementação de renda, isso acaba moldando o comportamento da comunidade", considera. "Então não se trata de remuneração, mas uma recompensa, um reconhecimento do trabalho feito. Hoje os sistemas de avaliação acadêmica, seja institucionais, seja das agências de fomento, seja os sistemas nacionais, não levam em consideração o trabalho de revisão por pares feitos pelos professores e pesquisadores. Precisamos transformar a revisão em algo citável, com um DOI, um produto de conhecimento. Isso pode ser um incentivo indireto muito mais bem distribuído pelas várias atividades que você espera de um pesquisador. Afinal, é com o trabalho de pesquisa que ele obtém um conhecimento acumulado que permite que faça uma revisão apropriada daquele estudo em particular. Ninguém vira revisor profissional".
Resposta sistêmica
Os dois especialistas, no entanto, concordam que a solução para a crise da revisão por pares não virá com a simples implantação de alguma forma de recompensa aos revisores hoje voluntários, já que ela é apenas mais um sintoma de uma crise maior do ecossistema acadêmico, assolado por problemas como o produtivismo - fruto da cultura do "publicar ou perecer" (publish or perish, no original em inglês) -, que por sua vez alimenta casos de fraude e má conduta científica e esquemas como "fábricas de artigos" (conhecidas pela expressão em inglês paper mills), cartéis de citações, negociação de coautorias e revistas predatórias, entre outros.
Assim, a resposta deve ser sistêmica, exigindo uma mudança geral nas formas como se faz, avalia, financia e divulga a ciência. Neste sentido, André Brasil integra o projeto MetaROR, do qual é editor, via sua posição como pesquisador do ROR Institute, instituição dedicada justamente a pesquisar como a ciência funciona, algo como a "ciência da ciência" (research on research). Lançado em novembro do ano passado, o MetaROR subverte a atual lógica da cadeia de produção científica - submissão, avaliação, revisão por pares, edição, aceitação final e publicação - adotando o modelo conhecido como PRC (publish, review, curate no original em inglês, "publicação, revisão, curadoria", em tradução livre).
Sob o modelo PRC, explica Brasil, os estudos são primeiro disponibilizados pelos próprios autores para a comunidade científica de uma maneira similar como hoje muitos deles divulgam seu trabalho via os chamados preprints - que ganharam notoriedade devido à agilidade com que permitiram a troca de conhecimento e informações durante a pandemia de COVID-19, e também experimentaram uma explosão no número de artigos publicados nos últimos anos. Em seguida, integrantes da comunidade científica relevante aos temas abordados nos estudos analisam e revisam os trabalhos de forma pública e transparente, identificando erros e equívocos ou sugerindo novas abordagens ou alterações quando cabíveis, por exemplo. Por fim, as versões finais são avaliadas e oferecidas para publicação por periódicos indexados, junto com todo trabalho de revisão e curadoria do conteúdo.
"Uma vez que o relatório de revisão por pares é feito, ele é aberto e vamos gerar um DOI para cada um desses relatórios e eles passam a ser um produto de pesquisa também, que pode ser reconhecido, pode ser citado, passa a ser visível como parte do processo de construção do conhecimento", aponta.
O pesquisador brasileiro também vê como significativo o fato de a iniciativa pioneira ter como alvo justamente o campo da "ciência sobre a ciência", mas ressalta que o objetivo final é criar um sistema que possa ser adaptado e usado por outras disciplinas, das ciências exatas às humanas.
"Hoje temos o MetaROR como uma plataforma focada para as diversas disciplinas no âmbito dos estudos de metaciência, mas a ideia é desenvolver uma infraestrutura que possa ser adotada por diferentes comunidades científicas", diz. "Mas é bom que a gente tenha a possibilidade de desenvolver isso justo no âmbito que a gente está pesquisando, da revisão por pares, dos processos da comunicação científica, porque assim podemos usar o conhecimento adquirido para tentar direcionar esses desenvolvimentos de maneira bem embasada, as evidências por trás de nossas decisões com a ideia de criar sistemas que sejam configuráveis e possam ser adaptados para outros campos do conhecimento".
Brasil destaca que o modelo PRC ainda ajuda a enfrentar outro problema do ecossistema acadêmico atual, a dificuldade ou mesmo falta de acesso à literatura científica corrente, tanto como leitores quanto como autores, por parte de alguns pesquisadores, especialmente dos países pobres e emergentes, e pelo público leigo em geral. Tradicionalmente, muitos dos principais periódicos científicos do mundo - como as revistas Science e Nature, mas também publicações importantes em campos e nichos específicos - adotam o sistema de acesso fechado, em que é preciso pagar para ler os artigos individualmente ou arcar com assinaturas com preços muitas vezes altíssimos, acessíveis apenas a bibliotecas e instituições, que então repassam o acesso aos artigos para os cientistas a elas afiliados ou relacionados. Neste caso no Brasil, por exemplo, grande parte dos pesquisadores depende do que está disponível no Portal de Periódicos da Capes.
Nos últimos anos, porém, ganhou força o movimento pelo acesso aberto, segundo o qual os leitores - cientistas ou público em geral - não devem pagar para ler artigos científicos. Isso levou muitos periódicos que cobram assinaturas ou novas publicações a adotar um modelo híbrido, em que agora os autores dos estudos podem pagar para que sejam publicados como de acesso livre. Essas chamadas "taxas de processamento", no entanto, muitas vezes também são caras e inacessíveis para cientistas de países pobres ou em desenvolvimento, que já enfrentam dificuldades para conseguir financiamento para suas pesquisas em si, limitando o escopo, alcance e impacto de seus estudos, dado que também frequentemente são os periódicos de maior prestígio que cobram as maiores taxas.
Este formato de acesso aberto, em que os autores que pagam pela publicação de seus artigos, ficou conhecido como modelo "ouro". Assim como o hidrogênio que se espera ser um dos combustíveis da transição energética na luta contra as mudanças climáticas tem diferentes "cores" para indicar a sustentabilidade de sua produção, o acesso aberto tem diferentes "rótulos" para seus formatos. O ideal, conta o pesquisador brasileiro, é o chamado "diamante", em que nem leitores nem autores pagam pela publicação, distribuição, armazenamento e preservação dos artigos científicos, para o qual o sistema PRC seria um estímulo. Exemplos disso são os periódicos integrantes da plataforma Scielo, que podem se beneficiar dos conteúdos da curadoria de artigos de futuras plataformas de publicação no estilo do MetaROR.
"O bem maior de toda esta discussão é a ciência estar disponível para quem precisa dela, porque você precisa consumir ciência para criar ciência, e se o acesso à ciência é desigual, a produção de ciência também vai ser desigual", argumenta. "O poder financeiro não pode ser um limitante para a ciência, para conseguir fazer pesquisas. Tem coisas que são importantes e interessantes para a pesquisa científica do ponto de vista local. Mas para conseguir recursos você tem que publicar nos grandes periódicos. Então você vai pesquisar aquilo que vai te permitir isso, e não necessariamente o problema que está afligindo seu vizinho, sua comunidade. E no caso do Brasil é fundamental combater isso, porque tem muita coisa que é importante para o Brasil que também é muito importante para o resto do mundo".
Sonhos utópicos
Já Almeida vislumbra um cenário de solução da crise da revisão por pares e do ecossistema acadêmico que ele mesmo considera um tanto utópico. De um lado, o microbiologista idealiza a criação de um sistema de ranqueamento de pesquisas seguindo critérios relevantes de cada campo e disciplina, como tamanho de efeito de uma intervenção sobre determinada condição, como primeiro "filtro" de sua relevância e impacto, e caminho para sua eventual publicação. Esse sistema, porém, terá que ser cuidadosamente ponderado de forma a não estimular pesquisas redundantes - como provar seguidamente que aspirina alivia dores de cabeça, ou tentar de todas as maneiras extrair resultados positivos para práticas pseudocientíficas como homeopatia, reiki etc - mas também não barrar abordagens inéditas e inovadoras, além de exigir atualização constante.
"Com isso, você vai poder tanto pegar fraudes - como tamanhos de efeito totalmente fora de escala para intervenções conhecidas - como estimular a busca por relevância nas pesquisas. Os pesquisadores não vão precisar publicar dezenas de artigos num ano, eles vão ter que publicar apenas um bom artigo de grande impacto para entrar alto nessa média ponderada e tem mais chance de conseguir financiamento", diz.
E isso também exigiria uma completa reformulação e atualização do sistema de educação científica, pelo menos no Brasil. Usando a própria história como exemplo, Almeida lembra que em sua iniciação científica foi "jogado" em um laboratório sem entender muito bem porquê fazia o que estava fazendo.
"Você é jogado em um projeto em andamento sem saber o que está acontecendo. A gente aprende muito mais as técnicas manuais, purificação, detecção, coleta de dados, do que realmente a filosofia do processo", conta. "Saí do doutorado com bem pouco conhecimento sobre métodos, só depois que consegui me especializar. É legal você manusear, a técnica e tal, mas acho que aprender essa filosofia, esse pensamento científico, deveria vir antes de você colocar a mão numa célula, num rato, numa pessoa, numa árvore, num peixe. Aí você está pesquisando".
Segundo ele, o sistema, do jeito que está estruturado atualmente, também é limitante e estimula abordagens padronizadas e uso de métodos estatísticos e de análise de dados defasados ou inadequados.
"Precisamos sair desta estatística dos anos 1950, de que temos que usar este modelo, este teste, este método de análise para ser publicado", critica. "Estamos vivendo uma crise de credibilidade na ciência muito também por conta disso, porque muitas pessoas não sabem analisar dados, não sabem fazer ciência. Só sabem fazer o que orientador fez, que fez o que o orientador dele fez, que o orientador fez, orientador, orientador, orientador até chegar lá em Moisés. 'Veja bem, se a curva de seus dados não for normal, transforma para ser normal'. É isso que a gente aprende, não métodos e pensamentos científico, buscar um modelo para melhor investigar sua hipótese e explicar seus dados. Aulas de método, de pensamento científico e de análise de dados têm que andar junto, lado a lado. Porque é pensando em como você vai analisar os dados que você vai pensar em como vai formular uma pergunta de pesquisa, coletar dados, conseguir falar 'olha, agora entendi o que estou fazendo', que é legal, é importante e de onde essas ideias surgiram".
Cesar Baima é jornalista e editor-assistente da Revista Questão de Ciência