A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) anunciou, em novembro, que a partir de 2025 deixará de utilizar o sistema de classificação de periódicos Qualis para avaliar a produção de estudantes e docentes dos programas de pós-graduação no Brasil. A notícia chega em boa hora, pois o uso de indicadores numéricos, como citações de revistas (fator de impacto), por agências e instituições de pesquisa não apenas é inadequado para avaliar a qualidade individual de artigos, mas também é um dos principais responsáveis pelos danos causados pelas chamadas revistas predatórias.
No ano passado, um site que apresentou uma lista de supostas editoras predatórias gerou diversos comentários nas redes sociais. O site é bastante obscuro ao explicar os critérios utilizados para a classificação. Apesar de contar com uma seção que descreve algumas características atribuídas a essas revistas, percebe-se que, para qualquer critério que não esteja diretamente relacionado à desonestidade — como listar acadêmicos, sem o consentimento deles, como membros de conselhos editoriais —, é possível encontrar revistas "sérias" que compartilhem uma ou mais dessas características. Um exemplo disso é a aceitação de trabalhos medíocres ou falsos. A definição do que é ou não predatório é algo complexo, mas a tentativa de criar esse tipo de classificação é desnecessária e pouco útil. Considere os três artigos a seguir.
O primeiro estudo explora a ligação entre energia, obesidade e desonestidade, comparando o comportamento de indivíduos obesos e magros. No experimento, os participantes jogaram um jogo em que um dado de três cores (azul, amarelo e vermelho) determinava diferentes pagamentos monetários (0, 3 e 5 euros, respectivamente). Eles lançavam o dado dentro de um copo opaco e relatavam o resultado observado, sabendo que os experimentadores não podiam verificar a veracidade de suas respostas, permitindo a possibilidade de mentir para aumentar os ganhos.
A decisão sobre se os participantes mentiam ou falavam a verdade foi baseada na análise estatística da distribuição dos resultados reportados no jogo – neste caso, não se esperava muita diferença de 33,33% para cada cor. Chegou-se à conclusão de que obesos são mais desonestos.
O segundo estudo associou a vacinação contra sarampo, caxumba e rubéola a sintomas comportamentais de 12 crianças. Os autores relacionaram a vacina ao autismo (nove casos), psicose desintegrativa (um caso) e possível encefalite pós-viral ou pós-vacinal (dois casos). O terceiro artigo anunciava a criação das primeiras células-tronco embrionárias a partir de um embrião humano clonado.
Os três artigos carregam várias semelhanças entre si. A primeira é que todos foram retratados. Esse procedimento é utilizado pelas revistas quando um artigo tem falhas graves como plágio, falsificação de dados, conflitos de interesse ou problemas metodológicos ou estatísticos que comprometem os resultados.
A segunda semelhança é que todas as pesquisas foram publicadas em revistas importantes. O artigo sobre obesidade e desonestidade foi publicado em Scientific Reports, do grupo Nature; o de vacina foi publicado em The Lancet e o de células-tronco, na Science. O artigo da Lancet continha falsificação de dados e grave conflito de interesse do autor. A pesquisa sobre células-tronco, da Science, também era falsa (em 2006, o governo sul-coreano proibiu o autor de conduzir pesquisas com células-tronco). O artigo sobre obesidade e desonestidade deveria ter sido barrado logo de início pelo editor da revista: uma análise reducionista, que estabelece uma correlação direta entre uma característica física e a probabilidade de a pessoa mentir é algo completamente descabido.
Scientific Reports, Lancet e Science não são revistas predatórias, e a própria comunidade científica reconheceu que os artigos problemáticos deveriam ser formalmente retratados. Ou seja, embora possa levar algum tempo para que resultados falsos ou equivocados sejam desmentidos, a comunidade científica é relativamente resiliente a esses casos, sem consequências desastrosas para a ciência além do trabalho de refutá-los. Os grandes problemas, no entanto, surgem quando esse tipo de desinformação é disseminado pela mídia e alcança a população em geral. No caso da Lancet, manchetes alarmistas impulsionaram temores infundados sobre vacinas que, ainda hoje, alimentam comunidades antivacinas.
Portanto, não importa muito onde o artigo é publicado: seja em revistas predatórias ou em revistas legítimas, a comunidade científica é suficientemente robusta para distinguir o que deve ser levado a sério do que deve ser descartado. As revistas predatórias e os artigos de baixa qualidade causam tumulto na Academia apenas quando os pesquisadores deixam de adotar um olhar crítico. É exatamente nesse ponto que os indicadores numéricos acabam por incentivar práticas predatórias.
Artigos de baixa qualidade, publicados em revistas predatórias, podem ser percebidos como mais uma publicação em uma revista com fator de impacto elevado. Essa percepção pode levar à confusão nos processos de avaliação de bolsas e projetos, ao se misturarem a artigos sérios. No entanto, artigos e revistas de baixa qualidade só se tornam um problema porque a própria Academia opta por priorizar a quantidade em detrimento de uma análise qualitativa mais criteriosa.
Grande parte das agências de fomento contemplam diretamente os indicadores numéricos, sem uma avaliação cuidadosa do conteúdo. Comitês de área do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), como o de Física e Astronomia, informam que “tipicamente são considerados somente artigos com fator de impacto acima de 1,5 nessa avaliação”. Embora haja a ressalva de que “áreas com revistas de baixo parâmetro de impacto [...] são tratadas de forma diferenciada”, na prática, não é bem isso que acontece: os artigos abaixo de 1,5 são sumariamente desconsiderados.
É claro que há uma dificuldade inerente na avaliação de um grande número de currículos para a distribuição de bolsas e projetos. No entanto, as soluções para esse desafio deveriam ir além de abordagens simplistas baseadas exclusivamente em indicadores numéricos, que desconsideram a qualidade dos artigos. A política da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), que realiza reuniões semanais fundamentadas em formulários de avaliação preenchidos pelos pares, talvez seja, atualmente, a que mais se aproxima de um modelo adequado para avaliar o mérito da pesquisa e dos pesquisadores.
Em 1548, aos 18 anos, o filósofo francês Étienne de La Boétie escreveu o Discurso sobre a Servidão Voluntária. O texto reflete sobre a obediência das massas a tiranos, questionando por que as pessoas aceitam a submissão, mesmo sendo mais numerosas e poderosas. No âmbito da política científica, mais especificamente sobre os periódicos predatórios e, diga-se de passagem, os altos preços cobrados pelas revistas de acesso aberto, a mesma questão se aplica: a comunidade que reclama desses problemas é a mesma que os perpetua.
A Academia tem se mostrado cada vez mais dependente de reconhecimento externo, tentando se ajustar a parâmetros que muitas vezes deixam de lado o objeto em si. Uma pesquisa não vale mais porque foi publicada em revista A ou B: a avaliação da qualidade deveria estar baseada no artigo e não em argumentos ad periodicam. O artigo de Grisha Perelman, por exemplo, que deu a ele a medalha Fields de 2006, continua publicado somente num repositório de preprints, sem avaliação por pares e sem fator de impacto associado. Isso mostra que para um artigo ser bem avaliado não é preciso nada além de lê-lo com atenção.
Marcelo Yamashita é professor do Instituto de Física Teórica (IFT) da Unesp e membro do Conselho Editorial da Revista Questão de Ciência