Se a caçada aos chamados "periódicos predatórios" é complicada, mais difícil ainda é a luta contra estudos falsos, especialmente aqueles saídos de "fábricas" de artigos - conhecidas pela expressão em inglês "paper mills" - que hoje inundam as submissões apresentadas às editoras científicas, numa enxurrada alimentada pela política do "publicar ou perecer" que permeia a comunidade acadêmica global. Diante disso, pesquisadores e empresas buscam maneiras de automatizar pelo menos em parte do trabalho de identificação de artigos suspeitos, relata a prestigiada revista Science em reportagem recente. Os parâmetros destes algoritmos - muitas vezes mantidos em sigilo -, no entanto, podem agravar o problema da desigualdade na ciência mundial, em processos de triagem que lembram a filtragem étnica e racial no combate ao terrorismo e à violência.
Os números são impressionantes. Em um estudo recente divulgado no repositório medRxiv e ainda não revisado por pares, Bernhard Sabel, neuropsicólogo da Universidade Otto-von-Guericke em Magdeburg, Alemanha, e equipe relatam como criaram e colocaram seu mais recente "detector" de artigos falsos para funcionar em rodadas sucessivas de análises de modo a identificar e testar sinais indicativos de textos suspeitos nas áreas de neurociências e medicina em geral, e depois estimar a evolução da incidência dessas fraudes na literatura científica destes campos entre 2010 e 2020.
Segundo eles, a proporção de estudos em neurociências apontados como "suspeitos" pela ferramenta disparou de 13,4% em 2010 para 33,7% em 2020, enquanto em medicina em geral foram de 19,4% para 24%. Muito mais que a taxa média de 2%, esperada de acordo com relatório produzido pela Associação Internacional de Editoras Científicas, Técnicas e Médicas (STM, na sigla em inglês) e o Comitê para Ética na Publicação (Cope, também na sigla em inglês) em 2022.
"É muito difícil de acreditar", disse Sabel à Science, que comparou o achado a alguém sendo informado que "30% do que você come é venenoso".
Mas quais foram os parâmetros do algoritmo usado por Sabel e colegas para apontar artigos como suspeitos, isto é, as chamadas "bandeiras vermelhas" (da expressão em inglês "red flag") de que seriam estudos falsos? Com base em questionários enviados para autores correspondentes de uma amostra de artigos identificados como potencialmente vindos de "paper mills" por um dos pesquisadores, editor de um periódico sobre neurologia, pareados com uma amostra de artigos não suspeitos, eles chegaram a três indicadores um tanto prosaicos na primeira rodada de investigação: se o autor correspondente usa um email particular, isto é, não institucional, para comunicação; se o estudo tem coautores internacionais; e se os autores correspondentes se apresentam como afiliados a um hospital no lugar de, por exemplo, uma universidade ou instituto de pesquisa.
Assim, embora em testes subsequentes com amostras de artigos sabidamente falsos misturados a estudos legítimos o algoritmo de Sabel e colegas tenha demonstrado alta sensibilidade, ou seja, capacidade de apontar como suspeitos os textos fraudulentos - 86% usando dois dos indicadores (email particular e afiliação a hospital) e 90% os três -, ele também apresentou uma alta taxa de falsos positivos, indicando como potencialmente fraudulentos 44% dos estudos legítimos usando dois dos parâmetros, e 36% usando os três. Em termos técnicos, o algoritmo tem alta sensibilidade (detecta quase todos os artigos falsos) mas baixa especificidade (acusa também muitos trabalhos que não são falsos).
Apesar disso, as editoras de periódicos científicos - incluindo algumas das maiores do setor, como Elsevier, Springer Nature e Wiley - estão desenvolvendo seu próprio detector como parte dos esforços da STM para combater fraudes, sob o projeto do Integrity Hub. Os métodos e parâmetros, no entanto, estão sendo mantidos em segredo para, de acordo com elas, evitar que as fábricas de artigos tracem estratégias para evitar a detecção de seus textos.
"É algo como uma corrida armamentista", comparou Joris van Rossum, diretor de produtos do Integrity Hub, à Science.
Anunciado no mês passado, o algoritmo detector da STM deverá ser posto em funcionamento inicialmente por dez das editoras da associação. Como o projeto é muito novo, ainda não há dados sobre sua sensibilidade ou taxa de falsos positivos. E é aí que está o primeiro problema do uso de algoritmos na busca por estudos falsos. Sair da "suspeita" para a certeza de que um artigo é fraudulento demanda trabalho.
"Nunca será um processo (totalmente) automatizado", reconheceu Van Rossum à Science, fazendo uma analogia aos filtros de spam de emails, que devem ser checados frequentemente para saber se não barraram conteúdos legítimos.
Trabalho, no entanto, que muitas editoras podem não estar dispostas a pagar para alguém fazer. Em uma revisão pós-publicação de 3 mil artigos suspeitos de terem saído de "paper mills" feita em 2021, a Springer Nature, que publica cerca de 400 mil artigos científicos por ano em todos seus periódicos, por exemplo, teve que empregar dez funcionários em período integral ou meio período, relatou Chris Graf, diretor de Integridade em Pesquisas da editora, em audiência pública no Congresso Americano em julho de 2022.
Outro risco é que estes algoritmos acabem por sinalizar desproporcionalmente, como suspeitos, artigos vindos de países periféricos em relação aos grandes e tradicionais centros de produção de conhecimento. No experimento de Sabel e equipe, por exemplo, o sistema apontou como potencialmente falsos 48,3% dos artigos de origem russa, 47,5% dos turcos, 43,9% dos chineses, 40% dos egípcios, 38,8% dos indianos e 23,2% dos brasileiros, contra apenas 5,1% dos de origem europeia, 4% dos australianos e 3,2% dos saídos dos EUA. Essa desproporção pode tornar ainda mais difícil para cientistas e acadêmicos destes países publicarem em periódicos internacionais de maior prestígio e impacto, ampliando a desigualdade no tratamento e divulgação da ciência produzida em diferentes partes do mundo, especialmente se os parâmetros dos algoritmos forem mantidos em segredo.
"Ou você faz checagens aleatórias ou usa seu próprio preconceito humano na escolha do que checar. E isso geralmente não é justo", reconheceu à Science Adam Day, fundador e diretor da startup Clear Skies que prestou consultoria à STM no desenvolvimento de seu detector.
Cesar Baima é jornalista e editor-assistente da Revista Questão de Ciência