Casos de plágio, falsificação e fabricação de resultados não são novidade na literatura científica. Eles vêm de longe, mas mais recentemente surgiu uma outra forma de fraude: os artigos gerados por programas de computador. O fenômeno começou em 2005, quando três estudantes de doutorado em ciência da computação do Massachusetts Institute of Technology (MIT) criaram um programa de computador para isso. Agora, mais de 15 anos depois, um estudo, reportado pela revista Nature, revela que centenas de papers produzidos por esse software ainda estão circulando nas páginas de vários periódicos.
Chamado de SCIgen, o programa, que pode ser acessado livremente na internet, junta palavras e gera automaticamente papers na área de computação, com títulos, textos e gráficos aleatórios. Segundo reportagem de 2005 da Nature, ele foi desenvolvido pelos estudantes Jeremy Stribling, Daniel Aguayo e Maxwell Krohn por diversão e para mostrar que algumas conferências aceitariam trabalhos sem sentido. E conseguiram. O artigo deles “Rooter: a methodology for the typical unification of access points and redundancy”, gerado pelo software, foi aceito pela 9ª World Multi-Conference on Systemics, Cybernetics and Informatics (WMSCI), que seria realizada na Flórida em julho daquele ano.
Sete anos depois, ainda de acordo com a Nature, o cientista da computação Cyril Labbé, da Universidade Grenoble Alpes, na França, pesquisou em artigos publicados em anais de conferências e periódicos, palavras típicas usadas com frequência pelo SCIgen. Ele encontrou mais de 120 artigos falsos. Agora, neste ano, ele e seu colega Guillaume Cabanac, da Universidade de Toulouse, incluíram os sites de preprints e procuraram não por palavras, mas por frases com características gramaticais do software. Dessa vez, acharam 243 papers sem sentido, criados inteira ou parcialmente pelo programa.
Além do SCIgen, o texto da Nature cita dois outros programas semelhantes, o MATHgen (que gera artigos de matemática) e o gerador de propostas SBIR (que cria propostas de bolsas absurdas). Para o físico Peter Alexander Bleinroth Schulz, da Faculdade de Ciências Aplicadas (FCA) da Universidade Estadual de Campinas (Unicamp), em Limeira, o problema dos papers criados por computador vai piorar, “enquanto o mercado de publicações” continuar assim. “Primeiro tivemos a expansão contínua de periódicos científicos legítimos e depois apareceram e estão se expandindo os predatórios”, explica.
Expansão
De acordo com ele, que costuma publicar artigos em periódicos especializados em Física e Cienciometria, agora papers gerados por softwares e legitimados pelas grandes editoras também começam a aparecer. “Um exemplo famoso é um livro publicado em 2019 pela Springer, ironicamente o mesmo grupo ao qual a revista Nature pertence, Lithium-ion Batteries – a machine-generated summary of current research”, diz. “Gerado por um software da Springer, o Beta Writer, e com introdução assinada por um ser humano, ele começa com a seguinte frase, seguida de uma série de justificativas legitimadoras: ‘Avanços na tecnologia em torno do processamento de linguagem natural e do aprendizado de máquinas levaram-nos ao ponto de sermos capazes de publicar textos científicos significativos gerados automaticamente’”.
Portanto, conclui Schulz, “se o próprio ‘mercado científico’ enaltece e promove o aumento constante do número de publicações e, agora, a produção automática, por que não teríamos os fraudadores? Será que o próximo passo seria o uso de softwares no lugar dos pares humanos para avaliar os artigos? As consequências podem ser terríveis, mas a inteligência artificial é apenas mais um ingrediente do ‘sistema’ e mais discussões em torno do problema, propondo medidas efetivas, são necessárias. Como, por exemplo, o recente painel responsável pelos cinco princípios de Hong Kong sobre integridade científica”.
Os princípios aos quais Schulz se refere têm como objetivo enfrentar as questões de integridade da atividade científica e incentivar alguns valores e atitudes. Entre eles estão avaliar práticas de pesquisa responsáveis, valorizar completude de relatórios e pareceres, recompensar a prática de ciência aberta, reconhecer um amplo leque de atividades de pesquisa (como reprodução de resultados e publicação de resultados negativos), e reconhecer outras ações essenciais, como mentoria e avaliação por pares.
O médico e doutor em Bioquímica Olavo Amaral, professor do Instituto de Bioquímica Médica Leopoldo de Meis, da Universidade Federal do Rio de Janeiro (UFRJ), e coordenador da Iniciativa Brasileira de Reprodutibilidade, diz que conhecia o SCIgen e sabia submissão original de um artigo gerado por computador por seus autores. “Mas não sabia que tinha gerado tantos na literatura até agora”, conta.
O professor titular do Departamento de Química Orgânica da Universidade Federal do Rio Grande do Sul (UFRGS) Adriano Lisboa Monteiro, coordenador da Área de Química e membro titular do Conselho Técnico Científico da Educação Superior da Capes, não só conhece como usou o programa para testá-lo. “Em 2010, eu era coordenador adjunto quando houve um caso de fraude de artigos de um pesquisador brasileiro da área de química, que foram retratados (‘despublicados’)”, conta. “Por isso, decidimos na época que era importante conversar com os alunos sobre questões de ética e publicação. Usei então o SCIgen para ver como funcionava, para falar sobre ele em palestras”.
Problema interno
Para a maioria dos cientistas, os artigos gerados por computador não são, no entanto, motivo de grande preocupação. “Há outras piores”, diz Monteiro. “Nesses casos, uma revisão por pessoas qualificadas vai verificar que aquilo não tem sentido. O que se precisa é que as revistas façam uma boa revisão por pares. Com isso, dificilmente esses papers criados por computador serão aceitos”.
Amaral pensa de maneira semelhante. “Acho que os artigos em si não são um problema preocupante”, tranquiliza. “Eles são só texto sem sentido, que não diz nada e não deve prejudicar ninguém. O que preocupa é que tenhamos um sistema de controle de qualidade tão frágil que essas coisas (e, portanto quaisquer outras) possam acabar sendo publicadas.”
Segundo o físico Marcelo Martinelli, do Instituto de Física da Universidade de São Paulo (IFUSP), artigos com dados falsos podem ser aprovados, mas a não reprodutibilidade deles levará à sua detecção (e destruição da carreira do fraudador). “Aqueles absurdos são facilmente detectados e, se passarem, demonstram a incompetência da revista”, afirma. “Se me preocupa? Francamente, se um órgão de pesquisa é tão incompetente para aceitar papers que passem por um teste tão falho (típico de revistas ruins), ele merece perder recursos”.
Schulz acrescenta que a geração de artigos por programas de computador é apenas um dos aspectos de um conjunto de problemas que têm desafiado a comunidade científica, embora sejam criados, em parte, por essa mesma comunidade e com sua vista grossa, ou seja, falta de rigor crescente no fazer científico e em sua avaliação, e com a inflação do mercado de publicação científica. “Isso vem gerando o aumento de fraudes, tanto de artigos falsos, como de plágios de não-falsos, o surgimento de revistas predatórias (quanto à publicação) e pseudocientíficas (quanto ao conteúdo), que muitas vezes estão até indexadas em respeitadas (e supostamente rigorosas) bases bibliográficas, como a Web of Science”, diz.
De acordo com ele, o problema começou com artigos “humanos”. “Lembremos do escândalo de 1996, quando o físico Sokal escreveu um fake (e sem sentido) na área de humanidades para, segundo ele alegava, denunciar a falta de rigor em áreas de ciências humanas”, diz.
Pouco rigor
Schulz está se referindo a Alan David Sokal, professor de matemática na University College London e de física na Universidade de Nova York, que naquele ano submeteu o paper “Transgressing the Boundaries: Towards a transformative Hermeneutics of Quantum Gravity” à Social Text, uma revista acadêmica de estudos culturais pós-modernos. O objetivo de Sokal era testar o rigor intelectual do veículo e verificar se um periódico americano, líder em estudos culturais, publicaria um artigo “deliberadamente temperado com nonsense, se ele soasse bem e bajulasse as preconcepções ideológicas dos editores”.
Ele foi aceito e publicado. “A ação virou escândalo e provocou reações de indignação de um lado e zombaria de outro”, lembra Schulz. “Mas as ciências naturais sofriam (ou sofrem) do mesmo problema, vide reportagem publicada em The Guardian em 2013: ‘Centenas de periódicos de acesso aberto aceitam artigos falsos – farsa de publicação expõe o ‘faroeste’ dos periódicos de acesso aberto e levanta preocupação sobre o baixo controle de qualidade’”, afirma. “Entre as farsas estão incluídos papers falsos em ciências naturais aceitos por revistas, não só predatórias, mas também de grandes grupos editoriais, como a Elsevier”.
Variedade e criatividade nas fraudes não faltam. “Muitas delas envolvem, por exemplo, forjar resultados de experimentos, tirar conclusões sem fundamentação científica adequada, publicar resultados de experiências que nunca foram realizadas ou dados de trabalhos já publicados por outros pesquisadores em outros periódicos e criar materiais de arquivos suplementares falsos para dar suporte a uma observação ou descoberta”, enumera o químico Luiz Carlos Dias, do Instituto de Química da Universidade Estadual de Campinas (IQ-Unicamp). “Muitas fraudes são detectadas quando outros autores independentes tentam reproduzir resultados sem sucesso”.
De acordo com ele, também é considerada fraude quando alguém assina autoria de um artigo científico sem ter contribuído com aquela pesquisa. “Há muitos casos de autoria indevida nos muitos consórcios entre alguns grupos de pesquisadores para inflar seus currículos, de seus ex-alunos e seus colaboradores”, diz Dias, que foi editor científico de 2005 a 2013 do Journal of the Brazilian Chemical Society (JBCS), publicação internacional da Sociedade Brasileira de Química. “É feito em uma rede, que envolve ainda autocitações e citações exageradas de colegas, com o objetivo de inflar números e índices e atingir quocientes que garantam status científico, não pela qualidade dos trabalhos publicado, mas pela quantidade de citações de colegas do consórcio e autocitações. Há muitas fábricas de papers, e infelizmente essa prática se propaga entre os membros desses grupos”.
Consequências graves
As fraudes não servem apenas para aumentar o número de citações e engordar currículo. Muitas delas podem ter consequências graves para as vidas das pessoas e para a saúde pública. Dias cita dois casos. “O primeiro de 1998, quando uma fake news de que vacinas causavam autismo foi espalhada pelo ex-médico britânico Andrew Wakefield, que publicou um artigo na revista médica The Lancet, relacionando a vacina Tríplice Viral (sarampo, caxumba e rubéola) com casos deste transtorno em crianças”, lembra. “O estudo foi considerado totalmente antiético, repleto de informações falsas e o abominável Wakefield teve sua licença de médico cassada pelo governo”.
Mas o estrago já estava feito. “Mesmo que anos depois tenha sido comprovado cientificamente que não havia absolutamente nenhuma evidência de que vacinas causem autismo e o artigo tenha sido retratado, a repercussão causou enorme estrago na saúde pública no Reino Unido, levando a um aumento no número de casos de sarampo e caxumba desde a sua publicação”, conta Dias. “Além disso, foi aí que teve início o famigerado, irresponsável e criminoso movimento antivacinas, que presta um enorme desserviço à saúde pública”.
O segundo caso é mais recente, de 2020, quando uma pesquisa do instituto médico francês IHU-Méditerranée Infection, em Marselha, na França, coordenada pelo epidemiologista Didier Raoult, afirmava que a cloroquina e a hidroxicloroquina eram eficientes em combater o vírus SARS-CoV-2, que causa a COVID-19, e reduziam mortes pela doença. “A partir desse estudo, esses medicamentos passaram a ser exaltados pelo presidente Jair Bolsonaro e foram incorporados no chamado kit covid e amplamente usados como tratamento precoce contra a doença, mesmo com a ciência mostrando que não havia benefícios no combate a ela”, diz Dias.
Segundo ele, poucos meses mais tarde, Raoult, que havia sido denunciado pela Sociedade de Patologia Infecciosa de Língua Francesa por “promoção indevida de medicamento”, reconheceu ter excluído indevidamente alguns voluntários cuja evolução não dava apoio às conclusões que ele esperava. “Ainda assim, ele defende a eficácia da hidroxicloroquina em alguns poucos casos de infectados pela COVID-19”, critica Dias. “Esse trabalho vem tendo um enorme impacto negativo no combate efetivo à pandemia no Brasil”.
Papéis podres
Para Schulz, existem as farsas “do bem” e as “do mal”. Entre as primeiras estariam a dos estudantes do MIT e a de Sokal, que são poucas e têm o propósito de denunciar as fragilidades de um sistema que se acredita robusto. “As segundas existem, porque há um mercado para isso”, explica. “A impressão é que olhamos cada vez menos para a ciência em si e cada vez mais para os indicadores de produção científica. A atividade científica passa a ser gerida por um ‘mercado de publicação’. E para vencer nesse mercado, em analogia ao financeiro, muitos vendem os ‘papéis podres’ científicos, independentemente da origem da inteligência, humana ou artificial.”
Para muitos cientistas, o aumento das fraudes em papers está ligado às falhas da revisão por pares e à pressão exercida pela cultura do “publique ou pereça”. No primeiro caso, Amaral diz que muitos resultados falsos acabam sendo publicados porque o sistema não funciona. “Controle de qualidade a portas fechadas por parte de duas ou três pessoas anônimas, com pouca motivação, focado em cima de um PDF, não tem como funcionar”, diz. “Ainda mais se você pode seguir submetendo um artigo inúmeras vezes até achar uma brecha no sistema. Dito isso, nos casos mais extremos, o problema é a ausência de revisão por pares mesmo, isto é, periódicos que dizem que fazem o processo mas não fazem”.
Segundo o físico Constantino Tsallis, do Centro Brasileiro de Pesquisas Físicas (CBPF), o cientista brasileiro mais citado do mundo, 1661º colocado numa lista dos 159.683 pesquisadores mais influentes do planeta elaborada Universidade de Stanford, nos Estados Unidos, os editores e os revisores experientes sabem das possibilidades de fraude e as levam sempre em conta. “Mas nada é completamente perfeito, nem completamente imperfeito”, diz. “É ao longo da repetição, mais e mais cuidadosa (evitando todas as fontes de erro na medida do possível), dos enfoques teóricos, experimentais, computacionais, observacionais, que a verdade, lentamente, emerge, ou dela nos aproximamos”.
Autoengano
Schulz é mais crítico ao sistema. “A revisão por pares não se disseminou para promover a qualidade, e sim para aumentar o mercado”, pondera. “Com as pressões de aumento de produção, buscas cada vez mais intensas por financiamento de pesquisa, atividades essenciais, como a revisão por pares, passam cada vez mais para um segundo plano. Sem falar nas ‘avaliações rápidas’ (fast-track), que ‘garantem’ a publicação rápida de ‘contribuições relevantes’. Na minha opinião, uma série de autoenganos da comunidade científica”.
Quanto à cultura do “publique ou pereça”, Amaral diz que ela “com certeza” contribui para o aumento das fraudes. “Eu diria que a situação dos periódicos predatórios e artigos absurdos é a face cômica do problema”, afirma. “Essa cultura tem efeitos muito mais nocivos na ciência ‘de verdade’ publicada em revistas de alto impacto, que também tem uma série de problemas. E sim, temos como mudar isso, mas é uma questão de fornecer os estímulos certos: publicações ou citações não podem ser um fim em si mesmas, e temos que avaliar ciência também em termos de rigor e reprodutibilidade”.
Evanildo da Silveira é jornalista