“Ruído” é o nome comumente dado a conteúdo que ocupa espaço num canal de comunicação (“consome banda”) sem carregar informação relevante. São os estalos e chiados dos antigos telefones e televisores analógicos, mas não só. Se estamos numa videoconferência discutindo filmes de faroeste, e alguém esquece o microfone aberto enquanto grita com os filhos, a gritaria certamente transmite informação — de que os filhos de nosso colega são malcriados, ou que o colega anda estressado —, mas como essa informação não tem relevância para o assunto da conversa (cinema de bangue-bangue), ela conta como ruído.
O oposto de ruído é “sinal”, conteúdo claro e relevante para o tema gerador da comunicação. A expressão “taxa de sinal para ruído” reflete o quanto, numa troca de mensagens, pode ser considerado claro e pertinente e o quanto é distração, distorção, chiado e confusão. Um problema que tem sido muito mencionado, mas muito pouco analisado, na pandemia atual é qual a taxa de sinal para ruído na produção científica sobre a COVID-19.
O princípio da liberdade acadêmica e de investigação torna quase inevitável que, a qualquer instante, a produção científica do momento contenha quantidades expressivas de ruído (segundo algumas estimativas, até muito mais ruído do que sinal).
Trata-se, como tudo que envolve atividades imperfeitas desenvolvidas por seres humanos imperfeitos, de equilibrar riscos e benefícios: para evitar o risco de perder boas ideias, há que se dar uma boa margem de tolerância para ideias possivelmente ruins (princípio volta e meia explorado por picaretas dos mais diversos tipos; é importante manter em mente que “boa” não é o mesmo que “infinita”).
Tempo e urgência
Em épocas de “ciência normal”, adaptando uma expressão usada, em outro contexto, pelo filósofo Thomas Kuhn (1922-1996), a correção — interminável e contínua — da taxa de sinal para ruído na ciência é dada pelo processo de revisão pelos pares (que controla o acesso à literatura científica) e, o que é mais importante, pelo próprio passar do tempo, à medida que novos estudos e experimentos são realizados, especialistas consolidam (ou refutam) as descobertas dos colegas e consensos ganham forma.
A pandemia, pode-se argumentar, explodiu esses mecanismos de triagem e contrapesos da “ciência normal”. Repositórios de pré-print põem o processo de revisão pelos pares em curto-circuito, e o tempo geralmente tido como necessário para sedimentar consensos simplesmente não existe mais. Mesmo o sistema de revisão pelos pares, quando ainda respeitado, viu-se sob pressão inédita.
O Journal of the American Medical Association (JAMA), um dos principais periódicos de Medicina do mundo, recebeu, entre janeiro e setembro do ano passado, 11 mil submissões de artigos, 175% mais do que no mesmo período de 2019. Um levantamento recente, publicado em PLoS Biology, indica que “mais de 125 mil artigos científicos relacionados à COVID-19 foram lançados nos primeiros dez meses desde a confirmação do primeiro caso, sendo que mais de 30 mil foram abrigados em repositórios de pré-prints”.
Quanto disso merece crédito? Alguns autores estimam que a taxa de resultados falsos positivos na literatura biomédica de boa qualidade — isto é, já descontados os estudos malfeitos, obviamente falhos ou fraudulentos — seja de 25%.
Joio e trigo
Assistimos, durante a pandemia, a casos notáveis de ruído que influenciaram políticas públicas e, provavelmente, levaram a mortes ou complicações desnecessárias, como os infames estudos franceses sobre hidroxicloroquina. Outros, ainda, foram perpetrados por canais de prestígio, como os trabalhos baseados em dados duvidosos (para dizer o mínimo) da empresa Sugisphere, publicados nos periódicos Lancet e New England Journal of Medicine.
Também entra na categoria “ruído” a enorme massa de estudos irrelevantes (porque de poder estatístico inadequado ou metodologia falha) conduzidos para surfar no “hype” do medicamento mágico da vez, seja cloroquina, ivermectina, nitazoxanida ou aquele negócio para calvície. Uma definição técnica, muito usada, de informação é: “aquilo que reduz a ignorância do receptor”. Estudos que apenas repetem, e de forma menos clara e rigorosa, o que já se sabe, podem até rechear os currículos dos autores e facilitar a promoção na carreira, mas não “informam” nada.
A análise publicada em PLoS Biology mostra que uma proporção maior de pré-prints relacionados à COVID-19 acabou sendo publicada em periódicos com revisão pelos pares, na comparação com outros temas da área biomédica (quase 50% dos pré-prints relacionados à pandemia, postados em janeiro de 2020, haviam virado artigos formais até outubro, ante menos de 40% no caso de trabalhos de outros assuntos) e que o tempo entre postagem e conversão em artigo é menor para trabalhos sobre COVID-19 (mediana de 68 dias de espera, ante 116 no caso de estudos biomédicos mais “genéricos”).
Há três interpretações possíveis para esses dados, a otimista, a pessimista e a “esperar para ver”: a otimista é que os pré-prints sobre COVID-19 têm mais qualidade, em média, que os demais, e por isso são mais aceitos, e mais depressa. A pessimista é de que o senso de urgência (ou a busca por cliques) levou a um rebaixamento, quando o assunto é COVID-19, do limiar de qualidade para publicação.
Já a “esperar para ver” considera que a aceleração das publicações referentes à pandemia se deu às custas de outros temas — ou seja, os artigos sobre COVID-19 estão recebendo escrutínio adequado, e só estão saindo mais rapidamente e em maior volume porque trabalhos de outras áreas ficaram parados no acostamento. A velocidade e a quantidade são, nessa interpretação, viabilizadas por um esforço concentrado.
Numa nota positiva, esse tsunami de conteúdo não prejudicou a ciência em si: consensos científicos formaram-se rapidamente quanto às medidas adequadas para contenção da pandemia e vacinas eficazes, algumas baseadas em tecnologia de ponta, foram criadas e testadas em tempo recorde.
Percepção pública
Se a ciência e os cientistas conseguiram a sintonia fina necessária para encontrar sinal em meio ao ruído, o público — cidadãos em geral, formuladores de políticas públicas, imprensa — não se saiu tão bem. Os pré-prints sobre COVID-19 mais citados na literatura científica (58% deles receberam pelo menos uma citação) tinham como assunto o receptor celular usado pelo vírus para causar infecção, ou epidemiologia; já os pré-prints mais compartilhados no Twitter (98% deles foram citados nessa rede social pelo menos uma vez) tratavam de transmissão, do risco de reinfecção e da soroprevalência (proporção da população já infectada).
O estudo mais tuitado enquanto ainda em pré-print (quase 216 mil tuítes) foi o trabalho de John Ioannidis sobre a prevalência do vírus em Santa Clara, Califórnia, duramente criticado por problemas metodológicos e usado politicamente por promotores da trágica ideia de se buscar uma “imunidade natural de rebanho”. Em terceiro lugar na lista está o trabalho original de Didier Raoult sobre hidroxicloroquina (17,5 mil tuítes).
O quarto foi um estudo — atacado pela comunidade científica e, por fim, removido — ligando o SARS-CoV-2 ao vírus da aids. Apenas um pré-print aparece tanto na lista dos dez mais citados cientificamente quanto na dos dez mais tuitados: um estudo chinês sobre hidroxicloroquina, de abril de 2020, que jamais chegou a ser publicado num periódico com revisão pelos pares.
O jornalismo tradicional também se apropriou dos pré-prints: ainda de acordo com o levantamento publicado em PLoS Biology, quase 29% dos pré-prints relativos à COVID-19 saíram na imprensa, ante apenas 1% dos pré-prints de outros temas biomédicos. A sobreposição entre os dez pré-prints mais noticiados e os dez mais citados por cientistas em seus próprios estudos é zero.
Impacto
Os autores do estudo sobre pré-prints na PLoS Biology são otimistas e entusiastas dessas plataformas de publicação informal. A parte de discussão do artigo está recheada de elogios ao uso de pré-prints e ao papel dessa prática na disseminação mais veloz e democrática da ciência. Um dos autores do trabalho publicou uma peça de opinião extremamente favorável a essa modalidade mais livre e acelerada de comunicação de resultados.
Ele enxerga as dificuldades e distorções — por exemplo, o “sequestro” de resultados ainda incertos por interesses políticos — e o próprio artigo na PLoS Biology chama atenção para a correlação entre tuítes de pré-prints e hashtags ligadas a teorias de conspiração e movimentos populistas. Mas, como todo bom entusiasta, acredita que os benefícios em muito superam os riscos.
É uma conclusão que me parece difícil de aceitar. A sobreposição quase inexistente entre pré-prints que chamam a atenção dos cientistas e os que chamam a atenção do público das redes sociais e da imprensa, por si só, sugere que eles se transformaram numa espécie de “sala de máscaras”, maquiando ruído como sinal. E, como a associação com hashtags de mau alvitre mostra, a maquiagem nem sempre é inocente
Pode-se argumentar que a baixa sobreposição é apenas um efeito da diferença legítima de interesses: receptores celulares, afinal, dizem respeito diretamente a quem trabalha com o vírus; possíveis tratamentos dizem respeito a todos.
Sem negar que essas diferenças legítimas têm lá seu papel, no entanto, é também preciso não esquecer que existem diferenças de discernimento — entre cientistas, o público-alvo ostensivo dos pré-prints, e o cidadão não-especialista, seu público incidental — que podem ser, e são, exploradas por quem busca usar o ruído da ciência para confundir o sinal em outras esferas da vida.
Isto é, por exemplo, o que vimos na primeira rodada da CPI da Pandemia, que teve lugar na última semana em Brasília, com senadores da base governista e prepostos do presidente da República tentando manter viva a ficção de que ainda existiria alguma margem de “dúvida científica” que torne eticamente aceitável apostar em cloroquina para a prevenção da COVID-19. Trata-se de flagrante falsidade, já exposta à exaustão nesta mesma revista e em muitos outros veículos de imprensa e da literatura especializada.
Como os vilões dos antigos filmes de faroeste que, uma vez derrotados e caídos, jogavam areia nos olhos do xerife para tentar escapar da cadeia, assim os defensores do Planalto usam velhos pré-prints numa tentativa de cegar e confundir a opinião pública. Há que se celebrar o tanto de sinal que especialistas encontram nas publicações antecipadas. Mas não há como negar que, aqui fora, o ruído é ensurdecedor.
Carlos Orsi é jornalista, editor-chefe da Revista Questão de Ciência e coautor do livro "Ciência no Cotidiano" (Editora Contexto)