Para quem, como eu, lida há décadas com análise e investigação de alegações extraordinárias, terapias alternativas, eventos milagrosos, assombrações, pseudociências e fenômenos sortidos do pântano epistêmico que espreita em todos nós, é meio agridoce notar como pessoas que, provavelmente, jamais levariam a sério a possibilidade de entortar colheres com o pensamento ou a existência do Chupacabra engolem com linha, chumbada e anzol os mesmíssimos argumentos que animam essas ilusões – bastando, para isso, apenas trocar “colheres tortas” ou “monstro alienígena” por “tratamento precoce”.
Ah, sim, antes que me acusem de estar misturando alhos com bugalhos, pondo num mesmo cesto alegações que desafiam as leis da física (como o entortamento de colheres) e outras que não violam nenhuma regra básica da ciência (antiparasitários funcionarem como antivirais). A questão é que existe um limiar mínimo de evidência para tornar uma alegação qualquer digna de crença, e se as únicas pistas a favor de seu tratamento favorito são do mesmo tipo e qualidade das que encantam gente que acredita em absurdos, talvez valha a pena pensar melhor.
Nessa lista, o primeiro item é a confusão entre acúmulo de casos isolados e comprovação válida, sobre o que já escrevi aqui. Em seguida vem a supervalorização da opinião de “grandes especialistas” individuais – só porque seriam “nomes de destaque” – em detrimento do conjunto do conhecimento científico disponível sobre o assunto.
Cada vez que, na CPI, o Senador Mostarda (com candelabro, na biblioteca) menciona Didier Raoult ou o nobelista francês Luc Montagnier, sou lembrado dos também nobelistas Linus Pauling (1901-1994), infame por defender o uso de vitamina C para tratar praticamente tudo (inclusive câncer), e Charles Richet (1850-1895), que se deixou engabelar pelos truques de falsos médiuns e chegou a fundar uma “nova ciência” baseado nesse engano. Sem falar na longa procissão de patetas com doutorado enrolados por Uri Geller.
Mas o que realmente chama a atenção é o fetiche da meta-análise, algo que há décadas contamina áreas como a medicina alternativa, a astrologia e a parapsicologia. Meta-análises e revisões sistemáticas são procedimentos que buscam extrair uma conclusão comum de um conjunto de estudos sobre um mesmo tema, e muito usadas em pesquisa médica.
Tiro ao alvo
A razão é fácil de entender: supondo que o verdadeiro efeito de um tratamento seja o centro de um alvo, e que os estudos individuais a respeito sejam tiros de rifle apontados para esse centro, a meta-análise assume que cada tiro sofre um tipo diferente de interferência, sempre de caráter aleatório – num caso o atirador não era muito bom, no outro o rifle puxava para a direita, no outro bateu um vento forte, etc. Com isso, a técnica usa os diversos buracos de bala que aparecem no alvo para tentar inferir o verdadeiro centro.
Para essa inferência ser válida, no entanto, é necessário pressupor algumas outras coisas – primeiro, que cada atirador está realmente fazendo o melhor possível para acertar na mosca, tomando todos os cuidados e precauções necessários, incluindo condições atmosféricas e de iluminação; segundo, que o número de atiradores brilhantes ou, pelo menos, competentes é significativamente superior ao de néscios.
O terceiro, que não existe um desvio sistemático – por exemplo, um grande número de atiradores armado com rifles que puxam sempre para o mesmo lado, ou pertencente a uma seita fanática que prega que o verdadeiro centro é a extremidade superior direita do alvo.
Há outras complicações ainda, que escapam à metáfora do tiro ao alvo: por exemplo, os estudos precisam ser comensuráveis, isto é, terem os mesmos objetivos e buscarem-nos com técnicas que possam ser consideradas equivalentes. Mais um problema que acomete meta-análises é o chamado “efeito gaveta”, em que estudos com resultados negativos tendem a não ser publicados (porque os autores ficaram decepcionados, querem “tentar de novo” ou simplesmente não conseguem espaço). Isso faz com que a literatura científica tenda a ser mais positiva do que a realidade.
Meta-análise vs. Drácula
Transformada em fetiche, a meta-análise descola-se por completo desses requisitos mínimos de atenção à qualidade, relevância e confiabilidade, e se transforma numa espécie de amuleto, uma varinha mágica que supostamente transforma lixo em ouro, ou algo como os crucifixos nos velhos filmes de Drácula – um talismã que afasta o vampiro não importa de que material seja feito ou com que qualidade, bastando apenas manter o formato correto.
Antes da histeria atual com “tratamentos precoces”, os casos mais notórios de meta-análise fetichista envolviam parapsicologia. Em um livro publicado em 1997, “O Universo Consciente”, o pesquisador Dean Radin argumenta que a probabilidade de não existirem fenômenos ou poderes paranormais seria extremamente baixa – da ordem de um bilhão de trilhão contra um. Seu argumento? Uma meta-análise.
Radin escreve que, entre 1882 e 1939, foram publicados mais de cem estudos sobre se seres humanos são capazes de adivinhar qual a carta seguinte a sair de um baralho. Ao todo, esses estudos contemplam mais de 4 milhões de tentativas de adivinhar a próxima carta. Segundo ele, uma meta-análise do resultado mostra que a chance de não existir algum tipo de poder mental maravilhoso – seja, por exemplo, o de prever o futuro, ou de ler a mente do sujeito que puxou a carta – é o tal número astronômico.
Isso soa muito como as conclusões do site c19study, ou de artigo recente no Journal of Antibiotics, que agregam indiscriminadamente material sobre coloroquina e ivermectina para sugerir que, no balanço geral das evidências, é possível afirmar que esses fármacos “funcionam” no contexto da COVID-19. E curiosamente, muita gente que conseguiria enxergar a falácia de Radin em dois tempos parece apaixonada por esses outros.
E qual a falácia? Oras, a de ignorar o fato de que um agregado bruto e indiscriminado de resultados, sem atenção para a qualidade relativa do que entra, dos riscos e sinais de fraude ou de ausência de controles adequados, não significa nada.
Efeito oculto
Se o acúmulo indiscriminado de trabalhos gera resultados sem significado, uma seleção enviesada do que deve ou não entrar na meta-análise significa algo – que pode ser má intenção, incompetência ou apenas incapacidade de olhar de modo desapaixonado para o assunto. Um exemplo de seleção inepta (ou maliciosa) é a recente meta-análise de ivermectina que tanto furor causou nas últimas semanas.
No caso da parapsicologia, o exemplo mais famoso do poder do viés pessoal sobre meta-análises é o dos experimentos Ganzfeld. Sem entrar em muitos detalhes, trata-se de um desenho experimental que busca determinar se uma pessoa, isolada sensorialmente do resto do mundo, é capaz de captar o que uma outra pessoa está vendo (ou ouvindo, ou pensando).
Diversos testes do tipo foram conduzidos entre os anos 70 e 80, e dependendo de quem conduz a meta-análise, o resultado acumulado indica a existência de comunicação extrassensorial, ou não. O problema central é que proponentes da “hipótese psi” (de que existem efeitos paranormais) e céticos têm ideias diferentes sobre quais estudos merecem ser levados a sério e quais devem ser descartados.
Uma lição que o filósofo Robert Todd Carroll (1945-2016) tira das polêmicas em torno das meta-análises em parapsicologia é que “significância estatística” e “relevância científica” são animais diversos. Isso também é verdade em saúde: um benefício que só aparece após inúmeros estudos e manobras estatísticas sofisticadas talvez seja pequeno demais para fazer diferença. E quanto mais sutil o efeito, maior o risco de não passar de ilusão, causada pelas imprecisões inerentes aos métodos usados.
Considerações desse tipo, no entanto, não interessam aos fetichistas da meta-análise. Para eles o que vale é o talismã, não importa se feito de fumaça ou de ouro.
Carlos Orsi é jornalista, editor-chefe da Revista Questão de Ciência e coautor do livro "Ciência no Cotidiano" (Editora Contexto)