Em maio deste ano, o artigo “Is homeopathy effective for attention deficit and hyperactivity disorder? A meta-analysis” foi publicado na revista Pediatric Research, do grupo Springer Nature. Trata-se de uma metanálise para avaliar a eficiência da homeopatia para o tratamento de crianças com Transtorno do Déficit de Atenção com Hiperatividade (TDAH). A conclusão do artigo, surpreendente para quem sabe alguma coisa a respeito dos princípios da homeopatia, é que a prática mostrou “um efeito clinicamente relevante e estatisticamente robusto” para o TDAH.
Uma metanálise consiste na análise estatística de dados provenientes de diversos estudos. Deve-se estabelecer um critério para a seleção dos artigos que farão parte da análise sistemática, reunir os dados e realizar um tratamento estatístico rigoroso – no caso do trabalho citado no parágrafo anterior, a ideia é verificar se homeopatia para TDAH funciona melhor do que um placebo.
É importante notar que a metanálise deve ser feita com cuidado, sob o risco de produzir um resultado ruim: uma seleção pouco criteriosa dos artigos que serão levados em conta, ou uma análise estatística inapropriada, são alguns exemplos de armadilhas comuns. Ainda que tudo seja feito de maneira correta e rigorosa, o erro pode ocorrer por uma questão meramente estatística – não existe teste estatístico que nunca erre. No caso do artigo sobre TDAH, tanto a seleção dos artigos é questionável como a análise estatística é duvidosa.
Normalmente, uma das dificuldades para contestar artigos malfeitos é que eles são repletos de referências ruins, mas para chegar a essa conclusão é preciso ler as referências. A técnica de sobrecarregar o discurso (ou o artigo) com diversas citações que nem deveriam ser mencionadas ficou conhecida como o Galope de Gish, em referência ao criacionista Duane Gish, que aplicava a estratégia de sobrecarregar e surpreender seus oponentes com referências obscuras ou irrelevantes durante debates públicos.
Em geral, os artigos que buscam legitimar a homeopatia e outras práticas pseudocientíficas adotam o Galope de Gish. No caso específico da metanálise sobre TDAH, vamos nos restringir, portanto, a analisar apenas os artigos efetivamente utilizados para compor o rol dos dados considerados – os autores agregaram resultados de um total de 52 voluntários provenientes de seis estudos relacionados à homeopatia e TDAH.
Dos estudos considerados pela metanálise, os autores reconhecem que em três há uma probabilidade grande ou incerta de existir um viés que pode comprometer a avaliação final – ou seja, os estudos têm boa chance de conter distorções que invalidam seus resultados. Dentre os três restantes, considerados pelos autores da metanálise com baixa probabilidade de viés, um é uma tese de doutorado que, portanto, ainda não passou por uma revisão por pares. Vamos nos concentrar, então, apenas na análise das duas referências restantes. Um dos artigos tem o título “Homeopathic treatment of children with attention deficit hyperactivity disorder: a randomised, double blind, placebo controlled crossover trial”.
Apesar do título imponente, o desenho do experimento é capenga e compromete o resultado do artigo. O experimento também é baseado numa pontuação que depende de considerações subjetivas. O diagnóstico de TDAH foi feito com base na escala de Connors, um questionário onde um profissional atribui notas para vários aspectos do comportamento da criança: quanto maior a pontuação, mais grave é o transtorno. O estudo começa com um grupo de 83 pessoas com idades entre 6 e 16 anos diagnosticados com TDAH.
A primeira coisa que um estudante de laboratório aprende (ou deveria aprender) é que não se descarta dado experimental. A não ser que exista uma justificativa muito boa (por exemplo, acabou a energia elétrica no meio da medição), o dado tem de entrar na análise final. O motivo disso é muito simples: desconsiderando os dados indesejados, encontra-se aquilo que se deseja – e não necessariamente a verdade.
Nessa toada, antes de começar o estudo mencionado no título, foi dada homeopatia para o grupo de 83 indivíduos. Somente os indivíduos que tiveram uma melhora em relação à pontuação inicial foram considerados para o estudo. É bem difícil encontrar alguma justificativa plausível para essa exclusão inicial – a inferência imediata que podemos fazer é que os autores fizeram uma pré-seleção de um grupo propenso a acreditar em homeopatia – e, com isso, foram retirados 21 pacientes nessa triagem inicial.
Os 62 pacientes restantes foram separados em dois grupos que seguiram um protocolo incomum que alternava placebo (P) e homeopatia (H) por períodos de seis semanas. Não é possível saber se esse protocolo esquisito (um grupo recebeu a sequência HPHPH e o outro PHPHH) foi definido antes do início do experimento ou após os autores observarem os resultados no primeiro período de intervenção, onde ambos os grupos apresentam uma piora nos índices de TDAH.
Ao final do experimento, o resultado mostrou que os pacientes que utilizaram homeopatia melhoraram 1,67 ponto a mais do que as pessoas que utilizaram placebo. Chegaram a um p = 0,048 (uma breve discussão sobre o uso do fator p para gerar conclusões sobre tratamentos de saúde pode ser lida aqui). Com um valor numérico pequeno baseado na subjetividade dos avaliadores e um “p” próximo ao limiar tradicional de significância de 5%, só seria possível afirmar que não foi observado nenhuma diferença entre os tratamentos (os autores concluem que existe evidência científica da eficiência do tratamento homeopático).
O outro trabalho utilizado na metanálise é o artigo “Homeopathy for attention-deficit/hyperactivity disorder: a pilot randomized-controlled trial”. Da mesma maneira que o experimento descrito nos parágrafos acima, existe um descarte inexplicado de alguns pacientes antes do início do estudo.
Foram incluídas crianças que já vinham tomando medicação para TDAH por um período de seis meses antes do início do teste. O contingente inicial passou por uma avaliação com médicos homeopatas e foi separado em dois grupos, de 21 e 22 indivíduos. O trabalho conclui que não existe diferença estatística significativa entre o tratamento com placebo e homeopatia para TDAH.
Observando os estudos que foram incluídos na metanálise, é difícil se convencer de que eles deveriam estar lá: ou os artigos têm uma alta probabilidade de ter algum viés, ou têm algum problema no desenho experimental. A outra referência – uma tese – não deveria nem ter sido considerada.
Conforme observado pelo professor Edzard Ernst, o principal motivo para a metanálise concluir que existe algum efeito da homeopatia no tratamento de TDAH é o estudo “Homoeopathic management of attention deficit hyperactivity disorder: a randomised placebo-controlled pilot trial” publicado na revista Indian Journal of Research in Homeopathy. Em uma tabela publicada na metanálise, este estudo mostra que a diferença entre placebo e homeopatia tem uma probabilidade zero de acontecer por uma flutuação estatística (“p-value=0,000”)!
De acordo com Ernst, o artigo acima também não deveria constar na metanálise pelos seguintes motivos: é apenas um estudo piloto (o trabalho foi conduzido há nove anos, os autores nunca publicaram um estudo definitivo); o artigo foi publicado em um jornal de qualidade duvidosa; não está claro o processo de randomização ou como foram selecionados os pacientes para o estudo; o estudo não foi duplo-cego (os pesquisadores sabiam qual grupo recebia homeopatia ou placebo – em uma avaliação baseada em um questionário que interroga sobre impressões pessoais, como foi o caso, isso permite todo tipo de tendenciosidade).
A metanálise, portanto, não pode ser levada a sério nem deveria ter sido publicada. Além de todos esses problemas, encontramos ainda algumas discrepâncias entre os dados brutos enviados pelo autor e os artigos originais. Também não conseguimos reproduzir alguns resultados encontrados na metanálise.
Qualidade editorial
O início do movimento de Acesso Aberto remonta aos anos 1970, e foi motivado principalmente pelo alto preço das assinaturas das revistas científicas para as bibliotecas universitárias, que ia de encontro à democratização dos saberes produzidos na academia. Desde então, as universidades pressionam as editoras de periódicos científicos para que ofereçam os artigos de forma gratuita, com vistas à universalização do acesso ao conhecimento.
Como boas empresas, as editoras se adaptaram ao novo modelo do acesso aberto e mudaram a sua clientela: o foco agora não eram mais as bibliotecas, mas os cientistas que precisam publicar para progredir na carreira. O custo de publicação dos artigos foi transferido para os autores dos trabalhos – para que o artigo fique disponível para todos que acessam a internet, o autor precisa desembolsar quantias em torno de R$ 60 mil.
De mãos dadas com a política de cobrança adotada pelas revistas está a cobrança institucional para que os pesquisadores publiquem cada vez mais. O modelo de ascensão de carreira baseado principalmente no produtivismo é um prato cheio para as empresas: foram criadas revistas que atendem a todo o espectro de qualidade dos artigos submetidos – hoje, é possível conjecturar que não importa o quão ruim seja um trabalho científico, o artigo que descreve seus resultados sempre encontrará um periódico que aceitará publicá-lo.
Uma das gigantes do mercado editorial científico é a Springer. Desde 2015, a Springer fundiu-se ao grupo Nature, formando a Springer Nature que, de acordo com o site da empresa, publica mais de 3.000 periódicos. Um desses é a famosa Nature, talvez uma das duas mais importantes revistas de ciência do mundo, ao lado da Science.
Os artigos publicados em um periódico do grupo Springer Nature geram um link de compartilhamento nas redes sociais que dá a impressão de que o trabalho saiu na Nature, mesmo que o texto esteja em uma revista de muito menor impacto – como já foi escrito aqui, a sensação de se abrir o link é parecida com a de abrir um pote de sorvete no freezer e encontrar feijão. No caso da metanálise discutida acima, nem feijão havia.
Marcelo Yamashita é professor do Instituto de Física Teórica (IFT) da Unesp e membro do Conselho Editorial da Revista Questão de Ciência
Luiz Gustavo de Almeida é doutor em microbiologia e atual coordenador nacional do Pint of Science no Brasil
