A publicação de uma meta-análise sobre o uso de ivermectina para tratamento de COVID-19, intitulada “Ivermectin for prevention and treatment of COVID-19 infection: A systematic review, meta-analysis, and trial sequential analysis to inform clinical guidelines”, vem causando alarde entre grupos ideologicamente comprometidos com o “tratamento precoce”, além de dúvidas no público que acompanha o debate politizado em torno do combate à pandemia.
Uma rápida leitura do trabalho, que ostensivamente “confirma” a utilidade do antiparasitário para tratar doença viral, ao agregar os resultados de mais de uma dezena de pesquisas individuais sobre o assunto, revela diversos problemas com o artigo, que é – para dizer o mínimo – de qualidade duvidosa.
O trabalho não traz declaração de conflitos de interesses, ainda que, entre os autores, haja responsáveis pela publicação prévia de um protocolo de prevenção e tratamento de COVID-19 usando ivermectina. Você talvez se pergunte por que isso seria relevante. A resposta é que, para evitar vieses que prejudiquem a capacidade do estudo de gerar informação confiável, os pesquisadores não devem estar comprometidos com um ou outro resultado previamente à execução do trabalho. O que claramente é o caso nesta meta-análise.
Além disso, parece haver um esforço deliberado para encontrar estudos que não apareceriam nas buscas definidas a priori, em bases de registro de trabalhos científicos. Os autores contataram uma equipe de especialistas na área para estabelecer vigilância sobre estudos recém-publicados que pudessem ajudar na composição da meta-análise. Entre os especialistas está Paul Marik, responsável por estabelecer um protocolo de manejo clínico para pacientes com COVID-19.
Para surpresa geral, o protocolo, publicado em dezembro de 2020, já assegurava o benefício clínico da ivermectina, tanto na prevenção quanto no tratamento de pacientes com COVID-19. Estes especialistas altamente “imparciais” selecionaram 11 estudos para compor a meta-análise. É importante saber quantos desses 11 artigos compõem a amostra final de 24 estudos que integram a meta-análise final. Curiosamente, Paul Marik parece já estar se beneficiando dessas publicações, com a venda de produtos que prometem melhorar a imunidade. Como se diz por aí, quem muito propagandeia, algo quer vender!
Outro problema é que parte substancial dos estudos analisados nunca passou por revisão externa. Estão no MedRXiv ou no Research Square. É uma meta-análise que mistura estudos devidamente publicados com pré-prints. É sofrível ver esse tipo de comportamento, que por si só rebaixa a qualidade da informação. Engana-se quem acredita que por ter seguido, como os autores afirmam, um protocolo à la Cochrane (referência à Colaboração Cochrane, uma das mais respeitadas produtoras de meta-análises de estudos médicos) a meta-análise esteja livre de vieses. Não adianta ter um protocolo de revisão sistemática adequado se os autores enviesam a seleção do que vai ser revisado.
Apenas um exemplo dos muitos problemas com essa meta-análise. Usando como fundamento o estudo de Elgazzar (2020), o grupo declara que o tratamento evidencia melhora nos pacientes tratados com ivermectina. O estudo de Elgazzar, sozinho, tem peso de 100% na conclusão da meta-análise sobre casos severos. Uma busca pelo nome de Ahmed Elgazzar no ClinicalTrials.org revela 39 registros de estudos clínicos do autor, e nenhuma das descrições registradas bate com o estudo que está concluído e com resultados analisados nesta meta-análise.
Ou o estudo usado na meta-análise não foi registrado, ou o protocolo foi alterado dramaticamente durante a execução. Desvios em relação ao protocolo registrado, quando não declarados e devidamente justificados, são um péssimo sinal: levantam a suspeita de que mudanças foram feitas no meio do caminho para produzir resultados mais “ao gosto” do pesquisador.
Olhando os desfechos medidos no estudo, é possível detectar outros problemas. A descrição é confusa e, para ser gentil, mal-feita. O que foi definido como desfecho clínico? Em quase todas as tabelas que acompanham o manuscrito, há apenas dados de exames laboratoriais. A única tabela que foi usada para atribuir peso à meta-análise é a que contém os "dados clínicos" que não foram objetivamente definidos nos desfechos. Convém perguntar: qual a razão para um pesquisador que tem 39 registros de estudos clínicos não ter registrado este, especificamente?
Curiosamente, outro estudo que “ajuda” na demonstração do suposto benefício clínico nos casos leves, moderados e graves de COVID-19 é o de Niaee (2020), também não publicado. O estudo registrado na base iraniana IRCT sob o código IRCT20200408046987N1 não discrimina o que é desfecho primário ou secundário. Algo conveniente para uma análise decidida a posteriori (o que equivale a disparar flechas primeiro e pintar os alvos depois).
Os pesquisadores apenas registraram como desfechos gerais os resultados de tomografias de tórax, tempo de internação, níveis de proteína C reativa e contagem total de células. Uma mistura de desfechos substitutos, isto é, que têm alguma relação com o progresso da doença, mas que não a definem. Para quem tiver a disposição para fazer o exercício de avaliar os demais estudos incluídos nesta meta-análise, asseguro que irão encontrar vários dos mesmos problemas, e outros. Não tenho nenhum interesse em descrever caso a caso. Quero apenas chamar atenção para duas questões que considero mais importantes para a correção de nosso raciocínio.
A primeira é: esqueça a ideia de que meta-análises representam o maior nível de evidência científica. Elas podem ser, se bem-feitas. Claramente, não é o caso aqui. Como diz o ditado, “garbage in, garbage out” (entra lixo, sai lixo)! Algumas indicações para quem desejar entender melhor essa questão da maneira correta são a análise do Dr. Luis Correia, médico cardiologista, em vídeo e em seu blog de medicina baseada em evidências, bem como o livro recém-lançado do Dr. José Alencar, também médico cardiologista, e diversos colaboradores e colaboradoras excepcionais, o Manual de Medicina Baseada em Evidências.
A segunda é que informações científicas precisam passar por três filtros mentais: o da lógica, o da epistemologia e o da axiologia.
O da lógica assegura correção, e se traduz aqui como bom planejamento e métodos de inferência adequados. Embora a aplicação correta da estatística seja uma exigência, convém advertir que algo formalmente correto não é necessariamente verdadeiro.
O da epistemologia assegura que o que presumimos antes de começar o trabalho é verdadeiro. Aqui, se traduz no pressuposto de que os estudos incluídos numa meta-análise são compatíveis, comparáveis entre si e foram adequadamente conduzidos. Algo que, no caso dessa meta-análise recente sobre ivermectina, sabemos não ser verdade.
Já o filtro da axiologia assegura que a produção e disseminação das informações seguem regras éticas, como não causar dano aos pacientes com uma intervenção por tratamento inadequado ou omissão de tratamento, ou ainda disseminar informações que afetam a população de maneira irresponsável.
Em resumo, o estudo precisa ser formalmente correto, epistemicamente verdadeiro e axiologicamente ético. Treinamento científico não se ganha na internet.
Alison Chaves é PhD em Microbiologia e Imunologia pela Unifesp