Imagine um assunto científico sobre o qual existem vários estudos, feitos em diversos ambientes e com conclusões discrepantes. Como saber para que lado as evidências apontam? Como agrupar o conhecimento disperso e tentar responder da forma mais objetiva possível e chegar a um consenso? A resposta está nas revisões sistemáticas e meta-análises. Em pesquisas envolvendo seres vivos, como no teste de drogas para tratar uma doença, a situação é particularmente complicada. Existem muitos fatores fora do controle que podem influenciar os resultados.
Um estudo retrospectivo observacional, por exemplo, em que são reportados efeitos de uma droga, muitas vezes sem grupo de controle e sem critério de seleção pré-definido para decidir que casos serão levados em conta, é muito sujeito ao viés dos pesquisadores. Se eles acreditam na eficácia da droga, há uma tendência involuntária a selecionar os casos de sucesso. É o que, em geral, acontece quando médicos sem treinamento científico mencionam a experiência de seu consultório. “Ofereci ivermectina a meus pacientes e quase todos se curaram”. É impossível saber qual seria o destino dos pacientes sem o tratamento. Talvez tivessem se curado ainda mais depressa!
Ensaios clínicos randomizados (ECRs), por outro lado, comparam efeitos de uma droga com um placebo, administrados a grupos equivalentes de pacientes. ECRs requerem registro prévio do projeto, que deve ser seguido com rigor. Em ordem crescente de hierarquia de evidência entre as diferentes formas de estudo, temos as opiniões de especialistas, os relatos de casos, os estudos retrospectivos observacionais, e acima os ECRs, que são os únicos capazes de estabelecer uma relação causa-efeito de forma objetiva.
As revisões sistemáticas estão no topo da hierarquia. Nelas os pesquisadores tiveram o trabalho de coletar toda a informação disponível sobre um assunto e separar o joio do trigo. Para estabelecer o efeito real de um medicamento, ou qualquer terapia, é fundamental entender as limitações de cada tipo de estudo e respeitar não só a hierarquia, mas usar critérios de qualidade. A evidência obtida num estudo retrospectivo observacional, especialmente se não for muito bem feito, não pode estar no mesmo nível de um ECR bem feito. Quanto mais alto na hierarquia, maior a chance de um estudo bem executado – ênfase em “bem executado” – ter evidência confiável.
A meta-análise é a parte final de uma revisão sistemática, na qual todos os dados disponíveis são agrupados estatisticamente, seguindo a hierarquia, para responder à pergunta fundamental: o quanto a terapia é efetiva? Sem que haja uma rigorosa seleção da informação de entrada, o resultado será sempre confuso e distante da realidade. Entra lixo, sai lixo.
Para garantir a qualidade das revisões sistemáticas foram estabelecidas metodologias muito bem consolidadas na ciência biomédica. Trata-se das recomendações PRISMA[i], a classificação de evidência GRADE[ii] e o Cochrane Handbook for Systematic Reviews of Interventions[iii], por exemplo. Como qualquer trabalho científico, revisões sistemáticas de qualidade devem ser publicadas em periódicos com seletiva política editorial. No processo, o texto passa por revisão por pares (outros cientistas) para assegurar que não contenha erros grosseiros, nem conflitos de interesse. Só depois de publicadas as meta-análises passam a orientar o consenso científico.
O avanço da pandemia de COVID-19 e a escassez de vacinas em nosso país levaram médicos a despejar suas esperanças em "curas" e "prevenções" a partir de medicamentos de uso comum. Os dois maiores protagonistas são a hidroxicloroquina e a ivermectina. Seus usos foram inicialmente aventados após inibir a replicação do vírus SARS-CoV2 in vitro, ou seja, em condições de laboratório. Infelizmente esse resultado não se reproduziu in vivo, nas doses passíveis de utilização em humanos, em ECRs bem planejados e realizados com uma quantidade adequada de pacientes.
Estudos observacionais mal feitos com resultados favoráveis, associados à interferência política de chefes de Estado, tornaram essas drogas uma panaceia. Elas passaram a ser prescritas de forma liberal, conferindo uma falsa sensação de segurança à população. Lembremos que cerca de 80% dos casos de COVID-19 se curam sem intervenção nenhuma.
Alguém interessado em difundir os “tratamentos precoces” na população desinformada e politicamente fanática criou um website onde apresenta uma suposta meta-análise. O c19study.com e correlatos vêm sendo usados por pessoas sem contato com ciência e médicos não familiarizados com metodologia científica como evidência da eficácia desses “tratamentos”.
Os autores se escondem no anonimato. Em lugar de selecionar criteriosamente evidências, simplesmente jogam todos os “estudos” existentes num mesmo caldeirão estatístico. São misturados estudos retrospectivos, combinações de drogas distintas, desfechos diferentes, artigos de opinião etc. Em geral, a qualidade é tão baixa que esses “estudos” sequer conseguiram ser publicados, e após meses permanecem como preprints em repositórios. Para ter um ar “científico”, o website apresenta indicadores estatísticos, ilustrados com gráficos sofisticados.
Uma questão importante em estudos envolvendo amostras de indivíduos é saber se os resultados têm relevância estatística e não se devem ao acaso. Uma forma de garantir isso é calculando o chamado p-valor: a probabilidade de se obter outro resultado igual ou mais extremo caso a chamada “hipótese nula” (no caso de fármacos, a possibilidade não ter efeito nenhum) seja verdadeira.
“A probabilidade de um tratamento ineficaz gerar um resultado tão positivo quanto os 231 estudos até agora é estimada em 1 em 3 quadrilhões (p = 0.0000000000000003)”[iv], afirma o site hcqmeta.com. Quem não usaria um tratamento com tanta certeza de sucesso? O problema é que ela é uma mentira. Não é possível obter um resultado tão favorável a partir de estudos de qualidade tão baixa quanto os usados na meta-análise. O correto seria considerar os intervalos de confiança de cada estudo – a margem de erro apresentada para cada resultado –, e combiná-los usando equações apropriadas.
O website usa um truque que não pode ser aplicado a uma sacola de artigos ruins, chamado de teste de sinais. Eles transformam a complexidade de cada estudo num simplório par favorável/desfavorável (F/D). Então comparam o número de estudos F/D com a chance de uma moeda honesta cair em cara ou coroa. Assim, obviamente, obtém um p-valor muito pequeno. Qualquer cientista que conhece um pouco de estatística entende o quanto isso é fantasioso. No entanto, na mente de pessoas não treinadas, a conclusão é inevitável: é praticamente impossível o “tratamento precoce” não funcionar. Pura bobagem.
Alguém legitimamente interessado no assunto deveria usar como referência, em lugar do c19study, meta-análise bem feita, que passou por revisão por pares, publicada no prestigioso British Medical Journal[v] e periodicamente atualizada. Ali as boas práticas são seguidas, não há p-valor absurdo e as conclusões refletem a realidade: não há evidência científica para nenhuma forma de “tratamento precoce” contra COVID-19.
Médicos de verdade devem ter treinamento e vivência mínimos em medicina baseada em evidências. Não é admissível que um website fraudulento, sem autoria conhecida e que incorre em más práticas científicas possa servir de referência para que prescrevam medicações sem eficácia e com efeitos adversos bem conhecidos. É urgente que os órgãos reguladores e sociedades médicas se manifestem e esclareçam o quanto a desinformação científica está prejudicando a condução da pandemia em nosso país.
Seleno Glauber de Jesus-Silva, Unifesp/Hospital de Clínicas de Itajubá
Leandro R. Tessler, IFGW, Unicamp
REFERÊNCIAS
[i] http://www.prisma-statement.org/, acesso em 5/4/2021.
[ii] https://training.cochrane.org/grade-approach, acesso em 5/4/2021.
[iii] https://training.cochrane.org/handbook/current, acesso em 5/4/2021.
[iv] https://hcqmeta.com/, acesso em 5/4/2021.
[v]Drug treatments for covid-19: living systematic review and network meta-analysis, BMJ 2020; 370 https://www.bmj.com/content/370/bmj.m2980, acesso em 5/4/2021