Estudos de caso, coortes, ensaios clínicos, eventos, desfechos, risco relativo, níveis de evidência. Termos e práticas, antes em grande parte restritos à comunicação entre cientistas e à divulgação especializada, ganharam destaque com a pandemia de COVID-19. A reboque, veio muita confusão sobre seu significado e importância, abrindo caminho para o mau uso na defesa de estratégias como o “tratamento precoce” com remédios como cloroquina e hidroxicloroquina, já descartado por diversas pesquisas seguindo os melhores padrões da ciência médica.
Exemplo disso são as chamadas meta-análises. Geralmente apresentadas no topo da hierarquia de evidências sobre intervenções médicas. Tradicionalmente apresentada como uma pirâmide, essa hierarquia tem na base os relatos de casos particulares, observações isoladas e opiniões de especialistas; degraus seguintes contemplam os estudos retrospectivos ou prospectivos, acima dos quais encontramos os ensaios clínicos duplo-cegos randomizados, “padrão ouro” das pesquisas da medicina baseada em evidências. Nessa representação clássica, a meta-análise, entendida como a aplicação de técnicas estatísticas para agregar resultados de diversos estudos clínicos, é o cume da pirâmide.
Mas essa representação idealizada pressupõe que o material contido em cada degrau foi produzido da forma mais honesta, completa e competente possível, o que nem sempre acontece. Na prática, um único ensaio clínico duplo-cego conduzido de forma exemplar pode ser muito mais informativo do que uma meta-análise que agrega dezenas de estudos mal planejados e mal executados.
No mundo real, portanto, meta-análises só são tão boas quanto os estudos que incluem, como mostram os resultados discrepantes de dois levantamentos do tipo, justamente sobre cloroquina no tratamento da COVID-19. De um lado, temos um artigo publicado recentemente na prestigiada revista científica Nature Communications em que os autores não só não verificaram qualquer benefício no uso da cloroquina e sua “irmã” hidroxicloroquina (HCQ) no tratamento da COVID-19, como identificaram uma pequena possibilidade de a HCQ aumentar o risco de vida do paciente. Do outro está o HCQMeta.com, site de uma autodenominada “meta-análise em tempo real” e anônima de experimentos com a substância na pandemia, apontando supostos benefícios tanto no “tratamento precoce” quanto em outras fases da doença.
De topo a lupa
Diante disso, há alguns anos especialistas em medicina baseada em evidências adotaram o conceito de “pirâmide fluida” nas suas avaliações. Nesta abordagem, as meta-análises e revisões sistemáticas são removidas do topo da hierarquia e passam a ser vistas como uma espécie de “lupa” para uma inspeção minuciosa do conjunto de conhecimento em torno de um assunto, conta José Alencar, cardiologista e professor de Medicina Baseada em Evidência que está produzindo um livro sobre o tema.
"A meta-análise, na verdade, torna-se uma perspectiva de fora do conjunto de conhecimento produzido em torno de uma determinada questão. Neste ponto, ela só vai ser tão boa quanto o critério de escolha sobre que partes deste conjunto de conhecimento vai considerar”, explica. “Se você está olhando com esta lupa para uma evidência ruim, você só vai amplificar estas evidências ruins, elas vão ficar ainda mais ruidosas. É um conceito básico da Medicina Baseada em Evidências, garbage in, garbage out (‘lixo entra, lixo sai’, em tradução livre). Se você está analisando lixo, no final você vai ter lixo também, só que ampliado. Não é razoável esperar que, no final, este lixo vire uma coisa boa. Uma meta-análise não vai magicamente transformar um conjunto de evidências fracas em uma evidência forte”.
É o que acontece com o HCQMeta. Ao agregar, de forma indiscriminada, praticamente todos os estudos que se definem como ensaios clínicos randomizados de utilização de cloroquina e hidroxicloroquina na COVID-19, sem levar em conta a qualidade de sua condução e metodologia, existência de vieses, inconsistência ou mesmo irrelevância clínica dos desfechos escolhidos e baixo poder estatístico de pequenas amostragens, entre outras falhas, o site acaba por gerar mais ruído que informação, servindo apenas para alimentar um falso debate sobre o uso das substâncias na pandemia ao colocar em dúvida sua comprovada ineficácia.
Já a meta-análise publicada na Nature Communications procurou seguir rigorosamente as diretrizes PRISMA, conjunto de recomendações elaboradas para garantir a validade deste tipo de levantamento, e que tem como peça central, justamente, critérios rigorosos para a inclusão e exclusão de estudos e harmonização de seus dados.
Assim, não é por acaso que enquanto o HCQMeta até o momento mistura em seu balaio um total de 240 estudos de todos os tipos e tamanhos – entre eles a desacreditada pesquisa originária da onda da cloroquina na COVID-19 liderada pelo médico francês Didier Raoult e um suposto estudo prospectivo propalado pelo grupo de saúde brasileiro Prevent Senior ainda em abril do ano passado e até hoje no “limbo” da ciência, sequer publicado em repositórios de preprints –, a meta-análise na Nature se concentrou em apenas 28 ensaios clínicos de melhor qualidade para apresentar suas conclusões.
"Uma meta-análise só deve focalizar o nível mais alto da pirâmide. Ela deve se pautar apenas nas melhores evidências”, reforça Alencar. “Se você tem um campo de conhecimento que já gerou um bom número de ensaios clínicos randomizados, não faz sentido fazer uma meta-análise incluindo estudos retrospectivos ou prospectivos, ainda mais mal realizados ou com indícios de manipulação dos dados, como o de Raoult. Não combina”.
Urgência como justificativa
Não que a meta-análise publicada na Nature Communications seja perfeita, diz o especialista. Para ele, a inclusão de 14 estudos ainda em pré-print é motivo de preocupação, pela falta da revisão por pares que poderia identificar inconsistências e falhas metodológicas nos ensaios. Problema, porém, que seria mitigado pela confiança na capacidade dos cientistas envolvidos na meta-análise de realizar, eles mesmos, esta revisão, como mostrou a exclusão de dezenas de estudos em pré-print sobre os quais pediram mais dados ou explicações, e não aprovaram as informações recebidas, ou não tiveram resposta.
"Confesso que antes da pandemia nem conhecia estes serviços de pré-prints”, conta Alencar. “Se ninguém fez esta revisão por pares, tenho que fazer uma avaliação duplamente cuidadosa sobre a inclusão do estudo na meta-análise, ter a consciência de que sou eu que estou fazendo a revisão por pares e ser honesto na minha minha avaliação. Mas como a meta-análise foi publicada na Nature, e estão lá entre os autores pessoas que reconheço como de um nível muito alto, acabei me rendendo e dando a ela uma força alta de evidência”.
Segundo Alencar, diante da emergência sanitária provocada pela COVID-19, é compreensível a pressa na apresentação de resultados de estudos envolvendo a doença. Mas, ao tentarem transformar lixo em ouro científico com o site HCQMeta, seus anônimos autores agem como os alquimistas na sua busca pela sua fictícia pedra filosofal. E, como estes antigos pseudocientistas, fracassam na impossível tarefa, mas não sem antes criarem mais uma indesejável e perniciosa fonte de ruído e desinformação nesta pandemia.
Cesar Baima é jornalista e editor-assistente da Revista Questão de Ciência