Polêmicos em tempos de pandemia, os estudos clínicos testando reposicionamento de drogas para o tratamento de COVID-19 disputam com as pesquisas sobre efeitos de dietas na saúde humana em termos de alta quantidade e baixa qualidade.
Todos nós conhecemos alguém que recomenda adicionar isto ou aquilo na dieta para otimização das funções orgânicas, e um grupo de São Paulo pensou que seria uma boa ideia testar os efeitos da ingestão de abacate em cápsulas sobre as funções cardiovasculares. O estudo assevera: “polpa de abacate melhora a recuperação cardiovascular e autonômica após o exercício, sugerindo uma redução do risco de eventos cardiovasculares após esforço. Estes resultados apoiam os efeitos benéficos da ingestão de abacate antes de uma corrida na esteira”.
Naturalmente, um estudo capaz de chegar a esta conclusão teria que ser do melhor tipo de evidência, um Ensaio Clínico Randomizado Controlado (na sigla em inglês, RCT). Dedicando um tempo para avaliar o protocolo do estudo, imediatamente salta os olhos o tamanho amostral extremamente reduzido (16 participantes). A situação ficou ainda mais dramática com a exclusão de 4 participantes, deixando o estudo com apenas 12 voluntários.
Além desse problema (grave), o estudo ainda utilizou um desfecho substituto (resultado de eletrocardiograma) para chegar à conclusão de que o consumo de abacate reduz o risco cardiovascular. O uso de desfechos substitutos (isto é, em vez de medir o que realmente interessa, no caso, redução do risco de infarto, mede-se um indicador indireto) é um artifício bem conhecido por inflar o poder estatístico de estudos com amostras reduzidas, isto é, com poucos voluntários. Essa crítica já foi apresentada em artigo da RQC sobre um estudo com nitazoxanida para COVID-19, aqui.
Recomendo sempre avaliar o protocolo de um estudo clínico antes de ler o artigo que descreveu seus resultados. Assim você encontra as inconsistências, caso existam, e já percebe alguns vieses que poderiam passar em branco. Neste caso, o protocolo do estudo recebeu o número RBR-9cvrrs no Registro Brasileiro de Ensaios Clínicos (ReBEC), onde se vê que o estudo originalmente planejava recrutar 30 voluntários, embora tenha terminado com 12. Um estudo fraco, no planejamento e na execução. Agora que fizemos este exercício com um estudo que provavelmente não sofre dos efeitos da pandemia, podemos passar a outro com o mesmo problema, mas que curiosamente vem sendo avaliado por alguns com uma régua diferente.
O estudo SAINT, que testou o efeito da intervenção precoce com ivermectina em pacientes nos estágios iniciais de COVID-19, tem sido usado para sugerir benefício da intervenção precoce, quando ele demonstra efetivamente o contrário e nem sequer tem poder estatístico para fazer inferências em qualquer que seja a direção. Registrado na base clinicaltrials.gov sob o número NCT04390022, o estudo randomizou 24 pacientes, 12 para receber ivermectina e 12 para receber placebo.
Não pretendo me alongar nos demais problemas deste estudo, como a escolha de um substituto para o desfecho primário (carga viral), benefício auto-referido pelos pacientes, estudo negativo, etc. Isto porque, uma vez que o estudo foi negativo, ficamos com a hipótese nula, isto é, ausência de efeito. O estudo declara que “falhou em mostrar uma redução na proporção de pacientes com PCR positivo 7 dias após o tratamento com ivermectina”, mas os autores não se seguraram e acrescentaram que “o estudo mostra redução de anosmia/hiposmia auto-reportadas, mas não significante estatisticamente junto a uma tendência a menor carga viral e menores títulos de IgG, que se presume refletir doença moderada”.
Trata-se de uma completa deturpação do que mostram os dados do próprio estudo. Não é significante, mas com um pouco de fé vemos uma tendência bem ali!
Mas por que tanta preocupação com o número de voluntários em estudos clínicos? Façamos um rápido exercício: suponha um estudo que teste o efeito de um tratamento (círculo vermelho) comparado a um controle, digamos placebo (círculo azul). Ao final do estudo, os voluntários encontram-se distribuídos aleatoriamente dentro de cada uma das “esferas de efeito” que corresponde ao grupo de que participaram: os que receberam o tratamento na vermelha, os que receberam o placebo, na azul.
Concentre-se no quadro da situação A: aqui, tratamento e placebo levam a resultados claramente diferentes, as esferas de efeito mal se tocam. Nessa situação, os desfechos são tão distintos que mesmo uma amostra pequena tem altíssima probabilidade de capturar o efeito real do tratamento.
Agora observe o quadro central com a situação B. Aqui, tratamento e placebo levam a resultados quase idênticos. Ainda assim, note que o p-valor, uma medida estatística da diferença entre os desfechos nos dois grupos, foi significante (por tradição, considera-se “significante” um p-valor menor do que 5%). Isso acontece porque o “N” (número de participantes) em cada grupo foi tão reduzido que, por acaso, os pacientes caíram nos extremos das esferas de efeito e acabam apresentando uma diferença que não corresponde à real. Mova-se para o quadro da situação C e temos um número bem maior de pacientes. Numa situação experimental bem planejada, o protocolo do estudo foi bem dimensionado, e revela o real efeito da intervenção.
Se os desfechos são mais semelhantes que diferentes entre os grupos tratado e controle, assumimos que a intervenção não tem benefício (p-valor maior que 5%). Perceba que a falta de dimensionamento correto de um protocolo de pesquisa condena o resultado pela falta de confiança na inferência estatística. É por isso que estudos pequenos não devem ser usados para fomentar discussões sobre eficácia de qualquer que seja a intervenção.
Alison Chaves é PhD em Microbiologia e Imunologia pela Unifesp
REFERÊNCIAS
Sousa FH, Valenti VE, Pereira LC, Bueno RR, Prates S, Akimoto AN, Kaviani M, Garner DM, Amaral JAT, de Abreu LC. Avocado (Persea americana) pulp improves cardiovascular and autonomic recovery following submaximal running: a crossover, randomized, double-blind and placebo-controlled trial. Sci Rep. 2020 Jul 1;10(1):10703. doi: 10.1038/s41598-020-67577-3. PMID: 32612186; PMCID: PMC7329896.
Chaccour C, Casellas A, Blanco-Di Matteo A, Pineda I, Fernandez-Montero A, Ruiz-Castillo P, Richardson MA, Rodríguez-Mateos M, Jordán-Iborra C, Brew J, Carmona-Torre F, Giráldez M, Laso E, Gabaldón-Figueira JC, Dobaño C, Moncunill G, Yuste JR, Del Pozo JL, Rabinovich NR, Schöning V, Hammann F, Reina G, Sadaba B, Fernández-Alonso M. The effect of early treatment with ivermectin on viral load, symptoms and humoral response in patients with non-severe COVID-19: A pilot, double-blind, placebo-controlled, randomized clinical trial. EClinicalMedicine. 2021 Jan 19:100720. doi: 10.1016/j.eclinm.2020.100720. Epub ahead of print. PMID: 33495752; PMCID: PMC7816625.