Nota: depois de escrever este artigo, mas antes da publicação, o estudo em questão foi retirado pelo servidor de pré-prints no qual estava hospedado “devido a questões éticas”. Além disso, porque sei que as pessoas vão dizer bobagens, nunca fui pago por nenhuma empresa farmacêutica, não tenho interesses em medicamentos de qualquer tipo e sou inteiramente financiado pelo Estado australiano e pelo governo federal, bem como um pouco de dinheiro que consigo através das minhas matérias no Medium para todos vocês lerem. Não tenho interesses financeiros em nenhum medicamento da COVID-19 e, honestamente, adoraria se a ivermectina curasse a doença, porque então a pandemia acabaria – eu poderia voltar a escrever sobre se a pimenta pode parar ataques cardíacos e isso seria muito mais divertido.
Antes de ler esta longa história de fraude potencial, dê uma olhada nos artigos de Jack Lawrence e Nick Brown. Eles informam esta história e são referenciados nela – toquei na superfície da fraude em si, mas há muito mais, se você estiver interessado.
A ivermectina é um medicamento antiparasitário usado para tratar vários tipos de vermes e doenças semelhantes. É muito seguro, amplamente utilizado em todo o mundo e, na maioria das formas, é um medicamento útil para ter em mãos se você acha que foi exposto a fezes humanas contaminadas, ou se apenas precisa desinfetar suas ovelhas.
No entanto, tem havido muito rebuliço sobre a ivermectina por outro motivo. De acordo com vários grupos ad hoc em todo o mundo, bem como em alguns estudos científicos, a ivermectina é uma bala de prata contra a COVID-19. E embora possa haver alguma dúvida sobre se a ivermectina funciona, com a Organização Mundial da Saúde recomendando que ela seja usada para tratar COVID-19 apenas no contexto de um ensaio clínico, também há muito otimismo sobre seu uso como tratamento. Meia dúzia de países promoveram oficialmente a ivermectina como um medicamento para COVID-19, e provavelmente já foi dada a dezenas de milhões de pessoas em todo o mundo até agora, com os preços disparando como resultado.
Tudo isso é um pouco preocupante quando se considera que não sabemos realmente se a ivermectina funciona para tratar COVID-19, mas é compreensível, dado que nem sempre os tratamentos mais caros estão disponíveis e as pessoas precisam de algo barato que possam pelo menos experimentar, no caso de pessoas morrendo de infecção. Não é o ideal, mas há alguns sinais de que a ivermectina funciona e é muito segura, então por que não tentar?
Exceto por uma coisa. Parece que um dos principais testes de ivermectina em humanos pode ser um trabalho sofisticado de fraude científica. É difícil saber mesmo se o estudo realmente aconteceu. Se for verdade, isso pode significar que a ivermectina não tem absolutamente nenhum benefício para a COVID-19, e dezenas de milhões de pessoas em todo o mundo foram enganadas.
Apertem os cintos, esta é uma estrada esburacada.
Meta-Pesquisa
Antes de chegarmos ao estudo em si, há algo importante a entender aqui – um estudo por si só raramente muda tudo na medicina. O fato é que os estudos individuais tendem a ser relativamente pequenos e, portanto, nos deixam com um grau de incerteza que é problemático, se estivermos falando sobre qual medicamento você toma para salvar sua vida de uma doença mortal.
Para resolver o problema de vários pequenos ensaios, conduzimos coisas chamadas de revisões sistemáticas e meta-análises. São agregações científicas de pesquisas que agrupam todos os estudos conhecidos sobre um tópico em um único lugar e, em seguida, os combinam em um modelo estatístico para que possamos ver qual pode ser o efeito geral de uma droga. Em vez de uma dúzia de pequenos estudos, obtemos uma grande estimativa agregada, que em teoria é a palavra final sobre se um tratamento é ou não eficaz.
O único problema com essas análises é que, se um único estudo tiver um grande número de participantes ou um efeito enorme, ele pode transformar a tendência geral em algo positivo, embora, de modo geral, os estudos não tenham encontrado resultado algum. Agora, geralmente isso não é um grande problema, mas significa que às vezes você tem um corpo inteiro de literatura dizendo que algo funciona usando a agregação padrão ouro de muitos estudos que na verdade é baseada nos resultados de uma única pesquisa.
E, de vez em quando, esse estudo revela ser terrivelmente falho.
O Estudo
Com isso em mente, vejamos nosso estudo problemático. Na verdade, já escrevi sobre isso antes – é um pré-print, ainda não aceito numa revista científica, publicado na Research Square[i] por um grupo de médicos do Egito. O estudo é intitulado "Eficácia e segurança da ivermectina para tratamento e profilaxia da pandemia de COVID-19" e é bastante impressionante em seu valor bruto, com os autores recrutando 400 pessoas com COVID-19 e 200 contatos próximos e alocando-os aleatoriamente para receber ivermectina ou um placebo. Surpreendentemente, o estudo descobriu que as pessoas tratadas com ivermectina tinham 90% menos probabilidade de morrer do que as pessoas que receberam o placebo, o que, se fosse verdadeiro, tornaria a ivermectina o tratamento mais incrivelmente eficaz já descoberto na medicina moderna.
Além disso, como adequado ao maior estudo único randomizado até agora sobre ivermectina para COVID-19, seu impacto é desproporcional na literatura. Como mostrei antes, excluir apenas esta única peça de pesquisa de vários modelos meta-analíticos reverte quase totalmente seus resultados. Não é exagero dizer que esta única pesquisa está induzindo quase toda a crença em benefícios que as pessoas atualmente atribuem à ivermectina.
No entanto, mesmo à primeira vista, há alguns problemas. Os autores usaram os testes estatísticos errados para alguns de seus resultados – para quem se liga na parte técnica, eles relatam valores de qui-quadrado para dados numéricos contínuos – e sua metodologia é cheia de lacunas. Não relatam qualquer ocultação de alocação, há dúvidas sobre se houve um protocolo de intenção de tratar ou se as pessoas foram trocadas de grupo, e as informações de randomização são terrivelmente inadequadas. Como estudo, parece muito provável que seja tendencioso, tornando os resultados bastante difíceis de confiar.
Mas isso talvez não seja surpreendente, visto que é possível que o estudo nunca tenha acontecido.
Discrepâncias de dados
Os problemas com o paper começam no protocolo, mas certamente não terminam aí. Em uma história verdadeiramente espetacular, um estudante britânico de mestrado chamado Jack Lawrence estava lendo este artigo e percebeu algo estranho - a introdução inteira parece ter sido plagiada. Na verdade, é muito fácil confirmar isso - copiei e colei algumas frases de diferentes parágrafos no Google e é imediatamente aparente que a maior parte da introdução foi retirada de outros lugares online sem atribuição ou reconhecimento.
Agora, isso é um mau sinal, mas mal arranha a superfície dos problemas aqui. Poderíamos, talvez, perdoar algum plágio em um pré-print se ele realmente encontrasse uma cura milagrosa, mas há problemas piores no texto.
Por exemplo, existem números que são incrivelmente improváveis, quase impossíveis. Na tabela 4, o estudo mostra a média, o desvio padrão e os intervalos para o tempo de recuperação nos pacientes do estudo. O problema é que, com um intervalo relatado de 9 a 25 dias, uma média de 18 e um desvio padrão de 8, existem muito poucas configurações de números que corresponderiam a esse resultado. Você pode até mesmo calcular isso usando a ferramenta SPRITE desenvolvida pelos inteligentes detetives de fraude James Heathers, Nick Brown, Jordan Anaya e Tim Van Der Zee – para ter uma média de 18 dias consistente com os outros valores. A maioria dos pacientes neste grupo teria que ter permanecido no hospital por 9 ou 25 dias exatamente. Bem, isso pode não ser totalmente impossível, mas é tão estranho que levanta questões muito sérias sobre os resultados do próprio ensaio.
De alguma forma, fica ainda pior. Acontece que os autores carregaram os dados reais que usaram para o estudo em um repositório online. Embora os dados estejam bloqueados, nosso herói Jack Lawrence conseguiu adivinhar a senha do arquivo – 1234 – e obter acesso às informações anônimas em nível de paciente que os autores usaram para montar este artigo.
O arquivo de dados ainda está online (e você pode baixá-lo por US$ 9 + impostos) e examiná-lo você mesmo. Tenho uma cópia e é incrível como as falhas são óbvias, mesmo à primeira vista. Por exemplo, o estudo relata ter obtido aprovação ética e iniciado em 8 de junho de 2020, mas no arquivo de dados carregado pelos autores no site de pré-prints, 1/3 das pessoas que morreram de COVID-19 já estavam mortas quando os pesquisadores começaram a recrutar seus pacientes. A menos que estivessem fazendo com que pessoas mortas consentissem em participar do ensaio, isso não é realmente possível.
Além disso, cerca de 25% de todo o grupo de pacientes que foram recrutados para este ensaio randomizado supostamente prospectivo parece ter sido hospitalizado antes mesmo de o estudo começar, o que é uma violação da ética incompreensível, ou um sinal muito ruim de potencial fraude. Pior ainda, se você olhar nos valores para diferentes pacientes, parece que a maioria do grupo 4 são simplesmente clones uns dos outros, com as mesmas iniciais ou muito semelhantes, comorbidades, contagem de linfócitos, etc.
Todos esses são sinais clássicos e característicos de fraude científica – os segmentos repetidos (com pequenas alterações) nos dados são encontrados em vários trabalhos científicos que mais tarde foram comprovados como fraudulentos. Mesmo que isso não seja uma fraude absoluta, as preocupações éticas de randomizar as pessoas para um ensaio clínico antes que a aprovação ética apareça são enormes.
Não vou entrar em todas as discrepâncias que esses dados mostram. Tanto Jack Lawrence quanto Nick Brown examinaram as questões cuidadosamente, e recomendo fortemente que você leia os dois artigos antes de continuar. Eles explicam, em detalhes minuciosos, todas as razões pelas quais parece bastante improvável que este estudo pudesse ter ocorrido como descrito.
Vou te dar um segundo para ler isso. Acredite em mim, vale a pena.
Ok, estamos de volta. Assim, os autores puseram online um conjunto de dados brutos que é muito semelhante aos resultados do estudo que postaram, mas também obviamente falso. O que isso significa?
Bem, é possível que se trate de um grande erro. Talvez os autores tenham criado uma planilha que correspondeu muito de perto ao estudo, que também foi feita de informações simuladas por algum motivo desconhecido, e então acidentalmente carregaram isso em vez das informações reais. Talvez, quando colocaram o arquivo online, eles de alguma forma conseguiram copiar e colar uma dúzia de pacientes 5 vezes, sobrescrevendo os valores reais na pressa de começar seu estudo.
Talvez. Parece bastante improvável, especialmente dada a proximidade da maioria das informações nesta planilha com os resultados do estudo, mas é possível que isso tenha sido um erro cometido por pesquisadores, de resto, confiáveis.
Por outro lado, existe a possibilidade muito real de que partes ou mesmo todo o estudo sejam fabricados. Não sabemos - talvez nunca vamos saber com certeza -, mas não parece improvável, dados os números impossíveis mesmo dentro do próprio manuscrito.
Consequências
Tomado ao pé da letra, isso é muito ruim. Este estudo foi visto e baixado mais de 100.000 vezes e, de acordo com o Google Scholar, já acumulou 30 citações desde novembro de 2020, quando foi postado pela primeira vez. Isso significa que essa pesquisa potencialmente fraudulenta foi usada para direcionar o tratamento aos pacientes, provavelmente muitas pessoas até este momento.
Mas fica pior. Muito pior, na verdade.
Veja, muito do rebuliço em torno da ivermectina não se deve a esse estudo individual, mas, como disse antes, às meta-análises. Dois estudos recentes, em particular, chamaram muita atenção, ambos alegando mostrar, com a mais alta qualidade de evidência, que a ivermectina salva vidas.
O problema é que, se você olhar para aqueles modelos grandes e agregados, e remover apenas este único estudo, a ivermectina perde quase todo o seu benefício alegado. Veja a recente meta-análise de Bryant et al. que tem estado em todo o noticiário – eles encontraram uma redução de 62% no risco de vida para pessoas que foram tratadas com ivermectina, em comparação com controles, quando combinaram ensaios clínicos randomizados.
No entanto, se você remover o artigo de Elgazzar de seu modelo e executá-lo novamente, o benefício vai de 62% para 52% e, em grande parte, perde significância estatística. Não há nenhum benefício observado em pessoas com COVID-19 grave, e os intervalos de confiança para pessoas com a doença leve e moderada tornam-se extremamente amplos.
Além disso, se você incluir outro estudo que foi publicado após o lançamento da meta-análise de Bryant, que não encontrou nenhum benefício para a ivermectina para morte, os benefícios observados no modelo desaparecem completamente. Para outra meta-análise recente, simplesmente excluir Elgazzar basta para remover totalmente o efeito positivo.
Isto é importante. Significa que, se este estudo for fraudulento, terá implicações enormes não apenas para as pessoas que confiaram nele, mas em todas as pesquisas que o incluíram em sua análise. Até que haja uma explicação razoável para as inúmeras discrepâncias nos dados, sem falar dos números implausíveis relatados no estudo, qualquer análise que inclua esses resultados deve ser considerada suspeita. Dado que este é atualmente o maior ensaio clínico randomizado de ivermectina para COVID-19, e a maioria das análises até agora o incluiu, trata-se de uma situação realmente preocupante para a literatura como um todo.
Enfim
A realidade um tanto apavorante é que tem havido um número enorme de pessoas tratadas com ivermectina em grande parte com base em um ensaio que, se não for totalmente fraudulento, é tão falho que nunca deveria ter sido usado para qualquer decisão médica, de qualquer maneira. Mesmo se ignorarmos os dados falsos carregados com o estudo, é difícil ignorar os inúmeros outros problemas que a pesquisa demonstra.
Onde isso nos deixa em relação à questão de saber se a ivermectina funciona para COVID-19? Bem, em primeiro lugar, uma vez que você exclui Elgazzar do pool de pesquisa, a melhor evidência atual mostra uma falta de benefício bastante consistente. Ainda existem um ou dois estudos pequenos muito positivos, mas em geral a ivermectina não parece reduzir o risco de morte por COVID-19.
Agora, existem ensaios muito maiores em andamento para responder a esta pergunta com certeza, e aguardo ansiosamente seus resultados – como disse antes, o principal problema agora é que a evidência simplesmente não é boa o suficiente para ter certeza de qualquer maneira. No entanto, se o maior teste individual até agora sobre uma droga foi fraudulento, não é um sinal promissor.
Também ficamos com um monumental acerto de contas. Não deve ser necessário que um estudante de mestrado / jornalista investigativo olhe para um estudo para perceber que ele é potencialmente uma fraude. Este estudo foi revisado por dezenas de cientistas, incluindo eu mesmo, e embora tenha dito que era de qualidade extremamente baixa, não notei os problemas com os dados.
Já se passaram mais de seis meses desde que este estudo foi colocado online. Ao que tudo indica, os resultados desta pesquisa foram usados para tratar milhares, ou talvez até milhões, de pessoas em todo o mundo. E, no entanto, até agora ninguém percebeu que a maior parte da introdução [do artigo] é plagiada?
A comunidade científica e nós, nobres defensores da verdade, pisamos na bola.
Não há um final agradável e fácil para eu encerrar aqui. A investigação sobre este estudo está em andamento e um dia talvez tenhamos a história na sua totalidade, mas enquanto isso o estrago já foi feito.
A empreitada científica gosta de se empolgar com a ideia de que a ciência é “autocorretiva” – que as falhas e erros são descobertos por meio do próprio processo da ciência. Mas isso não foi um erro. Especialistas credenciados leram este ensaio e o classificaram como de BAIXO risco de parcialidade. Não uma vez, mas repetidamente. Médicos olharam para ele e viram uma cura milagrosa, apesar dos problemas que a pesquisa tem, mesmo em análise superficial.
Não tenho certeza se este estudo é fraudulento, e talvez nunca saibamos. Mas sabemos que ninguém deveria jamais tê-lo usado como evidência para qualquer coisa. Teremos que reconhecer o fato de que uma pesquisa realmente lamentável, que pode acabar sendo uma fraude, foi colocada online e usada para direcionar o tratamento de milhões de pessoas em todo o mundo.
E ninguém percebeu até que fosse tarde demais.
Gideon Meyerowitz-Katz, epidemiologista, doutorando, Universidade de Wollongong, Austrália. Membro da COVID-19 Expert Database, Australian Academy of Science. Originalmente publicado no Medium, traduzido e reproduzido com autorização do autor.
Tradução de Sean Purdy, Universidade de São Paulo (USP), e Leandro Tessler, Universidade Estadual de Campinas (Unicamp)
NOTA DOS TRADUTORES:
[i] Repositório de pré-prints muito usado por pesquisadores.