A revista “Nature” publicou, no início do mês, um artigo de opinião, assinado por 25 pesquisadores, sugerindo uma série de critérios e advertências para a tomada de decisão em questões de política e pública e saúde, adaptados do padrão-ouro da pesquisa médica, o teste controlado, randomizado, duplo-cego com grupo placebo, o popular RCT.
O artigo todo é muito bom e vale a leitura, mas como é longo e está em inglês, vamos dar um resumo por aqui. O princípio básico é de que alegações de eficácia e propostas para a solução de problemas – médicos, sociais, econômicos, domésticos, você escolhe – devem, sempre que possível, ser baseadas em evidênciaproduzida preferencialmente por comparações justas.
A ideia de comparação justa – em que os grupos avaliados têm formação semelhante, encontram-se em condições iguais e são tratados de forma idêntica, exceto no que diz respeito à intervenção testada – é a base dos RCTs médicos. Generalizar o procedimento específico dos testes clínicos para questões sociais pode ser complicado (embora não impossível), mas o princípio é algo que vale a pena ter em mente, ainda que como um ideal a ser alcançado.
Fazem também parte do guia uma série de princípios que, neste alvorecer do século 21, quatrocentos anos após a Revolução Científica e quase duzentos anos depois de a profissão médica ter se convencido de que lavar mãos salva vidas, deveriam ser tão óbvios quanto o fato de que galinhas têm penas e porcos não voam. Mas não são. São princípios que precisam ser aprendidos, repetidos, e defendidos com unhas e dentes no debate público. Alguns deles:
Experiências pessoais e relatos isolados, por si sós, não provam nada;
O fato de uma solução/terapia/intervenção ser usada há décadas ou séculos não implica que ela seja segura ou eficiente;
O fato de uma solução/terapia/intervenção ser baseada numa nova descoberta científica ou numa tecnologia maravilhosa não implica que ela seja segura ou eficiente;
Opiniões de especialistas, autoridades ou celebridades não bastam para embasar uma alegação;
E, o clássico absoluto:
Correlação não implica relação de causa e efeito!
Ou, como os autores do guia escrevem, “muitas pessoas não percebem que duas coisas podem estar associadas sem, necessariamente, uma causar a outra”.
O artigo na “Nature” chama atenção para o fato de que a mídia – incluindo publicações universitárias e o material de divulgação produzido por institutos de pesquisa e enviado para a imprensa – perpetua esse falso elo entre associação e causação, principalmente como estratégia para “esquentar” matérias sobre dietas, saúde e hábitos de consumo.
Notando que o público tem dificuldade em discriminar o grau de confiabilidade de diversos tipos de evidência, o guia cita pesquisa realizada no Reino Unido que apontou que apenas pouco mais de um terço da população britânica confia em pesquisa médica, enquanto que dois terços confiam nas experiências pessoais de amigos e familiares com remédios e tratamentos.
Nem todos os problemas, porém, estão no senso-comum do público em geral, não escolado nas sutilezas do método científico ou nas críticas clássicas de David Hume (1711-1776) à facilidade com que fazemos inferências injustificadas sobre regularidades da natureza e relações de causa e efeito.
Há princípios no guia que dizem respeito a alguns maus hábitos que volta e meia se instalam na prática científica, por exemplo:
Mais dados não são, necessariamente, dados melhores;
Deve-se dar atenção aos resultados principais, não a indicadores indiretos (por exemplo, aumentar a sobrevivência do paciente é mais importante do que melhorar os resultados de seu exame de sangue);
Estudos pequenos podem levar a conclusões erradas;
Os resultados de um único estudo, tomados de forma isolada, podem levar a conclusões erradas;
Declarar um resultado “estatisticamente significativo” ou “não significativo” pode levar a conclusões erradas;
Revisão pelos pares e publicação num periódico científico não são garantia de que a comparação foi justa.
Estes últimos pontos são especialmente importantes hoje em dia, quando vendedores de panaceias, milagres estéticos diversos e defensores de terapias alternativas se esmeram em reunir “evidência científica” a favor de suas gororobas.
A própria “Nature”, para ficar no mesmo periódico, já publicou artigos, revisados pelos pares e nunca retratados, afirmando que o ilusionista israelense Uri Geller era capaz de, por meios paranormais, adivinhar corretamente os resultados de dados agitados dentro de uma caixa fechada; e que água é capaz de reter a “memória” de materiais com que já teve contato.
Vistos isoladamente, cada um desses trabalhos pode parecer revolucionário. No contexto maior da ciência, reduzem-se a curiosidades históricas e lições práticas sobre erros de metodologia.
Leia também:
Tudo que sai em revistas científicas é pra levar a sério?
A sutil arte de procurar erros e mudar de ideia
Seria muito bom se o guia publicado agora fosse disseminado e passasse a embasar discussões, não só de ciência, mas também de política pública – e também, na medida do possível, os processos de tomada de decisão por que todos passamos no dia a dia. Seria uma lufada de ar puro, em meio ao miasma atual de preconceito e arrogância que passa por evidência no discurso público em que, para o bem ou para o mal, todos estamos inseridos.
Carlos Orsi é jornalista, editor-chefe da Revista Questão de Ciência