Vários artigos sobre resultados científicos apontam associações entre duas (ou mais) coisas. Isso quer dizer que temos duas variáveis que descrevem algum aspecto interessante de um problema e que, dentro de um estudo, constatou-se que, quando o valor de uma delas varia, o valor da outra também tende a variar, e de uma forma que sugere conexão – sobem juntas, descem juntas, quando uma sobe a outra desce...
As variáveis observadas podem ser quantidades: por exemplo, número médio de calorias que uma pessoa consome diariamente e seu o peso. Nesse caso, nós esperamos, antes de qualquer estudo, observar uma associação positiva, ou seja, quando o número médio de calorias sobe, o peso aumentará. Pode haver exceções, claro. Não estamos considerando o quanto de exercício físico a pessoa pratica. Mas esperamos observar uma tendência clara, ainda que não perfeita.
As variáveis não precisam se traduzir necessariamente em números. É o caso de observarmos, por um lado, se pessoas tomaram ou não um determinado medicamento (ou vacina), e, para a outra variável, se essas pessoas desenvolveram uma doença e, em caso positivo, a gravidade dos sintomas.
Observar uma associação não quer dizer, como todo livro de Estatística repete várias vezes, que uma variável seja a causa da outra. Causa e efeito realmente geram associações, mas há outras circunstâncias que também conectam variáveis. Por exemplo, suponhamos que você vá a uma cidade turística de praia. E obtenha o consumo total de sorvete assim como o número de afogamentos, ambos registrados a cada mês. É extremamente provável que você observe uma associação positiva. Ou seja, nos meses em que se vende mais sorvetes, observa-se um maior número de afogamentos.
Isso não quer dizer que os sorvetes são a causa do afogamento e nem que ao saberem de afogamentos as pessoas tomem mais sorvetes. Mais pessoas visitam a cidade em meses quentes e, havendo mais gente na cidade, é esperado que ambos os números aumentem. Ou seja, investigar questões de causa e efeito exige uma série de cuidados para separar o que realmente está acontecendo, se há outras variáveis envolvidas, se é possível que seja só uma coincidência, e assim por diante.
Trabalhos científicos sérios levam essas possibilidades em consideração. Todos os esforços possíveis são feitos para isolar as variáveis de interesse de outras possibilidades. Os métodos para identificar causas envolvem, em geral, ou o preparo de um experimento seguindo uma série de regras bem conhecidas ou, no mínimo, uma tentativa séria de medir as variáveis que podem estar interferindo no que observamos. Não sendo possível fazer nada disso, a associação ainda pode ser descrita, claro. Mas sabemos que, a cada passo que nos afastamos dos métodos ideais, maior incerteza existirá sobre a causa da associação.
Há, no entanto, uma situação que é bastante relevante mas que recebe muito menos atenção. Que é o caso dos estudos onde a associação não aparece. Ou, como é bastante comum, o que significa quando observamos alguns poucos estudos que mostram alguma associação, e vários que relatam que ela não existe? Um exemplo são estudos sobre eficácia de drogas no tratamento de doenças. O que podemos concluir se houver informação conflitante e não for possível encontrar erros em nenhum dos estudos?
Para responder essa questão, precisamos entender alguns detalhes sobre como são feitos esses trabalhos. Idealmente e de forma resumida, para testar a eficiência de uma medicação, separam-se as pessoas a serem estudadas em dois grupos, sendo que nem médicos, nem essas pessoas sabem a que grupo pertencem. Elas são separadas por sorteio e a informação é mantida fora do alcance de todos que estejam diretamente envolvidos com os pacientes. Cada voluntário recebe um medicamento idêntico ao dos demais, uma pílula com o mesmo formato e cor, por exemplo – mas parte dessas pílulas não contém a substância cujo efeito desejamos estudar. Depois de algum tempo, comparamos a evolução dos dois grupos, o que recebeu o remédio ativo e o que recebeu o inerte.
Como o acaso sempre pode interferir, sabemos que, mesmo que a substância não tenha nenhum efeito, os dois grupos não vão se comportar de forma idêntica. Sorte e coincidências acabam fazendo com que ou o grupo “de tratamento” (que recebeu o remédio de verdade) ou o grupo de controle (que recebeu a pílula sem remédio) tenha um desempenho melhor, sarando mais rapidamente. Para evitar esse problema, os cientistas tentam medir se a diferença entre os grupos é grande o suficiente para merecer atenção. Obviamente, a diferença grande ainda pode acontecer por acaso, mas é improvável.
Também pode acontecer que, ao testar uma substância que é efetiva, vermos um efeito pequeno, por azar: a diferença entre os grupos será menor do que o necessário para convencer os cientistas. Ou seja, se a diferença entre o observado nos dois grupos é pequena, o estudo é considerado inconclusivo.
Suponha que existem duas corredoras disputando uma vaga para a Olimpíada e nós queremos saber se uma delas é melhor. Uma forma clara de testar é medir seus tempos e compará-los. Se medirmos com precisão suficiente, em um dado teste, uma sempre terá obtido um resultado melhor que a outra. Mas, se a diferença for muito pequena, é possível que tenha sido apenas sorte. O desempenho de um atleta nunca se repete exatamente entre uma prova e outra. Ainda assim, uma corredora teve um tempo melhor. O que fazer, então?
Uma possibilidade é seguir em dúvida. A outra é repetir o experimento diversas vezes e coletar todas as evidências. Reunir diversas comparações de um mesmo medicamento que existam na literatura científica é chamado de meta-análise. No exemplo das corredoras, podemos marcar novas provas e ver o que acontece. Idealmente, poderíamos relatar uma diferença entre tempos médios e quanto de incerteza essa medida tem. Mas ainda há muitos cientistas que, utilizando métodos já datados, apenas relatam, nos resumos lidos pela imprensa, se a diferença foi significativa ou não.
Mesmo depois de muitos testes, podemos chegar a um resultado inconclusivo. Somando tudo, parece que uma corredora é um pouco melhor, mas os resultados não são consistentes. Ela perdeu algumas corridas e o seu desempenho ainda pode ser atribuído à sorte. Ou, considerando todos os estudos científicos sérios, temos um medicamento que, em alguns casos, parece que teve algum efeito, mas há também vários casos em que o efeito não apareceu. O que seria possível concluir, então? Podemos dizer que as corredoras são iguais ou que o medicamento não funciona?
Tecnicamente, tais estudos não dizem isso. O que eles dizem é que não há evidência clara de quem é mais rápida. Ou de que o medicamento produza algum efeito. Da mesma forma que acontecia com um único estudo. Mas, depois de várias corridas ou vários estudos, há uma diferença importante. Essa dúvida entre as corredoras só vai acontecer se as duas tiverem desempenhos bem similares. Significa que sim, pode haver diferença, mas essa diferença é quase certamente muito pequena. Da mesma forma, com o medicamento, a existência de dúvida após muitos experimentos não significa que não haja algum efeito superior ao do placebo. Só que, se existe, é quase certamente muito pequeno. Isso significa que as chances de ele ajudar alguém são baixas. E, se houver qualquer efeito colateral, o risco simplesmente não vale a pena.
Há vários testes conhecidos com resultados negativos em ciência. Astrologia, homeopatia, rezar, a lista é grande. Em alguns casos, até observa-se um efeito, mas apenas psicológico, idêntico ao obtido ao se ministrar balas de farinha com a mesma cor e formato do remédio. Ou seja, retirado esse efeito genérico, pouca ou nenhuma associação é observada. Afirmar causa e efeito, quando o teste indica associação, é algo que só pode ser feito com o devido cuidado. Quando as observações não encontram associação, concluir que existe algum efeito é um erro grave.
Ainda pode restar alguma pequena chance de que exista alguma associação? Sim. Mas a chance se torna pequena. Com mais repetições, fica muito pequena. Além disso, se a associação existir, ela quase certamente será muito fraca. O que isso significa? É simples.
Suponha que você quer saber se o signo de uma pessoa tem alguma relação com suas características psicológicas. O que os estudos dizem é que essa relação quase certamente não existe. Se existisse, seria tão pequena, que talvez permitisse prever alguns comportamentos de uma pessoa em mil, ou algo assim, falhando para todas os demais. Ou seja, nada que seria observável (ou útil) no dia a dia.
André Martins é cientista e professor na EACH - USP, onde estuda sistemas complexos, com ênfase em dinâmica de opiniões e indução probabilística