Errar é humano, diz um velho ditado. Durante milhares de anos, nossos ancestrais tiveram que lutar nas savanas africanas pela sobrevivência. Nesse ambiente, nossos cérebros evoluíram a capacidade de tirar conclusões rápidas e plausíveis para localizar comida ou evitar perigos. É uma habilidade imperfeita, que produz erros e enganos, mas “boa o suficiente” na maior parte do tempo – só que pode ser um complicador para os resultados de pesquisas científicas.
Reportagem publicada em 2015 na revista Nature pondera que até uma pessoa honesta é mestre no autoengano. Uma estratégia que ajuda a fugir de leões não é necessariamente boa em um laboratório moderno. Por isso, no ambiente de hoje, o talento do ser humano para tirar conclusões rápidas torna muito fácil encontrar padrões falsos na aleatoriedade, ignorar explicações alternativas para um resultado ou aceitar o que parece “razoável” sem questionar.
A reportagem de 2015 apresentava e discutia os problemas levantados em artigo de opinião publicado na mesma Nature, de autoria do psicólogo Robert MacCoun, da Universidade Stanford, e do físico Saul Perlmutter, da Universidade da Califórnia, um dos ganhadores do Prêmio Nobel de 2011. Os autores propunham que a estratégia de análise cega de dados deveria ser adotada de forma mais ampla na pesquisa empírica.
Numa análise cega, o responsável por tirar conclusões dos dados não sabe a que os dados se referem, nem qual o “resultado esperado”. Num teste de medicamento, por exemplo, o encarregado de calcular as estatísticas não sabe se está trabalhando com os números do grupo de tratamento ou placebo, evitando que as expectativas do pesquisador influenciem o resultado.
É possível tornar o processo ainda mais sofisticado. Emerson Rodrigues de Camargo, chefe do Departamento de Química da Universidade Federal de São Calos (UFSCar), acrescenta que o cegamento pode incluir a inserção, nos dados a serem analisados, de informações verdadeiras previamente conhecidas e de erros, ou “ruídos”, propositais, sem que o pesquisador que fará a análise saiba.
“Se a metodologia for apropriada, o analisador saberá excluir os dados falsos incluídos e confirmará os verdadeiros”, explica Camargo. “Se ele descartar um verdadeiro incluído propositalmente, ou considerar um falso, inserido da mesma forma, ficará claro que a metodologia está inadequada”.
No seu artigo, MacCoun e Perlmutter lembraram que, décadas antes, diversos físicos, incluindo Richard Feynman (1918-1988), haviam notado que estimativas de constantes físicas básicas eram muitas vezes mais próximas dos valores já publicados do que seria esperado, levando em conta os erros padrão de medição. Eles perceberam que os pesquisadores tendiam mais a confirmar resultados passados do que refutá-los – dados que não estavam de acordo com suas expectativas eram mais descartados ou revisados com mais frequência.
Para minimizar esse problema, equipes de físicos de partículas e cosmólogos desenvolveram métodos de análise cega: remoção temporária e criteriosa de rótulos de dados e alteração de valores de dados para combater vieses e erros. MacCoun e Perlmutter passaram então a defender que esse tipo de análise seja usado em outros campos do conhecimento, outras áreas da ciência.
A análise cega ajuda a evitar ou minimizar vieses e erros não intencionais. Há muitos fatores e motivações que levam cientistas honestos a cometê-los. “Nós, seres humanos, somos, por natureza, muito incapazes de sermos imparciais”, diz o agrônomo e doutor em Biologia Vegetal Eduardo van den Berg, do Departamento de Ecologia e Conservação, da Universidade Federal de Lavras (UFL). “Idealmente deveríamos ser, mas a realidade é outra”.
Berg observa que somos influenciados pelo nosso tempo, nossos contatos, nossas leituras, nossas convicções. “Enfim, raramente somos completamente imparciais”, afirma. “Por isso, o método apresentado no artigo por MacCoun e Perlmutter me parece muito interessante. Ou seja, se formos capazes de analisar os dados sem saber exatamente que grupos estamos comparando, podemos ser mais imparciais”.
O doutor em Engenharia e Tecnologia Espaciais Antonio Gil Vicente de Brum, do Centro de Engenharia, Modelagem e Ciências Sociais Aplicadas (CECS) da Universidade Federal do ABC (UFABC), vai pelo mesmo caminho em relação aos fatores que levam cientistas a cometerem erros. “Acho muito difícil separar o ser humano do cientista, nem sei se isso seria algo bom”, diz. “Portanto, claro, as crenças, experiência vivida e formação de uma pessoa influem naquilo que ela espera encontrar na sua pesquisa, aquilo que ela deseja confirmar”.
Há várias armadilhas que cientistas podem encontrar no caminho de uma pesquisa, algumas descritas na reportagem da Nature. Uma bastante comum é o que se poderia chamar de miopia de hipóteses, que ocorre quando os pesquisadores se concentram em coletar evidências para apoiar apenas uma hipótese, e deixam de considerar alternativas Como disse o psicólogo Jonathan Baron, da Universidade da Pensilvânia, na Filadélfia, as pessoas tendem a fazer perguntas cujas respostas são “sim”, caso sua hipótese preferida seja verdadeira.
Há ainda a armadilha da atenção assimétrica aos detalhes, às vezes conhecido como viés de “desconfirmação”. Isso acontece quando os cientistas dão aos resultados esperados um passe relativamente livre, mas verificam rigorosamente os não intuitivos. Quando os dados parecem não corresponder às estimativas anteriores, pressupõem que cometeram algum erro e revisam o procedimento, mas não percebem que provavelmente precisariam dar o mesmo tipo de atenção e cuidado aos resultados esperados.
Segundo Berg, resultados que confirmam outros obtidos no passado são mais bem aceitos. Aqueles que contradizem teorias e hipóteses aceitas tendem a ser vistos com um olhar mais crítico. “Isso é um problema, porque teorias podem virar dogmas, e a inovação só vem pelas novidades científicas, que acabam sendo mais difíceis de publicar por causa desse efeito de confirmação”, diz.
A análise cega de dados, defendida por MacCoun e Perlmutter, pode ajudar a evitar que os pesquisadores caiam nessas e outras armadilhas. Há vários modos de implementar esse tipo de estratégia. Um é a análise de crowdsourcing, quando várias equipes diferentes analisam os dados gerados por uma determinada pesquisa. O pré-registro dos planos de análise é outra: a ideia aqui é que, antes de ter os dados, já se estabeleça como serão analisados, para evitar que os pesquisadores, de posse dos dados, caiam na tentação de escolher as ferramentas que irão confirmar suas expectativas. Há ainda, entre outras, a apresentação formal de hipóteses nulas e a análise dos resultados por equipes rivais.
Um exemplo de análise de crowdsourcing foi a realizada por dois pesquisadores, um da Espanha e outro de Cingapura. Eles recrutaram 29 equipes de cientistas e pediram que cada uma analisasse separadamente os mesmos dados que os dois haviam coletado, e respondessem à mesma pergunta: os árbitros de futebol são mais propensos a dar cartões vermelhos a jogadores de pele escura do que a jogadores de pele clara?
Eles contam no artigo que, das 29 equipes, 20 encontraram uma correlação estatisticamente significativa entre a cor da pele e os cartões vermelhos. O resultado médio foi que jogadores de pele escura tiveram 1,3 vez mais chances de receber cartões vermelhos do que jogadores de pele clara. Mas as descobertas variaram enormemente, desde uma leve (e não significativa) tendência dos árbitros de dar mais cartões vermelhos a jogadores de pele clara a uma forte tendência de dar mais cartões vermelhos a jogadores de pele escura.
De acordo com os autores, se qualquer uma dessas 29 análises saísse como uma única publicação revisada por pares, a conclusão poderia ter variado de nenhum viés racial nas decisões dos árbitros a um grande viés. “A experiência nos convenceu de que reunir muitas equipes de pesquisadores qualificados pode equilibrar discussões, validar descobertas científicas e informar melhor os formuladores de políticas”, disseram.
Uma experiência de análises por uma equipe rival, tipo também conhecido como proponente cético, foi realizada pelo psicólogo Eric-Jan Wagenmakers, da Universidade de Amsterdã. Ele se juntou a outro grupo em uma tentativa para replicar sua pesquisa, que sugeria que movimentos oculares horizontais ajudam as pessoas a recuperar eventos de sua memória. Muitas vezes é difícil fazer com que pesquisadores cujo trabalho original encontra-se sob escrutínio concordem com esse tipo de colaboração, disse.
Para Wagenmakers, o convite é tão atraente quanto colocar a cabeça na guilhotina – há tudo a perder e pouco a ganhar. Mas, de acordo ele, o grupo cético estava ansioso para chegar à verdade. No final, os resultados não foram replicados. Os céticos permaneceram céticos, e os proponentes não foram convencidos a abandonar sua hipótese em razão de uma única falha de replicação. No entanto, este não era um impasse. “Embora nossa colaboração adversária não tenha resolvido o debate”, escreveram os pesquisadores, “gerou novas ideias testáveis e aproximou ligeiramente as duas partes”.
Para o físico Nathan Willig Lima, da Universidade Federal do Rio Grande do Sul (UFRGS), como o viés na interpretação de dados pode ser um problema, prejudicando as conclusões de uma pesquisa, a adoção de uma metodologia de interpretação cega pode ser um caminho importante para garantir a confiabilidade dos resultados. “Entretanto, a análise teórica é fundamental nas interpretações dos dados”, defende. “Por isso, após o processo de ‘revelação’ das variáveis, os pesquisadores devem fazer uma análise não-cega”.
Com isso, eles podem então comparar as conclusões a que chegaram de forma cega e as que chegariam por uma análise teórica e, daí, conscientemente, avaliar se há viés ou não. “Ou seja, não se deve imaginar que uma análise cega sozinha dê as respostas definitivas, mas ela é um método importante para dar maior solidez à conclusão e dar mais segurança para os próprios pesquisadores”, diz Lima.
“Há conclusões que só podem ser obtidas pela integração da teoria com os dados e, portanto, uma análise cega não permitiria chegar nas relações teoricamente adequadas”, explica. “Dessa forma, o ideal é uma boa integração entre uma primeira etapa de análise cega com uma segunda etapa não-cega, de forma que os pesquisadores consigam extrair as melhores qualidades de cada método”.
Evanildo da Silveira é jornalista