Algum autor de livro de autoajuda já deve ter escrito que nada é fácil e que quase tudo piora depois que você sai da barriga da sua mãe. Mas, a despeito dessa visão pessimista/realista, não deixamos de realizar a maioria das tarefas diárias, mesmo que para isso seja necessário transformar problemas complexos em versões simplificadas, de maneira que seja possível encontrar soluções, se não perfeitas, ao menos satisfatórias.
Evitar complexidade excessiva e tornar os problemas solúveis, desconsiderando penduricalhos que não afetam tanto o resultado, é uma das qualidades que se espera de um cientista – para estimar, por exemplo, o tempo de queda de um tijolo de uma janela, não precisamos saber exatamente quantos poros existem na superfície do objeto.
Em políticas públicas, porém, algumas simplificações, que buscam maximizar a objetividade em processos que podem ser afetados por fortes interesses pessoais, têm comprometido processos de análise de temas que trazem sutilezas incontornáveis – caso, por exemplo, da distribuição de verbas escassas entre grupos e projetos de pesquisa científica.
A utilização parcimoniosa de indicadores – entendidos como representações numéricas que buscam capturar aspectos salientes de processos complexos -, como apenas mais um parâmetro para balizar a tomada de decisões, deveria ser o padrão de agências de fomento. Os números serviriam para uma análise secundária, depois que a qualidade do trabalho do pesquisador já tivesse sido levada em conta. A política da Fundação de Amparo à Pesquisa do Estado de São Paulo, a Fapesp, com reuniões semanais abastecidas por formulários de avaliação preenchidos pelos pares, talvez seja hoje a que mais se aproxima de uma boa avaliação de mérito da pesquisa/pesquisador.
Outras agências, como o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), deveriam rever seus procedimentos de avaliação para conceder bolsas e fazer a promoção de pesquisadores. Umas poucas reuniões anuais para avaliar inúmeros currículos forçam a adoção de caminhos que levam a um resultado que não contempla aquilo que se quer avaliar: a qualidade, e não a quantidade, do que cada pesquisador produz.
Em artigo para o Jornal da Unesp, descrevi como o fator de impacto é uma métrica inadequada para a avaliação da qualidade de um artigo científico, ou mesmo de um periódico especializado. Apesar disso, o edital para a concessão de bolsas de produtividade do CNPq continua adotando o fator de impacto de periódicos para a análise da qualidade do proponente. Comitês de área como o de Física e Astronomia informam que “tipicamente são considerados somente artigos com fator de impacto acima de 1,5 nessa avaliação”. Embora haja a ressalva de que “áreas com revistas de baixo parâmetro de impacto [...] são tratadas de forma diferenciada”, na prática, não é bem isso que acontece.
O fator de impacto é um indicador bibliométrico que atribui um número ao periódico com base nas citações dos artigos publicados. O cálculo é feito tomando-se o total de citações, em determinado ano, dos artigos publicados nos dois anos anteriores, dividido pelo número de artigos publicados nesse mesmo período. Por exemplo:
A = Total de citações em 2020
B = Citações em 2020 dos artigos publicados em 2019 e 2018 (subgrupo de A)
C = Artigos publicados em 2019 e 2018
D = B/C = Fator de impacto de 2020
Grosso modo, o fator de impacto de uma revista depende de uns poucos artigos com muitas citações. Uma análise aleatória de quase mil artigos mostrou que mais do que 50% dos artigos não recebem nem sequer uma citação por ano. O valor médio de citações de uma revista também não é uma boa medida, pois as citações não se distribuem em torno de uma média, como uma distribuição normal.
Adotar um número, o fator de impacto ou o índice h, que além de não corresponder àquilo que se busca – neste caso, a avaliação da qualidade de um pesquisador ou artigo –, serve ainda para fazer propaganda gratuita para as empresas que fornecem esse tipo de métrica. Com comportamento semelhante ao mantido em relação às empresas que produzem rankings, a Academia empresta seu prestígio para alavancar um mercado do qual acaba, mais tarde, tornando-se vítima.
A valorização institucional de produtos acadêmicos ou para-acadêmicos gerados por empresas privadas dá origem a diversas distorções como, por exemplo, os altos custos de publicação cobrados por editoras que produzem os periódicos onde artigos científicos são veiculados. Trata-se de uma autoflagelação que é o exemplo universitário do Discurso sobre a Servidão Voluntária, de Étienne de la Boétie, já que as agências, compostas em grande parte pela comunidade científica, estimulam e incentivam hábitos que caracterizam trabalho qualificado, especializado e gratuito em benefício de grandes companhias e que, a médio prazo, jogam contra a própria comunidade.
Em uma direção completamente diferente desta que valoriza indicadores numéricos, mais de 350 organizações – agências públicas e privadas de financiamento à pesquisa, universidades, centros de pesquisa, associações de pesquisadores, entre outras instituições de mais de 40 países – elaboraram um acordo, que será lançado no próximo 28 de setembro, onde se comprometem a mudar o modelo de avaliação da pesquisa. O acordo, noticiado em julho na Nature, é encabeçado pela European University Association.
O acordo aborda predominantemente a importância da análise qualitativa da pesquisa científica, através de uma avaliação feita pelos pares, considerando todos os produtos originados dessa pesquisa que possam maximizar seu impacto na sociedade. Os signatários do acordo comprometem-se a utilizar essa análise – que vai além dos indicadores numéricos – para contratações, promoções, financiamentos etc.
O item 3 da seção de “compromissos principais” cita explicitamente a questão dos indicadores numéricos. Em tradução livre: “abandonar usos inapropriados de métricas baseadas em periódicos e publicações para a avaliação de pesquisas, em particular, o uso inapropriado do fator de impacto e do índice h”.
É bem provável que nenhuma agência vá confessar que dá importância exagerada aos indicadores numéricos em suas avaliações. Versões oficiais entram em conflito, porém, com procedimentos que já desconsideram, de partida, artigos publicados em revistas com fator de impacto menor do que 1,5, como é a política adotada pelo comitê de Física e Astronomia do CNPq. É certo que uma análise qualitativa é mais difícil, mas devem-se encontrar caminhos que de fato avaliem o mérito do material submetido – ou então, que se abandone a fantasia de que existe avaliação da qualidade.
Quando falamos no uso indiscriminado de métricas é importante termos em conta as falas de um psicólogo e um economista.
Donald Campbell, psicólogo, no artigo Assessing the impact of planned social change, escreveu algo que ficou conhecido como a Lei de Campbell, em tradução livre: “Quanto mais um indicador social quantitativo for usado para a tomada de decisões sociais, mais sujeito estará a pressões de corrupção e mais apto a distorcer e corromper os processos sociais que se pretende monitorar” – neste contexto, a palavra “corrupção” deve ser entendida como a modificação das características originais de algo, desvio de função.
De maneira semelhante, a fala atribuída a Charles Goodhart, economista, diz que “quando a métrica se torna uma meta, ela deixa de ser uma boa medida”. Nos casos dos fatores h e de impacto, eles nem sequer chegam a ser uma boa medida para a qualidade de um pesquisador, ou de um trabalho científico.
Marcelo Yamashita é professor do Instituto de Física Teórica (IFT) da Unesp e membro do Conselho Editorial da Revista Questão de Ciência