O trabalho do médico e microbiologista francês Didier Raoult, “pai” do tratamento com cloroquina para a COVID-19, tem o dobro do impacto científico do de Albert Einstein – que dispensa apresentações. Pelo menos, se for levado em conta apenas o chamado “índice h” dos dois, levantado pelo site The Conversation, um meio de comunicação sem fins lucrativos, que usa conteúdo de acadêmicos e pesquisadores. Esse índice é um indicador que, creem alguns, mede a importância de um cientista, ao ponderar o número de artigos publicados e o número de vezes que essas publicações são citadas. Só que não, como se diz nas redes sociais. No caso, o índice h, visto isoladamente e fora de contexto, não é confiável.
Para o engenheiro eletrônico e doutor em Matemática Renato Pedrosa, da Universidade Estadual de Campinas (Unicamp), o uso indiscriminado do índice h é pernicioso e tende a estimular uma atitude que, basicamente, leva em conta apenas o volume da produção científica. “Isso pode tornar cientistas menos propensos a tentar resolver problemas mais centrais e mais relevantes, seja da própria ciência ou de suas aplicações”, alerta. “Apesar de sempre mencionado, não deve ser utilizado sem algum controle sobre o que, de fato, um determinado pesquisador ou pesquisadora produz”.
Seu colega na Unicamp, o químico Luiz Carlos Dias, membro da Força-Tarefa da universidade no combate à COVID-19, explica que o índice h é definido como o número “h” de artigos científicos de um determinado pesquisador que têm, cada um, pelo menos o mesmo número “h” de citações “Alguém com 200 papers publicados, por exemplo, dos quais 100 têm 100 citações ou mais”, exemplifica. “Desta forma, o índice deste pesquisador será igual a 100”, diz. “Um pesquisador com um igual a 150, significa que ele publicou pelo menos 150 artigos que foram citados pelo menos 150 vezes cada”.
Esse indicador foi proposto pelo físico argentino Jorge Hirsch – daí o “h” – em 2005, quando era professor da Universidade da Califórnia em San Diego, nos Estados Unidos. “Ele o idealizou como uma ferramenta que combinaria quantidade e qualidade da produção acadêmica de cientistas, pressupondo que trabalhos muito citados trariam uma qualidade intrínseca”, explica Dias. “Hirsch não pensou que o índice poderia ser inflado artificialmente por autocitações e citações em consórcios entre pesquisadores que se citam entre si, levando a distorções”.
Pedrosa, que é coordenador do projeto Indicadores de CT&I do Estado de São Paulo, da Fapesp, no qual são desenvolvidos dados cientométricos e bibliométricos, chama a atenção para outro aspecto do índice h. “Ele premia autores com vários artigos com um número razoável de citações”, explica. “Mas, por exemplo, se um autor publicou um paper de grande impacto, que acabou sendo reconhecido com o Prêmio Nobel, mas não possui muitos outros muito citados, terá, possivelmente, um número h menor do que um colega que nunca fez algo do mesmo nível, mas publicou muitos artigos bem citados. Premia a regularidade, tanto no número de papers como de citações, por assim dizer”.
Distorção
É mais ou menos o que se pode perceber pelos dados levantados por The Conversation. De acordo com o site, na base de dados Web of Science, Raoult, cuja pesquisa sobre cloroquina padece de diversos problemas éticos e de qualidade técnica, possui 2.053 artigos publicados entre 1979 e 2018, tendo recebido um total de 72.847 citações. Seu índice h, calculado a partir desses dois números, é 120. Sabe-se, entretanto, que esse valor pode ser artificialmente inflado por meio de autocitações – quando um autor cita seus próprios artigos anteriores. A base de dados indica que, do total de citações atribuídas aos artigos em coautoria de Raoult, 18.145 provêm de trabalhos dos quais ele é coautor. Essas autocitações são 25% do total. Subtraindo isso, o índice h de Raoult cai 13%, ou seja, para 104.
Einstein, por sua vez, tem 147 artigos listados no banco de dados Web of Science entre 1901 e 1955, ano de sua morte. Por eles, recebeu 1.564 citações durante sua vida. Desse número, segundo The Conversation, apenas 27, ou apenas 1,7%, são autocitações. Agora, se forem somadas as citações feitas a seus artigos após sua morte, Einstein recebeu um total de 28.404 entre 1901 e 2019, o que lhe rende um índice h de 56.
Segundo os autores do artigo da The Conversation, se tivermos que confiar na chamada medição “objetiva” fornecida pelo índice h, somos então forçados a concluir que o trabalho de Raoult tem o dobro do impacto científico do de Einstein, o “pai” do fóton, das teorias da Relatividade Restrita e Geral e do condensado de Bose-Einstein, só para citar algumas de suas descobertas e formulações. “Ou talvez seja mais simples (e melhor) concluir, como já sugerido, que esse indicador é falso?”, indaga The Conversation.
Exemplo absurdo
Para o biólogo Rubens Pasa, da Universidade Federal de Viçosa (UFV), a comparação de Raoult e Einstein “é muito boa”, e escancara alguns problemas do índice h. “Ela levanta a questão de se estar em uma área com menos pesquisadores que, consequentemente, produzem e citam menos”, explica. “Se alguém está em uma área mainstream, onde há muitos colegas publicando, é inevitável que seus trabalhos serão mais citados, independentemente de ser uma ciência muito boa ou não”.
Como exemplo, ele cita um artigo de abril de 2020 do próprio Raoult, sobre hidroxicloroquina, que tem mais de 800 citações, pois se trata de um tema que impulsionou milhares de publicações de 2020 para cá. “Em contrapartida, uma pesquisa bem feita de ciência básica em biodiversidade neotropical, ou em ciências sociais, por exemplo, apesar de poder ter grande relevância para a sua área, tenderá a ter muito menos citações, por não ser de interesse global”.
Na avaliação do doutor em Física Marcelo Yamashita, do Instituto de Física Teórica (IFT) da Universidade Estadual Paulista (Unesp), e membro do Conselho Editorial da Revista Questão de Ciência, o índice h não é uma medida confiável da importância e do impacto científico do trabalho de um pesquisador. “A comparação Einstein e Raoult mostra um problema com a adoção desse indicador: ele não é adequado para comparar pesquisadores de áreas diferentes”, explica. “Dentro de uma mesma área existe ainda as questões das subáreas (a dinâmica das citações de cada nicho varia bastante com o tamanho da comunidade e com o hábito de citação dos componentes do grupo) e da idade do pesquisador. Por exemplo, um pesquisador jovem com cinco artigos sensacionais não teria um h maior do que cinco”.
O físico Peter Alexander Bleinroth Schulz, da Faculdade de Ciências Aplicadas (FCA) da Unicamp, diz que o artigo do The Conversation é crítico aos indicadores e, principalmente, ao valor dado a eles, mas recomenda cuidado na sua leitura. “É anedótico e precisa ser bem interpretado”, diz. “A comparação entre Einstein e Didier Raoult é absurda: o primeiro é um dos maiores cientistas da história da ciência, enquanto que o outro é um pesquisador de reputação duvidosa. Ou seja, os autores do texto usam um argumento de redução ao absurdo para mostrar a deficiência de se olhar a ciência a partir de seus indicadores”.
O odontólogo Sigmar de Mello Rode, do Instituto de Ciência e Tecnologia, do campus de São José dos Campos, da Universidade Estadual Paulista (Unesp), acrescenta outras ressalvas. “O índice h não deve ser utilizado para comparar pesquisadores em estágios diferentes da carreira e nem entre áreas diversas do conhecimento, por causa das peculiaridades de cada uma”, diz. “Um outro problema é que ele não avalia se as citações são positivas ou negativas. Assim, um trabalho controverso, com erros básicos, pode ser muito citado para mostrar suas deficiências e, com isso, acaba obtendo um indicador alto”.
Fraude e arbitrariedade
Como se não bastasse, há as práticas fraudulentas e desonestas de inflar o índice h de um pesquisador. “Como ele ficou popular entre administradores em universidades, agências de fomento, bases de dados e editoras, passou a ser um objeto de desejo de muitos pesquisadores” diz Schulz. “Aqui vale a lei de Campbell, assim chamada em homenagem ao seu formulador, o psicólogo Donald Campbell, que a enunciou nos anos 1970: ‘Quanto mais qualquer indicador social quantitativo é utilizado para a tomada de decisão social, mais sujeito será a pressões de corrupção e mais apto será para distorcer e corromper os processos sociais que se pretende monitorar’”.
De acordo com ele, apesar de ter se tornado extremamente popular, o índice h é fortemente criticado na comunidade de estudos quantitativos de ciência, por apresentar várias fragilidades. “No entanto, elas não parecem fazer com que sua popularidade diminua”, constata. “Além disso, é totalmente arbitrário. Por que h artigos com pelo menos h citações indica alguma coisa? Poderia ser h ao quadrado, por exemplo. O ‘chute’ de Jorge Hirsch passou a dominar a métrica de quem é bom ou ruim”.
Outro problema do indicador é que, embora pensado por seu criador para avaliar indivíduos, ele passou a ser usado para medir o impacto de periódicos, universidades e até países. “A ideia original era estabelecer uma comparação da produtividade e impacto de físicos teóricos, mas em pouco tempo ganhou, por assim dizer, o mundo, generalizou-se e tornou-se muito popular”, conta Schulz. “Foi em alguns anos incorporado às métricas de bases de dados bibliográficos, como a Web of Science e Scopus, e o Google Acadêmico, para indivíduos. Mas a plataforma Scimago Journal & Country Rank, utilizando dados da Scopus, afere os índices h de periódicos e de países”.
No ranking de periódicos, a líder é a revista Nature, com h igual a 1.226. Ou seja, até a data da última atualização, 1.226 artigos publicados nela tiveram pelo menos 1.226 citações, considerando os três últimos anos. Entre países, o líder são os Estados Unidos, com um índice igual a 2.557. O Brasil ocupa a 23ª posição, com h igual a 649. Essas posições referem-se à produção científica indexada em todas as áreas do conhecimento.
Inflação
Não é raro haver distorções causadas por essas métricas. “Um dado curioso é o caso, há alguns anos, quando analisei os dados, da Universidade de Quito, que teria um impacto ponderado 140% acima da média mundial, líder absoluta na América Latina e parelha com Cambridge ou Harvard”, lembra Schulz. “O escrutínio dos dados, no entanto, mostrou que quase a totalidade dos artigos vinha de um único docente pesquisador, ligado ao CERN [Organização Europeia para a Pesquisa Nuclear, na sigla em inglês], para onde viajava nos recessos escolares e dava sua contribuição junto com milhares de outros cientistas, que assinavam os numerosos artigos com muitas citações”.
Por essas e outras, Dias diz que o uso extensivo do índice h é muito ruim. “Precisamos privilegiar as análises qualitativas para selecionar os melhores projetos de pesquisa e analisar o conjunto de contribuições de pesquisadores”, defende. “Várias áreas usam esse indicador na avaliação dos programas de pós-graduação e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) o utiliza como um dos critérios para definir o estrato mais alto de revistas científicas em diversas áreas, no sistema Qualis”.
Ainda de acordo com ele, o índice h pode levar agências de fomento à pesquisa e universidades a tomar decisões equivocadas na análise dos projetos, além de influenciar as instituições em critérios de promoção de seus pesquisadores, sem considerar vários outros aspectos da produção científica. “Ele não pode ser supervalorizado nunca, pois é um indicador bibliométrico interessante, mas deve-se usar bom senso e um conjunto de outros”, diz.
Para Dias, também não se deve usar o índice h como parâmetro de comparação de pesquisadores em uma mesma área, subárea ou até de áreas diferentes. “Nem todas divulgam suas produções em periódicos científicos indexados”, explica. “Muitas usam livros, que não são muito citados, então não se tem como avaliar o impacto do trabalho de um pesquisador. Esse indicador deve ser considerado um dos elementos de avaliação, mas o impacto de publicações não pode ser medido apenas por citações, mas pelo potencial de levar a inovações tecnológicas ou contribuições que levam a descobertas que podem salvar pessoas ou melhorar a qualidade de vida delas”.
Yamashita diz que um indicador sozinho não diz muita coisa sobre a qualidade da produção. “Alguns pesquisadores excelentes não têm um índice h muito alto, embora o seu trabalho seja bem relevante e reconhecido pela comunidade acadêmica”, explica. “Esse indicador, ou qualquer outro índice, não é bom ou ruim por si só, mas pode ser ruim se for utilizado de uma maneira enviesada em substituição à adoção de outros critérios qualitativos, que levem em conta a complexidade do trabalho do pesquisador como um todo. Há diversos outros indicadores, mas nenhum é perfeito. Seja qual for o utilizado, nenhum substitui uma análise criteriosa, feita pelos pares, do trabalho do pesquisador”.
Evanildo da Silveira é jornalista