There is no author summary for this article yet. Authors can add summaries to their articles on ScienceOpen to make them more accessible to a non-specialist audience.
Abstract
The lack of correlation between the Journal Impact Factors and the most cited Brazilian
papers in physics is statistically demonstrated. The existence of an effective "Brazilian
Impact Factor" is observed, being its values, in general, lower than the international
Impact Factors. In some cases, discrepancies from the international values are huge,
leading to doubts on whether it is appropriate to use this indicator to judge Brazilian
scientists.
Translated abstract
A ausência de correlação entre o Fator de Impacto das revistas e os artigos brasileiros
mais citados da área de Física é demonstrada estatísticamente. A existência de um
"Fator de Impacto Brasileiro" efetivo é observada, sendo seus valores, em geral, menores
que os Fatores de Impacto internacionais. Em alguns casos, as diferenças dos valores
internacionais são enormes, questionando a adequação do uso deste indicador para o
julgamento de cientistas brasileiros.
Recentemente CLINICS propôs para debate a idéia de que o QUALIS 2010 era passível de aperfeiçoamento, através do conceito dos três erres (Remover periódicos de revisão, Reconhecer outras métricas de avaliação, Reavaliar periódicos brasileiros).1 Submetido ao debate por pares por ocasião do II Seminário Satélite para Editores Plenos (ABEC Novembro de 2010), concluiu‐se que idealmente haveria que focalizar num único erre, a saber, o reconhecimento por parte da CAPES para 2013 das métricas de avaliação SCImago (cites/document) e SciELO (Impact Factor). Já demonstramos anteriormente que o Impact Factor ISI THOMSON, única métrica reconhecida pela CAPES, é praticamente idêntico ao cites/document da SCImago. A correlação geral por amostragem entre os dois índices é maior que 0,9 e o coeficiente angular é indistinguível da unidade. A recente divulgação da coleção 2009 do SCImago Journal & Country Rank2 junta‐se aos já divulgados Fatores de Impacto JCR‐ISI e SciELO para aquele ano e permite o cotejo em tempo real dos três índices. Salientamos que este cotejo não se aplica a qualquer tabela QUALIS, pois a Tabela 2010 já é história e a Tabela 2013 será decidida no futuro. Em outras palavras, o cotejo que se segue, relativo ao ano 2009, é oferecido como base argumentativa adequada para reivindicar a correção de curso relativa à exclusão dos índices SCImago e SciELO. Vamos pois ao cenário 2009 como simulação de uma hipotética tabela Qualis: na versão 2009 do Journal of Citations Report – ISI a representação brasileira saltou de 31 a 71 periódicos; já no SCImago Journal Ranking essa representação manteve‐se constante em 235 periódicos. Existem, portanto 164 periódicos brasileiros (138 com impacto maior que zero) ausentes da tabela JCR‐ISI. Mantida a norma Qualis aplicada em 2010, estes 138 periódicos cairiam nas categorias “sem fator de impacto”. A Figura 1 mostra a identidade entre ISI e SCImago para as 64 revistas incluídas nos dois índices: o coeficiente angular unitário e o elevado coeficiente de correlação significam que, conhecendo‐se um dos índices, pode‐se estimar o outro com 95% de probabilidade de errar por menos de 5%. A tabela 1 exibe a relação desses 138 periódicos brasileiros com Cites/Document SCImago > zero, mas sem Fator de Impacto JCR‐ISI. Ressalte‐se que não são periódicos de impacto nitidamente mais baixo que os da coleção JCR‐ISI. Os quatro primeiros apresentam impacto > 1.00, o que os colocaria entre os 15 melhores do Brasil. Outros dez apresentam impacto maior que 0.50, acima da mediana dos periódicos brasileiros no JCR‐ISI. Todos os 138 títulos evidentemente fariam jus à classificação “com fator de impacto”. Outra correlação interessante ocorre entre SCImago e SciELO. Em primeiro lugar vale notar que existe extensa concordância: a coleção SCImago contem 235 títulos brasileiros e a coleção SciELO contem 223. As inclusões não são 100% concordante: a coleção SCImago contem 69 periódicos ausentes da coleção SciELO; reciprocamente a coleção SciELO contem 56 periódicos ausentes da coleção SCImago. Por si só esta convergência revela a consistência de qualidade dos periódicos incluídos na coleção SciELO. É fácil intuir que, para qualquer periódico brasileiro incluído nas duas coleções, há que se esperar que o impacto SCImago seja maior que o SciELO, porque a coleção SCImago contem 18.732 periódicos, contra apenas 759 na coleção SciELO. Surpreendentemente, porém, o efeito dessa enorme desproporção entre bases de dados é menor do que o esperado, como se pode ver à figura 2: dentre os 142 periódicos brasileiros presentes nas duas coleções apenas 88 (62%) apresentam SCImago > SciELO, enquanto 45 (32%) apresentam SciELO > SCImago e nove (6%) apresentam igualdade. Esta discrepância entre o esperado e o observado merece estudo bibliométrico adicional, mas uma boa hipótese seria que artigos brasileiros citam outros artigos brasileiros com mais intensidade em virtude de um pronunciado interesse local específico. A correlação entre os impactos (Figura 3) é igualmente reveladora: o coeficiente angular (0,54) sugere que o impacto médio SciELO é apenas 40% menor que o impacto SCImago. Já o alto índice de correlação (r2 = 0.62; p 0. Porem a Tabela 2 mostra que, se a decisão fosse tomada neste momento restariam 35 periódicos brasileiros com impacto SciELO maior que zero mas ausentes do JCR‐ISI e do SCImago. Aqui também encontramos impactos não triviais: quatro periódicos apresentam impactos maiores que a mediana da coleção ISI. Sem esquecer a forte possibilidade de que estes 35 impactos SciELO infra‐estimem o que seriam seus impactos ISI ou SCImago. Desta simulação, podemos concluir que teríamos 173 periódicos brasileiros com IMPACTO > ZERO tratados como “SEM FATOR DE IMPACTO” pelo QUALIS caso a avaliação fosse agora e caso os critérios 2010 fossem repetidos. Sabemos que esta “simulada exclusão” não é estática: quando a tabela Qualis “fechar” para a próxima avaliação muita coisa terá mudado: dentre elas, com certeza, as tabelas ISI‐JCR, SCImago e SciELO, bem como (esperamos!) os critérios CAPES de avaliação. Mas defendemos a tese de que reconhecer tão somente o Fator de Impacto ISI‐JCR não seria lógico. Por isso entendemos que esta simulação é a base racional para um alerta, em tempo, pela adoção de novos critérios. NOTA: este editorial é publicado por CLINICS livre de restrições de copyright. Oferecemo‐lo aos periódicos científicos brasileiros para reprodução integral ou parcial. Alternativamente sugerimos que apóiem esta idéia, em editoriais originais. Tais ações sinalizarão nossa vontade política de exercer o direito republicano de peticionar perante o poder público em defesa desta que é uma reivindicação legítima e generalizada da comunidade editorial científica brasileira.
scite shows how a scientific paper has been cited by providing the context of the citation, a classification describing whether it supports, mentions, or contrasts the cited claim, and a label indicating in which section the citation was made.
Smart Citations