Jean-Paul Sculier

L’Impact Factor (IF) ou facteur d’impact est un indice bibliométrique qui est devenu très populaire au cours des dix dernières années dans les milieux scientifiques et académiques . Inventé par l’Institute for Scientific Information (ISI), l’IF est un indice de citation. Basé sur la collection systématique des citations utilisées par les auteurs des articles de quelque 6000 périodiques médicaux et scientifiques (= journaux indexés), il correspond au rapport du nombre de citations d’un journal (par l’ensemble des journaux indexés) au cours des deux années précédentes, au nombre d’articles publiés par ce journal pendant la même période de temps. Ainsi si une revue a sorti en deux années 100 articles originaux ou revues et a été citée 50 fois dans les publications des 6000 périodiques indexés, son IF sera de 0,5. If faut noter qu’il existe d’autres critères comme le Self Citing Index qui quantifie le degré d’autocitation d’une revue, le Self Cited Index qui est le nombre d’autocitations rapporté au nombre total de citation de la revue par l’ensemble des journaux ou la demi-vie de citation qui est le temps nécessaire pour atteindre 50 % du total des citations répertoriées.

Comme on peut facilement le constater, les indices bibliométriques de l’ISI évaluent avant tout les journaux en tentant de quantifier l’impact qu’ils ont dans la littérature. C’est d’ailleurs dans cette optique qu’ils ont été développés. Il est en effet logique de penser que plus un journal est lu, plus ses articles seront cités comme références. L’IF est donc un outil utile pour la politique éditoriale d’une maison d’édition ou d’un comité de rédaction d’une revue. Les responsables des revues, que ce soit au niveau des éditeurs ou des rédacteurs, vont tenter d’améliorer cet indice, partant du principe qu’au plus il est haut, au plus on peut en déduire que la revue est lue et donc qu’elle sera vendue avec une augmentation du nombre d’abonnements. De cet aspect naissent les recommandations aux auteurs par certaines sociétés scientifiques de citer en références des articles publiés dans leur journal officiel ou celles aux lecteurs (" reviewers ") par certains comités de rédaction de veiller à ce que leur propre revue apparaisse dans les références. Ces attitudes peuvent évidemment biaiser la valeur de l’IF.

L’IF a d’autres applications potentielles. Il peut aider les bibliothécaires dans le choix des abonnements. Il permet également des analyses de tendance comme l’évaluation du poids d’une spécialité médicale ou celle de la place d’un pays dans la littérature internationale. Il faut néanmoins être conscient des limites de l’outil en raison de biais comme la taille du journal (plus il contient d’articles, moins haut sera son IF), la spécialité concernée, la nature des articles (les revues générales seront plus citées), la langue (avec la prédominance de l’anglais) ou les politiques d’autocitation.

Il y a actuellement une tendance à évaluer les travaux scientifiques d’un chercheur ou d’une équipe par la détermination de l’IF des revues où ils publient leurs résultats. Pour être valable, cette approche présuppose que la qualité d’une publication est directement liée à l’IF du journal. Très peu de travaux ont étudié cette problématique avec une méthodologie adéquate.

Le groupe de recherche en médecine factuelle de l’ELCWP (European Lung Cancer Working Party) à l’Institut Bordet a étudié la relation entre l’IF et la qualité méthodologique des articles . En se basant sur les différentes revues systématiques et méta-analyses qu’il a réalisées au cours des dix dernières années , ce groupe a évalué 181 articles publiés dans une trentaine de journaux et portant sur des études randomisées dans le traitement du cancer bronchique, par deux scores de qualité différents, à savoir ceux décrits par Chalmers et par lui-même (score ELCWP). Ces échelles permettent de donner une évaluation quantitative de l’article publié selon différents critères méthodologiques. Chalmers définit des critères de validité interne comme la méthode de randomisation ou le design scientifique des résultats et des critères de validité externe comme les caractéristiques des patients inclus ou l’analyse des données de survie. L’ELCWP (4) emploie des critères liés à la description du protocole de l’étude comme la description du traitement ou la méthode de randomisation et d’autres en relation avec l’analyse de l’essai comme la période de la réalisation de l’étude ou les résultats en terme de réponse, de survie et de toxicité. Ces deux scores sont très bien corrélés. Il faut cependant garder à l’esprit que c’est plus la publication que l’étude elle-même qui est évaluée : une très bonne étude rapportée dans un article très mal rédigé va en effet avoir de mauvais scores de qualités. La responsabilité du comité de rédaction se trouve donc engagée également dans la qualité de la revue si elle ne publie pas des articles de qualité.

L’analyse statistique a montré que la corrélation entre les scores de qualité de ces publications et l’IF des revues où elles sont parues, est faible. Le coefficient de corrélation ne dépasse pas 0,40 et ce quel que soit le facteur d’impact pris en considération : celui de l’ISI au moment de la publication, celui de l’ISI pour l’année 1999, l’Eurofactor spécialement établi pour les publications pour les journaux européens, le Prestige Factor ne prenant en compte que les études originales en excluant les articles de revue. Le tableau I donne le classement par ordre décroissant des principales revues où les études ont été publiées selon le score de qualité des articles ou selon l’IF du journal. Il est facile de constater que des revues comme Annals of Oncology ou British Journal of Cancer qui publient des articles de très bonne qualité ont des IF nettement moindres que par exemple le New England Journal of Medicine malgré des scores de qualité similaires ou des IF relativement équivalents à l’International Journal of Radiation Oncology, Biology and Physics dont les scores de qualité des articles sont relativement médiocres.

Les travaux des auteurs américains ont été comparés à ceux des Européens. Les résultats sont résumés dans le tableau II. Bien que leurs qualités méthodologiques soient similaires, voire un peu supérieures pour les auteurs européens, les Américains publient plus souvent dans des revues à IF plus élevé, et ce avec une relation statistiquement très significative. Cette tendance tend à s’estomper lorsque l’on prend en considération uniquement les travaux les plus récents.

Les essais avec une différence significative entre les résultats des bras de traitement (études dites " positives ") ont été comparés à ceux sans différence statistiquement significative (études dites " négatives "). Ici aussi, comme le montre le tableau III, bien qu’il n’y ait pas de différence de qualité méthodologique, les études " significatives " sont plus souvent publiées dans des revues à IF plus élevé.

L’analyse méthodologique de la littérature a ainsi permis d’établir qu’il existe un lien entre d’une part l’IF et d’autre part l’origine des auteurs et la " positivité " de leurs résultats mais que l’IF n’est pas bien corrélé à la qualité des études. Cette analyse, basée sur approche inspirée des principes de la médecine factuelle (" evidence-ba sed medicine "), apporte donc une confirmation que l’on ne peut pas juger la qualité d’un chercheur ou d’une équipe en se basant essentiellement sur l’IF des publications, ce dernier restant avant tout un outil bibliométrique destiné à évaluer les revues et non les auteurs. La parution d’un article dans un journal à IF élevé ne préjuge pas de sa qualité scientifique et donc ni de son exactitude ou de sa pertinence conceptuelle. L’évaluation des travaux d’un chercheur ou d’un groupe de chercheur doit donc se faire d’une façon plus traditionnelle et plus qualitative par l’examen du curriculum vitae dans son ensemble et éviter la prise en considération du très biaisé IF des revues où les articles ont été publiés.

Tableau I : Classement des revues selon les scores de qualité méthodologique des articles publiés et selon leur IF.

Ann Intern Med : Annals of Internal Medicine ; Ann Oncol : Annals of Oncology ; JNCI ; Journal of the National Cancer Institute ; Br J Cancer : British Journal of Cancer ; NEJM : New England Journal of Medicine ; JCO : Journal of Clinical Oncology ; Semin Oncol : Seminars in Oncology ; Eur J Cancer : European Journal of Cancer ; Int J Rad Oncol : International Journal of Radiation Oncology, Biology and Physics

Tableau II : Comparaison des articles des auteurs européens et américains en terme d’IF et de score de qualité.

Tableau III : Comparaison des articles en terme d’IF et de score de qualité selon les résultats rapportés.