Valorisation d’une publication scientifique ...1).pdf · Valorisation d’une publication...

Valorisation d’une publication scientifique:

Bibliographies (IF, H, SIGAPS)

Module national d’enseignement Recherche et Innovation en Imagerie (R2I) des Radiodiagnostics et Imagerie Médicale

P. Devos –DRCI – CHRU de Lille

EA 2694

[email protected]

DESC Radiologie 11/03/2010

Plan

• La recherche… et son évaluation

• Origine de la bibliométrie

• Méthodes et indicateurs

• Un exemple en médecine : SIGAPS

• Le financement des CHU

La recherche … et son évaluation


La recherche… et son évaluation

• Une problématique qui date des années 50.

• Nécessité, pour les grands pays industrialisés, d’évaluer leur potentiel scientifique et technologique.

• 1950 : naissance, au USA, de la National Science Fundation (NSF), chargée de mesurer le niveau scientifique et technologique.

• 1958 : Création par Eugen Garfield, de l’Institute for ScientificInformation (ISI).

• 1960 : Mise en place de l’Organisation pour la Coopération et le Développement Économique (OCDE).


La recherche… et son évaluation

• 1973 : Publication par la NSF des « Sciences Indicators »

• 1984 : Publication par l’OCDE des « Sciences and TechnologyIndicators »

• Mise en place des premières études internationales visant à évaluer et comparer les niveaux scientifiques et technologiques des grand pays industrialisés.

Naissance de la scientométrie


La scientométrie

• Généralement utilisée pour une évaluation macroscopique

(pays, région, institution, …)

• Basée sur la mise en place et l’analyse d’indicateurs

Discipline ayant pour objectif d’étudier, à l’aide de méthodes quantitatives, les processus de création, de diffusion et d’utilisation de la science.

Utilisation fréquente de la bibliométrie


Quelques exemples …

• De nombreuses études et classements

– Classement de Shanghai

– Études OST

– Rapport Even

– …

• De nombreuses implications en terme de :

– Image de marque

– Attractivité (notamment pour les Universités)

– Financement (exemple des MERRI)


La bibliométrie

La bibliométrie se définit comme l'exploitation statistique des publications.

Cette analyse permet de rendre compte de l'activité des producteurs (chercheur,

laboratoire, institut...) ou des diffuseurs (périodique, éditeur...) de l'information

scientifique, tant d'un point de vue quantitatif que qualitatif.

• Quel niveau d’analyse ?

• Quelle base de référence ?

• Quels indicateurs ?

3 questions importantes en bibliométrie :


Le niveau d’analyse

• Quel niveau d’analyse ?– International (Europe / Monde)– Européen– National (interCHU)– Équipe– Chercheur– …

• Méthodologie différente selon que l’on compare :– 2 pays– 2 institutions– 2 chercheurs


Choix de la base d’analyse

• De nombreuses bases disponibles :– Science Citation Index– Pubmed– SCOPUS (Elsevier)– …

• Beaucoup de bases thématiques :– Médicales– Physiques / Chimie– Sciences de l’Ingénieur– …

• Choisir la (ou les) bonnes base(s) !!!


Le Science Citation Index

• Base éditée et commercialisée par Thomson Scientific

• Plus de 7000 revues

• Couvre de nombreux domaines scientifiques

• Une des plus utilisées dans les études bibliométriques

• Interface d’interrogation (Web of Science)

• Coût élevé, accès restreint

• Peu de revues françaises


Pubmed

• Une des bases les plus utilisée en Sciences Biomédicales

• 19 millions de références depuis 1965

• Outils d’extraction automatique disponibles

• Très complète (MESH, GRANTS, GENE, …)

• Gratuite

• Couvre mal certains domaines :

– technologies médicales

– sciences sociales


De nombreuses autres bases

• SCOPUS : un des concurrents du SCI– Nombreuses références

– Bonne couverture des revues françaises

• INSPEC : Physique / Sciences de l’Ingénieur

• EMBASE : Sciences biomédicales et Pharmaceutiques

• PASCAL : Base CNRS

• …


La validité des données

• 2 modes d’interrogation :– Par adresse– Par nom (Interrogation nominative)

• Problèmes des homonymes : Possibilité d’avoir les mêmes nom et prénom (ou initiales)

• Normalisation des adresses : ex Lambret[Adresse]– Centre Oscar Lambret– 1, Av O. Lambret (CHRU !!!)

Nécessité de valider les données (problème récurrent en bibliométrie)


Les indicateurs

• Le nombre total de publications / Part des publications

• Le nombre de citations / Part des citations

• L’Impact Factor de la revue et indices dérivés

• Le facteur h, facteur M, facteur g, …

• …


Le nombre de Publications

• Un indicateur très simple, facile à collecter … pour un chercheur

• Plus difficile à collecter pour une équipe ou un établissement (exhaustivité, doublons, …)


Le nombre de citations

• Plus difficile à obtenir, car disponible dans des bases comme le SCI ou SCOPUS (payantes)

• Dépend de la date de publication de l’article


Le Facteur d’Impact (Impact Factor)

• Indice de citation d’une revue calculé par l’Institute for ScientificInformation (ISI)

• Disponible dans le Journal of Citations Report (JCR)

• Actualisé tous les ans

NB : 2008Nombre de citations des articles parus en 2006 et 2007IF =

Nombre d'articles publiés en 2006 et 2007

Ex : 2008Nombre de citations de Radiology en 2006 et 2007 4425IF (Radiology)= 5.996

Nombre d'articles publiés dans Radiology en 2006 et 2007 738= =


Le Facteur d’Impact

• Très utilisé et … très controversé

• Mesure le rayonnement d’une revue et pas d’un article

• Très variable d’une discipline à l’autre

• Avantage clairement les revues anglo-saxonnes

• Mais un des rares indices qui existe …


Le facteur H

• Basé sur le nombre d’articles ET de citations• Peu d’articles beaucoup cités … et beaucoup d’articles peu cités

0

2

4

6

8

10

12

14

0 5 10 15 20

« A scientist has index h if h of his/her Np papers have at least h citations each, and the other (Np - h) papers have no more than h citations each. »

JE Hirsch

Article Citations1 122 103 104 85 66 57 48 49 4

10 311 312 213 214 115 116 017 018 019 020 0


Quelques références

• B. Godin, The emergence of S&T indicators: why did governments supplement statistics with

indicators, Research Policy, 2003, 679-691

• E. Garfield, Fortnightly Review: How can impact factors be improved ?, British Medical Journal, 313

(1996) 411-413.

• P.O Seglen, Why the impact factor of journals should not be used for evaluating research, British

Medical Journal, 314(1997) 498-502.

• JE Hirsch, An index to quantify an individual’scientific research output, Physics, 2005

• R. Costas , M. Bordons, The h-index: Advantages, limitations and its relation with other bibliometric

indicators at the micro level, Journal of Informetrics, In Press, March 2007

• J. Imperial and A. Rodríguez-Navarro, Usefulness of Hirsch’s h -index to evaluate scientific research in

Spain, Scientometrics, 71(2), 2007, 271:282

• L. Egghe, Theory and practice of the g-index, Scientometrics, Vol 69 (2006) 131-152


Quelques liens

• http://www.nsf.gov/statistics/

• http://www2.pasteur.fr/infosci/biblio/services/metrie/

• http://www.isinet.com

• http://www.obs-ost.fr/fr/

• http://www.garfield.library.upenn.edu/impactfactor.html

• http://www.springerlink.com/content/1588-2861/

• http://www.elsevier.com/locate/respol

• http://www.sigaps.fr

La bibliométrie et les sciences biomédicales :

l’exemple SIGAPS


Les sciences biomédicales

• Usage courant des techniques de bibliométrie par les grands organismes pour l’évaluation des chercheurs et équipes :

– l’INSERM : https://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/index.jsp– Le CNRS : http://www.cnrs.fr/comitenational/accueil.html

• Enquêtes nationales : enquête réalisée par l’OST par exemple.

• Ces outils permettent le calcul d’indicateurs d’activité mais ne permettent pas :– Les statistiques par service, pôle, discipline, …– L’analyse des collaborations– Une politique de recherche au niveau local


Recensement des Publications Scientifiques

• Publications scientifiques : – Un des éléments quantifiant la Recherche d’un Établissement, d’une

équipe, ou d’un chercheur.– Indispensable : justification, évaluation interne/externe, MERRI, ...

• Recensement difficile en pratique :– Charge de travail énorme, exhaustivité– Problème de doublons, de validation

• Charge de travail des cliniciens ? Doit être MINIMALE

• Proposition en Novembre 2001, d’un concept permettant la synthèse automatique des publications.

Système d ’Interrogation, de Gestion et d ’Analyse des Publications Scientifiques


Principe de SIGAPS

SIGAPS

Impact Factor Categorie CouleurIF > P90 A

Q3 < IF < P90 BMED < IF < Q3 CQ1 < IF < MED D

IF < Q1 EInconnu NC

+

0

Recenser

Télécharger

Analyser

Visualiser

Agréger Évaluer

Navigateur Web

Hôpital

Pôle

A B C D E

Service

A B C D E

Service Service

Pôle


Le recensement des publications

• Avantages :– Une des bases les plus utilisée en Sciences Biomédicales– 19 millions de références depuis 1965– Outils d’extraction automatique disponibles– Très complète (MESH, GRANTS, GENE, …)– Gratuite

• Limites :– Couvre mal certains domaines (technologies, sciences sociales)

Basé sur l’interrogation nominative du serveur Pubmed

Problèmes d’homonymes Nécessité de valider les publications Procédures de Validation intégrées au logiciel


L’Évaluation des articles

• Problème : l’IF varie fortement d’une discipline à une autre :

– Informatique Médicale, 0.431 à 2.091 (médiane=0.808)

– Biologie Cellulaire, 0.25 à 29.2 (médiane=2.188)

• Classification statistique, par discipline, en 5 catégories (A à E) correspondant aux percentiles de l’IF.

• Revues non recensées par l’ISI (actes de congrès, par exemple), sont affectées à la catégorie NC.

Échelle à 6 niveaux basée sur l’Impact Factor

Avec cette classification, chaque discipline a 10% de journaux en catégorie A, 15% in B, 25% in C, …

Max

Min

Médiane

Q3

Q1

+

0P90

A

B

C

D

E

NCNon Classé par l’ISI


2 Exemples

• BLOOD :– Classé par l’ISI dans la discipline MA (HEMATOLOGY)– 60 revues dans cette discipline– Calcul des percentiles (Q1=1.29, Q2=2.01, Q3=3.65, P90=5.68)– IF(BLOOD)=10.13 donc classé A

• AMERICAN JOURNAL OF CRITICAL CARE– Classé par l’ISI dans les disciplines DS (CRITICAL CARE

MEDICINE) et RY (NURSING)– 49 revues dans les disciplines DS ou RY– Calcul des percentiles (Q1=0.58, Q2=0.85, Q3=1.28, P90=2.93)– IF(AJCC)=1.34 donc classé B


Les revues de RadiologieDiscipline ISI : VY (RADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING)

ISSN Titre 2001 2002 2003 2004 2005 2006 2007 20081619-7070 Eur J Nucl Med Mol Imaging NC A B A A A A A0278-0062 IEEE Trans Med Imaging A A A A A A A A0020-9996 Invest Radiol B B C C B B A A0161-5505 J Nucl Med A A A A A A A A1361-8415 Med Image Anal NC A A A A A A A1053-8119 Neuroimage A A A A A A A A0033-8419 Radiology A A A A A A A A0001-2998 Semin Nucl Med B B A A B A A A0363-9762 Clin Nucl Med E E E C C C B B1555-4309 Contrast Media Mol Imaging NC NC NC NC NC D D B0938-7994 Eur Radiol C D C C C B B B1065-9471 Hum Brain Mapp A A A A B B A B0360-3016 Int J Radiat Oncol Biol Phys B B B B B B B B1083-3668 J Biomed Opt B B B B B B B B0740-3194 Magn Reson Med A A B A B B B B0094-2405 Med Phys B B B B B B B B1535-3508 Mol Imaging NC NC NC NC NC NC NC B1536-1632 Mol Imaging Biol NC B B B B B B B0952-3480 NMR Biomed B C B B C B B B0031-9155 Phys Med Biol C B B B B B B B0271-5333 Radiographics C C C B C C C B0167-8140 Radiother Oncol B B C C C B B B1053-4296 Semin Radiat Oncol C C B C B A B B

Disponible dans SIGAPS (Menu Documentation)


Les niveaux d’Analyse


Les statistiques produites

• Nombre de publications par an.

• Place dans les auteurs croisée avec la catégorie.

• Évolution par année et par catégorie.

• Proportion d’articles de chaque catégorie.

• Principales collaborations.

• Liste des termes MESH recensés.

• Détail des revues et nombre de publications.

• Proportions d’articles en français et anglais.

• Détail par discipline

• Bibliographie aux normes de Vancouver, triée par année puis par auteur.


Exemple : Analyse d’un chercheur


Le score SIGAPS

• 2 composantes :– La catégorie de la revue (C1)– La position dans les auteurs (C2)

Score = C1 * C2

3 si Position =2 ou DernierC2=

4 si Position =1

1 sinon

2 si Position =3C1=

8 si A

3 si D

1 si NC

6 si B

4 si C

2 si E

Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de

32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d’une équipe est la somme des scores de tous les

articles. Si un article contient plusieurs auteurs , le score retenu pour l’article correspond au maximum des scores

des auteurs, chaque article ne pouvant être comptabilisé qu’une seule fois.


Déploiement national du logiciel

!

!

!

!

!

!

!

!

!

!

!

Caen

Besançon

Angers

Clermont FLyon

St Etienne

Nice

Dijon

Brest

Marseille

Bordeaux

AP/HP

Nantes

Nîmes

Rouen

Poitiers

Montpellier

Grenoble

Strasbourg

Tours

Rennes

Nancy

Lille

Amiens

Toulouse

Reims

Limoges

Fort- de France

Pointe à Pitre

Mission confiée par le Ministre chargé de la Santé en Juin 2006

• Déploiement sur 29 CHU, 20 CLCC et 27 CHG

• Mise en place d’un serveur national

• Production d’indicateurs

« mission consistant à assurer la diffusion et l’utilisation du logiciel SIGAPS au sein de l’ensemble des établissements hospitalo-universitaires, et à permettre la définition d’un indicateur fiable du niveau de la production scientifique de ces établissements. »


Au niveau national : État des lieux

• 80 établissements équipés :– 29 Centres Hospitaliers Universitaires– 2 Centres Hospitaliers Régionaux– 20 Centre de Lutte contre le Cancer– 28 Centre Hospitaliers ayant une convention HU– Service de Santé des Armées

• 83 910 publications sur la période 2004-2008– 17,5% classés A, 18,8% classés B– IF moyen : 3.03

Bilan quantitatif et qualitatif, sur des données validées, de la production scientifique réalisée par les établissements hospitaliers.

Le financement MERRI


Le financement : un peu d’histoire

• Financement des Hôpitaux : – Passage progressif d’une dotation globale à un paiement à l’activité– Mise en place du PMSI et de la T2A

• Spécificité des CHU : charges d’enseignement et de recherche

• Abattement de 13% du point ISA

Grande disparité entre les établissements !!!


Le financement : un peu d’histoire

• Première étape : classification en 2005 des CHU en 3 catégories (Faibles chercheurs, Moyens chercheurs, Forts chercheurs) avec des abattements différents.

• Deuxième étape : passage, en 2008, à un nouveau modèle de financement basé sur :– Un socle fixe visant à couvrir les frais de structure– Une part modulable basé sur des indicateurs de résultats– Une part variable (appels d’offre, structure labellisées, …)

Financement de la recherche :


La part modulable

• Représente environ 48% des financements MERRI (900 M€)

• Basé sur 4 indicateurs :– Publications (SIGAPS) : 57.5%– Enseignement (Nb étudiants) : 29%– Essais cliniques (SIGREC) : 10%– Brevets, valorisation : 3.5%

57.5% de la part modulable (~ 530 M€) basés sur SIGAPS


Et en euros ???

• En 2010, valeur du point : ~ 400€

• 1 article dans Radiology en 1er auteur : 32 points

• Environ 13000€ pour l’établissement

• Pendant 5 ans …


En conclusion …

• Publication = Visibilité !!! (AERES, DHOS, MESR, EPST, …)– Pour le chercheur– Pour l’institution

• Publication = Financement

• Attention :– Au choix de la revue (référencement Pubmed, JCR, …)– Utiliser, si possible, des adresses normalisées.

Des questions ?

Valorisation d’une publication scientifique ...1).pdf · Valorisation d’une publication...

Documents

Transcript of Valorisation d’une publication scientifique ...1).pdf · Valorisation d’une publication...