Indicateurs ou Outils d’évaluation de la Recherche ... · SIGAPS/SIGREC – Rennes– 23 Nov...

SIGAPS/SIGREC – Rennes– 23 Nov 2017

Indicateurs ou Outils d’évaluation de la Recherche

Présentation des logiciels SIGAPS et SIGREC

Patrick Devos

Chef de Projet SIGAPS / SIGREC

Direction de la Recherche - CHRU de Lille

EA 2694 – Université de Lille2

Cellule Bibliométrie CNCR

[email protected]


Plan

• L’évaluation de la Recherche

• Le logiciel SIGAPS

• Le logiciel SIGREC

• SIGAPS, SIGREC et les financements MERRI

• SIGAPS/SIGREC : un autre usage

L’évaluation de la

Recherche …


L’évaluation de la recherche

• 1950 : naissance, au USA, de la National Science Fundation (NSF), chargée

de mesurer le niveau scientifique et technologique.

• 1958 : Création par Eugen Garfield, de l’ISI.

• 1973 : Publication par la NSF des « Sciences Indicators »

• 1984 : Publication par l’OCDE des « Sciences and Technology Indicators »

http://www.nsf.gov/ et http://www.oecd.org/sti/msti

Une problématique qui date des années 50 : nécessité, pour les grands pays

industrialisés, d’évaluer leur potentiel scientifique et technologique.


L’évaluation de la recherche

• Nombreuses références internationales :

– National Science Fundation (USA)

– OCDE (International)

– INSERM, CNRS, … AERES (HCERES) en France

– …

• Deux approches complémentaires:

– Input (ressources consacrées) : financement, personnel, plateaux

techniques, ….

– Output (résultats) : brevets, articles scientifiques, thèses , …


Usage systématique de la bibliométrie

• Quelle(s) base(s) de référence ?

– Science Citation Index

– Pubmed

– Scopus

– …

• Quel(s) indicateur(s) ?

– Nombre total de publications

– Nombre de citations

– Impact Factor (ou IF pondéré)

– Facteur h

– Top 1%, Top5%

– Observed/XCR, …

– …

• Quel niveau d’analyse ?

– International (Europe / Monde)

– Européen

– National (interCHU)

– Inter-Régional

– Équipe

– Chercheur

– …

3 questions essentielles !!!

Le logiciel SIGAPS


Recensement des Publications Scientifiques

• Publications scientifiques :

– Un des éléments quantifiant la Recherche

– Indispensable : évaluation interne/externe, financement, ...

• Recensement difficile en pratique :

– Charge de travail énorme, exhaustivité

– Problème de doublons, de validation

• Charge de travail des chercheurs ? Doit être MINIMALE

• Proposition d’un concept de synthèse automatisée des publications.

Système d ’Interrogation, de Gestion et d ’Analyse des Publications Scientifiques


Objectifs de SIGAPS

• Les objectifs du logiciel sont les suivants :

– Faciliter le recensement de la production scientifique référencée

Pubmed (nombre d’articles réalisés sur une période donnée).

– Fiabiliser les données par des mécanismes de validation.

– Faciliter l’évaluation qualitative des articles au regard de la notoriété

des journaux, par discipline, dans lesquels les travaux ont été publiés.

– Automatiser l’analyse pour connaître l’environnement recherche de

l’établissement (collaborations internes, externes, …) et suivre son

évolution au cours du temps


Principe de SIGAPS

SIGAPS

Impact Factor Categorie Couleur

IF > P90 A

Q3 < IF < P90 B

MED < IF < Q3 C

Q1 < IF < MED D

IF < Q1 E

Inconnu NC

+

0

Recenser

Télécharger

Analyser

Visualiser

Agréger Évaluer

Hôpital

Pôle

A B C D E

Service

A B C D E

Service Service

Pôle

Navigateur Web


Le recensement des publications

• Avantages :

– Une des bases les plus utilisée en Sciences Biomédicales

– 27 millions de références depuis 1950,

– 5600 journaux indexés Medline, 2300 indexés Pubmed Central, …

– Outils d’extraction automatique disponibles

– Très complète (MESH, GRANTS, GENE, …)

– Gratuite

• Limites :

– Couvre mal certains domaines (technologies, sciences sociales)

Interrogation nominative du serveur Pubmed

Problèmes d’homonymes Nécessité de valider les publications

(Et non sur les adresses, comme souvent en bibliométrie !!)


La Validation des données

• Dans SIGAPS, 3 niveaux de validation :

– Validation automatique VA (par le système)

– Validation externe VE (par l’administrateur)

– Validation manuelle VM (par le chercheur)

• Niveau de validation global : calcul de VF :

– VA : poids 1

– VE : poids 3

– VM : poids 9

Problème de la validité des données : homonymes, noms de jeune fille, …

Score variant de -13 à +13

1 2 3 4 5 6 7 8 9 10 11 12 13

VA VE VM

95 % au niveau national


L’Évaluation des articles

• Problème : l’IF varie fortement d’une discipline à une autre :

– Informatique Médicale, 0.513 à 3.59 (médiane=1.65)

– Biologie Cellulaire, 0.24 à 31.35 (médiane=3.18)

• Classification statistique, par discipline, en 5 catégories (A à E)

correspondant aux percentiles de l’IF.

• Revues non recensées par l’ISI (actes de congrès, par exemple),

sont affectées à la catégorie NC.

Échelle à 6 niveaux basée sur l’Impact Factor

Avec cette classification, chaque discipline a 10%

de journaux en catégorie A, 15% in B, 25% in C, …

Max

Min

Médiane

Q3

Q1

+

0

P90 A

B

C

D

E

N

C Non Classé par l’ISI Nécessite un abonnement


Comparaison de quelques disciplines

IF2015 = 𝑁𝑜𝑚𝑏𝑟𝑒 𝑑𝑒 𝑐𝑖𝑡𝑎𝑡𝑖𝑜𝑛𝑠,𝑒𝑛 2015, 𝑑𝑒𝑠 𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2013 𝑒𝑡 2014

𝑁𝑜𝑚𝑏𝑟𝑒 𝑑′𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2013 𝑒𝑡 2014


Exemple : Revues de Neurosciences

RU : NEUROSCIENCES

Disponible dans SIGAPS (Menu Documentation)

IF Cat. IF Cat. IF Cat. IF Cat. IF Cat.

100962781 1471-003X 1471-0048 Nat. Rev. Neurosci. 30.445 A 31.673 A 31.376 A 31.427 A 29.298 A RU

7808666 0140-525X 1469-1825 Behav Brain Sci 9.396 A 18.571 A 14.962 A 20.771 A 20.415 A BV CN RU

9708669 1364-6613 1879-307X Trends Cogn. Sci. (Regul. Ed.) 12.586 A 16.008 A 21.147 A 21.965 A 17.85 A CN RU VX

9809671 1097-6256 1546-1726 Nat. Neurosci. 15.531 A 15.251 A 14.976 A 16.095 A 16.724 A RU

7804039 0147-006X 1545-4126 Annu. Rev. Neurosci. 25.737 A 20.614 A 22.66 A 19.32 A 14.265 A RU

8809320 0896-6273 1097-4199 Neuron 14.736 A 15.766 A 15.982 A 15.054 A 13.974 A RU

9607835 1359-4184 1476-5578 Mol. Psychiatry 13.668 A 14.897 A 15.147 A 14.496 A 13.314 A RU CQ VE

370121 0301-0082 1873-5118 Prog. Neurobiol. 8.874 A 9.035 A 10.301 A 9.992 A 13.177 A RU

7808616 0166-2236 1878-108X Trends Neurosci. 14.235 A 13.582 A 12.902 A 13.555 A 12.504 A RU

412041 0001-6322 1432-0533 Acta Neuropathol. 9.32 A 9.734 A 9.777 A 10.762 A 11.36 A RU RT TM

213264 0006-3223 1873-2402 Biol. Psychiatry 8.283 A 9.247 A 9.472 A 10.255 A 11.212 A RU VE

372537 0006-8950 1460-2156 Brain 9.457 A 9.915 A 10.226 A 9.196 A 10.103 A RU RT

7707449 0364-5134 1531-8249 Ann. Neurol. 11.089 A 11.193 A 11.91 A 9.977 A 9.638 A RU RT

8504412 0742-3098 1600-079X J. Pineal Res. 5.794 B 7.304 A 7.812 A 9.6 A 9.314 A UM IA RU

7513292 0091-3022 1095-6808 Front Neuroendocrinol 11.429 A 7.985 A 7.581 A 7.037 A 8.852 A IA RU

7806090 0149-7634 1873-7528 Neurosci Biobehav Rev 8.65 A 9.44 A 10.284 A 8.802 A 8.58 A CN RU

9110718 1047-3211 1460-2199 Cereb. Cortex 6.544 A 6.828 A 8.305 A 8.665 A 8.285 A RU

9804678 1087-0792 1532-2955 Sleep Med Rev 6.931 A 8.681 A 9.141 A 8.513 A 7.341 A RU RT

9504819 1073-8584 1089-4098 Neuroscientist 4.568 B 5.633 B 7.618 A 6.837 A 7.295 A RU RT

101266600 1750-1326 Mol Neurodegener 4.278 B 4.007 C 5.286 B 6.563 A 6.51 A RU

8904907 0893-133X 1740-634X Neuropsychopharmacology 7.991 A 8.678 A 7.833 A 7.048 A 6.399 A TU RU VE

9111376 0959-4388 1873-6882 Curr. Opin. Neurobiol. 7.444 A 7.335 A 6.765 A 6.628 A 6.373 A RU

9009029 1040-7308 1573-6660 Neuropsychol Rev 6.618 A 6.42 A 5.4 B 4.592 B 6.061 A RU

8200710 0333-1024 1468-2982 Cephalalgia 3.43 C 3.485 C 4.121 B 4.891 B 6.052 A RU RT

8806785 0894-1491 1098-1136 Glia 4.82 B 5.066 B 5.466 B 6.031 A 5.997 A RU

8102140 0270-6474 1529-2401 J. Neurosci. 7.115 A 6.908 A 6.747 A 6.344 A 5.924 A RU

101282001 1863-2653 1863-2661 Brain Struct Funct 5.628 B 7.837 A 4.567 B 5.618 B 5.811 A AY RU

9107859 1180-4882 1488-2434 J Psychiatry Neurosci 5.342 B 6.242 A 7.492 A 5.861 B 5.57 A RU VE

7508686 0304-3959 1872-6623 Pain 5.777 A 5.644 A 5.836 A 5.213 B 5.557 A RU BA RT

9215515 1053-8119 1095-9572 Neuroimage 5.895 A 6.252 A 6.132 A 6.357 A 5.463 A RU RX VY

2013 2014 2015Discipline(s)NLMid ISSN ESSN Titre

2011 2012


L’interface


Exemple : Analyse d’un chercheur


Le score SIGAPS

• 2 composantes :

– La catégorie de la revue (C1)

– La position dans les auteurs (C2)

Score = C1 * C2

3 si Position =2 ou Avant-dernier

C2=

4 si Position =1 ou Dernier

1 sinon (y compris IL)

2 si Position =3 C1=

8 si A

3 si D

1 si NC

6 si B

4 si C

2 si E

Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de

32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d’une équipe est la somme des scores de tous les

articles. Si un article contient plusieurs auteurs , le score retenu pour l’article correspond au maximum des scores

des auteurs, chaque article ne pouvant être comptabilisé qu’une seule fois.


Article Multi-établissements

Induced-membrane femur reconstruction after resection of bone malignancies:

three cases of massive graft resorption in children.

Accadbled F, Mazeau P, Chotel F, Cottalorda J, Sales de Gauzy J, Kohler R.

Orthop Traumatol Surg Res. 2013 99:479-83.

CHU Toulouse CHU Lyon CHU Montpellier

1er (4), ADA (2)

3*4= 12 points

pour Toulouse

2ème (3), 4ème (1) 3ème (2), DA (4)

3*3= 9 points

pour Montpellier

3*4= 12 points

pour Lyon

Orthop Traumatol Surg Res (OTSR): classée D donc 3 points


Utilisation au sein des établissements

• Pour le chercheur, le responsable d’équipe : un outil d’auto-évaluation :

– Une vue précise des activités, thématiques (MESH), collaborations

– Une évaluation de la performance : %AB, score moyen, …

• Pour l’établissement :

– Recensement exhaustif et temps réel des publications

– Una aide dans la stratégie Recherche :

• Pôles d’excellence

• Collaborations – Réseaux internes / externes

• Thématiques étudiées

– Un outil de valorisation :

• En terme d’image de marque

• Valorisation économique (MERRI)


Au niveau national : État des lieux

Bilan quantitatif et qualitatif, sur des données validées, de la

production scientifique réalisée par les établissements hospitaliers.

• Près de 500 établissements équipés :

– 32 CHRU / CHR

– 18 Centres de Lutte contre le Cancer

– 17 PSPH (FEHAP)

– 90 Centre Hospitaliers

– Service de Santé des Armées

– 250 cliniques privées

• 295 000 publications (JA, Edito, Review) sur la période 2000-2016

– 18.6% classés A, 20.7% classés B

– 13000 en 2000, 22200 en 2016 (+ 71% en 16 ans)


Niveau National : Calcul d’Indicateurs MERRI 2016

Période de 4 ans (2012-2015) - Pondération (8 6 4 3 2 1)*(4 3 2 1 .. 3 4)

Prise en compte des publications "Journal Article", "Editorial" et "Review"

http://solidarites-sante.gouv.fr/IMG/xlsx/dotation_socle_2017_mel.xlsx

Finess

ARBUSTRaison Sociale Statut Région

Date du

1er

export

Score-

2012

Score-

2013

Score-

2014

Score-

2015

Score

2012-2015

750712184 AP-HP CHR Île-de-France 2009 118185 121030 110656 154673 28.22

690781810 HOSPICES CIVILS DE LYON CHR Auvergne-Rhône-Alpes 2009 22830 23238 21900 28149 5.39

130786049 AP-HM CHR Provence-Alpes-Côte-d'Azur 2009 18471 18234 17904 18232 4.11

590780193 CHRU DE LILLE CHR Hauts-de-France 2009 14117 15041 13714 16213 3.32

310781406 CHU DE TOULOUSE CHR Occitanie 2009 13921 15262 13372 15293 3.25

330781196 CHU HOPITAUX DE BORDEAUX CHR Nouvelle-Aquitaine 2009 13805 13137 13855 16211 3.20

340780477 CHU DE MONTPELLIER CHR Occitanie 2009 12504 14361 13570 13943 3.06

940000664 GUSTAVE ROUSSY CLCC Île-de-France 2009 10510 10505 12712 13016 2.63

440000289 CHU DE NANTES CHR Pays-de-la-Loire 2009 10426 10669 10901 11290 2.44

670780055 HOPITAUX UNIVERSITAIRES DE STRASBOURG CHR Grand-Est 2009 9821 9701 9237 10314 2.20

540023264 CHU DE NANCY - SINCAL CHR Grand-Est 2009 9331 9395 9055 10042 2.13

380780080 CHU GRENOBLE CHR Auvergne-Rhône-Alpes 2009 8404 8943 8008 8818 1.92

750160012 INSTUTUT CURIE - SAINT-CLOUD CLCC Île-de-France 2009 8333 9065 6862 7745 1.81

350005179 CHU DE RENNES CHR Bretagne 2009 7073 7511 7636 8865 1.74

370000481 CHRU DE TOURS CHR Centre-Val-de-Loire 2009 6798 7748 6692 7588 1.62

060785011 CHU DE NICE - FONDATION LENVAL CHR Provence-Alpes-Côte-d'Azur 2009 6475 6005 7284 7289 1.52

490000031 CHU D'ANGERS CHR Pays-de-la-Loire 2009 5281 6063 6027 6852 1.36

300780038 CHU DE NIMES CHR Occitanie 2009 6416 7179 5930 3928 1.34

210780581 CHU DIJON CHR Bourgogne-Franche-Comté 2009 5670 5611 5679 6331 1.31

760780239 CHU DE ROUEN CHR Normandie 2009 5685 5358 5255 5932 1.25

630780989 CHU DE CLERMONT-FERRAND CHR Auvergne-Rhône-Alpes 2009 4654 5653 5278 6365 1.23

420784878 CHU SAINT-ETIENNE CHR Auvergne-Rhône-Alpes 2009 5002 4952 5370 5930 1.19

750810814 SERVICE DE SANTE DES ARMEES SSA Île-de-France 2009 5529 5412 5201 4637 1.18

250000015 CHU DE BESANCON CHR Bourgogne-Franche-Comté 2009 4627 4979 5267 5697 1.16

140000100 CHU DE CAEN CHR Normandie 2009 4032 5236 4862 5191 1.08

290000017 CHRU DE BREST - CH MORLAIX - CH QUIMPER CHR Bretagne 2016 4227 3851 4697 5637 1.03

800000044 CHU D'AMIENS CHR Hauts-de-France 2009 4228 4766 4471 4579 1.02

860014208 CHR DE POITIERS CHR Nouvelle-Aquitaine 2009 4116 4276 3705 3991 0.91

510000029 CHU DE REIMS CHR Grand-Est 2009 4054 4022 3561 4377 0.90

870000015 CHU DE LIMOGES CHR Nouvelle-Aquitaine 2009 3657 3625 4091 4398 0.89

Dégroupage

Le logiciel SIGREC


Pourquoi SIGREC ?

• Nécessité de disposer d’un outil qui permet le recensement des

essais cliniques et le suivi des inclusions.

• Rapprochement de 2 démarches :

– Démarche CENGEPS : indicateurs de suivi des essais et des inclusions.

– Démarche MT2A : indicateurs pour le financement MERRI.

• Tous types de Promotion :

– Promotion académique :

• CHU, CLCC, CH

• Sociétés savantes, Associations, EPST, …

– Promotion industrielle


Les principes de SIGREC

• Automatiser et généraliser les échanges d’informations entre les établissements.

• Les informations générales de l’essai sont saisies par le promoteur et transmises aux centres investigateurs.

• Seul le promoteur peut modifier les caractéristiques de l’étude. Il peut alors automatiquement transmettre les modifications réalisées : système de synchronisation.

• Les inclusions sont saisies par les investigateurs et transmises automatiquement au promoteur.


Le logiciel : Informations Générales


Le logiciel : Gestion des Centres


Le logiciel : les rapports


3 indicateurs

• Le score « Essais » : calculé à partir du nombre d’études actives (tous promoteurs) avec diverses pondérations.

• Les inclusions "Promoteur" : nombre d'inclusions réalisées dans les essais pour lesquels l'établissement est promoteur, quelque soit le centre. Ce nombre mesure le nombre d'inclusions suivies par l’établissement au titre de promoteur.

• Les inclusions "Investigateurs" : c'est le nombre d'inclusions réalisées au sein d'un établissement, quelque soit le promoteur. Ce nombre mesure le nombre réel d'inclusions réalisées au sein d'un établissement.

• Une pondération est appliquée aux inclusions pour éviter de sur pondérer les études à grand nombre d’inclusions.

Ne comptabilise que les Recherches Interventionnelles (RBM et SC)

Adaptation à prévoir pour les études RIPH (Loi Jardé)


Le score « Essais »

• S1: « Établissement promoteur" : calculé à partir des essais dont

l’établissement est promoteur.

• S2 : "Investigateur" dans des essais promus par un autre établissement

MERRI.

Surpondération pour les études Phase I ou Phase II

• S3 : "Industriels" : score calculé sur l’ensemble des essais industriels

pour lesquels l’établissement est investigateur. Plus pris en compte

• S4: "Académiques non institutionnels" : calculé sur l’ensemble des essais

promus par des associations, sociétés savantes, ... dont l’établissement est

investigateur ou coordonnateur. Plus pris en compte


Le score « Essais »

Score « Nombre d’études » - Exemple : études RI actives en 2014

Attention : Ne sont prises en compte que les études avec inclusions !!

Promoteur Investigateur

LibelléMulti

centrique

Multi

centrique12

Mono

centrique

Mono

centrique12S1 Inves Inves12 S2

Score

Essai

Assistance Publique - Hôpitaux de Paris 219 16 150 14 3170 438 53 491 3661

Hospices civils de Lyon 62 9 85 8 1175 181 21 202 1377

CHRU de Lille 42 5 101 4 995 159 18 177 1172

CHU de Montpellier 43 1 91 0 895 138 8 146 1041

Assistance Publique - Hôpitaux de Marseille 29 2 103 0 825 161 16 177 1002

Coeff Nombre Total

Muticentrique Phase I/II 20 5 100

Muticentrique Non Phase I/II 10 37 370

Monocentrique Phase I/II 10 4 40

Monocentrique Non Phase I/II 5 97 485

995

Coeff Nombre Total

Investigateur Phase I/II 2 18 36

Investigateur Non Phase I/II 1 141 141

177


Pondération des inclusions MERRI 2009-2010

Classe NbEssais NbInclusions Mediane %NbEssais % NbInclusions Coeff

[1-200] 1499 42652 14 95.42 52.60 1

[201-500] 53 15546 291 3.37 19.17 0.8

[500-1000] 14 9400 616 0.89 11.59 0.5

> 1000 5 13494 2309 0.32 16.64 0.1

Total 1571 81092 15 100.00 100.00

0

100

200

300

400

500

600

700

800

900

1000

1100

0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000

Nombre d'Inclusions

Sco

re "

Incl

usi

ons"

Les 5 essais à plus de 1000 inclusions ne représentent plus que 6.24% au lieu de 16.64%

Même principe pour les MERRI 2011 et 2012 – Classes et coefficients différents


MERRI 2013 - Passage au logarithme : y=Ln(x+1)

0.000

1.000

2.000

3.000

4.000

5.000

6.000

0 20 40 60 80 100 120 140 160 180 200

Nombre d'Inclusions

Sco

re

NbInclus Ln(x+1)

1 0.693

2 1.099

3 1.386

4 1.609

5 1.792

6 1.946

7 2.079

8 2.197

9 2.303

10 2.398

11 2.485

12 2.565

13 2.639

14 2.708

15 2.773

NbInclus Ln(x+1)

20 3.045

50 3.932

100 4.615

150 5.017

200 5.303

300 5.707

400 5.994

500 6.217

1000 6.909

1500 7.314

2000 7.601

3000 8.007

5000 8.517

10000 9.210

10 inclusions = 2.4 points

100 inclusions = 4.6 points


MERRI 2014 - Passage à la racine carrée: y= 𝑥

NbInc Score

1 1.00

2 1.41

3 1.73

4 2.00

5 2.24

6 2.45

7 2.65

8 2.83

9 3.00

10 3.16

11 3.32

12 3.46

13 3.61

14 3.74

15 3.87

NbInc Score

20 4.47

50 7.07

100 10.00

150 12.25

200 14.14

300 17.32

400 20.00

500 22.36

1000 31.62

1500 38.73

2000 44.72

3000 54.77

5000 70.71

10000 100.00


Les scores Inclusions : exemple

Etude Multicentrique

Promotion Lille

CHU Montpellier

100 inclusions

Score Inclusion Promoteur : 200 = 14.1421 pour Lille

Score Inclusion Investigateur : répartition au prorata des inclusions

UL Bruxelles

50 inclusions

CHU Lille

50 inclusions

200 inclusions en 2014

Inc Inv : 0𝐼𝑛𝑐 𝐼𝑛𝑣 ∶ 50

200200 𝐼𝑛𝑐 𝐼𝑛𝑣 ∶

100

200200

SIGAPS, SIGREC et les

financements MERRI


La dotation socle (ex Part modulable)

• 1.57 Milliard d’euros en 2017

• Basée sur une logique de résultats

• Résultats mesurés par des indicateurs :

– Publications (SIGAPS)

– Enseignement (Nb étudiants)

– Essais cliniques (SIGREC)

943 M€ en 2017

236 M€ en 2017


Un modèle qui évolue…

• Accroissement du poids budgétaire de la part modulable par transfert

des crédits de la part fixe depuis 2012 (transfert achevé en 2016)

• Modifications des poids relatifs des indicateurs au sein de la part

modulable

• Modifications des modes de calculs des indicateurs

• Apparition du « dégroupage » pour l’AP/HP et les HCL (MERRI 2017)

2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Publications 64.2 60 57.5 57.5 57.5 57.5 59.86 59.86 60.00 60.00

Essais cliniques - 7.5 10 11.5 12.5 13.5 14.05 14.05 15.00 15.00

Etudiants 33.9 29 29 29 29 29 26.09 26.09 25.00 25.00

Valorisation 1.9 3.5 3.5 2 1 0 0 0 0 0

Autres Exploitations des

données SIGAPS/SIGREC


Impact du Plan Alzheimer

Nombre d’Articles sur la MA, période 2005-2016

http://www.ncbi.nlm.nih.gov/pubmed/26796477


Indices de Spécialisation par GIRCI

2004-2008 2009-2013 2004-2008 2009-2013 2004-2008 2009-2013 2004-2008 2009-2013 2004-2008 2009-2013

GIRCI Est 0.83 0.94 0.93 1.13 0.31 0.36 0.97 1.17 0.44 0.54

GIRCI Grand Ouest 0.81 0.92 0.52 0.62 1.02 1.11 0.98 1.05 0.75 0.79

GIRCI Ile de France 0.85 0.81 1.05 1.04 0.80 0.75 1.06 1.00 1.43 1.51

GIRCI Nord Ouest 1.73 1.54 1.75 1.60 1.81 1.46 0.95 1.25 0.32 0.47

GIRCI Rhône Alpes-Auvergne 0.67 0.77 1.07 0.97 1.54 1.48 0.94 0.94 0.52 0.60

GIRCI Sud Méditerrannée 1.26 1.08 0.43 0.60 0.51 0.69 0.91 0.87 1.03 1.03

GIRCI Sud-Ouest Outre-Mer 1.94 2.19 1.07 1.08 1.96 2.36 1.01 0.98 1.75 1.68

Indices de Spécialisation (Scores)Alzheimer AVC Parkinson Diabète SIDA

Des inter-régions à thématiques très diverses…

Jaune : IS < Q1 – Vert : IS > Q3


Indices de Spécialisation par Etablissement

Taille de la bulle : score ALZ 2004-2013


Analyse AVC pour L’Express


Cellule Bibliométrie CNCR

• Production globale des CHU : données SIGAPS nationales, par CHU,

GIRCI, positionnement par CNU.

• Les CHU, acteurs majeurs de la recherche translationnelle :

• Contribution des CHU, via le Web of Science, à la production française

dans la recherche biomédicale

• Collaboration avec les partenaires institutionnels (EPST, Universités)

• Des CHU spécialisés : analyses par pathologie

• Priorisation de certains champs

• Comparaison de périodes - Indices de Spécialisation

• Visibilité internationale : unification des adresses dans WoS – 7 CHU

pilotes (Angers, Limoges, Nantes, Paris, Poitiers, Rouen, Strasbourg)

4 Axes de travail : www.cncr.fr


Axe 1 : Analyse des données nationales

Annee Total A B C D E NC Score %AB

2005 13707 2411 2498 2284 1560 4049 905 195112 35.8

2006 14182 2297 2563 2563 1640 4205 914 198419 34.3

2007 14343 2359 2798 2491 1610 4032 1053 201216 36.0

2008 15192 2532 2894 2710 1808 4185 1063 212423 35.7

2009 15655 2920 3140 2650 1896 3859 1190 223706 38.7

2010 16208 3092 3461 2932 2203 3352 1168 236851 40.4

2011 16450 3221 3695 3052 2350 2749 1383 243663 42.0

2012 17356 3333 3958 3377 2382 2654 1652 251813 42.0

2013 17897 3529 3988 3528 2311 2668 1873 258369 42.0

2014 17573 3356 3965 3479 2336 2498 1939 249856 41.7

Total 158563 29050 32960 29066 20096 34251 13140 2271428 39.1

Analyse de la production

des 32 CHU/CHR sur les

10 dernières années

(Journal Article, Editorial, Review, hors IL)

www.cncr.fr


Axe 2 : Unification des adresses

Etablissement SIGAPS Rappel Avant Après EvolutionAP-HP 66691 93.3 27209 62209 229HCL 14614 87.5 7763 12787 165AP-HM 10545 84.2 6176 8877 144CHU Lille 9190 95.5 3487 8779 252CHU Bordeaux 8416 75.7 5198 6370 123CHU Toulouse 8383 91.9 2285 7702 337CHU Montpellier 8184 80.8 2358 6611 280CHU Strasbourg 6518 75.8 2694 4939 183CHU Nantes 6344 81.3 784 5160 658CHU Nancy 5787 80.3 1910 4646 243CHU Grenoble 5133 85.8 2364 4402 186CHU Rennes 4505 79.2 2812 3567 127CHU Nice 4294 81.1 1171 3483 297CHU Tours 4131 83.5 2395 3451 144CHU Rouen 3915 92.4 2264 3618 160CHU Angers 3671 80.5 2776 2955 106CHU Dijon 3399 82.0 1739 2787 160CHU Clermont Fd 3206 85.7 1368 2748 201CHU Nîmes 3147 42.1 1164 1325 114CHU Besançon 3043 92.5 2265 2815 124CHU Caen 2937 87.0 2160 2556 118CHU Amiens 2869 82.4 682 2364 347CHU St Etienne 2812 78.6 1068 2210 207CHU Brest 2683 87.2 2079 2340 113CHU Reims* 2442 85.8 846 2095 248CHU Limoges 2378 80.3 559 1910 342CHU Poitiers 2284 91.4 2012 2087 104CHU Réunion* 802 50.4 25 404CHR Orléans* 668 80.2 176 536 305CHU Martinique* 496 64.1 55 318CHU Pte à Pitre* 307 83.7 107 257CHR Metz Thionville* 259 82.6 72 214 297

WoS

Flyer sur la

production

des CHU


Axe 2 : Unification des adresses

Données Web of Science – Période 2006-2015 - Articles

Productions respectives des CHU et de l’INSERM sur les principales disciplines biomédicales


Question 1

A) 4 points

B) 8 points

C) 12 points

D) 32 points

Je publie un article en premier auteur dans une revue A.

Cet article est comptabilisé :


Question 2

A) 320 €

B) 16 000 €

C) 32 000 €

D) 64 000 €

Je publie un article en premier auteur dans une revue A.

Cet article est comptabilisé 32 points. Il est valorisé environ :


Question 3

A) S1=5 et S2=0

B) S1=5 et S2=1

C) S1=10 et S2=0

D) S1=10 et S2=2

Mon établissement est Promoteur d’une Phase 3 multicentrique

avec 100 inclusions en 2014. Le score Essais est de :


Question 4

A) Inc Prom=10 et Inc Inv=10

B) Inc Prom=10 et Inc Inv=0

C) Inc Prom=5 et Inc Inv=5

D) Inc Prom=10 et Inc Inv=5

Mon établissement est Promoteur d’une Phase 3 multicentrique

avec 100 inclusions en 2014, dont 50 dans l’établissement.

Les score Inclusions sont de :

Des questions ?

[email protected]

Indicateurs ou Outils d’évaluation de la Recherche ... · SIGAPS/SIGREC – Rennes– 23 Nov...

Documents

Transcript of Indicateurs ou Outils d’évaluation de la Recherche ... · SIGAPS/SIGREC – Rennes– 23 Nov...