La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali

La valutazione della ricerca di ateneo, i ranking

internazionali e le graduatorie nazionali

Alberto Baccini

Bologna, 21 novembre 2014

Alberto Baccini, Ranking e valutazione

htt

p:/

/w

ww

.bo

sto

nm

agaz

ine.

com

/n

ews/

arti

cle/

2014/08

/26/h

ow

-no

rth

east

ern

-gam

ed-t

he-

colle

ge-r

ankin

gs/

“…schools ranked highly received

increased visibility and prestige,

stronger applicants, more alumni

giving, and, most important,

greater revenue potential. A low

rank left a university scrambling

for money.”


La classifica avulsa THE

http://www.roars.it/online/un-the-molto-dolce-per-la-normale-di-pisa/


Benchmarking


Tutta colpa del bosone di Higgs


Tutta colpa del bosone di Higgs

http://www.sciencedirect.com/science/article/pii/S037026931200857X


THE abbandona TR


htt

p:/

/lio

rpac

hte

r.w

ord

pre

ss.c

om

/ta

g/kin

g-

abdula

ziz-

un

iver

sity

/


htt

p:/

/w

ww

.un

iver

sity

affa

irs.

ca/un

iver

sity

-

ran

kin

gs-a

-gam

e-o

f-sn

akes

-an

d-l

adder

s.as

px


ANVUR non fa classifiche…

Fo

nte

: ra

pp

ort

o f

inal

e p. 7


…ANVUR fa graduatorie.


I quadrati magici bibliometrici della VQR


20%

20%

10%

50%


Ma come sono fatti i bersagli VQR veri?

Ce lo dice l’ANVUR: infatti, la Tabella A1.1 ci fornisce proprio le

dimensioni degli anelli del bersaglio per ciascuna area CUN


I bersagli veri cambiano da area ad area e sono

molto diversi dal bersaglio teorico


40%

25%

14%

21%

22%

21%

13%

44%

«Vincere facile»

Ingegneria Industriale e

dell’Informazione

Scienze

Mediche


Non c’è concordanza tra peer review e

bibliometrica per cui


Confronto tra prodotti eccellenti nella VTR e

nella VQR


Alternative locali di policy

Gaming the rules of ANVUR

Eliminare i ricercatori «non produttivi»

Ghost authorship

Costruire cartelli citazionali

Controllare riviste con IF


Alternative locali di policy

Sganciare la valutazione ed il finanziamento locale

da quello nazionale

La valutazione locale ha legittimazione maggiore di

quella nazionale

Scelta dalle comunità scientifiche locali

Obiettivi del finanziamento locale

Favorire la biodiversità della ricerca

Promuovere la qualità della ricerca

Raccomandazioni per la valutazione locale


Un buon punto di partenza per scrivere buone

regole


Le raccomandazioni di DORA

«Non usare metriche riferite alle riviste, come i fattori di impatto della

rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per

valutare i contributi del singolo scienziato, o per decisioni relative ad

assunzioni, promozioni e finanziamenti»

Tre i temi:

1. la necessità di valutare la ricerca per i suoi propri meriti e non sulla base

della rivista su cui è pubblicata;

2. la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione

on-line (riducendo per esempio i limiti non necessari imposti del numero

di pagine, figure e riferimenti bibliografici negli articoli, e esplorando

nuovi indicatori di importanza e impatto)”


Il contenuto è più importante del luogo di

pubblicazione (DORA)

1. rendere espliciti i criteri usati per valutare la produttività scientifica e per le

decisioni di assunzione, tenure e promozione, e sottolineare chiaramente,

specialmente per i giovani ricercatori, che il contenuto scientifico di un

articolo è molto più importante delle metriche della pubblicazione e

dell’identità della rivista nel quale è pubblicato.

2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti

i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle

pubblicazioni, e considerare un ampio insieme di misure di impatto che

includono indicatori qualitativi dell’impatto della ricerca, come l’influenza

sulle politiche e sulle pratiche.


Evitare le classifiche delle riviste


Raccomandazione DORA per i ricercatori

“18. Mettere in dubbio le pratiche di valutazione della

ricerca che fanno affidamento impropriamente su fattori di

impatto delle riviste, e promuovere e insegnare le migliori

pratiche centrate sul valore e l’influenza dei singoli prodotti

della ricerca”


Ridurre i danni della valutazione: anche a livello

locale

http://www.roars.it/online/come-ridurre-i-danni-della-valutazione-un-commento-a-margine-di-

donald-gillies/

La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali

Economy & Finance

Transcript of La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali