Miraldi Progress test - unito.it...Implementare il “Progress Test” come possibile forma di...

COMMISSIONE NAZIONALE LAUREA UNIVERSITARIA INCOMMISSIONE NAZIONALE LAUREA UNIVERSITARIA INTECNICHE DI FISIOPATOLOGIA CARDIOCIRCOLATORIA E PERFUSIONE TECNICHE DI FISIOPATOLOGIA CARDIOCIRCOLATORIA E PERFUSIONE

CARDIOVASCOLARECARDIOVASCOLARE

Consiglio DirettivoConsiglio DirettivoPresidentePresidente: Prof. Fabio : Prof. Fabio MiraldiMiraldi

Vice PresidenteVice Presidente: : Dot.ssaDot.ssa Debora CastellaniDebora CastellaniConsiglieri PresidentiConsiglieri Presidenti dr.Paolo Zecchi, Prof. Roberto dr.Paolo Zecchi, Prof. Roberto ParraviciniParravicini, Prof. Giuseppe , Prof. Giuseppe FaggianFaggian..Consiglieri Coordinatori:Consiglieri Coordinatori: sig.Rossella Bernardi, segretario e consigliere, dr.Fabiana Rossig.Rossella Bernardi, segretario e consigliere, dr.Fabiana Rossi, si,

dr.Luigi De Marco.dr.Luigi De Marco.

Progress test: lProgress test: l’’esperienza dei tecnici esperienza dei tecnici di fisiopatologia cardiocircolatoriadi fisiopatologia cardiocircolatoria

Conferenza Permanente dei Presidenti di Consiglio di Corso di Laurea Magistrale in Medicina e

ChirurgiaPresidente, Prof. Andrea

Lenzi

Professioni Sanitarie - Roma

21/1/2008 Il PROGRESS TEST

Coordinatore : Alfred Tenore

Gruppo di lavoro:G. Aggazzotti, A. Carducci, G. Valente, L. Vettore, P. Binetti

●Knowledge

Skills Attitude

Progress Assessment

Carlo Della Rocca

Nei primi anni del 1970, la valutazione delle conoscenze si centrava sui cosiddetti “esami di fine anno”.

Diventò chiaro che questi esami avevano un’importante effetto di “steering” sull’apprendimento spingendo gli studenti a prepararsi principalmente per superare questi “esami di fine anno”

IL “ PROGRESS TEST ”

A

In questa maniera veniva indirettamente rinforzato l’aspetto mnemonico e lo studente si limitava a studiare quello che si aspettava fosse il contenuto dell’esame

B

Sorse una nuova filosofia sulla valutazioneSi doveva tralasciare il rapporto diretto tra programmi educativi specifici e la loro valutazione

A

Gli esami non dovevano interferire con un desiderato comportamento individuale di studio

B

La valutazione doveva essere quanto più continua possibileC

Decisioni di “pass/fail” dovevano essere basate su valutazioni longitudinali

D

Gli esami dovevano essere quanto più attendibili e validi possibiliE

INTRODUZIONE

Nei primi anni del 1970, la valutazione delle conoscenze si centrava sui cosiddetti “esami di fine anno”.

Il “ PROGRESS TEST ”

A

In questa maniera veniva indirettamente rinforzato l’aspettomnemonico e lo studente si limitava a studiare quello che si aspettava fosse il contenuto dell’esame

B

Sorse una nuova filosofia sulla valutazione

INTRODUZIONE

Da tutto questo

Emerse un nuovo metodo di valutazione

PROGRESS TEST

Diventò chiaro che questi esami avevano un’importante effetto di “steering” sull’apprendimento spingendo gli studenti a prepararsi principalmente per superare questi “esami di fine anno”

Implementare il “Progress Test” come possibile forma divalutazione routinaria ( semestrale/annuale ) nel corso di laurea

Verificare se l’acquisizione cognitiva è una variabile continua

4

1

Valutare se vi è una perdita di conoscenze correlate alle scienze di base nel corso degli ultimi anni del curriculum medico

2

OBIETTIVI

Aggiornare i modelli di valutazione con cui vengono pensati e proposti i diversi tipi di esame

Sperimentare quei modelli di valutazione che consentono una visione integrata della formazione raggiunta dallo studentein alcuni momenti essenziali del suo percorso formativo

A

B

Promuovere la responsabilità verso un’ auto-valutazione oggettiva della propria preparazione e agire di conseguenza.

3Occasione di riflessione

sulla struttura del curriculume considerazioni

per eventuali azioni correttive

(oppure no)

Il concetto di una modalità di valutazione progressiva può essere sviluppato per un corso di durata molto piùbreve (3 anni vs 6 anni) ?

Gli ambiti disciplinari, i Settori Scientifico Disciplinari, le Aree Formative dei CLUPS possono essere valutati mediante lo stesso criterio del Progress Test utilizzato per Medicina ?

MEDICINA » CLUPS ?

Valutare la capacità dello studente di aumentare le proprie conoscenze nel tempo, di non perderle e la capacità di applicarle.

Valutare non solo l’apprendimento delle conoscenze(studente), ma anche la loro implementazione(professionista).

OBIETTIVI

Coinvolgere tutte le sedi per avere finalmente un iter formativo comune con gli stessi risultati

Valutazione anche dei docenti o meglio di ciò che insegnano

4

1

Verificare se i risultati dei corsi di laurea delle varie sedi sono simili. Se non, uniformare il modo di insegnare e ciò che si insegna

2

OBIETTIVI 2

Ottenere laureati che abbiano svolto il medesimo percorso formativo in tutte le sedi

3

2

1

CARATTERISTICHE dell ’ESAME

1° 1° 2° 2° 3° 3°

( Schema Concettuale )

Domande su un “sapere” che riguarda l’intero percorso di 3 anni, magari divisi in semestri

Studenti dei 3 anni di corso “esposti” tutti alle medesime domande

Aspettative delle risposte date dagli studenti dei vari semestri

basso

alto

Progressione ed integrazione

Ma ancheeventualeperdita

Le caratteristiche particolari del “Progress Test” :A

I risultati di tutti gli anni permettono :

CARATTERISTICHE dell ’ ESAME

Il contenuto del test viene costruito sulla base del profilo professionale

Riflette gli obiettivi finali del core curriculum B

L’esame contiene domande che provengono sia da discipline delle scienze di base, sia da discipline caratterizzanti

Studenti di tutti gli anni di corso fanno lo stesso esame

C

di seguire la crescita di conoscenze di ciascuno studente nel corso di tutti gli anni della sua educazione

A

B di trarre delle conclusioni che riguardano il curriculum o parti del curriculum formativo

Preparazione per l’esame :

Prepararsi all’esame studiando da un libro di testo non è molto utile poiché questo preparerà gli studenti solo per una piccola parte dell’esame, cioè solo quella relativa alle domande dei propri docenti e comunque il test riguarda l’intero corso di studi e quindi sarebbe come preparare tutti gli esami contemporaneamente.

A

Il modo più efficace per prepararsi a sostenere un“progress test” è quello di continuare a studiare la materia costantemente per evitare la perdita di conoscenza, fenomeno che comunque nei CLUPS dovrebbe essere meno importante

B


Preparazione delle Domande

Da docenti dei Corsi Integrati che vengono contattati dai Coordinatori

A

Da docenti di tutte le sedi che hanno aderito al Progress test (~ 60 domande per ogni sede di Corso di Laurea)

B

Ispirarsi al concetto che lo scopo della domanda non ècercare la difficoltà per lo studente ma di attenersi quanto più possibile al core curriculum e al profilo professionale

C


Revisione delle Domande ( Presidente e Vice dellaCommissione Nazionale )

In futuro una commissione ad hocA

Ogni domanda è rivista e se necessario riformulataB

Quando accettata viene archiviata in una banca datiC

Domande “difficili” verranno eliminate in successivi esami, % errore > 70%

D


Numero delle domande

Tempo a Disposizione

CARATTERISTICHE dell’ ESAME

In media : 81 secondi ( 1 minuto e 21 secondi) per domanda

A

132A

1

3 ore per 132 domande

Tipo di domandeA Scelte multiple con 5 possibilità (McMaster)


Dalla banca dati come facciamo a formulare il progress test equamente dato che i programmi di studio non coincidono nei Corsi delle varie Sedi?

Dalle attività formative indispensabili della 270/04

Distribuzione delle DomandeDistribuzione in base all’Area

Distribuzione in base agli ambiti disciplinari


Domande per Area e per Ambiti Disciplinari

Attività formative di base

22 CFU

F

Attivitàcaratterizzanti

Scienze e tecniche della fisiopatologia cardiocircolatoria e perfusione

cardiovascolare (30)

A

B

Scienze interdisciplinari cliniche

( 4)

Scienze medico-chirurgiche ( 2)C

D

Scienze della prevenzione e dei servizi

sanitari ( 2)

E Scienze umane e psicopedagogiche

(2)F Scienze interdisciplinari (2)

Scienze del management sanitario( 2)

44 CFU

Scienze Propedeutiche (8)A

B Scienze Biomediche (11)

Primo Soccorso (3)C

G

CHI FORMULA LE DOMANDE ?

Categoria delle DomandeSettori Scientifico DisciplinariA

Settori Scientifico Disciplinari (SSD)

30

VALUTAZIONE dell’ ESAME

1

Punteggio Attribuito:A

Valutazione sia delle domande corrette che quellesbagliate

1

Valutazione (Aggregata) delle Risposte

N.B.Considerato il metodo più appropriato perchéevita risposte “a caso”

Risposte Corrette = 100Risposte Sbagliate = 18Risposte Non date = 14

Numero domandeCorrette

Numero domandeSbagliate

Numero di domande nell’Esame

X 100 %

100 — 18

132X 100 = 62.1 %



Valutazione sia delle domande corrette che quellesbagliate

1


1


Valutazione sia domande corrette che sbagliate1

2 Valutazione SOLO delle domande corrette



2


Numero domandeCorrette

Numero di domande nell’Esame

X 100 %

Valutazione sia domande corrette che sbagliate1

2 Valutazione SOLO delle domande corrette

100

132X 100 =75.75%

Risposte Corrette = 100Risposte Sbagliate = - - -Risposte Non date = - - -

Risposte Corrette =100Risposte Sbagliate = 18Risposte Non date = 14

100 — 18

132X 100= 62.1%



Valutazione (Analitica) delle Risposte :

Gli studenti possono conoscere i risultati del loro test sia in forma aggregata (numerico) che in forma analitica rispetto agli ambiti culturali presi in considerazione

Gli studenti avranno anche i risultati medi dei loro pari sia del loro Corso che a livello nazionale

A


B

Risultati agli studenti

Incentivo per gli studenti :

Per ogni test vengono attribuiti0,50 crediti (max 3 CFU in 3 anni)

A

Tali CFU sono compresi nelle ADO (6 CFU)

B

37,5

46,747,8

57

43,2

31,8

68,5

44,2

19,3

-6,9

10,4

18,4

-10

0

10

20

30

40

50

60

70

I Anno II Anno III Anno Globali

correttesbagliatebianche

79

52

1

57

43,2

31,8

20,412,4 10,4

0

10

20

30

40

50

60

70

80

Studen Media N % Stud % Corso % MediaN


Risultati ai Docenti

Le domande pertinenti alla loro disciplinaA

Dati statistici di come sono andati i loro studenti nella loro disciplina anche in rapporto con la media nazionale

B

I docenti degli ambiti disciplinari ricevono :

Risultati ai Corsi di Laurea

Analiticamente dei propri studentiA

Dati statistici dei vari corsi di laurea (in modoanonimo) e la media nazionale

B

Ogni corso di laurea riceve i risultati :

Tutti gli anni di Corso sono stati coinvolti in ogni Facoltà tranne che in una sede in cui mancano i risultati del II anno

B

Corsi di Laurea che hanno aderito (Modena, Pisa, Roma “Sapienza 1”, Roma “Sapienza 2”, Roma “Tor Vergata”, Siena, Verona)

A 7 su 17

Arruolamento delle sedi

Arruolamento per sede

�� A A

�� BB

�� CC

�� DD

�� EE

�� FF

�� GG

�� 8 9 78 9 7

�� 8 5 88 5 8

�� 1 1 -- 99

�� 4 4 104 4 10

�� 3 1 43 1 4

�� 4 3 34 3 3

�� 4 3 54 3 5

Modalità di Somministrazione :

COME SI È SVOLTO

Attuazione

Data: in un’unica giornata su tutto il territorio nazionale

A

B Alla fine degli esami del primo semestre

Orario : 3 ore consecutiveC

Modalità di Somministrazione :

Attuazione

D Numero di domande 132

Domande di Base 44

Domande Caratterizzanti 88

1

2

COME SI È SVOLTO

Studenti del 2° anno/1° semestre hanno appena completato la loro preparazione nelle scienze di base

Che ci aspettavamo ?

Dovrebbero mostrare alti risultati nella 1° parteA

Studenti del 3° anno/1° semestre dovrebbero aver quasi completato la loro preparazione nelle materie caratterizzanti perdendo forse parte di quelle di base

Risultati alti, ma minori rispetto al II anno, nella 1° parteRisultati alti nella 2° parte

Dovrebbero mostrare bassi risultati nella 2° parteB

Studenti del 1° anno/1° semestre hanno conoscenze parziali del contenuto dell’esame della 1° parte ed in teoria nulla della 2° parte I loro risultati dovrebbero essere discreti nella 1° parte

0 o addirittura negativi nella 2° parteA

TOTALI PER SEDITOTALI PER SEDI(103 studenti per 7 sedi, valutazione aggregata = %)(103 studenti per 7 sedi, valutazione aggregata = %)

16

2,9

23,4

-6,1

18,715,4

-8,7-10

-5

0

5

10

15

20

25

Sedi

ABCDEFG

TOTALI PER ANNO E PER SEDETOTALI PER ANNO E PER SEDE(valutazione aggregata = %)(valutazione aggregata = %)

3,59,7

34,9

-3,8

9,43,4

21,924,8

-15

7,23,79,6

31,8

17,2

2,9

12,4

57,8

-29,1

-6,8

9,8

-30

-20

-10

0

10

20

30

40

50

60

A B C D E F G

I annoII annoIII anno

TOTALI PER ANNOTOTALI PER ANNO(medie risposte sulle 132 domande e globali con valutazione aggr(medie risposte sulle 132 domande e globali con valutazione aggregata)egata)

37,5

46,747,8

57

43,2

31,8

68,5

44,2

19,3

-6,9

10,4

18,4

-10

0

10

20

30

40

50

60

70

I Anno II Anno III Anno Globali


Progressione ed integrazione

RISULTATI PER AREA/ANNORISULTATI PER AREA/ANNO(ESPRESSI IN VALUTAZIONE AGGREGATA)(ESPRESSI IN VALUTAZIONE AGGREGATA)

6,87,2

14,3

-13,8

12,1

20,4

-6,9

10,4

18,4

-15

-10

-5

0

5

10

15

20

25

Base Caratteriz Globale


SCIENZE SCIENZE DIDI BASEBASE(risposte su 44 domande e valutazione aggregata)(risposte su 44 domande e valutazione aggregata)

18,8

15,8

9,4

19,8

16,7

7,5

22,6

16,3

5,16,87,2

14,3

0

5

10

15

20

25

I anno II anno III anno I II III

GiusteSbagliateBianche

SCIENZE DI BASE PER AMBITI SCIENZE DI BASE PER AMBITI DISCIPLINARI DISCIPLINARI

(valutazione aggregata)(valutazione aggregata)

7,9 9,1

-4,7

15,1

10

-17,2

19,9

14,5

2,6

-20

-15

-10

-5

0

5

10

15

20

I anno II anno III anno

PropedBiomedPr Socc

CARATTERIZZANTICARATTERIZZANTI(risposte su 88 domande e valutazione aggregata)(risposte su 88 domande e valutazione aggregata)

18,7

30,9

38,4 37,2

26,524,3

45,9

27,9

14,2

-13,8

12,1

20,4

-20

-10

0

10

20

30

40

50

I anno II anno III anno I II III

GiusteSbagliateBianche

CARATTERIZZANTI DIVISI PER CARATTERIZZANTI DIVISI PER AMBITI DISCIPLINARI AMBITI DISCIPLINARI

(VALUTAZIONE AGGREGATA)(VALUTAZIONE AGGREGATA)

-14,3

8,7

21,3

-5,5

1619,3

2,54,2

6,4

-13,7

35

-0,40,64

15,618,2

20,1

11,7

21,423,2

-15

-10

-5

0

5

10

15

20

25

ST SMC SPSS SIC SUP SI SMS


Il test dovrebbe essere eseguito al termine dell’anno, perché il punto “0” è veramente troppo vicino allo zero assoluto e l’end point troppo lontano dalla fine del Corso

DOVE ABBIAMO SBAGLIATO ?

Dovremmo eseguire il test ogni semestre e non ogni anno se vogliamo avere una idea della progressione della conoscenza in un periodo così breve ed intenso quale è un Corso di Laurea Universitario delle Professioni Sanitarie

La valutazione sarebbe più corretta se eseguita al termine dell’anno perché nel nostro test abbiamo perso nel complesso ~ 30 % della didattica tra I, II e III anno

A capire che il nostro Corso di Laurea è così breve ed intenso che non esiste il fenomeno di perdita della conoscenza o forse l’integrazione delle conoscenze lo annulla. RISULTATO = Gli studenti continuano ad apprendere anche materie di base

A CHE CI E’ SERVITO

Ci sono alcuni ambiti disciplinari in cui i risultati sono nettamente peggiori. I Corsi di Laurea nelle varie sedi sono troppo differenti e dobbiamo lavorare sul curriculum e probabilmente più sugli insegnamenti che sugli studenti

I risultati dipendono più

probabilmente da noi che

dagli studenti

�� EE’’ vero che piccoli vero che piccoli piloti possono piloti possono imparare da soli a imparare da soli a guidare la macchina, guidare la macchina, ma noi diamo la ma noi diamo la patente, quindi patente, quindi èènostro dovere nostro dovere insegnare nel miglior insegnare nel miglior modo possibile e modo possibile e controllare se lo stiamo controllare se lo stiamo facendofacendo

�� EE’’ vero che piccoli vero che piccoli piloti possono piloti possono imparare da soli a imparare da soli a guidare la macchina, guidare la macchina, ma noi diamo la ma noi diamo la patente, quindi patente, quindi èènostro dovere nostro dovere insegnare nel miglior insegnare nel miglior modo possibile e modo possibile e controllare se lo stiamo controllare se lo stiamo facendofacendo

Grazie per Grazie per ll’’attenzioneattenzione

Miraldi Progress test - unito.it...Implementare il “Progress Test” come possibile forma di...

Documents

Transcript of Miraldi Progress test - unito.it...Implementare il “Progress Test” come possibile forma di...