Application du cycle gestion qualit S.M.A.R.T. des tests
pdagogiques dans le cours dObsttrique et de Pathologie de la
Reproduction des ruminants, quids et porcins Jean-Loup Castaigne 1
& Jean-Luc Gilles 2 1 Service d Obsttrique et Pathologie de la
Reproduction des ruminants, quids et porcs et pathologie de la
mamelle de la vache laitire, FMV, ULg Prof. C. Hanzen 2 Service de
Technologie de lducation & S.M.A.R.T., FAPSE, ULg Prof. D.
Leclercq FAPSE
Page 2
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi Cycle gestion qualit S.M.A.R.T. des
tests pdagogiques Gilles & Leclercq, 1995 Castaigne &
Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 8. Rgulation du
processus Recueil et analyse des avis des tudiants, propositions d
amliorations
Page 3
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 4
1.1 Dfinir les Points Enseigns [PE] Isoler chaque module assez
important pour justifier d une valuation et en quantifier l
importance 1.2 Dfinir les Catgories de Performance [CP] Quelles
sont les mesures que l enseignant va prendre lors de l valuation de
l apprenant ? 1.3 Relier les Points Enseigns et les Catgories de
Performance [PE x CP] Pour chaque PE dfini, quelle CP permettra d
en apprcier la bonne transmission vers l apprenant 1. Analyse de l
enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 5
Isoler chaque module assez important pour justifier d une
valuation et en quantifier l importance 1.1 Dfinir les Points
Enseigns [PE] 1. Analyse de l enseignement Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 6
Quelles sont les mesures que l enseignant va prendre lors de l
valuation de l apprenant ? 1. Analyse de l enseignement 1.2 Dfinir
les Catgories de Performance [CP] Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemples Cp en OGA
Page 7
Relier les Points Enseigns et les Catgories de Performance Pour
chaque PE dfini, quelle CP permettra d en apprcier la bonne
transmission vers l apprenant ? C est le premier binme. Les 6
catgories de performances choisies par l enseignant sont affiches
Pour ce PE (4.8), lenseignant choisit ces 2 catgories de
performances. Donc il devra envisager des questions sur la
connaissance et la comprhension. 1. Analyse de l enseignement 1.3
[PE x CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 8
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 9
Catgories de Conditions : ...avec degrs de certitude , ...
livre ouvert ,... Catgories de Questionnement : VF , QCM , QROC
,... Il existe des Qui vont permettre de dfinir des Modalits de
Questionnement (MQ) exemple : QCM avec degrs de certitude Les MQ
peuvent tre relis aux Catgories de Performances et former des
binmes : [CP x MQ] exemple : mesurer la comprhension laide de QCM
avec degrs de certitude Les binmes [PE x CP] de lanalyse de
lenseignement sont croiss avec les binmes [CP x MQ] 2.Mise en forme
de l preuve Cration des trinmes Castaigne & Gilles, S.M.A.R.T.
- O.G.A., ULG FORM@SUP, mai 2000 ce qui donne une liste de trinmes
: [PE x CP x MQ]
Page 10
Quelles modalits de questionnement utiliser ou ne jamais
utiliser ? Relier la Catgorie de Performance [CP] recherche chez l
tudiant avec la/les Modalit(s) de Questionnement [MQ] choisie(s).
[MQ] [CP] Exemple de binme [CP x MQ] : 2.Mise en forme de l preuve
2.1 [CP x MQ] Cration des Modalits de Questionnement [MQ] &
assemblage des binmes [CP x MQ] Castaigne & Gilles, S.M.A.R.T.
- O.G.A., ULG FORM@SUP, mai 2000 Exemples SGI en OGA
Page 11
2.Mise en forme de l preuve Rpartition des CP par MQ Castaigne
& Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 12
2.Mise en forme de l preuve Importance des PE Castaigne &
Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 13
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 14
1) conseils mthodologiques 2) choix parmi les rfrences des
Questions PE : 1.6.3. CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm
0,6 cm 1,5 cm Cette chographie de l ovaire gauche d une vache pie
noire de 6 ans, a t ralise une semaine aprs l oestrus. Votre
diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire
3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact
3.Construction des Questions Castaigne & Gilles, S.M.A.R.T. -
O.G.A., ULG FORM@SUP, mai 2000 SMART a cr une liste de trinmes
retrouver dans les questions qui composeront cette valuation. l
enseignant de rdiger ou choisir les questions qui correspondent ces
trinmes. RC : 6
Page 15
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq,1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 16
4. Entranement des tudiants Castaigne & Gilles, S.M.A.R.T.
- O.G.A., ULG FORM@SUP, mai 2000 on line : TIMI (correction) en
amphi : Formuloms (exemple), BVE,... (correction) (exemple)
Page 17
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 18
Matriel & Timing & procdure anti-fraude 5. Mise en uvre
de l preuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 19
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 20
On-line : DC, svrit (en savoir +), r.bis (en savoir +), r.bis
spectral (en savoir +), r.bis spectral turbo (en savoir +), ralisme
(en savoir +),... (en savoir +) 6. Correction de l preuve Castaigne
& Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 21
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques Gilles &
Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000
Page 22
Prsentation et analyse sommaire des rsultats 1. Svrit de 20
(svrit) (svrit) 2. Retrait d une QCM cause de son r.bis (r.bis)
(r.bis) 3. Correction en amphithtre des questions ayant pos un
problme (3 sur 15) 7. Feedback aux tudiants Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 23
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi Recueil et analyse des avis des
tudiants, propositions d amliorations Cycle gestion qualit
S.M.A.R.T. des tests pdagogiques 8. Rgulation du processus
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai
2000
Page 24
Boucle de rgulation 1 (revoir boucles de rgulation) (revoir
boucles de rgulation) Courte : R5 : Mesure ajuste par retrait d une
QCM Longue : R3 : mise jour de la banque de QCM R2 : Nouveaux
projets d valuation 8. Rgulation du processus Rgulation en OGA
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
EvalEns 2 : d aprs les tudiants : 1. Le mode d valuation le plus
adquat : examen crit rdig > examen oral > QCM (sans SGI ni
DC) 2. Un seul test global est insuffisant 3. Il faut des tests
pendant l anne dont le rle serait : modrer un problme l oral >
auto-valuation > 25 % de la cote finale Pour l an prochain et
les annes suivantes... : 1 BEV sur les prrequis avec mise niveau
immdiate 5 LQRT dont les 3 best sont sanctionnant (20% du cours)
PARM sur base de volontariat (maximum 10% du cours) autres
solutions pour tudiants n ayant pas accs au PARM 1 Leclercq, 1999,
Chap 1, p 4 2 Leclercq, 1999, Chap 1, p 9
Page 25
1. Analyse de l enseignement Points Enseigns, Catgories de
Performances 2.Mise en forme de l preuve Modalits de
Questionnement, assemblage et quilibrage (binmes & trinmes)
3.Construction des Questions Indices de Qualit 4. Entranement des
tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre
de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de
l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux
tudiants On-line ou en amphi 8. Rgulation du processus Recueil et
analyse des avis des tudiants, propositions d amliorations Cycle
gestion qualit S.M.A.R.T. des tests pdagogiques FAPSE Castaigne
& Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 26
Adresses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000 Jean-Luc Gilles 2 Tl : 04 / 366 20 78 eMail :
[email protected] http://139.165.55.45/smart/ Jean-Loup Castaigne
1 Tl : 04 / 366 41 72 http://www.fmv.ulg.ac.be/oga/index.html 1
Service d Obsttrique et Pathologie de la Reproduction des
ruminants, quids et porcs et pathologie de la mamelle de la vache
laitire, FMV, Ulg Prof. C. Hanzen ([email protected]) 2
Service de Technologie de lducation & S.M.A.R.T., FAPSE, Ulg
Prof. D. Leclercq ([email protected]) FAPSE
Page 27
Boucle de rgulation Cohrence Correction dans TIMI CP en QCM
pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo
Ralisme Svrit SGI en OGA Taux d exactitude et ralisme Plan des
annexes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP,
mai 2000
Page 28
Exemple QCM recognition Le diamtre normal des cornes utrines d
une vache ou d une gnisse non gestante est 1. De 2,5 4 cm 2. De 1 2
cm 3. De 4 7 cm Rponse correcte : 1 Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 29
Exemple de QCM comprhension Au cours du pro strus, l utrus de
la bte bovine s dmatie ce le qui rend la palpation transrectale :
1. Plus ferme 2. Plus tonique 3. Plus flasque Rponse correcte : 1
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai
2000
Page 30
Exemple de QCM : application une structure anchogne d une
taille suprieure 3 cm, paroi mince (infrieure 5 mm). Rponse
correcte : 2 4,3 cm 3mm Votre diagnostic le plus probable sera : 1.
Un corps jaune cavitaire 2. Un kyste folliculaire ou lutal 3. Un
follicule 4. Une tumeur Lors de l examen chographique d une vache
pie noire de 3 ans, vous mettez en vidence sur l ovaire droit :
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
1
Page 31
Exemple de QCM SGI Par rapport au testicule gauche, le
testicule droit d une gnisse est 1. Plus grand 2. Plus petit 3. De
mme taille Une absurdit ou une contre-vrit (une gnisse possde des
ovaires, non des testicules) dans l nonc rend toute la question
sans objet : rponse 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A.,
ULG FORM@SUP, mai 2000
Page 32
Exemple de QCM SGI De combien d ovaire(s) est quipe une gnisse
BBB normalement constitue 1. Zro 2. Quatre 3. Six Aucune des
solutions proposes n est correcte puisque comme toutes les femelles
mammifres, elle a 2 ovaires : rponse 6 Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 33
Exemple de QCM SGI L utrus d une vache normalement constitue
comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions
proposes sont correctes simultanment : rponse 7 Castaigne &
Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
Page 34
Exemple de QCM SGI Le taux d strognes en pg/mL d une vache est
: 1. infrieur 100 2. 150 3. suprieur 200 Il est impossible de
rpondre parce que l information (au moins une donne : le moment
dans le cycle) ncessaire manque dans l nonc de la question : rponse
8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai
2000 2
Page 35
Taux dexactitude : 9 bonnes rponses sur 14 questions, soit 64 %
Score DC : 140 / 280 soit 50 % Analyses des rponses Castaigne &
Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 4
Page 36
Boucle de Rgulation Castaigne & Gilles, S.M.A.R.T. -
O.G.A., ULG FORM@SUP, mai 2000 Analyses des besoins Dfinition du
projet Planification Excution Mesure Rtroaction
ConceptionConception ActionAction Boucles courtes Boucles longues 8
Leclercq, 1999, Chap 1, p 4
Page 37
Les feuilles rponses Castaigne & Gilles, S.M.A.R.T. -
O.G.A., ULG FORM@SUP, mai 2000
Page 38
En cas d erreur Castaigne & Gilles, S.M.A.R.T. - O.G.A.,
ULG FORM@SUP, mai 2000 4
Page 39
Graphe de ralisme Boxus, 1991 Castaigne & Gilles,
S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 SOUS SUR 6
Page 40
Taux d exactitude & Ralisme Ralisme = 0,759Ralisme = 0,961
Taux d exactitude de 50% 4 Q dont 2 RC20 Q dont 10 RC Ralisme
Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000 6
r.bis d r pcq coefficient de corrlation Bis rial pcq 1 variable
rparti la population en 2 sries. pcq dichotomie vraie (RC ou RI)
Indice de cohrence entre la question et le test Quantitatif : pq
Qualitatif : Mx-Ma / r.bis = (Mx-Ma / ) ( pq) En ordonnes rduites
(y = p distribu normalement) r.bis = (Mx-Ma / ) (pq / y) Leclercq,
1999, chap 10, p 44-53 Castaigne & Gilles, S.M.A.R.T. - O.G.A.,
ULG FORM@SUP, mai 2000
Page 43
r.bis en pratique 15 questions : r.bis repre = 0,33 Suite au
retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis
gagner 0,1 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera
telle quelle grce la valeur du r.bis de la SGI 8 14 questions :
r.bis repre = 0,27 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000 6
r.bis spectral Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG
FORM@SUP, mai 2000 6 Adapt de Leclercq, 1999, chap 10, p 44-53
Page 46
r.bis spectral turbo Castaigne & Gilles, S.M.A.R.T. -
O.G.A., ULG FORM@SUP, mai 2000 6 Taux d Exactitude (revoir dia TE)
(revoir dia TE) cart entre TE et VC Adapt de Leclercq, 1999, et
Boxus, 1991 chelle des DC Valeur Centrale
Page 47
La validit : les scores des tudiants doivent reprsenter ce que
lenseignant veut mesurer, permettre des infrences solides (validit
de construct ou thorique), et couvrir les aspects importants de
lenseignement (validit de contenu) ; Objectifs qualit du SMART La
fidlit : la note (dune preuve corrige) classe dans une catgorie
donne doit ltre de la mme faon si elle est traite par dautres
correcteurs (concordance interjuges) ou/et un autre moment
(consistance intrajuge) ; La sensibilit : la mesure doit tre
prcise, reflter des phnomnes subtils ; La diagnosticit : les
rsultats doivent permettre le diagnostic prcis des difficults
dapprentissage (et idalement de leurs causes), des processus
matriss, de ceux qui ne le sont pas ; Lquit : tous les tudiants
doivent tre traits de faon juste, en principe de la mme faon
(standardisation) ; La praticabilit : la ralisation des valuations
doit tre faisable endans des dlais raisonnables et l aide des
ressources en personnel et en matriel disponibles et proportionnes
limportance relative des enjeux ; La communicabilit : les
informations non confidentielles relatives au droulement du
processus doivent tre communiques et comprises par les partenaires
(enseignants, tudiants, quipe SMART) engags dans la ralisation des
preuves. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP,
mai 2000