Introduction à la Typologie des d’évaluations des une structure...
11
1 Introduction à la construction d’évaluations des acquis des apprenants Prof. Jean-Luc Gilles Service de didactique des disciplines et intervention éducative Système Méthodologique d’Aide à la Réalisation de Tests Université de Liège - Belgique Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Typologie des évaluations dans une structure modulaire Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Moment : au départ dans une séquence d’enseignement Test d’entrée ? ex. évaluer les prérequis Prétest ? ex. éviter la séquence aux élèves qui maîtrisent déjà les objectifs Epreuve de placement ? ex. placer l’élève à l’endroit qui lui convient ( skipping) Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Moment : au cours de la séquence d’enseignement Evaluation formative ? ex. informer l’élève de son état d’avancement vers la maîtrise des objectifs ? ex. diagnostiquer les difficultés et les erreurs, et y remédier Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Moment : immédiatement après la séquence d’enseignement Post test immédiat ? ex. certifier la maîtrise des objectifs : évaluation sommative ? ex. contrôler les prérequis de la séquence suivante si l’apprentissage est cumulatif Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Moment : à court terme, à moyen et à long terme après… Post-test différé ? ex. mesurer l’efficacité de la séquence d’enseignement à court, à moyen et à long terme ? ex. mobiliser ou élargir les compétences acquises antérieurement
Transcript of Introduction à la Typologie des d’évaluations des une structure...
1
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Introduction à la construction d’évaluations des acquis des apprenants
Prof. Jean-Luc GillesService de didactique des disciplines et intervention éducative
Système Méthodologique d’Aide à la Réalisation de TestsUniversité de Liège - Belgique
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Typologie des évaluations dans une structure modulaire
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Moment : au départ dans une séquence d’enseignement
Test d’entrée? ex. évaluer les prérequis
Prétest? ex. éviter la séquence aux élèves qui maîtrisent déjà les objectifs
Epreuve de placement? ex. placer l’élève à l’endroit qui lui convient (skipping)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Moment : au cours de la séquence d’enseignement
Evaluation formative? ex. informer l’élève de son état
d’avancement vers la maîtrise des objectifs
? ex. diagnostiquer les difficultés et les erreurs, et y remédier
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Moment : immédiatement après la séquence d’enseignement
Post test immédiat? ex. certifier la maîtrise des objectifs :
évaluation sommative
? ex. contrôler les prérequis de la séquence suivante si l’apprentissage est cumulatif
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Moment : à court terme, à moyen et àlong terme après…
Post-test différé? ex. mesurer l’efficacité de la séquence
d’enseignement à court, à moyen et àlong terme
? ex. mobiliser ou élargir les compétences acquises antérieurement
2
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Source : Tourneur et Vasamillet, 1982
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Rapports entre les fonctions pronos-tiques, formatives et sommatives
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Linda Allal, 1999 :
Pronos-tique
Sommative
Formative
Décision de certification
Communicationavec l’extérieur
Décision d’admission, d’orientation,…
Communi-cation à l’intérieur du système scolaire
Décision d’adaptations pédagogiques
Communicationau sein de la classe
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Comparaison entre évaluation
formative et sommative
OBJECTIFS : un échantillon représentatif
OBJECTIFS : chaque objectif important de l’unité
MOMENT : à la fin d’un cours ou d’une période
MOMENT : pendant la période d’enseignement
DECISION : certification finale ou intermédiaire
DECISION : régulation immédiate ou différée
BUT : bilan des acquis de l’élève
BUT : FB sur les progrès, repérer les problèmes d’E/A
OBJECTIFS : un échantillon représentatif
OBJECTIFS : chaque objectif important de l’unité
MOMENT : à la fin d’un cours ou d’une période
MOMENT : pendant la période d’enseignement
DECISION : certification finale ou intermédiaire
DECISION : régulation immédiate ou différée
BUT : bilan des acquis de l’élève
BUT : FB sur les progrès, repérer les problèmes d’E/A
Linda Allal, 1999 :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Implication active de l’élève dans les processus d’apprentissage
Linda Allal, 1999 :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Problèmes de fiabilité intra et inter-correcteurs
3
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006 Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
… L’impression d’avoir déjà vécu ce genre de situation ?
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Biais dus aux interactions professeur ? élèves :
? Effet de halo
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Weiss (1969)
Deux groupes
de 46 correcteurs
Biais dus aux interactions professeur ? élèves :
? Effet de halo
4
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Weiss (1969)? Effet de halo
Biais dus aux interactions professeur ? élèves :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Effet de stéréotypie
Tendance à attribuer à un élève les notes que celui-ci a acquises antérieurement
Biais dus aux interactions professeur ? élèves : Et chez mes
collègues, quelles sont vos cotes ?
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Effet d’ancrageBiais dus aux séries de copies :
Ancre « légère »
Ancre « lourde »
Bonniol, 1972
Deux séries de devoirs moyens dans lesquels Bonniol introduit des ancres légères (un devoir), lourdes (trois devoirs), basses (mauvais devoirs) ou haute (très bons devoirs) …
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Effet de relativisation
Parmi toutes les copies jugées moyennes quelques mois auparavant le correcteur distinguera des faibles et des bonnes …
Biais dus aux séries de copies :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Effet de sévéritéBiais dus au seul correcteur :
Sévérité systématiquement plus élevée ou au contraire moins élevée chez certains correcteurs …
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Effet de tendance centraleBiais dus au seul correcteur :
Evitement des notes extrêmes et concentration des scores au milieu de l’échelle …
5
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
?Le mythe de la courbe de Gauss
… début d’une séquence
d’enseignement
Courbe en « i »
… fin d’une séquence
d’enseignement
Courbe en « j »
Courbe gaussienne
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Critères de qualité docimologique
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Critère de validité
Les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de contenu)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Critère de fidélité
La note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Critère de sensibilitéLa mesure doit être précise, refléter des phénomènes subtils
Les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas
Critère de « diagnosticité »
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Tous les évalués doivent être traités de façon juste, en principe de la même façon (standardisation)
Critère d’équité
La réalisation des évaluations doit être faisable endéans des délais raisonnables et àl’aide des ressources en personnel et en matériel disponibles
Critère de praticabilité
6
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Critère de communicabilitéles informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les acteurs de l’évaluation
les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts
Critère d’authenticité
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Typologie de techniques de questionnement
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Questionnement < Ouvert Fermé >
à réponse rédigée
réponse longue
intervalle à proposer
réponse courte
à réponse choisie
QCM intervalle à choisir
type V / F
Correction selon Formule mathématique
Correction simple (mécanique)
Notation automatisableNotation complexe
Leclercq, 1986 :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Culture d’évaluation
Taille du groupe
Règlement pédagogique
La lutte contre une « dissonance pédagogico-
docimologique »La contrainte
des disciplines
Contingences qui orientent les
enseignants vers le choix de questions
fermées ou ouvertes (ens. sup.)
Blais & al., 1997 :
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Principaux avantages potentiels et inconvénients des questions fermées
- Automatisation ?? questions ? ? validité
- ? problèmes de concor-dances intra et inter-correcteurs ? ? fidélité
- Automatisation ?? praticabilité
- …
? ?- Piège des questions
portant sur des détails
- Conception binaire des réponses (sauf si utilisation DC)
- Impuissance à mesurer certaines catégories de performances
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Principaux avantages potentiels et inconvénients des questions ouvertes
- Permettent l’évaluation de performances complexes
- Permettent d’évaluer les objectifs d’expression
- Sollicitations plus proches de celles de la vie quotidienne
? ?- En général peu de
questions pour éviter d’augmenter le temps de correction
- Biais ? concordance intra et inter-correcteurs
- Ne sont pas socialement neutres (Passeron, 1970)
7
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
La technique des degrés de certitude(DC)
Sans l’utilisation des degrés de certitude
incorrecte correcteLa solution est :
100% 100%0%60% 40% 40% 60%5 4 3 2 1 0 543210Degrés de
certitude
Avec la technique des degrés de certitude :
Situation « catastrophique »
Performance « assurée »
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
La technique des Solutions Générales Implicites (SGI)
6 ou REJET = Aucune des solutions proposées n'est correcte.
7 ou TOUTES = TOUTES les solutions proposées sont correctes.
8 ou MANQUE = Il est impossible de répondre parce que de l'information (au moins une donnée) MANQUE dans l'énoncé de la question (donc pas dans le cours ni dans la connaissance actuelle sur le problème).
9 ou ABSURDITE = Une ABSURDITE dans l'énoncé rend toute la question sans objet (par exemple CONTRE -VERITE dans l'énoncé).
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Kaléidoscope des techniques de questionnement
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Dans le kaléidoscope ci -après, les objectifs sont placés dans la toute première facette et constituent en fait la source lumineuse (qui, placée à travers le prisme de l’observation, donnera des mesures).
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Source : Leclercq et Gilles, 1995
Kaléidoscope des techniques de questionnement
8
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Etapes de construction d’une évaluation standar-disée des acquis des apprenants
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006Gilles & al. (2004, 2005)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
1. Analyse des objectifs enseignés
- Lister les points à évaluer (PE)
- Associer des priorités liées aux PE
- Définir les catégories de performances (CP) attendues chez les élèves
Produit de cette 1ère étape : une table de spécification où les PE sont croisés avec les CP : (PE x CP)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
1. Analyse des objectifs enseignés
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
- Quels types de questionnements vais-je privilégier ?
QCM ?
V / F ? Avec SGI ?… portant sur
des cas ?
QROC ?
Avec DC ?…
2. Mise en forme de l’évaluation (design)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
2. Mise en forme de l’évaluation (design)
- Définition des modalités de questionnement (MQ) en rapport avec les catégories de performances (CP) de l’étape 1
9
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
2. Mise en forme de l’évaluation (design)
- Introduction des modalités de questionnement (MQ) dans la table de spécification
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
- Sélection des PE qui feront l’objet de questions lors de l’évaluation
2. Mise en forme de l’évaluation (design)
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
3. Création des questions
PE = « Diversifier »CP = « Analyse »
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
x
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
4. Entraînement
5. Test http://www.smart.ulg.ac.be/evaletu/evaletu_menu.php3
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
6. Correction
10
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
(Gilles, 2002)
6. Correction
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Feedbacks
Performances
TravauxPortfolio
Epreuves écrites
Examens oraux
…Stages
Auto-évaluations
RapidesIndividualisés Diagnostiques
Précis
7. Feedbacks
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
8. Macro-régulation
Analyse des résultats et recueil des avis des élèves en vue de réguler le système d’évaluation etd’en améliorer la qualité
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Quelques (bonnes) références …
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Evaluation continue et examens – Précis de docimologieG. De Landsheere (1992)
Educational Assess-ment of Students, A. Nitko (2001)
http://cwx.prenhall.com/bookbind/pubbooks/nitko/Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
http://cwx.prenhall.com/bookbind/pubbooks/nitko/
11
Introduction à la construction d’évaluations des acquis des apprenants – Jean-Luc Gilles – janvier 2006
Vers une pratique de l’évaluation formativeL. Allal (1991)
La conception des questions à choix multipleD. Leclercq (1986)
