L’évalua>on(des(compétences( transversalesau1...

+ Faculté de Pharmacie Université de Montréal

Françoise Crevier, Ph.D. [email protected]

avec la collabora>on de

Marie-‐Claude BineAe Daphné Girardot Claudine Laurier Claude Mailhot Chantal Pharand Johanne Vinet

L’évalua>on des compétences transversales au 1er cycle universitaire

Atelier 613

34e Colloque de l’AQPC Laval

Juin 2014

+Objectif de notre projet

Dans un programme construit selon l’approche par compétence, notre objectif:

!  Évaluer les compétences transversales !  Élaborer un profil de compétences transversales, graduellement,

pendant 3 ans (évaluation formative) !  Sanctionner à la fin de la 3e année (évaluation sommative), avant de donner

accès à la 4e année pour les stages

2

« Dis-moi comment tu évalues, je te dirai qui tu formes »

De Ketele, 1989

+Plan de la présenta-on

! Le projet et son contexte

! Grandes lignes du programme Pharm.D.

! L’évalua>on des compétences transversales

! Démo

! Les résultats, 7 ans plus tard

+En guise de préambule…

!  Nous avons choisi la définition de Guy Le Boterf

!  Nous y avons greffé les travaux de AJ Romiszowski (Université de Syracuse, NY) quant aux types de connaissances

Une définition du concept de COMPÉTENCE

4

+Défini-on de la compétence Être compétent, c’est...

Sélectionner les bons outils dans son bagage cognitif...

... et les agencer pour réaliser efficacement une tâche complexe...

... dans le but de produire un livrable de qualité.

Bagage de connaissances

Bagage d’habiletés

Bagage d’attitudes

Stéphane Tétreault

+

Famille de situations

IP

Banque de données

Défini-on de la compétence

Guy Le Boterf et A.J. Romiszowski

Ressources Actualisation des ressources

Tâche complexe

Livrable

Produit

Service

Ressources

Ressources internes

Ressources externes

Réseau relationnel

Attitudes

Connaissances

Habiletés

Stratégiques

Déclaratives

Procédurales

Factuelles IP IP

S

S

S

S

S

S

S

S

S

S

S

S

S

Volet statique

Volet dynamique

+ Défini-on formelle de la compétence

+ Évalua-on de la compétence

Évaluation du processus Évaluation

du résultat

?





! Démo


+Le projet et son contexte (2002)

Créer un tout nouveau programme de 1er cycle pour les pharmaciens communautaires dans le but de…

! Enrichir la formation pour faire en sorte que le pharmacien communautaire devienne un intervenant de 1ère ligne

! Quitter l’approche disciplinaire et implanter une approche par compétences avec intégration des disciplines

! Reconnaître les efforts des étudiants Jusqu’à la cohorte 2006-2010: BAC de 142 crédits + des stages OPQ Universités américaines: Doctorat de 1er cycle – Pharm.D.

! Faciliter l’accès des étudiants aux études de 2e cycle dans des universités américaines

11





! Démo


+ Grandes lignes du programme Pharm.D. !  Doctorat professionnel (1er cycle) (ex: MD, DMD, DMV, etc.)

!  Approche par compétences !  3 compétences spécifiques

!  6 compétences transversales

!  Intégra-on des disciplines

!  164 crédits, dont 40 crédits de stage

!  Cohortes de 200 étudiants

+Le référen-el de compétences

!  Trois compétences spécifiques !  Soins pharmaceu>ques

!  Services à la communauté

!  Ges-on de la pra-que

!  Six compétences transversales !  Professionnalisme

!  Communica-on

!  Travail d’équipe et interdisciplinarité

!  Raisonnement scien-fique et pensée cri-que

!  Autonomie dans l’appren-ssage

!  Leadership

+ Évaluation des compétences

+Évaluation des compétences

Compétences spécifiques

!  Stages

!  Laboratoires

!  Résultat intégré dans la note du cours

!  Fait partie du bulletin académique

Compétences transversales

!  Stages

!  Laboratoires

!  Cours d’intégration

!  Résultat acheminé au CÉCT (Comité d’éval. des comp. trans.)

!  « Bulletin » des compétences nommé Profil de compétences

16





! Démo


+ 18 Évalua-on des compétences transversales

+ 19 Évalua-on des compétences transversales

Dès le 1er trimestre, l’étudiant est évalué

11 fois pour 9 éléments de compétences

11 Appréciations x 200 étudiants !

+Enjeux

!  Quan-té de données: 4 cohortes de 200 étudiants

!  Grand nombre d’évaluateurs, cohérence difficile à assurer, mais mul-tude de points de vue

!  Les enseignants n’ont pas accès au profil de compétences des étudiants

!  Parfois trois interpréta-ons subséquentes: !  1. Clinicien associé

!  2. Professeur responsable du cours

!  3. Jury d’examens

!  Suivis personnalisés sont nombreux

+Les compétences transversales a. Les principes du Pharm.D. (1 de 2)

! A[tude aidante et orientée vers la remédia-on

! Plusieurs évalua-ons tout au long du programme

! Suivis réguliers et remédia-on au besoin

! Passage différé en 4e année, si non sa-sfaisant

! Possibilité d’exclusion

Condi>on essen>elle de réussite:

Des principes directeurs forts appuyés par la direc>on et par les enseignants, et des règles précises expliqués en détail aux étudiants

+Les compétences transversales a. Les principes du Pharm.D. (2 de 2)

!  Évalua-ons des éléments de compétences assignées à certains cours

!  Cinq cotes possibles: DA, SA+, SA, SA-‐, NSA

!  SA pour tous à l’ouverture du cours

!  Toute cote (sauf SA) doit être jus-fiée

!  Évalua-ons circonstancielles

!  Analyse du PCT après chaque trimestre

!  Publica-on du PCT après chaque trimestre

+ Les compétences transversales b. Les ou-ls

!  Comité dédié à la ges-on de l’évalua-on des compétences transversales (CÉCT) !  4 enseignants

!  1 professionnel (pédagogue/docimologue)

!  Ou-l informa-que UGO !  Saisie des données par les enseignants responsable du cours

!  Analyse par le CÉCT

!  Acheminement du PCT aux étudiants

!  Suivis et remédia-ons

+ Les compétences transversales c. Le processus

1.  CÉCT assigne des éléments de compétences à des cours particuliers en fonction des: !  Techniques pédagogiques utilisées !  Objectifs visées !  Contenus abordés !  Ampleur des groupes

+ Les compétences transversales 25

Assignation de cinq éléments de compétences au cours PHA 1311 pour A12

+ Les compétences transversales c. Le processus 2. L’enseignant fait la saisie et justifie ses décisions

+ Les compétences transversales c. Le processus

3.  CÉCT étudie tous les profils de compétences !  Repère les cas problèmes !  Imagine/choisit une intervention appropriée !  Rédige un message à l’étudiant !  Publie les résultats de tous les étudiants

4.  CÉCT rencontre certains étudiants pour… !  Obtenir des éclaircissements !  Proposer des modalités d’intervention !  Faire les suivis !  Imposer certaines contraintes

+ Les compétences transversales d. La remédia-on

!  Difficulté #1: imaginer une activité pertinente et efficace. La plupart des remédiations sont créées sur mesure

!  Difficulté #2: Il faut faire des suivis et donner ensuite une rétroaction personnalisée aux étudiants

+ Les compétences transversales e. Les suivis

•  Exigeant •  Il faut se doter des outils adéquats





! Démo

!  Accès CÉCT

!  Accès Étudiant






! Démo


+ Les résultats: 7 ans plus tard

!  Analyse de 600 PCT, 2 fois par année !  Janvier pour le trimestre d’automne !  Juillet pour le trimestre d’hiver et stages

!  Choix de mesures de remédiation et suivis

!  Suivi d’une cinquantaine d’étudiants par année (Ans 1, 2 et 3)

!  Suivi d’une vingtaine d’étudiants de 4e année


Du début de ses activités (A07) à H14:

! Interventions consignées dans UGO: 1166 !  rencontre d’étudiants !  mesures de remédiation et évaluation !  explications et suivis personnalisés !  réponses à des demandes des étudiants

! Interventions non consignés dans UGO !  Courriels: entre 700 et 800 courriels

! Demandes de révision: 32


!  Processus expliqué en détail lors de la semaine de familiarisation

!  Processus pris très au sérieux par les étudiants

!  Les remédiations sont réalisées telles que demandées

!  Les résultats d’évaluation proviennent de plusieurs professeurs qui n’ont pas accès au dossier et il y a une très grande convergence des résultats

+Conclusion Change-t-on vraiment les étudiants ? !  Le cas de Catherine… !  A09: AN 1: Retards répétés au labo (NSA)

!  CÉCT - Avis à l’étudiante

!  H10: AN 1: Retards répétés au labo; participe peu aux rencontres d’équipe; ne respecte pas le calendrier. (2 NSA)

!  CÉCT - Rencontre avec l’étudiante

!  A10: AN 2: Retards moins nombreux mais… (NSA)

!  CÉCT – Contrat avec l’étudiante

!  H11: AN 2: pas de retard

!  H12: AN 3: 3 DA •  Engagement exceptionnel dans le projet •  Excellente collaboration au sein de l’équipe

•  Leadership remarquable

•  Et… pas de retards aux rencontres !

Dans un programme construit selon l’approche par compétence, notre objectif:

!  Évaluer les compétences transversales !  Élaborer un profil de compétences transversales, graduellement,

pendant 3 ans !  Sanctionner à la fin de la 3e année, avant d’aller en stage en 4e année

!  Se donner les moyens de nos ambitions…

+Conclusion On laisse une trace… sans doute…

!  Le cas de Hubert… !  A12: message au profil de compétence mi-février 2013:

Le CÉCT est très préoccupé par votre profil de compétences qui fait état de plusieurs lacunes. En attendant de vous rencontrer, nous nous attendons à ce que vous entrepreniez un changement majeur en termes d'implication, de ponctualité et de collaboration au sein de l'équipe. Nous communiquerons bientôt avec vous pour fixer une date de rencontre.

!  Mi-mars: rencontre de l’étudiant au CÉCT

!  Fin avril: bilan non sollicité de l’étudiant reçu par courriel Nous nous sommes rencontrés au courant de la session, avec le CÉCT. Je voulais vous faire un rapport final maintenant que la session est terminée. Côté ponctualité, je me suis amélioré. Je n’ai pas été en retard ou absent à aucun laboratoire ou aux rencontres du cours vert.

Côté implication, je me suis amélioré. En effet, je me suis investi dans le cours vert et j'ai été beaucoup plus constant que la session précédente. Certains des étudiants m'ont même félicité de mon amélioration !

Je suis heureux des résultats que j'ai obtenu jusqu'à présent et je compte continuer à m'améliorer au courant des prochaines sessions. Merci de votre aide et bon été.

+Conclusion

!  Très bonne convergence des résultats d’évaluation

!  Opération réaliste/réalisable, mais apport non négligeable en ressources humaines

!  Nécessité d’être très congruents comme équipe

!  Difficulté à créer des activités de remédiation pertinentes

!  Support informatique essentiel

Pas d’évaluation, pas de résultat ! « Assessment drives learning »

+

Merci beaucoup de votre bienveillante attention!

Françoise Crevier

[email protected] [email protected]

L’évalua>on(des(compétences( transversalesau1...

Documents

Transcript of L’évalua>on(des(compétences( transversalesau1...