Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

72
Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 1 Efficiënter evalueren door te integreren ‘Closing the loop’ Danny van Kuyk Noordwijkerhout, 19 juni 2014

description

Sessieronde 3 Titel: Meten van kwaliteit van onderwijs en kwaliteit van toetsing Spreker: Danny van Kuyk (Consilium) Locatie: Boston 14

Transcript of Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Page 1: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 1

Efficiënter evalueren door te integreren

‘Closing the loop’

Danny van Kuyk

Noordwijkerhout, 19 juni 2014

Page 2: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 2

Agenda

Introductie EvaSys

EvaSys in de praktijk

Q&A

Introductie Consilium

Page 3: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 3

Introductie Consilium

• Opgericht in 1992

• Kantoren in Rotterdam en Barcelona

• Oplossingen voor:

• Data en document capture

• Business Process Management

• > 200 actieve klanten in de Benelux en Spanje

• Markten: onderwijs, zorg, politie, farmaceutischeindustrie, publieke sector, marktonderzoek, financiëledienstverlening, zakelijke dienstverlening

Page 4: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 4

• Onderwijsevaluaties en rapportages

• Toetsverwerking en -analyse

• Formulier- en documentautomatisering

• Hybride oplossingen; papier en online!

• Integraties met bestaande administratieve

systemen en virtuele leeromgeving

Consilium: actief in het onderwijs

Page 5: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 5

“Een softwareoplossing voor het ‘continue’ verzamelen, analyseren en

rapporteren van evaluatieresultaten teneinde issues snel en eenvoudig

te kunnen identificeren en kwaliteitsverbeterende maatregelen op hun

effectiviteit te kunnen beoordelen.’’

Dit alles ter ondersteuning van interne kwaliteitsmanagement- en

accreditatieprocessen in de onderwijs- en trainingssector

Wat is EvaSys?

Page 6: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 6

Waarom EvaSys?

• Zelfstandig continue én ad-hoc evaluaties uitvoeren (centraal en decentraal)

• Biedt verdieping t.o.v. externe evaluaties

• Eén oplossing die de gehele evaluatiecyclus dekt

• Evaluaties aanpasbaar aan de aanwezige onderwijsvormen

• Multidisciplinair inzetbaar:• Student-/Trainee-/Docenttevredenheid

• Medewerkerstevredenheid

• Evaluatie interne processen

• Alumnibevragingen

• Werkveldbevragingen

• Hybride oplossing voor papier én online

• Real-time (management) rapportages op verschillende niveaus

• Signaalfuncties en notificaties m.b.t. streefcijfers

• Hoge mate van procesautomatisering mogelijk

• Integreerbaar met administratieve-, LMS en BI systemen

Page 7: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 7

Waar EvaSys (binnen HORA)?

Page 8: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 8

Het proces

(1) Voorbereidingen treffen:

Onderwerp en doelgroep

bepalen en meetinstrumenten

maken

(2) Initiëren van de

evaluaties

(4) Analyseren van de resultaten

(5) Kwaliteitsmanagement(3) Verzamelen gegevens

Vijf stappen van afnemen van evaluaties bij onderwijs en training

Page 9: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 9

Voorbereidingen treffen: Configuratie, onderwerpen en

doelgroepen bepalen en meetinstrumenten creëren

• Designer voor zowel papier als online

• Vragenbibliotheek, meerdere talen, filters, etc.

• Automatische samenstellen meetinstrumenten

Het proces – stap 1

Page 10: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 10

Initiëren van de evaluaties

Het proces – stap 2

• Kies topic(s): periode, docent, vak, module, track, fase, etc.

• Kies evaluatiemethode (papier, online of hybride)

Zowel handmatig als geautomatiseerd uitzetten van evaluaties

Page 11: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 11

Indien op papier:

• Scanning en herkenning van papieren evaluaties

• Middels EvaSys ScanStation en VF Reader

Indien online:

• Invoer direct in de database door respondent

• Via PC/Mac, tablet en smartphone (met QR)

• 1X invullen, meertalig, wizard, Skip & Fill, etc.

Verzamelen gegevens

Het proces – stap 3

Page 12: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 12

Geautomatiseerde

rapportage van 1 enkele

evaluatie (= instant

rapportage).

Totaal rapporten

Deel Rapporten

Instant rapportage

• Direct beschikbaar na de eerste x respondenten

• In HTML of PDF formaat waarbij PDF’s automatisch per mail kunnen worden verstuurd

• Gemiddelden, standaarddeviatie, normen, aantal respondenten, etc.

• Histogrammen, open vragen, etc.

Het proces – stap 4

Page 13: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 13

• Dashboard voor kwaliteitsmanagement

• Signaalfuncties o.b.v. normen en benchmarks

• Toevoegen van opmerkingen en notities

• Notificaties bij onder- en overprestaties

Het proces – stap 5

Rapportage overzichten

voor het management.

(Push&Pull)

QM Views per evaluatie

Instructor Accounts

Notificaties

Distributie rapportages

Page 14: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 14

Het proces

(1) Voorbereidingen treffen:

Onderwerp en doelgroep

bepalen en meetinstrumenten

maken

(2) Initiëren van de

evaluaties

(4) Analyseren van de resultaten

(5) Kwaliteitsmanagement(3) Verzamelen gegevens

Vijf stappen van afnemen van evaluaties bij onderwijs en training

Page 15: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 15

3

Rapportage overzichten

voor het management.

3a

Management rapportage

mogelijkheden in EvaSys.

3b

Rapportage extern van

EvaSys -> bijv.

datawarehouse en

management portals

Indicatoren QM Views per evaluatie Koppeling met data in

EvaSys via SOAP API,

Data Access Layer, etc..

Benchmarks Instructor Accounts

Normen

Portal

Rapporteren

Page 16: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 16

3

Rapportage overzichten

voor het management.

3a

Management rapportage

mogelijkheden in EvaSys.

3b

Rapportage extern van

EvaSys -> bijv.

datawarehouse en

management portals

Indicatoren QM Views per evaluatie Koppeling met data in

EvaSys via SOAP API,

Data Access Layer, etc..

Benchmarks Instructor Accounts

Normen

Portal

Rapporteren

Page 17: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 17

Koppelen met EvaSys – 3b

Omschrijving

1 Export van data in bijvoorbeeld CSV formaat Import CSV, XML

2 Data Access Layer (DAL)

3 SOAP API

Page 18: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 18

Waar EvaSys (binnen HORA)?

Stap 2: Inladen gegevens uit onderwijs-

bedrijfsvoeringsystemen

Via SOAP, XML, CSV of service alle benodigde

relevante gegevens inladen uit het SIS,

Rooster- en personeelsystem, waaronder

vak- en docentinformatie, periode, e-

mailadressen, thema’s etc. om volledig

geautomatiseerd cursusevaluaties te

genereren met zo weinig mogelijk

tussenkomst van manuele handelingen.

Stap 1: Inrichting EvaSys en ontwikkeling

vrageninstrumenten

Stap 2 & 3: Distributie en datacollectie als

hybride proces

Geautomatiseerd schedulen/versturen van e-

mail uitnodigingen en reminders naar

betrokken (direct of indirect via LMS) voor

het invullen van vragenlijsten.

Waar nodig / gewenst worden papieren

vragenlijsten gedistribueerd, gescand /

geautomatiseerd uitgelezen.

Stap 4 & 5: Instant rapportage en

geautomatiseerde terugkoppeling

managementinformatie

• Geautomatiseerd genereren en

verzenden instant / custom

rapportages en geautomatiseerde

terugkoppeling feedback

• Rapportages en

kwaliteitsmanagementinformatie

via SOAP naar management

informatie-/BI,

kwaliteitsmanagement- en

personeelssysteem

• + Feedback naar de digitale

studiegids

Page 19: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 19

Samengevat waar EvaSys (binnen HORA)?

Page 20: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Consilium bedrijfsproces-automatiseringsoplossingen

www.consiliumdcs.com

EvaSys Praktijkcases

Page 21: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 21

Klanten

Page 22: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 22

Gestandaardiseerd, modulair, centraal

Koppeling input SIS (SOAP), output BI-Tool (SOAP)

WUR: koppeling SIS, BI Tool / CON: advies

SOAP-API

Page 23: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 23

• 6.500 medewerkers

• 10.000 studenten uit ruim 100 landen

• Domein: gezonde voeding en leefomgeving

• Centrale kwaliteitszorgmedewerker

• < 1FTE

Wageningen UR

Page 24: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 24

Casus Wageningen UR:

1. Wij maken geen gebruik van standaard vragenlijsten

2. Wij maken per vak een vragenlijst aan (op maat). Een vragenlijst

is opgebouwd uit standaard onderwerpen

3. De standaard onderwerpen kunnen meerdere keren voorkomen

binnen een vragenlijst (denk aan meerdere docenten)

4. We willen ‘longitudinaal’ gaan rapporteren, ook over de

standaard onderwerpen

Wageningen UR

1

Geautomatiseerde

rapportage van 1

enkele evaluatie (=

instant rapportage).

2

Rapportage over

meerdere evaluaties

heen. Combineren

van data.

3

Rapportage

overzichten voor het

management.

(Push & Pull)

Totaal rapporten Aggregatie

Deel Rapporten Uitsplitsingen

Vergelijkingen

Samenvattingen

(management)

Page 25: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 25

Casus Wageningen UR:

1. Ieder vak wordt geëvalueerd. Eén vragenlijst per vak

2. WUR evalueert 100% online

3. Het ‘administratieve’ proces wordt ‘waar mogelijk’

geautomatiseerd

Wageningen UR

1

Geautomatiseerde

rapportage van 1

enkele evaluatie (=

instant rapportage).

2

Rapportage over

meerdere evaluaties

heen. Combineren

van data.

3

Rapportage

overzichten voor het

management.

(Push & Pull)

Totaal rapporten Aggregatie

Deel Rapporten Uitsplitsingen

Vergelijkingen

Samenvattingen

(management)

Page 26: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 26

Vak: High Tech Landbouw (HTL01)

Coördinator: Docent 1

Wageningen UR

Page 27: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 27

Standaard onderwerpen

Algemene vragen

Docent vragen

Prakticum vragen

Hoorcollege vragen

Tentamen vragen

Etc..

Wageningen UR

Page 28: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 28

Vak: High Tech landbouw (HTL01)

Coördinator: Docent 1

Onderwerpen in HTL01

1 x

3 docenten (1, 2 en 3)

Verzorgd door alle 3 de docenten

Verzorgd door docent 2

Nvt (namelijk project)

Standaard Onderwerpen

Algemene vragen

Docent vragen

Prakticum vragen

Hoorcollege vragen

Tentamen vragen

Etc..

Wageningen UR

Page 29: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 29

Vragenlijst voor HTL01

Algemene vragen

Vragen over prakticum

Vragen over het hoorcollege

Vragen over docent 1

Vragen over docent 2

Vragen over docent 3

Vak: High Tech Landbouw (HTL01)

Coördinator: Docent 1

Wageningen UR

Page 30: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 30

Vragenlijst voor HTL01

Algemene vragen

Vragen over prakticum

Vragen over het hoorcollege

Vragen over docent 1

Vragen over docent 2

Vragen over docent 3

Vak: High Tech Landbouw (HTL01)

Coördinator: Docent 1Docent Rapporten

1 2 3

V

V V V

V V

V

V V

V V

Wageningen UR

Page 31: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 31

Proces gekozen door Wageningen UR:

• Éénmalig zijn in EvaSys de vragen per standaard onderwerp vastgelegd

• Vanuit het administratieve systeem, waarin per vak alle onderwerpen zijn

vastgelegd, wordt er een XML bestand gegenereerd met daarin alle te

evalueren vakken voor een periode

• Het XML bestand wordt ingelezen waardoor binnen EvaSys evaluaties

(Surveys) per vak wordt gegenereerd inclusief de student e-mailadressen,

uitnodigings- en herinneringse-mails

• Standaard rapporten kunnen vanuit EvaSys worden verzonden in PDF

formaat toegespitst op de ‘rol op het vak’ van de ontvanger

• Data wordt voor MGT informatie naar datawarehouse (SAP) ‘gehaald’

Wageningen UR

Page 32: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 32

Wageningen UR import export EvaSys

Page 33: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 33

Wageningen UR SAP Rapportages

Page 34: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 34

Wageningen UR Feedback naar studenten

Page 35: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 35

Gestandaardiseerd, modulair, (de)centraal

Koppeling input SIS (XML), output BI-Tool (DAL)

TU/e: koppeling SIS, BI Tool / CON: advies, training

Data Access Layer

Page 36: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 36

THE (1956) -> TU/e (1986)

• 7.811 studenten

• Ruim 3.000 medewerkers

• 9 faculteiten

• 11 bacheloropleidingen

• 23 masteropleidingen

http://www.tue.nl/fileadmin/content/universiteit/universiteit/Beleid_ambities/TUE_Jaarverslag_Totaal_2012_Web__2_.pdf

Technische Universiteit Eindhoven

Page 37: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 37

Technische Universiteit Eindhoven

Page 38: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 38

Eerste contacten dateren van 2007

Maart 2012 voorselectie

Juni 2012 offerte

Juli 2012 aanschaf

Technische Universiteit Eindhoven

Page 39: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 39

Technische Universiteit Eindhoven

Page 40: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 40

Technische Universiteit Eindhoven

Evaluation Pitch (14)

Page 41: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 41

Modulair evalueren / Module Evaluation:

• Algemene vragen

• Onderwijsvormen

• Docenten per onderwijsvorm

• Toetsvormen

• Afsluitende vragen

Technische Universiteit Eindhoven

Page 42: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 42

Technische Universiteit Eindhoven

Page 43: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 43

Technische Universiteit Eindhoven

Screenshots Demo Voorbeeld

Page 44: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 44

Technische Universiteit Eindhoven

Page 45: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 45

Technische Universiteit Eindhoven

Page 46: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 46

Technische Universiteit Eindhoven

Page 47: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 47

Technische Universiteit Eindhoven

Page 48: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 48

Technische Universiteit Eindhoven

Page 49: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 49

Technische Universiteit Eindhoven

Page 50: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 50

Technische Universiteit Eindhoven

Evaluation Pitch (14)

Page 51: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 51

Technische Universiteit Eindhoven

jaar blok ECTS Vakcode Faculteit Vaknaam Respons (#) rapportcijfer Docentbeoordeling docent opzet organisatie studiemateriaal toetsing

spreiding studielast

gem. tentamencijfer % geslaagd

1 3 512345

IE&ISVoorbeeld vak 1

69% (213) 7 (1.3) Docent 1 3.3 (1) 3.8 (0.7) 3.9 (0.8) 3.7 (0.8) 3.4 (1.1) 3.8 (1) 7 74

Docent 2 4.1 (0.8)

Docent 3 3.8 (0.8)

1 3 567890

IE&ISVoorbeeld vak 2

81% (159) 6.9 (1.1) Docent 1 4.3 (0.7) 3.8 (0.7) 3.8 (0.7) 3.6 (0.8) 3.6 (0.8) 3.4 (1) 6,9 63

Docent 2 3.8 (0.7)

Docent 3 3.5 (1)

1 3 59874

W&IVoorbeeld vak 3

21% (34) 7.4 (1.9) Docent 1 4.1 (1.1) 3.9 (1) 4.2 (0.7) 4 (1) 3.7 (0.9) 4 (1.3) 7,5 76

Docent 2 3.9 (1.7)

Docent 3 3.3 (1.7)

Docent 4 3.6 (1.2)

Docent 5 3.5 (1.3)

1 3 554321

W&IVoorbeeld vak 4

39% (19) 7.3 (1.6) Docent 1 3.4 (0.9) 3.7 (0.8) 3.6 (1.1) 3.2 (1.1) 4.2 (0.8) 4.3 (0.8) 6,5 65

Docent 2 3.9 (1.2)

Docent 3 3.2 (0.8)

Evaluation Pitch (14)

Page 52: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 52

POC EvaSys (2012)

Invoering EvaSys 'Bachelor College‘ (2012-2013)

Opzetten BI tool + uitrol EvaSys niet curiculaire evaluaties

(aanvang 2014)

• Invoering EvaSys 'Graduate School‘ (2014-2015)

• Rapportages Graduate School

• Uitfasering oud evaluatiesysteem

Technische Universiteit Eindhoven

Page 53: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 53

Rol TU/e:

Aanpassen OWIS (SIS)

Vastleggen onderwijs- en toetsvormen

Maken Questionnaires

Koppelen BI-Tool

Implementeren

Technische Universiteit Eindhoven

Rol Consilium:

Installeren:

• 2 dagen

10 dagen begeleiding:

• Proof of Concept

• Brede kick-off

• Inventariseren

• Onsite instructies

Page 54: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 54

EvaSys in centrale en decentrale omgevingen

Online en/of op papier evalueren

EvaSys integreren met andere systemen

Modulair evalueren met EvaSys

Page 55: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 55

• Bijna 30.000 studenten

• 5.000 werknemers (Universitair Medisch Centrum niet meegenomen)

• 7 faculteiten

• 60 bachelor opleidingen

• 134 masteropleidingen

• 350.000 m2 onroerend goed (>85 locaties)

UvA Q

Page 57: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 57

UvA Q

Page 58: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 58

• Harmoniseren van het decentrale kwaliteitszorgbeleid -> Vrijheid op

vak/opleidings-/faculteitsniveau binnen de geldende afspraken

• Introductie nieuwe evaluatiecyclus per vak -> UvA Q

VAK + SEF + REFL = UvA Q

VAK = Module manager: Vak informatie

SEF = Student: Evaluatie formulier (papier / online)

REFL = Docenten: Reflectie formulier

• Waar mogelijk gebruik maken van externe databronnen (SIS & SAP HR)

• Export naar UvAdata (SAP BI) t.b.v. management rapportage

UvA Q

Page 59: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 59

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 60: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 60

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 61: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 61

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 62: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 62

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 63: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 63

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 64: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 64

UvA Q

VAK + SEF + REFL = UvA Q

(docentinfo)

(vak & student

info)

(vakrapporten) (docentrapporten)

Page 65: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 65

UvA Q

Page 66: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 66

UvA Q

Page 67: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 67

1. SOAP koppeling tussen UvA Q portal en EvaSys

2. EvaSys DAL koppelingen tussen SAP BW/UvA data en UvA Reports

3. Data import service voor SIS en SAP HR bestanden

UvA Q

Page 68: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 68

UvA Q

http://search.nvao.net/files/51d2972650418_besluit%20UvA%20Instellingstoets%20kwaliteitszorg.pdf

Page 69: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 69

Uitdagingen

Algemeen

• Erkenning dat ‘customer feedback’ essentieel is voor de organisatie

• Centraal vs decentraal

• Mate van vrijheid: standaardisatie, harmonisatie, volledige vrijheid

Voorkant

• Importen of koppelen?

• 1 of meerdere bronsystemen binnen de organisatie?

• Waar zit de juiste broninformatie?

• Is de broninformatie up-to-date en compleet?

• Koppeling creëren: zelf doen of uitbesteden?

Achterkant

• Exporten of koppelen?

• 1 of meerdere BI-systemen binnen de organisatie?

• Rapportagebehoeften: pre-fab of zelf creëren

Page 70: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 70

Page 71: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Copyright 1997-2002 Cardiff Software Inc. All rights reserved. Sheet 71

Closing the loop

Page 72: Meten van kwaliteit van onderwijs en kwaliteit van toetsing - Danny van Kuyk - HO-link 2014

Consilium bedrijfsproces-automatiseringsoplossingen

Dank voor uw aandacht