Situational Judgement Tests

Alain Hosdey en Michael Tack

Inhoud

• Inleiding

• Situational Judgement Tests

• Demo

• Omschrijving

• ‘The making of’

• Kwaliteit van SJTs

• Balans

• Tips voor doe het zelvers en concurrenten

• Stellingen en discussie

Inleiding

• Alain Hosdey en Michael Tack

• Adforum

• Oefening

Inleiding

• Alain Hosdey en Michael Tack

• Adforum

• Uitgangspunten:

• Innovatief

• Wetenschappelijk

• Praktijkgericht

• Activiteiten:

• Ontwikkeling HR-tools

• Audit

• Varia

Relevante projecten die momenteel lopen:

VRAAG: WAT DOE JE?

Je bent personeelsverantwoordelijke van een grote firma.Het is begin september. Op de camerabeelden is

te zien dat een van de administratieve medewerksters een viertal cursusblokken en wat balpennen in haar

tas steekt.

Wanneer ze hierover wordt aangesproken door de bewaking, geeft ze toe dat ze het materiaal voor

private doeleinden wou gebruiken. Ze is alleenstaande moeder met twee kinderen, zo zegt ze en

september is een dure maand.Extra schoolgerief komt goed van pas.

In het arbeidsreglement staat: Diefstal = ontslag.

Oefening

Stellingen: Bent u akkoord?

1) Uit de reactie die iemand geeft op de situatie, leren we iets over die persoon.

1) Die kennis over die persoon is nuttig om te voorspellen (met mate van onzekerheid) hoe iemand zal

reageren in een professionele context.

1) Iemands ervaring heeft een invloed op wat iemand al dan niet een goede reactie vindt.

1) In verschillende organisaties zal je geconfronteerd worden met verschillende professionele uitdagingen.

Oefening

De bovenstaande stellingen vormen de uitgangspunten om te gaan werken met testen in het

algemeen en SJTs in het bijzonder.

Oefening

Situational Judgement Tests• Demo

• Omschrijving

• ‘The making of’

• Kwaliteit

• Tips voor doe het zelvers en concurrenten

• Balans

SJT- DEMO

• Tekstueel: Selor• Multimediaal: Vlaamse Overheid

10

Demo: TekstueelSITUATIE:

Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een mopje over ‘dikke mensen’. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden ‘Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!’.

Henri, een derde collega, staat naast Anita wanneer dit gebeurt.

Anita: “Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé!”

Henri reageert als volgt: 11

Demo: TekstueelHoe gepast vindt u elk van volgende reacties?

• Ja, inderdaad, ze kan niet tegen een grapje. Nogal flauw van haar, vind ik.

• En toch moet ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen.

• Ach, dat waait wel weer over. Ze zal waarschijnlijk een slechte dag hebben vandaag.

• Misschien moet je even naar haar toe gaan om te zien of wel alles in orde is met haar.

12

Demo: Multimediaal item

Demo Vlaamse Overheid (Generieke proef)

13

OmschrijvingSituational Judgement Tests geven ons een beeld van hoe kandidaten situaties inschatten waarmee ze worden geconfronteerd in een professionele context. Kandidaten worden geconfronteerd met een aantal werkgerelateerde uitdagingen en worden gevraagd een oordeel te geven over een aantal beschreven reacties.

(Eigen definitie op basis van verschillende definities uit de literatuur)

14

Overzicht verloop test

Kandidaat neemt plaats voor

PCInstructies

Filmpje van professionele

situatie speelt af of kanidaat

leest de situatie

Kandidaat bekijkt

antwoordalternatieven

Kandidaat scoort

antwoordalternatieven op

gepastheid

Oefenitem

Opslaan resultaten Verwerking van de resultatenResultaat: Score en

feedback

The making ofTypisch traject om SJT te maken:• Incl. keuzes die moeten worden gemaakt• In samenspraak met de opdrachtgever (i.c.

Selor)

16

The making ofBeslissing 1: Wat willen we meten?

• Optie 1: P-O fit op ‘gedrags-’niveau(Klassiekebenadering)

The making ofBeslissing 1: Wat willen we meten?

• Optie 2: Competenties

Aanbieden van: • Cases • Goede reacties (= indien competentie beheerst)• Slechte reacties (= indien competentie niet

beheerst)

The making ofBeslissing 1: Wat willen we meten?

• Optie 3: Ethisch verantwoord gedrag (Recent)

Aanbieden van: • Cases • Goede reacties (= indien men ethisch handelt)• slechte reacties (= indien men niet ethisch

handelt)

= Experimenteel⇒Valkuilen: sociale wenselijkheid, helderheid

ethische normen, doorzichtigheid situaties⇒ Experimenten afwachten

The making ofKeuze die we maakten samen met Selor:

Meten van competenties aan de hand van confrontatie van kandidaat met herkenbare situatiesvoor federale ambtenaren

The making ofBeslissing 2: Hoe gaan we kritische incidenten

genereren?

• Via workshops/interviews in organisatie• Via eigen ervaring en inspiratie

Werkwijze bij dit project: verschillende bronnenvan input:

• Workshops• Interviews• Eigen ervaring, voorgelegd aan Selor

The making ofKritische incidenten sorteren:• Samenvoegen gelijkaardige voorvallen• Elimineren van te specifieke situaties

(bijvoorbeeld te specifiek voor één FOD)

The making of• Ontwikkeling items (situaties)

Zoeken van een balans tussen:• Context niet té specifiek voor één categorie van

ambtenaren (probleem van voorkennis)• Context niet té specifiek voor één soort functies• Herkenbaar voor externen, maar geen context die

typerend is voor private sector

The making of• Ontwikkeling items Indien verfilmd: aandachtspunten:• Professionele filmploeg• Professionele acteurs die

• Niet (te) bekend zijn• Niet ‘te geschoold’ zijnIdeaal= trainingsacteurs

• Verregaande aandacht voor non-verbale elementen (in scripts en regie)

• Rigoureusheid als consultant:• Voor jezelf• Voor anderen

The making ofBeslissing 3: Welke instructies gebruik je?

• Inhoud: Peilen naar:• Inzicht? (Hoe gepast vindt u deze reacties?)• Gedrag? (Wat zou je doen?)

• Hoe:• Normatief? (Kandidaat geeft oordeel over iederereactie)

• Ipsatief? (Kandidaat kiest beste (en eventueelslechtste) reactie)

The making ofIn dit project kozen we voor:

• Peilen naar inzicht (Hoe gepast vindt u dezereacties?)

• Normatieve bevraging (Kandidaat geeft oordeel over iedere reactie)

The making ofBeslissing 4: Welke scoringssleutel gebruik je?

• Optie 1: Theoretisch model • Competenties• Theoretische visie op wat goede medewerker is• Nieuw type medewerker (bijvoorbeeld naaraanleiding van nieuwe strategie)

• …

The making ofBeslissing 4: Welke scoringssleutel gebruik je?• Optie 2: Empirisch criterium:

Gebruik een groep medewerkers als criterium:• ‘High performers’ (bijv. Beste scores bij evaluaties)• Hoge anciënniteit• Juiste competenties• Juiste waarden…Vergelijk antwoorden van kandidaten met antwoorden deze groep

The making ofBeslissing 4: Welke scoringssleutel gebruik je?• Optie 3: Experten Panel

Vraag aan experten hoe een goede kracht op de situaties zou moeten reageren:• Topmanagement• Directe leidinggevenden• Extern panel van specialisten• …Resultaten bepalen als gemiddelde individuele responsen (variant op empirische methode)In workshop komen tot ideale antwoorden

The making ofBeslissing 4: Welke scoringssleutel gebruik je?

Keuze in dit project:

Optie 1: Theoretische sleutel: Selor competenties

Hoe gaat dit concreet in zijn werk?

TEST 131Itemnr. 1.1Competentie In team werkenSITUATIE

Indicator Dimensie beste score is

ALT A

Bespreekt problemen en dossiers met de andere teamleden om zo tot een oplossing te komen.

Overleggen: ideeën en opvattingen op een open manier delen met anderen en hen ertoe uitnodigen hetzelfde te doen. POS

ALT B

Zet medewerkers en/of collega’s aan om spontaan informatie en opinies uit te wisselen.

Overleggen: ideeën en opvattingen op een open manier delen met anderen en hen ertoe uitnodigen hetzelfde te doen. NEU

ALT C

Neemt de nodige initiatieven die de groepssfeer ten geode komen.

Groepsgevoel stimuleren: teamgeest creëren door het aanmoedigen van communicatie en door het bundelen van krachten. POS

ALT D

Geeft het geode voorbeeld door zelf actief samen te werken en te communiceren met de teamleden.

Groepsgevoel stimuleren: teamgeest creëren door het aanmoedigen van communicatie en door het bundelen van krachten. POS

The making ofStap 1: Framework opmaken per item:

Reactie

Indicator waarvan de reactie een (tegen)indicatie van is.

Het ideale antwoord is … (at random verdeeld)

Beschrijving van de situatie

Dimensie waartoe de indicator behoort

TEST 131Itemnr. 1.1Competentie In team werkenSITUATIE

Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een mopje over ‘dikke mensen’. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden ‘Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!’.

Henri, een derde collega, staat naast Anita wanneer dit gebeurt.

Anita: “Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé!”

Henri reageert als volgt:

Indicator Dimensie beste score is

ALT A

En toch kan ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen. Ik weet niet of je je daar bewust van bent. Heb je daar al eens bij stil gestaan?

Bespreekt problemen en dossiers met de andere teamleden om zo tot een oplossing te komen.

Overleggen: ideeën en opvattingen op een open manier delen met anderen en hen ertoe uitnodigen hetzelfde te doen. POS

The making ofStap 2: Invullen framework:

The making ofStap 3: Evaluatie door ‘maagdelijke’ consultant:

Binnen het team is er steeds iemand die niet meewerkt aande eerste versies van de items en de reacties.

Zijn/haar rol is kritisch bevragen of reacties effectief eengoede (tegen)indicatie zijn van de gedragsindicator

Stap 4: Selor leest kritisch na en gaat na of:• De situaties herkenbaar zijn• De reacties realistisch zijn binnen de federale overheid• De reacties ook volgens hen een goede (tegen)indicatie zijn

van de gedragsindicator

The making ofNa de eerste afname, worden de gegevensgeanalyseerd:

• Verdeling van de antwoorden wordt bekeken• Alpha coëfficiënten:

• Per indicator• Per competentie• Per test

The making ofNa de eerste afname, worden de gegevensgeanalyseerd:

• Verdeling van de antwoorden• Antwoordpatronen (Gemiddelden en

standaardafwijkingen)• Alpha coëfficiënten (interne consistentie):

• Per indicator• Per competentie• Per test

The making ofDe scores worden genormeerd naar de schaal van Selor:

Gemiddelde 10 en standaardafwijking 4

Feedback wordt voorzien per gedragsindicatorWie slecht scoort, krijgt ook een ontwikkeltip per

indicator

Kwaliteit van SJTsKwaliteit van SJTS als testvorm (uit de literatuur):

• Grote verschillen in kwaliteit tussen verschillende SJTs

• Maar: • Globale resultaten zijn positief• Predictieve validiteit performantie is ok (0,3-0,4)• SJT heeft zekere incrementele validiteit t.a.v.

‘klassieke’ screeningstechnieken

Kwaliteit van SJTsOver het algemeen:

• Methodologische ‘rigor’ van ontwikkelaar is van cruciaalbelang

• Verder onderzoek rond bruikbaarheid in het kader van meting van het concept van ‘ethisch gedrag’ is nodig

• Resultaten zijn positiever bij normatieve scoring

Kwaliteit van SJTsOver het algemeen:

• Instructies hebben invloed op:

• Sociale wenselijkheid (Meer sociale wenselijkheidindien gevraagd wordt wat men zou doen danwanneer wordt gevraagd wat men het beste vindt)

• De mate waarin men beredeneerd (Hoe gepast vindtu deze reactie) dan wel gevoelsmatig (Wat zou udoen?) gaat reageren.

KwaliteitErvaringen van eigen projecten:• Waar mogelijk correleren aan resultaten evaluaties

(afwachten tot kandidaten tijdje in dienst zijn)

• Wel al resultaten van bevraging kandidaten die SJT aflegden (Vlaamse overheid):• Perceptie relevantie• Perceptie moeilijkheid

• Kandidaten (test): 12189Respondenten (vragenlijst): 9875

Perceptie moeilijkheidsgraad: Textuele items

41

Perceptie moeilijkheidsgraag: Video Based items

42

Perceptie relevantie textuele items

43

44

Perceptie relevantie video based items

BalansAlgemene voordelen SJT voor organisaties:

• Gezichtsvaliditeit• Predictieve validiteit ok• Incrementele validiteit• Inhoudsvaliditeit (tailor-made)• Geen re-test effect van andere selectieprocedures• Positieve, plezante ‘user experience’• Kan gerecycleerd worden in eenontwikkelingscontext

Nadeel SJT:= Op maat gemaakt => Kwaliteit staat of valt met

methodologische ‘rigor’ van de ontwikkelaar 45

Gefilmde items:

Voordelen:• Minder adverse impact (Taal)• ‘Sexy’ (employer branding)• Intonatie and lichaamstaal• Van toepassing voor hoger en lager geschoolden

Nadeel:• Kost

Balans

Textuele items:

Voordelen:• Kost• Relevante inhoud

Nadelen:Meer nadelen van klassieke testing:

• Taal (adverse impact)• Geen info over non-verbaal gedrag

47

Balans

BalansUitdagingen waarmee we leerden omgaan: • Algemene items voor een toch nog diverse groep• Positieve ‘user-experience’ voor zéér lage

opleidingsgroepen (alle testing via PC)• Feedback van hoge kwaliteit• Creatie van draagvlak voor nieuwe testingsmethoden

(ook bij HR-mensen) • IT:

• Veiligheid• Capaciteit

• Opvolging van de ontwikkeling van medewerkers• Klassieke SJT of Webcamtest?

Tips voor doe het zelvers en concurrenten

Mocht u na deze uiteenzetting zin hebben om zelf SJTs te gaan ontwikkelen en deze te gaan verkopen of als u deze knowhow wil doorspelen aan onze concurrenten, wil ik u alvast de volgende tips meegeven:

TIP 1: Verras uw klant• Vertel uw klant dat je met een SJT alles kan meten wat

hij wenst. Hij zal erg blij zijn met dit nieuws• Vertel op voorhand niets over de scoringsmethodiek.

Dat is veel te technisch voor klanten.

Tips voor doe het zelvers en concurrenten

TIP 2: Verzin een eigen procedure om een SJT te maken• Laat uw leiden door uw inspiratie van het moment

(creativiteit en innovatie zijn erg belangrijk in deze tijden van crisis)

• Werk efficiënt: Sla zoveel mogelijk stappen in het ontwikkelproces over. Time is money

Tips voor doe het zelvers en concurrenten

TIP 3: Laat u inspireren door hedendaagse poëzie om uw items te schrijven

• Vermijd klassieke grammatie• Gebruik de kracht van de suggestie• Laat geen kritiek toe op uw werk, het is uw individuele

expressie van uw intieme emoties

Tips voor doe het zelvers en concurrenten

TIP 4: Tracht zo snel mogelijk een verfilmde SJT te verkopen.

• Het is een uitstekende gelegenheid om uw nichtje met acteertalenten haar eerste filmervaring te laten opdoen.

• Verras uw klant met de afrekening. Best nog niet op voorhand vertellen (zou demotiverend kunnen werken)

Stellingen en discussie

StellingenIk blijf nog wat bezorgd over de sociale wenselijkheid bij

SJTs.

StellingenSJTs zijn vooral geschikt voor sociale competenties,

minder voor cognitieve competenties.

StellingenIk vind het jammer dat de reacties al op voorhand zijn

vastgelegd. Ik zou het beter vinden dat de mensen hun reactie kunnen neerpennen (of indien verfilmd kunnen inspreken op een webcam).

StellingenAl bij al vind ik SJTs een interessant type test.

StellingenIk denk dat ik zelf een bedrijf zal beginnen dat SJTs

maakt. De tips die we kregen vond ik echt nuttig!

Vragen?