User Checks - Agile Usability Testing
-
Upload
anouschka-scholten -
Category
Design
-
view
460 -
download
3
Transcript of User Checks - Agile Usability Testing
userneeds @anous
user checksagile usability testing
One day workshop by Userneeds - Anouschka Scholten Assisted by Arjanne Anouk Interact - Arjanne de Wolf
Hosted by Design by Fire23th of January 2015, Fort aan de Klop
userneeds @anous
agenda
Introduction9:30 uur
We split up10:15 uur
LUNCH12:30 -13:00 UUR
Plenair15:00 uur
Background & practical need to knows
Plan the user check (till 10:50)
Conduct the user check, 1st round (till 12:00)
Analyse the findings
Translate findings into a better design (till 14:15)
Conduct the user check with other user(s), 2nd round(till 14:45)
Wrap it all up (till 15:00)
Share your experiences: 10 minute presentation per group (till 15:40)
Learnings
userneeds @anous
person
needs
goal
Image: source http://thenextweb.com/dd/2014/05/27/context-design-seize-magic-moment/
userneeds @anous
Start- en eindlocatie
invullen
Route voorbereiden
Hoe lang duurt de reis,
ik wil echt op tijd zijn!
userneeds @anous
Waar? Hoe kan ik
die andere locatie
ingeven?Ik wil niet delen, opslaan of
favoriet maken…
Opnieuw proberen, misschien
eerst de eindlocatie ingeven?
Verdorie ik moet weg
Wat is dit nou??!!!Wat ben ik toch dom…
Dan maar naar de webversie
van Google Maps
userneeds @anousImage source: http://www.techrepublic.com/blog/web-designer/balancing-the-website-design-between-business-
objectives-and-user-experience/
userneeds @anous
A good user experiencefit users’ expectations and meet their goals
It goes beyond
usability:
the facets of UX
by Peter Morvillehttp://semanticstudios.com/us
er_experience_design/
userneeds @anous
Slides with the hierarchy:
http://www.slideshare.net/stephenpa/creating-pleasurable-
interfaces-getting-from-tasks-to-experiences
userneeds @anous
userneeds @anousUCD process diagram (© Tom Wellings)
Source http://www.emotivesystems.co.uk/ucd-process-diagram-and-guidelines/
userneeds @anous
Definitie Usability Test
” The extent to which a product can
be used by specified users to
achieve specified goals with
effectiveness, efficiency, and
satisfaction in a specified context
of use.”
The International Organization for Standardization (IOS)
userneeds @anous
Misvattingen
Iedereen kan usability testenJawel, iedereen kan het doen, maar weinigen doen het goed: ervaring is een belangrijke factor, wat zeg je wel en wat juist niet, hoe coordineer je…
Usability testen gaat alleen om het testen van de usability De meeste usability testen, testen de volledige user experience
Het gaat met name om kwantitatieve metingenNee, het gaat juist om het achterhalen van WAAROM er iets gebeurt
See all 17 myths: http://www.uxmatters.com/mt/archives/2015/01/17-
usability-testing-myths-and-misconceptions.php
userneeds @anous
Getting to
empathyA key function of usability testing
userneeds @anous
Usability testing
is about
observing behaviour
Watch the user do what comes naturally,while performing a task. Don't help.Not asking about opinion.
userneeds @anous
Hardop denken
Synchroon hardop denkenje vraagt de testpersoon tijdens het uitvoeren van de taak hardop te
denken
Retrospectief hardop denkende testpersoon voert eerst de taak uit en licht deze achteraf toe door de
opgenomen acties opnieuw te bekijken
userneeds @anous
Usability Test traditional
1 round of testing
In a lab environment, eye tracking
Moderator is a UX’er, designer indirectly involved
Process based
userneeds @anous
Nadelen traditioneel
Usablity test
• Blijft vaak allleen bij aanbevelingen
• Meestal geen hertest
• Kosten en resources: beschikking over lab,
eyetracking apparatuur en UX researcher
• Lang van te voren inplannen (zeker 1 mnd)
• Niet in werkelijke context van gebruik,
kunstmatige omgeving
userneeds @anous
Guerilla Usability Testing
No testplan, just do
it
In the user context
(on the street, in
house,…)
Designer, product
owner involved
Result based
userneeds @anous
Nadelen Guerilla usability
testing
• Te ad hoc, geen plan, geen focus
• Niet perse met de doelgroep
• Vaak geen ervaren UX interviewers
• Observatie wordt vaak onvoldoende vastgelegd
waardoor de evaluatie en vertaalslag discutabel
kan zijn
• Vaak geen hertest
userneeds @anous
Test and retest within 1 week
In the users context, easy set up
Designer conducts the test
Value based
User Checks Agile Usability Test
userneeds @anous
Nadelen Agile Usability
Test
• Designer kan te betrokken zijn, te onervaren
• Zware druk op verbeteren ontwerp binnen agile
process (keeping in pace with development)
• ‘high fidelity’ testing vraagt om hoge kwaliteit en
snelheid van teams voor hertest, multi disciplinaire
inzet: product owners, IxD, visual design en
content
userneeds @anous
What’s your focus?
Do you aim for
• One usability test, thoroughly, the result is scoped and used in the final design> Process first
• Getting out of the building, seeing a or several people use your design and learn from that> Result first
• Usability test often and iterate within each test, learning more each time, aiming for a better design> Value first
userneeds @anous
Design new site ggdhaaglanden.nl
User check with a doctor in his office
GGD Haaglanden project Angi Studio:
http://angistudio.com/cases/ggd-haaglanden.html
userneeds @anous
Ik weet niet wat OGGZ betekent, Milieu en Gezondheid…is dit voor mij?
Van
GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html
Menu indeling: geen overzicht, inzicht, herkenning, focus… voldoet niet aan verwachting, weg wordt
niet gevonden
userneeds @anous
Natuurlijk, ook SOA en bezorgd over kinder-mishandeling… ja, belangrijk!
Naar
GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html
Wijzigingen op verschillende niveaus: wat waar onder valt, naamgeving, hiërarchie, toevoeging visuele
cues (affordance), less is more…
userneeds @anous
Bij Meiden verwacht ik 14 tot 21...oh, ik denk dat ik toch wel in die doelgroep val als ik het zo lees
Bij de pop-up informatie LINDA.meiden
Project van Angi Studio: http://angistudio.com
Herontwerp
LINDA abonnement afnemen
userneeds @anous
“Zo onder elkaar is duidelijk, je kunt er zo doorheen”
Sub home abonnementen
met cadeau - mobiel
Lange lijst om te scrollen
vormde geen enkel
probleem
2e ronde: de footer met
next steps menu werd wel
gebruikt
Navigeren met hoofdmenu
gebeurde 1e ronde niet
Sticky menu bood ook geen
oplossing… dead end
Project van Angi Studio: http://angistudio.com/
userneeds @anous
2e ronde
1e ronde
1Design en Testdoel
2 Gebruikers
doelen
3 Taak
scenario’s
4Testen
5 Bevindingen
Evalueren
6Ontwerp
verbeteren
7 Hertesten
8 Bevindingen
Evalueren
Opnieuw
of
Naar
definitief
ontwerp
Agile usability test cycle in 1 week
userneeds @anous
Focus van de test
• Welke organisatiedoelstelling is key:
Meer/of iets nieuws verkopen, service kosten
verminderen, kennisdeling bevorderen, meer
abonnees, self service…
• High of low fidelity design, of de live site
• Doelgroep: hoofd- en sub doelgroepen; eerste
keer gebruik, terugkerend; met name mobiel…
1Design en Testdoel
userneeds @anous
Aantal respondenten
Steve Krug zegt dat 3 testpersonen genoeg zijn,
terwijl Jacob Nielsen het over 5 gebruikers heeft.
Nielsen gaat ervan uit dat je met 5 testpersonen
75% van de problemen achterhaalt. Daarna zul je
niet zoveel nieuwe problemen meer tegenkomen.
Bij Agile usability testen, per ronde minimaal 2 en
idealiter 4 gebruikers
userneeds @anous
Met betrekking tot de focus
Wat is het doel, de
motivatie van de gebruiker
• <Reis site> Een exclusief reisje voor de familie met de
kerst, eentje die ze zich blijven herinneren
• <Telefoonaanbieder site> Ik wil een aantrekkelijk
telefoonabonnement waar ik niet te lang aan vast zit
• <Bank site> Mijn kinderen verdienen een fijne
toekomst en ik wil ze op weg helpen als ze op hun
eigen benen gaan staan, is sparen of beleggen het
beste
2 Gebruikers
doelen
userneeds @anous
Met betrekking tot het gebruikersdoel
In welke realistische
situatie, welke taak
• Gebruikersdoel: De druilerige zondag doorkomen met mijn vrienden, naar een leuke film.
• Taak: Het is zondagochtend en het regent, je hebt zinom naar de film te gaan met je vrienden vanmiddag en gaat meteen kijken.Kijk op <site> voor een film om met je vriendennaartoe te gaan vanmiddag.
• Zeg niet: Gebruik <site> en zoek naar een film om naartoe te gaan vanmiddag. Vertel me waar je op geklikt hebt
3 Taak
scenario’s
userneeds @anous
Observeer en luister
actief
• Voorgesprek• Introductie: doel test en duur + opname toestemming
Kort interview, wie heb je voor je
• Taakopdracht(en)• Hardopdenk instructies, niet jij wordt getest
Prototype uitlegTaak voorleggen/vertellenTaak hardop denkend laten uitvoeren, niet onderbreken
• Evaluatie taak• Open vragen, pad doorlopen, verwachtingen checken
en doorvragen
• Afsluitende vragen, bedanken en evt. vergoedingof incentive geven.
4Testen
userneeds @anous
Testopstelling en rollen
• 1 proefleider
• 1 observator (2 of meer mag, maar kan de
gebruiker te veel afleiden)
• Testopstelling: proefleider en observator zitten
schuin achter de respondent (kunnen meekijken
op device en gezichtsuitdrukking zien)
• Audio opname (via je telefoon) ter naslag
• Wat ook kan, maar maakt het minder eenvoudig:
Video opname apparatuur
Evt. screen recording software: TechSmith’s Morae (PC only) of
Silverback (Mac only)
userneeds @anous
Actief luisteren & Vragen
stellen
userneeds @anous
Observeren en eigen houding
8% Inhoud
37% Intonatie
55% Houding
Bron: Training Interviewtechnieken van de Rabobank
userneeds @anous
Basishouding
• Toon: warm, rustig, zachtjes, harmonieus
• Houding: open, uitnodigend, naar voren gebogen, rustig aankijken
• Sfeer: belangstellend, vertrouwd
• Gedrag: vriendelijk, geïnteresseerd, betrokken, nieuwsgierig
alles wat gebruiker zegt/doet is goed
zelf geen oordeel hebben
Bron: Training Interviewtechnieken van de Rabobank
userneeds @anous
Test wenselijk gedrag
doorbreken
• Niets of heel weinig zeggen
Waar denk je aan? Wil je blijven praten?
• Niet hardop voor zichzelf, maar tegen jou als
proefleider
‘Goed om te weten, maar wil je voor jezelf praten,
niet tegen mij?’
• ‘Ik denk dat het voor de meeste mensen heel
handig is’
Okay, maar hoe is het voor jou? Waarom?
userneeds @anous
De kunst van de juiste vragen stellen
op het juiste moment
• Taakuitvoering eerst
Niet interfereren, laten aanmodderen dus
• Open evaluatievragen na de taakuitvoering
Actief luisteren
Luisteren, Samenvatten en Doorvragen
• Evt. extra (open) vragen
Wat verbeteren, Hoe benoemen, Aanbevelen?
userneeds @anous
Standaardzinnen evaluatie
“Als ik je goed begrijp zeg je…”
“Kun je daar een voorbeeld van geven?”
“Wat vind jij er zelf van? Wat zou jij graag willen?”
“Wat verwacht je/ is voor jou het meest logisch?”
“Wat zou jou het meest helpen (in jouw werkzaamheden)?”
“Jij bent vast niet de enige die er zo over denkt…”
“Hoe zou het beter kunnen?”
“Wanneer ben jij tevreden?”
“Wat vind je het belangrijkst?”
userneeds @anous
Plenair evalueren5 Bevindingen
Evalueren
• Zet de plus- en knelpunten op rij, wat zijn de
grootste issues (tav doelstellingen van de
test)?
• Maak een lijst met mogelijke verbeterpunten
(volgorde is nog niet van belang)
userneeds @anous
Wat verbeteren en
hoe
6Ontwerp
verbeteren
Per verbeterpunt
• Prioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact
• Maak een inschatting van de inzet van expertise, tijden/of geld:1 Kost veel moeite2 Lastiger door te voeren3 Eenvoudig door te voeren
• Bepaal met de verantwoordelijke belanghebbenden watverbeterd wordt voor de hertest en voer dat door
> Hertest (7) en Evalueer de bevindingen (8)
userneeds @anous
Hertest hypothese formuleren
In de lean startup methode wordt elke validatiemoment via hypotheses getest. Dit kun je ook op ronde 2 toepassen:
Op basis van de 1e user check ronde, denken we dat de UX verbetert door
{een herindeling van..; toevoegen van persoonlijke artikelen; het toevoegen van testimonials; een subtielere manier van feed forward; beter contrast…}
We hebben gelijk wanneer in de 2e ronde user checks{dit en dat gebeurt of juist niet gebeurt, gezegd wordt; gezienwordt; op geklikt wordt…} en daardoor {gebruikersdoel x} (beter) bereikt wordt.
userneeds @anous
This is how we do it…
SitatieschetsAnouschka gaat over 1 maand naar Oostenrijk op vakantie en realiseert zich dat haar rijbewijs dan nietmeer geldig is.Ze wil snel haar rijbewijs verlengen en besluit ditdirect te regelen.
Ze gaat hiervoor naar de site van de gemeenteUtrecht
…
userneeds @anous
Opsplitsen in 2 groepen
Elke groep krijgt een eigen site toegewezen
waar zij user checks mee gaan uitvoeren
userneeds @anous
Group I
Interaction15.com
userneeds @anous
Nu jullie, per groep
Ronde 1 Voorbereiding samen- Bedenk de mogelijke organisatiedoelstellingen, kies er eentje voor de test
- Welke doelgroepen hierbij met welke gebruikerdoel(en)? Kies…
- Formuleer taakscenario(‘s): vanuit een werkelijke situatie, context van gebruik, actiegericht, in de taal van de gebruiker
Voer een user check uit met het vastgestelde taakscenario(doe twee user checks achter elkaar, mits de tijd het toelaat)
- Bedenk per keer: wie vervult welke rol en hoe wordt er geobserveerd, hoe vastgelegd
- Vraag iemand uit de andere groep als respondent en voer de test uit
- Na taakuitvoering, de ‘respondent’ gaat weer terug naar zijn groep
Evalueer de test met elkaar, nadat beide user checks zijngeweest
- Zet de bevindingen op geeltjes, wat zijn de grootste knelpunten (t.a.v. de gekozen test-/gebruikersdoel(en))
Om 12:30 uur LUNCH tot 13 uur
userneeds @anous
De 2e ronde – na de lunch
Brainstorm wat er verbeterd kan worden nav de belangrijksteknelpunten
- Maak een lijst met mogelijke verbetervoorstellen (volgorde is nog nietvan belang), max. 10
Per verbeterpuntPrioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact
Maak een inschatting van de inzet van expertise, tijd en/of geld:1 Kost veel moeite2 Lastiger door te voeren3 Eenvoudig door te voeren
Voer voor vandaag iets door wat haalbaar is voor de workshop: in paper prototyping, in elkaar gehackt via prototype tool of anderszins. Formuleer het evt. in een hypothese
Hertest 2x (voer opnieuw 2 user checks uit), telkens met eenandere persoon uit de andere groep (zie ronde 1)
Evalueer de test, in hoeverre heeft de verbeterslag gewerkt? Watkan beter, waarom en hoe? > zet de conclusies op rij
Om 15:20 uur: korte pauze 10 min
userneeds @anous
Tot slot
Presenteer per groep hoe het is gegaan
Learnings wat neem jij mee?
Afronding van de dag
userneeds @anous
Voorbeeld Voorstellen
In spreekstijl
Hallo, hoe is het met u? Fijn dat u tijd voor ons vrijmaakt!Mijn naam is Anouschka Scholten. Ik neem dit interview af en met mij is <naam collega> die het interview vastlegt. Ook hebben we <naam> meegenomen, hij werkt sinds kort bij ons en kijkt graag een keertje mee.Wij zijn van Userneeds en helpen <organisatie x> met het neerzetten van websites en in dit geval eigenlijk meer een webapplicatie.
<Organisatie x> vindt het belangrijk dat de webapplicatie gemakkelijk werkt voor degenen die er mee aan de slag gaan. Daarom willen we u een aantal vragen stellen en u de eerste ontwerpschetsen voorleggen. Het interview neemt ongeveer een uur in beslag.
Heeft u er bezwaar tegen als we de sessie opnemen ter naslag ? Alles wat we bespreken en opnemen wordt vertrouwelijk behandeld!Heeft u nog vragen?
userneeds @anous
Voorbeeld instructies (1)Prototype instructieWe testen een ontwerp en daarvoor maken we gebruik van een prototype. Het prototype presenteert webpagina’s zoals het moet gaan worden. Dit betekent dat niet alles klikbaar is of werkt en dat onderdelen niet ingevuld zijn. Schrik dus niet als er iets niet werkt, daar kunt u niets aan doen!
<Na voorleggen van de situatieschets en opdracht>
Hardopdenk instructie (formeel)Tijdens het uitvoeren van de taak wil ik u vragen om hardop te praten terwijl u bezig bent: probeer alles waar u aan denkt, hardop te verwoorden. Dus ook al denkt u tussendoor ‘ik moet niet vergeten nog boodschappen te doen’ ik wil het allemaal horen, niks is fout! Zegt u niets dan zal ik vragen waar u aan denkt.U praat niet tegen mij, maar voor uzelf en ik zal dus ook geen antwoord geven.
Hardopdenk instructie (minder formeel)
Ga uw gang en…Als u zo de site doorloopt, wilt u proberen hardop te zeggen wat u denkt? Niet tegen mij, maar voor uzelf?Niets is fout, alles is goed, bijv. ook ’wat is dit nou weer?!’
userneeds @anous
Voorbeeld Testsessie agenda en instructies (2)
Onderdeel Duur in minuten
1 Introductie en interview vooraf 102 Taakopdrachten (hardopdenkend) + evaluatie
per taak30
3 Overall evaluatie/vragen 104 Afsluiting
Agenda per testsessie
Elke respondent doorloopt één testsessie van driekwartier tot maximaal een uur. Een
sessie bestaat uit de volgende onderdelen:
Introductie en interview vooraf (20 min.)
• Welkom, koffie/thee/water
• Korte achtergrondschets geven van de doelstellingen van de test (organisatie vindt
het belangrijk dat datgene wat wordt ontwikkeld ook te gebruiken is en gewaardeerd
wordt…. etc.).
Benadrukken: niet de persoon wordt getest maar het ontwerp, hij/zij hoeft zich
niet druk te maken over wat anderen ervan vinden, we zijn geïnteresseerd in
haar/zijn/ervaringen.
• Uitleg over hoe lang het ongeveer duurt en wat de respondent te wachten
staat (agenda).
• Gegevens worden vertrouwelijk behandeld.
• Toestemming vragen om opname.
userneeds @anous
Voorbeeld Vragen voorafPersoon & Context
1. Wat is uw leeftijd (voor zover onbekend).
2. Hoe ziet uw (werk)dag er uit? (doorvragen om te achterhalen wat focus heeft/wat niet en hoe, om aan te sluiten bij de taak zo dadelijk)
3. Zit u vaak op internet, waar gebruikt u het zoal voor: e-mailen, sites bekijken, bankzaken regelen? (Ervaringsvraag)
4. Gebruikt u internet ook op uw mobiel? Zo ja, welk type/wanneer/waarvoor/ hoe vaak?En op een tablet? Zo ja, welk type/wanneer/waarvoor/ hoe vaak?
5. Wat maakt dat u met een glimlach op staat (om te gaan werken, dat u er echt zin in heeft)?
6. Waar ligt u wel eens wakker van, vindt u minder makkelijk (in uw werk)?
userneeds @anous
Voorbeeld Afronding sessie
Voorbeeld overall vragen
• Mist u iets? Zou u zo aan de slag kunnen denkt u? Waarom wel/niet? Wat heeft u nog nodig?
• Hoe zou het beter kunnen vindt u? Waarom?
• Als u de website zoals u deze heeft gezien, zou omschrijven in 3 woorden, welke woorden zou u dan noemen? (Bijv. standaard, spannend, warm, saai,…Waarom per woord, in welke mate).
Afronding
Hartelijk dank voor uw medewerking!
Hoe heeft u het interview ervaren? Bent u evt. bereid nogmaals deel te nemen aan een interview?
Vindt u het goed als we een fotootje van u nemen voor het verslag dat alleen aan de betrokken projectleden wordt getoond?
Uw foto wordt absoluut niet zonder uw toestemming verspreid!