Test Rapport - CRIA Project

ISO/IEC 25062:2006(E) © ISO/IEC 2006 – All rights reserved

Brandylogo.com

Getest door: Jeroen de Veth Astrid Laro Mathi van der Bekerom Janique van Dijk Lennard Bakker Datum document Januari, 2010 Voorbereid door: Danh Nguyen Harm de Wit Martijn Rouwendal Nick Olijslager Powen Tang Datum voorbereid: Oktober 23, 2009 Voor: Brandylogo

Pieter Jongelie Naam: Pieter Jongelie Telefoon nummer: (026) 365 81 81 Email: [email protected] Adres: Communication & Multimedia Design, Postbus 2217, 6802 CE Arnhem

ISO/IEC 25062:2006(E) 2

Inhoud

1. Samenvatting ........................................................................................................................ 3

2. Inleiding ................................................................................................................................ 4

3. Testdoel ................................................................................................................................ 5

3.1 Gegevens testpersonen: ................................................................................................................ 5 3.2 Verantwoording taakkeuze ............................................................................................................ 5 3.3 Testomgeving ................................................................................................................................ 6 3.4 Metingen ........................................................................................................................................ 6 3.5 Procedures ..................................................................................................................................... 7 3.6 Regels ............................................................................................................................................ 7

4. Taken ..................................................................................................................................... 9

5. Resultaten ........................................................................................................................... 10

5.1 Pretest .......................................................................................................................................... 10 5.2 Taak 1 – Registeren ..................................................................................................................... 11 5.3 Taak 2 - inloggen ......................................................................................................................... 13 5.4 Taak 3 – Ontwerp tool .................................................................................................................. 15 5.5 Taak 4 – Bestel process .............................................................................................................. 17 5.6 Taak 5 – Categoriën .................................................................................................................... 19 5.7 Verbeterpunten ............................................................................................................................ 21 5.8 Eindconclusie ............................................................................................................................... 21

6. Appendix A – Vragenlijst Brandylogo® ............................................................................ 22

ISO/IEC 25062:2006(E) 3

1. Samenvatting

Brandylogo is een webshop die zich specialiseert in het aanbieden van producten die door gebruikers

worden ontworpen op dezelfde site. De doelgroep van Brandylogo bestaat uit een internationale

gebruikersgroep die oud genoeg zijn om producten voor geld te mogen bestellen. De gebruikers

moeten wel enige ervaring hebben met computer- en internet- gebruik. Het grootste percentage van

deze doelgroep zit rond de 30 jaar.

Deze usability test is ontworpen om een goede analyse te verkrijgen van de gebruiksvriendelijkheid

van deze website. De test bestaat uit een vijftal hoofdtaken die tevens de hoofdfuncties van onze

website beslaan. Daarnaast hebben de testpersonen een vragenlijst verkregen waarop zij hun

mening over de website kunnen beschrijven. De uitkomst van deze test is verwerkt volgens iso norm

“ISO/IEC 25062:2006(E)” uitgewerkt. De testresultaten zijn onderverdeeld in de categorieën:

efficiëntie, performance en tevredenheid. Uit de test zijn verscheidene resultaten naar voren

gekomen waaruit het volgende kan worden geconcludeerd: De navigatiestructuur is duidelijk en de

gebruikerstevredenheid is goed. Er zijn een aantal kritiekpunten door de gebruikers gegeven, zoals

de naamgeving van een aantal componenten.

Tijdens dit onderzoek is er bekend geworden dat het aantal uren computergebruik van onze

testpersonen niet te verhalen is op de leeftijd van de testpersoon. Het komt voor dat iemand van een

oudere leeftijd zich langer achter een computer bevind dan iemand van een jonge leeftijd.

Enkel in taak 3, de ontwerptool, is er één persoon geweest die een hint nodig had en waaraan we

een hint hebben verschaft. Dit is een zeer positieve ondervinding. Verwacht was dat vooral bij deze

taak enkele testpersonen een hint nodig zouden hebben vanwege de moeilijkheidsgraad van deze

functie.

De verbeterpunten die we zullen toepassen binnen het systeem zijn alsvolgt:

Ontwerptool

- Wijzigen van de tekst in het tabblad “Foto’s” naar “Logo’s” ter verduidelijking van het proces.

- Verbeteren van de layout van de ontwerptool om het proces beter te laten verlopen.

- Verduidelijken van de functies binnen de ontwerptool.

Bestelproces

- Onderzoeken welke velden binnen het formulier benodigd zijn en of de naamgeving correct is.

- Wijzigen van de knop “Veranderen” naar “Wijzigen met de ontwerp-tool”.

Catalogus / Navigatie

- Verwerken van de richtlijnen uit het prototype in het uiteindelijke product.

ISO/IEC 25062:2006(E) 4

2. Inleiding

Een web applicatie en website word ontwikkeld voor een gebruiker. Het is daarom erg belangrijk om onderzoek te doen naar de ervaring van de gebruiker bij deze website. In het project wordt tweemaal een usability test gehouden, hieruit willen we graag de ervaring testen van de gebruikers. Met de resultaten proberen te onderzoeken of er problemen met de applicatie of website zijn. Zodat als er problemen zijn, dat we het kunnen aanpassen.

Wij hebben een takenlijst opgesteld voor de website van Brandylogo waarin we de belangrijkste functionaliteiten van de website testen. Dit zijn registreren, inloggen, bestelproces, ontwerptool en de catalogus. Voordat we de taken laten testen, moeten de testpersonen eerst een enquête afleggen. Dit zijn vragen om achter te komen hoe de algemene ervaring van een testpersoon is. Na elke taak worden er vragen gesteld over de taak dat net voldaan is. En als de usability test voltooid is vragen we de gebruiker, hoe zijn of haar ervaring was van het testen van onze product.

De uiteindelijke resultaten van dit onderzoek hebben we samengevoegd in dit document. Waar nodig hebben we de informatie voorzien van grafische elementen. Hiervan worden tabellen en grafieken gemaakt. Met de informatie dat we hebben verkregen. Proberen we te achterhalen wat het probleem is en wat er aangepast moet worden. Dit document is verwerkt volgens de ISO-Norm “ISO/IEC 25062:2006(E)”

Wij hebben een selectie gemaakt uit het brede scala aan diensten aangeboden door Brandylogo®.

Door ons te richten op een aantal door Brandylogo aangeboden webdiensten hebben wij het onderzoek zo veel mogelijk weten te beperken tot een bruikbaar geheel. Waar mogelijk hebben wij de gegevens op een visuele manier weergegeven. Ter referentie is de daadwerkelijke vragenlijst bijgevoegd als bijlage.

ISO/IEC 25062:2006(E) 5

3. Testdoel

De doel van de test is het analyseren van de gebruikerservaring van de website van Brandylogo.

Hierbij testen we of de website duidelijk is, snel in gebruik, een goede uitstraling heeft en of het leuk

is om mee te werken. Vanuit deze analyse formuleren we vervolgens oplossingen opdat Brandylogo

verbeterd kan worden

3.1 Gegevens testpersonen:

Testpersonen en zijn met name kennissen en familie van het eigen development team, maar zijn

verder willekeurig gekozen. De testpersonen die zijn gebruikt in de eerste test zijn ook gebruikt in de

tweede test. Op deze manier hebben de type personen geen invloed in de verschillende

testresultaten tussen beide testen.

Naam Leeftijd Functie Computergebruik

Jeroen de Veth 21 Student 21 uur

Astrid Laro 16 Leerling HAVO 18 uur

Mathi van der Bekerom 51 Hoofd inkoop 30 uur

Janique van Dijk 49 Zorg medewerker 7 uur

Lennard Bakker 32 Elekticien 14 uur

3.2 Verantwoording taakkeuze

Voor onze test hebben we 5 taken bedacht. Deze taken zijn gebaseerd op 5 hoofdfuncties van onze

site Brandylogo. Deze functies zijn als volgt:

1. Registreren:

De gebruiker moet registreren om een eigen profielpagina te verkrijgen. Met behulp van

deze profielpagina kan de gebruiker gemakkelijk zijn eigen producten bestellen, omdat hij

hier niet meer zijn gegevens hoeft in te voeren. Daarnaast kan hij snel naar zijn eigen

designs, winkelwagen en wenslijst toe. Het is dus belangrijk dat de gebruiker tijdens de test

de gegevens volledig en goed invult, omdat deze gegevens ook worden gebruikt bij het

bestellen van.

De functie vinden op de homepage: www.brandylogo.com.

2. Inloggen:

De inlogfunctie volgt eigenlijk op de registratiefunctie. Om de voordelen van de eerder

ingevoerde gegevens weer te bereiken moet er worden ingelogd. Dit is een hele korte

functie, maar wel heel belangrijk en een van de meest gebruikte functies.

De functie is te vinden op de homepage: www.brandylogo.com

3. Designtool:

Het concept van de website is dat van een webshop waarbij de gebruikers zelf hun

producten kunnen maken. Het zelf maken van zo’n product gaat met de zogenaamde

“designtool”. Het is de bedoeling dat alle beschikbare producten met deze tool gemaakt kan

worden. Uit de testen moet dus blijken of deze tool gemakkelijk is en of het voldoende

creativiteit kan bieden.

De functie is te vinden op de designtool-pagina: www.brandylogo.com/designtool.php.

ISO/IEC 25062:2006(E) 6

4. Bestelproces:

Het uiteindelijke doel voor de opdrachtgever van de website is het verkopen van producten.

De producten kunnen worden verkocht volgens een gespecificeerd bestelproces, waarmee

de gebruiker wordt begeleid bij zijn aankoop. De stappen in deze functie moeten dus met

name helder en vertrouwd eruitzien, zodat de klant meer vertrouwen krijgt in de aankoop.

De functie is te vinden vanaf de persoonlijke winkelwagen-pagina:

www.brandylogo.com/cart.php.

5. Catalogus:

Niet alle gebruikers nemen de tijd om zelf een kledingstuk samen te stellen. Dit kan

verschillende redenen hebben zoals te weinig tijd, of het gebrek aan creativiteit. M.b.v. de

catalogus is het toch mogelijk om kledingstukken, gemaakt door anderen, te kunnen bekijken

en indien gewild te bestellen. Daarnaast biedt de catalogus ook voorbeelden van wat er

allemaal mogelijk op de site.

De catalogus is te vinden op www.brandylogo.com/catalog.php.

3.3 Testomgeving

In de twee keer dat we een test hebben afgenomen hebben we hiervoor twee verschillende locaties

gebruikt.

De eerste keer was dit in een normaal klaslokaal, waarbij de verschillende medewerkers van de test

allemaal bijeen waren. De test werd afgenomen op een tafel, met daarop de papieren onderdelen

van het low-fidelity prototype. Deze bestond uit uitgekozen papieren afbeeldingen van de

aangegeven functies.

De tweede keer hebben we de gebruiker samen met de facilitair manager in een apart lokaal

neergezet. De notulist en data verwerker bevonden zich in een ruimte ernaast. Participanten werden

geobserveerd door een spiegel. Geluid was in beide lokalen hoorbaar d.m.v. een internetconnectie.

De gebruiker kreeg een standaard notebook met muis tot zijn beschikking.

3.4 Metingen

We hebben ervoor gekozen om voor iedere opdracht dezelfde kwantitatieve metingen te doen. Uit

de scenario’s blijkt dat de tijd dat iedere opdracht duurt ongeveer even lang is. Daarnaast komen de

handelingen die de proefpersonen redelijk overeen. Bij iedere handeling moet een proefpersoon

namelijk eerst navigeren naar de juiste Google functie en daarna zichzelf oriënteren op de nieuwe

pagina.

Wij letten bij het afnemen van de test op de volgende kwantitatieve gegevens:

Tijd die nodig is om de opdracht te volbrengen Aantal onjuiste menukeuzes Aantal onjuiste keuzes in dialoogboxen

Aan de hand van de bovenstaande kwantitatieve gegevens kijken we of de gebruiker voldoet aan de

norm. Dat wil zeggen dat we kijken in hoeverre de gebruiker de opdracht wist te voltooien. Deze

norm bepalen we aan de hand van de aantal fouten die de gebruiker maakt en hoeveel tijd deze

ervoor nodig heeft gehad. Daarnaast kijken we naar de vooropgestelde maximale tijd dat een

proefpersoon voor de opdracht krijgt. Als de opdracht niet binnen de tijd wordt voltooid gaat de test

verder naar de volgende opdracht. Deze vooropgestelde tijd zetten we vast in het testformulier.

ISO/IEC 25062:2006(E) 7

Naast kwantitatieve gegevens letten we ook op de volgende kwalitatieve gegevens:

Ontevredenheid / tevredenheid ( mogelijk over een bijgenoemde functie)

Visuele uitingen ( bijvoorbeeld achter het hoofd krabben) Spontane opmerkingen Mogelijke andere uitspattingen ( bijvoorbeeld computer uit het raam gooien)

Andere kwalitatieve gegevens worden nog verzameld via de vragenlijst die aan de testpersoon wordt

gegeven na de test.

3.5 Procedures

Tweemaal is er een usability test afgenomen, waarbij het aantal eigen medewerkers verschilt. Bij de

eerste test waren er twee medewerkers betrokken:

Powen Tang: recruiter, notulist en observant

Powen Tang heeft als recruiter het zoeken van testpersonen op zich genomen. Hiervoor is hij

op zoek gegaan in zijn naaste omgeving in zijn kennissen- en familie- kring.

Als notulist en observant heeft hij alle waarnemingen bij de test gedaan en genoteerd.

Harm de Wit: Recruiter, facilitator, technisch uitvoerder, ontvanger

Harm de Wit had als facilitator en ontvanger de taak om de testpersoon de reden van de test

uit te leggen en de regels waarmee deze werd afgenomen. Daarnaast moest hij de gebruiker

helpen indien hij/zij echt niet meer verder kon.

Als technisch uitvoerder had Harm een speciale taak om de onderdelen van het paper-

prototype te beheren. De gebruiker gaf aan welke opdracht hij wilde uitvoeren d.m.v. de

vinger en Harm verplaatste de papieren elementen op de juiste manier.

De eigen medewerkers van het tweede onderzoek bestond uit een drietal personen:

Powen Tang: recruiter, observant, technisch uitvoerder

Powen Tang had wederom de rol van observant, maar ditmaal achter een spiegel. Hierdoor

was een connectie nodig waarmee het geluid te horen was. Deze heeft hij gerealiseerd

d.m.v. een webcam-sessie.

Harm de Wit: recruiter, notulist

Harm stond in dit geval ook achter de spiegel en notuleerde alle handelingen van de

testpersoon.

Martijn Rouwendal: facilitator, ontvanger:

Martijn Rouwendal had ditmaal de taak de uitgenodigde testpersoon te ontvangen, gerust te

stellen en de regels uit te leggen. Daarnaast had hij de taak om deze persoon te assisteren op

de computer mocht dit echt nodig zijn.

3.6 Regels

De twee usability testen hadden twee verschillende prototypes, daarom zijn er ook twee

verschillende sets van regels:

ISO/IEC 25062:2006(E) 8

Usability test 1 – low-fidelity (paper) prototype De gebruiker krijgt de opdracht om aan de tafel te zitten naast de facilitair manager. Hier krijgt hij te

horen dat hij niet mag praten met de aanwezigen rondom hem, tenzij hij vastloop met een opdracht.

De persoon moet echter wel hardop zeggen waar hij mee bezig is en welke gedachten in zijn hoofd

spelen. De gebruiker moet telkens met zijn vinger aanwijzen waar hij op klikt, sleept etc., oftewel

handelingen die hij normaal met de muis zou doen op een computer

Usability test 2 – high-fidelity prototype De gebruiker krijgt de opdracht om aan de tafel te zitten met de rug naar de aanwezige doorkijkbare

spiegel. Wederom gelden dezelfde regels voor spraak, echter zijn er wel minder omstanders in de

ruimte. Enkel de facilitair manager is in de ruimte voor het geval er werkelijk opdrachten zijn die niet

voltooid kunnen worden.

ISO/IEC 25062:2006(E) 9

4. Taken

Registratie

- Het registreren van een gebruikers account.

1. Gebruiker klikt op de link naar het registratie formulier. 2. Gebruiker vult de gegevens van het formulier in. 3. Gebruiker verzend het formulier en ontvangt mail van Brandylogo®

Inloggen

- Inloggen met de geregistreerde account.

1. Gebruiker vult de account gegevens in dat hij heeft opgegeven bij het registeren.

2. Gebruiker verzend de gegevens naar Brandylogo®

Ontwerptool - Het ontwerpen van een T-Shirt met behulp van de ontwerp tool

1. Gebruiker klikt op de link naar de ontwerptool 2. Gebruiker ontwerpt een T-shirt 3. Gebruiker upload een plaatje en plaats het op de shirt. 4. Gebruiker stopt de ontwerpen T-shirt in zijn winkelwagen en gaat verder met bestellen.

Bestelproces -De gebruiker dat het eerder ontworpen t-shirt in de winkelwagen heeft gestopt ,doorloopt de bestelprocedure.

1. Gebruiker gaat zijn producten in zijn winkelwagen kopen en ziet een overzicht van de producten. 2. Volgende pagina wordt er gevraagd of de gebruiker wilt inloggen, als een gebruiker geen account heeft dan moeten ze gaan registeren. 3. Wanneer ze zijn ingelogd kunnen ze betaal methode kiezen zoals, Ideal, Creditcard of Bank/Giro. 4. Gebruiker heeft zijn bestelling afgerond.

Catalogus -De gebruiker navigeert naar een mannen t-shirt d.m.v. tabbladen te gebruiken. 1. De gebruiker klikt op het juiste tabblad "Mannen". 2. De gebruiker kiest de juiste categorie "t-shirts". 3. De gebruiker kiest “Wild Pussy” om te bekijken.

ISO/IEC 25062:2006(E) 10

5. Resultaten

5.1 Pretest

Vraag 1 Gestelde vraag: ‘Hoe vaak gebruikt u uw computer?’ Uit de gestelde vraag, bleek drie van de vijf mensen ongeveer tot 20 uur per week de computer. De andere testpersonen gebruiken meer dan 20 uur per week de computer. Vraag 2 Gestelde vraag: ‘Welk besturingssysteem gebruikt u (hoofdzakelijk)?’ Hieruit bleek dat het meest voorkomende besturingssysteem dat gebruikt wordt Microsoft Vista en Microsoft XP zijn. Mac OS en een andere Microsoft OS ( Windows 7 ) worden gebruikt door 2 andere test personen. Vraag 3 Gestelde vraag: ‘Heeft u ervaring met het ontwerpen van kledingstukken?’ Uit de gestelde vraag waren twee van de vijf testpersonen hebben nog nooit een kledingstuk ontworpen. Drie van de vijf testpersonen hebben we eens gebruik gemaakt van spreadshirt.net & customink.com. Vraag 4 Gestelde vraag: ‘Heeft u ervaring met het organiseren van grafische elementen?’ Uit de gestelde vraag waren Twee van de vijf testpersonen hebben geen ervaring met het organiseren van grafische elementen. 3 van de vijf test personen hebben wel ervaring met het organiseren van grafische elementen. Vraag 5 Gestelde vraag: ‘Bent u in het bezit van een breedbandverbinding (ADSL, Kabel etc)’ Uit de gestelde vraag is opgemerkt dat alle testpersonen over een breedband verbinding beschikken.

ISO/IEC 25062:2006(E) 11

Testpersoon 1 0:01:40





Gemiddelde 0:01:33

Mediaan 0:01:38

Norm 0:02:00

0:00:000:00:170:00:350:00:520:01:090:01:260:01:440:02:010:02:18

Tijd

(u

:m:s

)

Taak 1 - Registeren -High fidelity

5.2 Taak 1 – Registeren

Low fidelity

Gebruikers Taak compleet met hints

Taak compleet zonder hints

Tijd (u:m:s) Fouten Hints Hulp

Testpersoon 1 0% 100% 0:01:45 0 0 0

Testpersoon 2 0% 100% 0:01:32 0 0 0

Testpersoon 3 0% 100% 0:01:40 0 0 0

Testpersoon 4 0% 100% 0:01:55 0 0 0

Testpersoon 5 0% 100% 0:01:48 0 0 0

Gemiddelde 0% 100% 0:01:44 0 0 0

Mediaan 0% 100% 0:01:45 0 0 0

Norm 0% 100% 0:02:00 1 1 1

High fidelity






Gemiddelde 0:01:44

Mediaan 0:01:45

Norm 0:02:00

0:00:000:00:170:00:350:00:520:01:090:01:260:01:440:02:010:02:18

Tijd

(u

:m:s

)

Taak 1 - Registeren -Low fidelity




Testpersoon 1 0% 100% 0:01:40 0 0 0

Testpersoon 2 0% 100% 0:01:38 0 0 0

Testpersoon 3 0% 100% 0:01:43 0 0 0

Testpersoon 4 0% 100% 0:01:15 0 0 0

Testpersoon 5 0% 100% 0:01:28 0 0 0

Gemiddelde 0% 100% 0:01:33 0 0 0

Mediaan 0% 100% 0:01:38 0 0 0

Norm 0% 100% 0:01:40 1 1 1

ISO/IEC 25062:2006(E) 12

Low fidelity analyse

Het valt op dat er maar heel weinig fouten zijn gemaakt bij deze opdracht. Dit komt deels doordat

iedereen wel bekend is met het fenomeen registreren op webpagina’s. Wij hebben de

registratiepagina op een conventionele manier gemaakt zodat duidelijk moet zijn wat er wordt

gevraagd. We hebben de norm 1 fout gegeven, omdat een gebruiker toch nog vaak het voor elkaar

krijgt om één veld ergens in te vullen. Uit dit gegeven blijkt dat onze registratiepagina qua gevraagde

gegevens goed in elkaar zit. De registratiefunctie zal goed werken, maar natuurlijk zijn er

verbetermogelijkheden zoals live informatie m.b.v. AJAX waarmee de beschikbaarheid van

username’s kan worden gegeven.

High fidelity analyse

Het high-fidelity prototype, een uitgewerkte versie van het paper-prototype, blijkt zoals verwacht

dezelfde resultaten op te leveren. Geen fouten en verder ook geen opmerkingen van de

testpersonen.

Verschillen high-/low-fidelity analyse

Er zijn verschillen tussen het high-fidelity en low-fidelity prototype op te merken. Dit is zoals

verwacht, want het high-fidelity is gebaseerd op het low-fidelity prototype.

Er is wel een licht verschil in tijd tussen de twee testen. Het high-fidelity prototype is gemiddeld 11

seconden sneller uitgevoerd dan de eerste test. Dit komt waarschijnlijk doordat typen bij de meeste

ervaren computergebruikers sneller gaat dan schrijven.

ISO/IEC 25062:2006(E) 13






Gemiddelde 0:00:31

Mediaan 0:00:30

Norm 0:00:40

0:00:000:00:090:00:170:00:260:00:350:00:430:00:52

Tijd

(u

:m:s

)

Taak 2 - Inloggen -High fidelity

5.3 Taak 2 - inloggen

Low fidelity




Testpersoon 1 0% 100% 0:00:23 0 0 0

Testpersoon 2 0% 100% 0:00:21 0 0 0

Testpersoon 3 0% 100% 0:00:32 0 0 0

Testpersoon 4 0% 100% 0:00:19 0 0 0

Testpersoon 5 0% 100% 0:00:20 0 0 0

Gemiddelde 0% 100% 0:00:21 0 0 0

Mediaan 0% 100% 0:00:23 0 0 0

Norm 0% 100% 0:00:40 1 1 1

High fidelity






Gemiddelde 0:00:21

Mediaan 0:00:23

Norm 0:00:40

0:00:000:00:040:00:090:00:130:00:170:00:220:00:260:00:300:00:350:00:390:00:43

Tijd

(u

:m:s

)

Taak 2 - Inloggen -Low fidelity




Testpersoon 1 0% 100% 0:00:30 0 0 0

Testpersoon 2 0% 100% 0:00:28 0 0 0

Testpersoon 3 0% 100% 0:00:42 0 0 0

Testpersoon 4 0% 100% 0:00:25 0 0 0

Testpersoon 5 0% 100% 0:00:31 0 0 0

Gemiddelde 0% 100% 0:00:31 0 0 0

Mediaan 0% 100% 0:00:30 0 0 0

Norm 0% 100% 0:00:40 1 1 1

ISO/IEC 25062:2006(E) 14

Low-fidelity - analyse

De inlogfunctie is een normale taak die op vele websites te vinden is. Net als op de conventionele

manier wordt er enkel een username en een wachtwoord gevraagd. Om het nog makkelijker is het

inlogformulier rechtsboven in de homepage duidelijk te zien.

High-fidelity - analyse

Wederom weinig speciaal op te merken in deze test. De functie werkt naar behoren en er zijn geen

toevoegingen door de gebruiker gegeven. Er zijn op dit moment daarom nog geen verbeteringen

ingepland.


Wederom weinig verschil op te merken,omdat beide testen optimaal zijn verlopen.

ISO/IEC 25062:2006(E) 15






Gemiddelde 0:04:55

Mediaan 0:04:55

Norm 0:05:40

0:00:000:00:430:01:260:02:100:02:530:03:360:04:190:05:020:05:460:06:29

Tijd

(u

:m:s

)

Taak 3 - Ontwerp tool -Low Fidelity

5.4 Taak 3 – Ontwerp tool

High-fidelity

Low-fidelity




Testpersoon 1 0% 100% 0:05:20 0 0 0

Testpersoon 2 0% 100% 0:05:04 0 0 0

Testpersoon 3 0% 100% 0:04:55 0 1 0

Testpersoon 4 0% 100% 0:04:47 0 0 0

Testpersoon 5 0% 100% 0:04:28 0 0 0

Gemiddelde 0% 100% 0:04:55 0 0 0

Mediaan 0% 100% 0:04:55 0 0 0

Norm 0% 100% 0:05:40 1 1 1




Testpersoon 1 0% 100% 0:04:40 0 0 0

Testpersoon 2 0% 100% 0:04:58 0 0 0

Testpersoon 3 0% 100% 0:05:25 0 1 0

Testpersoon 4 0% 100% 0:04:17 0 0 0

Testpersoon 5 0% 100% 0:04:58 0 0 0

Gemiddelde 0% 100% 0:04:52 0 0 0

Mediaan 0% 100% 0:04:58 0 0 0

Norm 0% 100% 0:05:40 1 1 1






Gemiddelde 0:04:52

Mediaan 0:04:58

Norm 0:05:40

0:00:000:00:430:01:260:02:100:02:530:03:360:04:190:05:020:05:460:06:29

Tijd

(u

:m:s

)

Taak 3 - Ontwerp tool -High Fidelity

ISO/IEC 25062:2006(E) 16

Low fidelity - analyse

De gebruikers wisten de ontwerptool goed te vinden. Dit is niet verbazingwekkend, want op de homepage is het eerste wat men ziet een flashbanner(op papier afgedrukt) van de ontwerpfunctie met een dikke verwijsknop. Het ontwerpproces zelf beviel onze testpersonen tamelijk goed. Ze waren tevreden met het aantal opties dat ons ontwerptool aanbood. Een testpersoon zei dat de layout een minpunt is. Een ander kritiekpunt was de naamgeving van de tabbladen van de ontwerptools. De naam foto's van een tabblad is onjuist.

High-fidelity - analyse

De gebruikers wisten wederom de ontwerpfunctie goed te vinden. Deze werkte net als de eerste keer naar behoren. De gebruikers vonden het erg leuk om met deze functie te spelen. Ze wilden graag weten wat er allemaal mogelijk was en probeerden zoveel mogelijk functies op deze pagina uit. De kritiekpunten in de eerste test zijn zoveel mogelijk aangepast. We hebben op de functie geen kritiek meer gehoord, dus waarschijnlijk waren ze over het algemeen wel tevreden.


Het voornaamste verschil tussen de twee testen was het gehalte van interactie tussen de applicatie

en de gebruiker. Bij de eerste test was het lang niet zo plezierig om met de tool te werken, omdat

deze geen directe interactie bood door de vertraging van de medewerker. Daarnaast was het

gewoon niet mogelijk om bij het paper-prototype van test 1 sommige handelingen te doen, zoals het

vergroten of verkleinen van objecten.

ISO/IEC 25062:2006(E) 17






Gemiddelde 0:03:48

Mediaan 0:03:52

Norm 0:04:00

0:00:000:00:430:01:260:02:100:02:530:03:360:04:19

Tijd

(u

:m:s

)

Taak 4 - Bestel proces -High fidelity

5.5 Taak 4 – Bestel process

Low fidelity




Testpersoon 1 0% 100% 0:03:42 0 0 0

Testpersoon 2 0% 100% 0:03:47 0 0 0

Testpersoon 3 0% 100% 0:03:46 0 0 0

Testpersoon 4 0% 100% 0:03:40 0 0 0

Testpersoon 5 0% 100% 0:03:39 0 0 0

Gemiddelde 0% 100% 0:03:44 0 0 0

Mediaan 0% 100% 0:03:46 0 0 0

Norm 0% 100% 0:04:00 1 1 1

High fidelity






Gemiddelde 0:03:44

Mediaan 0:03:46

Norm 0:04:00

0:03:330:03:350:03:370:03:390:03:400:03:420:03:440:03:460:03:470:03:49

Tijd

(u

:m:s

)

Taak 4 - Bestel proces




Testpersoon 1 0% 100% 0:03:52 0 0 0

Testpersoon 2 0% 100% 0:04:12 0 0 0

Testpersoon 3 0% 100% 0:03:26 0 0 0

Testpersoon 4 0% 100% 0:04:03 0 0 0

Testpersoon 5 0% 100% 0:03:28 0 0 0

Gemiddelde 0% 100% 0:03:48 0 0 0

Mediaan 0% 100% 0:03:52 0 0 0

Norm 0% 100% 0:04:00 1 1 1

ISO/IEC 25062:2006(E) 18

Low fidelity

Onze gebruikers vonden het bestelproces in het algemeen duidelijk van structuur en veilig overkomen. Helaas hadden we niet een aantal functies in ons prototype zitten, zoals het invullen van het formulier en het kiezen van andere kleuren en maten. Dit is geen groot probleem, omdat deze natuurlijk nog wel worden verwerkt in de daadwerkelijke site. We hebben wel twee handige tips gekregen van een van onze testpersonen deze luiden:

In het "winkelwagen-venster" staat een knop genaamd "veranderen" staan onder het gekozen t-shirt. Deze knop brengt het gekozen t-shirt naar de ontwerptool. In het winkelwagen venster kun je echter al een paar dingen veranderen zoals kleur en grootte. Hierdoor is het dus niet duidelijk wat je met de knop kunt veranderen.

Een ander minpunt is de tweede adresregel. Het was een aantal personen niet duidelijk wat hier ingevuld moest worden en waarom.

High fidelity

Na een paar aanpassing dat we hebben gemaakt na het eerste usability test , lijkt het pagina duidelijker te zijn voor de testpersonen. We hebben in het bestel proces het bezorg adres en factuur adres gescheiden. Door een check box aan te vinken wordt het factuuradres hetzelfde als bezorg adres. De testpersonen gaan er nu vloeiend door het bestel proces zonder problemen. Echter hebben we wel een opmerking gekregen, dat er tussen het bezorgadres en factuuradres iets meer ruimte mag komen. Dit is gelukkig maar een kleine aanpassing.


Op de dag dat de low-fidelity prototype werd gehouden was de bestelprocedure nog niet goed doordacht en gereed. Deze hebben we destijds niet kunnen testen. Bij de high-fidelity prototype was deze wel aanwezig.

ISO/IEC 25062:2006(E) 19






Gemiddelde 0:02:39

Mediaan 0:02:36

Norm 0:03:00

0:00:000:00:430:01:260:02:100:02:530:03:36

Tijd

(u

:m:s

)

Taak 5 - Categoriën

5.6 Taak 5 – Categoriën

Low fidelity




Testpersoon 1 0% 100% 0:02:34 0 0 0

Testpersoon 2 0% 100% 0:02:52 0 0 0

Testpersoon 3 0% 100% 0:02:47 0 0 0

Testpersoon 4 0% 100% 0:02:32 0 0 0

Testpersoon 5 0% 100% 0:02:15 0 0 0

Gemiddelde 0% 100% 0:02:36 0 0 0

Mediaan 0% 100% 0:02:34 0 0 0

Norm 0% 100% 0:03:00 1 1 1

High fidelity






Gemiddelde 0:02:36

Mediaan 0:02:34

Norm 0:03:00

0:00:000:00:430:01:260:02:100:02:530:03:36

Tijd

(u

:m:s

)

Taak 5 - Categoriën




Testpersoon 1 0% 100% 0:02:14 0 0 0

Testpersoon 2 0% 100% 0:03:12 0 0 0

Testpersoon 3 0% 100% 0:02:36 0 0 0

Testpersoon 4 0% 100% 0:02:47 0 0 0

Testpersoon 5 0% 100% 0:02:25 0 0 0

Gemiddelde 0% 100% 0:02:39 0 0 0

Mediaan 0% 100% 0:02:36 0 0 0

Norm 0% 100% 0:03:00 1 1 1

ISO/IEC 25062:2006(E) 20

Low fidelity

Dit was een korte opdracht om te kijken of onze navigatiestructuur helder is. De gebruiker wist gemakkelijk het tabblad voor mannenkleding te vinden. Daarna wist de gebruiker ook uit de subcategorieën het juiste kledingstuk te vinden. De gebruikers waren tevreden over de manier waarop de producten getoond werden. Er zijn door de gebruikers geen belangrijke kritiekpunten gevonden

High fidelity

Na het eerste usability test hebben we niet echt iets aangepast aan de categorieën. En dat is ook te blijken aan de testpersonen. Ze hebben er geen problemen mee gehad. De gebruikers waren er erg positief over. Er zijn door de gebruikers geen belangrijke kritiekpunten gevonden.


Wederom weinig verschil op te merken,omdat beide testen optimaal zijn verlopen.

ISO/IEC 25062:2006(E) 21

5.7 Verbeterpunten

Ontwerptool Zoals verteld was met name de naamgeving van een tabblad slecht. Dit tabblad was genaamd foto's, maar het moet gewijzigd worden naar logo's. Met de naam foto's is het namelijk niet duidelijk of je hier zelf iets moet uploaden. Dit is natuurlijk niet de bedoeling, want dit valt onder het tabblad genaamd "Upload". Met de naam logo's zou het duidelijk moeten zijn dat hiermee een set standaard logo's wordt bedoeld.

Ten tweede proberen we ook de lay-out van de ontwerptool tijdens het ontwikkelproces zo goed mogelijk te verbeteren.

Als laatste moeten we tijdens het maken van de tool nog opletten dat we het nog gebruiks-vriendelijker maken bij het uploaden van een afbeelding, en het verplaatsen / schalen / (mogelijk draaien) van toegevoegde objecten.

Bestelproces

Bij de pagina's van het bestelproces moet met name nogmaals uitgezocht worden welke velden we echt nodig hebben en hoe we deze gaan noemen. Het voornaamste kritiekpunt is hierbij het aantal adresvelden en de naamgeving hiervan bij de registratie van de gebruiker. Daarnaast moet ook de knop "veranderen" verandert worden in "Wijzigen met Ontwerp-tool". We zijn van mening dat het aantal pagina's en de volgorde verder prima is.

Catalogus / Navigatie

De gebruikers wisten de gevraagde pagina snel te vinden en vonden de gegeven informatie juist en overzichtelijk is. We besluiten daarom dat we de richtlijnen van ons prototype verwerken in ons uiteindelijke product.

5.8 Eindconclusie

Het testpanel heeft de website in het algemeen als goed beoordeeld. De gebruikers wisten alle taken

goed te voltooien. Daarbij maakten ze weinig fouten en hadden ze weinig tot geen hints nodig.

Tijdens de eerste usability test gaven de gebruikers meer fouten aan dan in de tweede. Dit is vrij

logisch omdat deze fouten zijn opgelost in de tweede prototype.

ISO/IEC 25062:2006(E) 22

6. Appendix A – Vragenlijst Brandylogo®

Vragenlijst gebruikt tijdens beide testen. Deze zijn uitgegeven aan de testpersoon zodat hij/zij zijn

mening over de gedane taken kan verwoorden.

Inleiding Hartelijk dank voor het meedoen aan deze use-case tests van Brandylogo®. Wij stellen uw mening zeer op prijs en hopen door uw kritische blik een beter product te creëren. De vragenlijst welke voor u ligt bestaat uit 5 korte lijsten: Een vragenlijst met:

Vragen welke u dient te beantwoorden voordat u begint aan de taken.

Acht korte vragenlijsten welke u na het uitvoeren van de betreffende taak dient te beantwoorden.

Een vragenlijst welke u na het voltooien van de taken dient te beantwoorden. Deze vragenlijst slaat op uw algemene ervaring van het werken met de webshop van Brandylogo®.

Iedere vraag dient u te beginnen vanaf de home page van Brandylogo.

Indien u op een vraag geen antwoord kan geven, laat deze dan open. Schrijf niet naast of bij de vragen tenzij hiervoor ruimte is opengelaten. Indien u een vraag niet begrijpt kunt u deze gerust overslaan.

Nogmaals hartelijk dank voor het invullen van de vragenlijsten, Brandylogo Webdevelopment Team Pretest vragenlijst Hoe vaak gebruikt u uw computer? O Minder dan eens per week O 10 uur per week O 20 uur per week O Meer dan 20 uur per week Welk besturingssysteem gebruikt u (hoofdzakelijk)? O Microsoft® Windows® XP (home/pro) O Microsoft® Windows® Vista O Een andere versie van Microsoft® Windows® O Apple Mac OSX O Linux O Overig Heeft u ervaring met het ontwerpen van kledingstukken? O Ja O Nee Heeft u ervaring met het organiseren van grafische elementen? O Ja O Nee

ISO/IEC 25062:2006(E) 23

Bent u in het bezit van een breedbandverbinding (ADSL, Kabel etc) O Ja O Nee Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu beginnen met taak 1. Taak 1 "Registreren" Opdracht → Een account aanmaken op Brandylogo®. Je komt op Brandylogo® en gaat een account aanmaken. Taak 1 - Posttask vragenlijst Hieronder staan een aantal stellingen. Kruis aan in hoeverre u het met deze stellingen eens bent. Het was makkelijk om op de registratie pagina te komen. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De registratie pagina heeft een duidelijke structuur. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De registratie pagina is niet te omslachtig. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Als u uw Brandylogo registratie-ervaring een rapportcijfer moet geven, wat zou deze zijn? (1=zeer slecht, 10= uitmuntend) Rapportcijfer: ____ Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu verder met taak 2.

ISO/IEC 25062:2006(E) 24

Taak 2 "Inloggen" Opdracht → Inloggen op Brandylogo®. Je heb een account aangemaakt op Brandylogo®. Gebruik de account gegevens dat je hebt opgegeven. Taak 2 - Posttask vragenlijst Hieronder staan een aantal stellingen. Kruis aan in hoeverre u het met deze stellingen eens bent. Het was makkelijk om op de inlog pagina te komen. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De Inlog pagina heeft een duidelijke structuur. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Als u uw Brandylogo Inlog-ervaring een rapportcijfer moet geven, wat zou deze zijn? (1=zeer slecht, 10= uitmuntend) Rapportcijfer: ____ Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu verder met taak 3.

ISO/IEC 25062:2006(E) 25

Taak 3 "Ontwerptool"

Opdracht →Ga naar de onwerptool en ontwerp een kledingstuk door tekst, logo's en een eigen afbeelding toe te voegen. Taak 3 - Posttask vragenlijst Hieronder staan een aantal stellingen. Kruis aan in hoeverre u het met deze stellingen eens bent. Het was makkelijk om op de Ontwerptool pagina te komen. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De ontwerptool pagina heeft een duidelijke navigatiestructuur. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Het was makkelijk om een afbeelding te uploaden. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Het was in het algemeen gemakkelijk om een t-shirt zelf te ontwerpen. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Als u uw Brandylogo Ontwerptool-ervaring een rapportcijfer moet geven, wat zou deze zijn? (1=zeer slecht, 10= uitmuntend) Rapportcijfer: ____ Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu verder met taak 3.

ISO/IEC 25062:2006(E) 26

Taak 4 "Bestelproces" Opdracht →Stop het ontworpen kledingstuk in de winkelwagen en doorloop het bestelproces. Taak 4 - Posttask Vragenlijst Hieronder staan een aantal stellingen. Kruis aan in hoeverre u het met deze stellingen eens bent. De stappen in de bestelprocedure zijn voor mij duidelijk. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Het bestelproces geeft me een veilig gevoel. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De bestelprocedure is niet te omslachtig. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Het kosten overzicht met de bijbehorende bestelling werd duidelijk weergegeven. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Als u uw Brandylogo bestel-ervaring een rapportcijfer moet geven, wat zou deze zijn? (1=zeer slecht, 10= uitmuntend) Rapportcijfer: ____ Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu verder met taak 4.

ISO/IEC 25062:2006(E) 27

Taak 5 "Catalogus" Opdracht →Navigeer d.m.v. de tabbladen naar een mannen t-shirt. Met de logo Ash Santa er op. Taak 5 - Posttask Vragenlijst Hieronder staan een aantal stellingen. Kruis aan in hoeverre u het met deze stellingen eens bent. Het was makkelijk om het tabblad voor mannenkleding te vinden. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Het was makkelijk een catagorie te kiezen. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens De verschillende soorten t-shirts waren fijn en duidelijk tentoongesteld. O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Als u uw Brandylogo Catalogus-ervaring een rapportcijfer moet geven, wat zou deze zijn? (1=zeer slecht, 10= uitmuntend) Rapportcijfer: ____ Hartelijk dank voor het invullen van deze vragenlijst. U kunt nu verder met het invullen van de Posttest

ISO/IEC 25062:2006(E) 28

Posttest: Vragen voor na het afronden van de taken.

Hoe gebruiksvriendelijk vond u de site over het algemeen? O Helemaal mee eens O Mee eens O Neutraal O Mee oneens O Helemaal mee oneens Welke taak vond u het lastigst om uit te voeren? _________________________________________________________________________________ Welke taak vond u het makkelijkst om uit te voeren? _________________________________________________________________________________ Zou u de website van Brandylogo willen gebruiken voor het bestellen van t-shirts mocht deze online gaan? O Ja O Nee O Misschien Vind u dat er nog iets aan de site verbeterd kan worden? Zo ja, wat kan er verbeterd worden? _________________________________________________________________________________ _________________________________________________________________________________ Als u nog verdere opmerkingen heeft, kan u deze hieronder kwijt. _________________________________________________________________________________ _________________________________________________________________________________

Test Rapport - CRIA Project

Documents

Transcript of Test Rapport - CRIA Project