Evaluation of the Design Concept Video

In order to find out whether people would understand our concept we decided to run a small user test.We showed them a preview version of the video explaining our concept.Afterwards we asked questions according to the interview-setup (below) We have come to results after evaluating all feedback, and based on this we edited our concept video. This is how the interview is set up:

Zou ik jou een paar vragen mogen stellen in verband met een klein gebruiksonderzoek?We doen in opdracht van de TUDelft een project waarbij we een crossmedia dienst/product moeten ontwerpen.Ons concept heet ClimbUP en we hebben een filmpje gemaakt om een indruk te geven van hoe het zal werken.

Je krijgt zometeen een filmpje te zien en na afloop stel ik je een paar vragen.

<kijk filmpje>

1. Wat was je eerste indruk van het filmpje?

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?

6. Is het concept van de elementen zelf duidelijk?

7. Zijn de mogelijkheden die je hebt op de website duidelijk?

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?

Bedankt voor het beantwoorden van de vragen!

Results

We were able to interview 9 students, with ages from 18 to 24, for this user test. Since students are the majority of the travelers at Delft Central Station so their answers should be a good representation of how people will perceive our concept.

The majority commented that he video was quite enjoyable. They liked the way it was put together, though it was difficult to follow at certain times.It was quite clear that our concept is designed for usage at the new railway station in Delft and that the travelers are the intended user group. The idea of connecting through Bluetooth wasn’t clear to everyone, though the majority understood that a mobile phone was necessary to interact.

About half of the interviewees answered that they would be interested in playing ClimbUP while they wait for their train to arrive. The other half suggested that they do not have that much time when they are at the station. In the video the concept of the elements used in ClimbUP is not clear. Since we only show 1 element in the video it is not clear that there are multiple elements that change every 5 minutes.

The website was clear to everyone. Perhaps the linking to a social website such as Facebook could be explained a bit further.The feature of uploading your own element was a nice addition to the concept. Unfortunately most of the subjects we questioned said that they were unlikely to create their own element, because they either lack the technical skills or because they have no interest in doing so.

Is het duidelijk waar dit concept uitgevoerd zal worden? En voor

wie het bedoeld is?

Zou je er zelf aan meedoen aan ClimbUP wanneer je op het

station staat te wachten?

Is het concept van de elementen zelf duidelijk?

Zou je zelf een element bedenken en deze delen?

Recommendations & Suggestions

Some parts of the video went a bit fast so it is not always that easy to follow what is going on. In general it would be a good idea to add a voiceover to give extra information and explain what is going on in the video.

Because we do not have any visual representation of how the elements would vary every 5 minutes it is not understood by just watching the video. In order to explain this we could make use of a voiceover who explains that there will be multiple elements.

The possibility to upload your own element sounds like it requires quite a bit of technological know-how to most people. So in order to make this feature more accessible there could be a standard toolkit that people could use to build their own personalized element.

A couple of filled in questionnaires

1. Wat was je eerste indruk van het filmpje?Interessant, alleen lastig te volgen voor zij die minder bekend zijn met de ICT-revolutie (bleutooth enzo). Het is dus te cryptisch.

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?Ja, het is duidelijk waar het uitgevoerd zal worden en voor wie.

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?Ja, alleen dan misschien in algemene zin en niet echt gedetailleerd.

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?Vast niet.

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?Weinig. Dat van elementen vond ik beetje vaag.

6. Is het concept van de elementen zelf duidelijk?Zie vraag 5. Vaag dus.

7. Zijn de mogelijkheden die je hebt op de website duidelijk?Jazeker. Goed dat er een voorbeeld screen was.

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?Ik heb daar eigenlijk weinig behoefte aan. Dus ik zal geen elementen bedenken noch deze delen.

1. Wat was je eerste indruk van het filmpje?Eerste indruk was een goed plan.

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?Later in het filmpje werd het pas goed duidelijk

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?Doormiddel van beutooth neem de complicatie over in je telefoon

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?Ja, waarom niet... je staat toch te wachten op de trein...

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?Niet echt

6. Is het concept van de elementen zelf duidelijk?Ja, dat is wel duidelijk

7. Zijn de mogelijkheden die je hebt op de website duidelijk?Over de Facebook is niet echt duidelijk maar voor de rest wel

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?Ja, dat lijk me wel leuk om een eigen foto te plaatsen en die dan op de grote scherm te zien als ik zit te winnen

1. Wat was je eerste indruk van het filmpje?Mooi in elkaar gezet, alleen niet echt duidelijk waar het precies om ging.

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?Ik heb verschillende stations gezien, en een game op apparaten als mobiels en laptops. Geen idee wie de doelgroep is... reizigers misschien?

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?Online inschrijven, dan inloggen met loginnaam en wachtwoord.

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?Ja, via een mobiele telefoon.

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?Niet echt

6. Is het concept van de elementen zelf duidelijk?Niet echt

7. Zijn de mogelijkheden die je hebt op de website duidelijk?Ja.

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?Ik heb geen idee wat jullie met die elementen bedoelen.

1. Wat was je eerste indruk van het filmpje?Ja, wel grappig in elkaar gezet

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?Ja op het nieuwe station van Delft toch? En dan lijkt het me voor de reizigers

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?Volgens mij met je GSM.

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?Meestal heb ik niet zoveel tijd op het station.

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?Nee, dat was me niet opgevallen.

6. Is het concept van de elementen zelf duidelijk?Een beetje, misschien moet je wat meer voorbeelden geven?

7. Zijn de mogelijkheden die je hebt op de website duidelijk?Ja, dat was wel duidelijk.

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?Opzich wel leuk natuurlijk, maar ik zou zelf niet zo snel iets maken denk.

1. Wat was je eerste indruk van het filmpje?Leuk gedaan, maar kon het niet altijd even goed volgen.

2. Is het duidelijk waar dit concept uitgevoerd zal worden? En voor wie het bedoeld is?Het station en de reizigers

3. Kun je uitleggen hoe je deel kunt nemen aan ClimbUP?Met je mobieltje en op de website ook?

4. Zou je er zelf aan meedoen aan ClimbUP wanneer je op het station staat te wachten?Als ik echt even wat langer zou moeten wachten lijkt het me wel grappig hoor:P Maar dan moet het wel heel simpel zijn mee te doen en geen geld kosten!

5. Is het duidelijk dat er meerdere elementen zijn en dat deze wisselen?Ow dat heb ik niet gezien? Maar dat zou wel leuker zijn inderdaad.

6. Is het concept van de elementen zelf duidelijk?Niet echt, zijn het alleen maar spelletjes?

7. Zijn de mogelijkheden die je hebt op de website duidelijk?Mja dat zag er niet al te ingewikkeld uit. Denk dat ik daar wel uit zou komen

8. Wat vind je van de mogelijkheid je eigen elementen te uploaden? Zou je zelf een element bedenken en deze delen?Altijd leuk als je zelf wat kunt toevoegen. Maar dan moet er niet allemaal van die rotzooi op komen, dus dat moet wel goed gemonitored worden denk ik? Denk niet dat ik zelf iets erop zou zetten want ik ben niet zo technisch hahaah maar misschien als ik een idee heb dat iemand anders dat kan maken daar op de site ofzo?