Introduction à l’évaluationIntroduction à l évaluation des Interfaces Homme Machine

Dr. Kaveh BazarganK h B @ i hKaveh.Bazargan@unige.ch

Dr Patrick RothDr. Patrick RothPatrick.Roth@unige.ch

World Usability Day @ Université de GenèveCUI‐UNIGE, 10.11.2011

10/11/2011 1

PlanPlan• Définition

• Mesurer l’utilisabilité

• Approches et méthodes d’évaluation• Card Sorting

• Evaluation heuristiqueq

• Tests d’utilisabilité

• Le Common Industry Format (CIF)Le Common Industry Format (CIF) 

• Conclusion

10/11/2011 2

Contexte

10/11/2011 3(Anderson, 2011)

410/11/2011 4

4

Définition

« Un système est utilisable lorsqu'il permet à l'utilisateur de réaliser sa tâche avec efficacité, efficience et satisfactionff ff fdans le contexte d'utilisation spécifié » 

(Norme ISO 9241‐11)(Norme ISO 9241‐11) 

510/11/2011

Mesurer l’utilisabilité (1)Mesurer l utilisabilité (1)

‐ Efficacité : Vérifier que les objectifs visés par l'utilisateur sont atteints.

‐ Efficience : Mesurer les ressources nécessaires tt i d bj tif ( tpour atteindre ces objectifs (p. ex. temps, 

erreurs, etc.).

‐ Satisfaction : Déterminer si le système est agréable à utiliseragréable à utiliser.

10/11/2011 6

Mesurer l’utilisabilité (2)Mesurer l utilisabilité (2)

10/11/2011 7(Hornbaek, 2006)

Mesurer l’utilisabilité (3): i l bili ( )Single Usability Measure (SUM)

10/11/2011 8(Sauro and Kindlund, 2005)

8

Approches d’évaluationApproches d évaluation

• Approches analytiques (expert‐based):Approches analytiques (expert based): 

examin selon des heuristiques, critèresergonomiques parcours cognitifergonomiques, parcours cognitif

• Automatique : logiciel (ex.: outil W3C pour la ifi i d l’ ibili é d’ i W b)verification de l’accessibilité d’un site Web)

• Approche empirique (user‐based): métriques, scénarios & tâches, observer directement les utilisateurs, analyse des données

10/11/2011 9

Méthodes d’évaluation (1)Méthodes d évaluation (1)

10/11/2011 10

(Usability.gov, 2010)

Méthodes d’évaluation (2)Méthodes d évaluation (2)

10/11/2011 11

(Usability.gov, 2010)

Card Sorting (1)Card Sorting (1)

« Technique permettant d’explorer la manière dont les usagers groupent des éléments »

(Gaffney, 2000)

10/11/2011 12

Card Sorting (2)Card Sorting (2)

ilUtile pour– Catégoriser les éléments d’une interface (onglets, d l )dialogue, etc.)

– Définir la structure d’un site web

10/11/2011 13

Card Sorting (3)Card Sorting (3)

PréparationPréparation

• Ecrire chaque élément à catégoriser et chaque groupe sur une carte individuelle

• Ajouter des cartes blanchesConduite du test

• Demander aux participants de regrouper les éléments qui ont un sens 

Analyse 

• Entrer les résultats dans un système d’analyse des regroupements (EZSort, xSort) 

10/11/2011 14

Card Sorting (4)Card Sorting (4)

(Usability.gov, 2010)

10/11/2011 15

Card Sorting (5)Card Sorting (5)

10/11/2011 16

Dendrogramme du site eLearning@unige

Card Sorting : mise en pratique

10/11/2011 17

Card Sorting : mise en pratiqueCard Sorting : mise en pratique 

10/11/2011 18

Evaluation heuristique (1)Evaluation heuristique (1)

« Méthode d'inspection d’un logiciel permettant à un expert d'identifier les problèmes d'utilisabilité deexpert d identifier les problèmes d utilisabilité de l’Interface Utilisateur »

(Usability.gov, 2008)( y g , )

10/11/2011 19

Evaluation heuristique (2)Evaluation heuristique (2)

• Heuristiques• Heuristiques– Tognazzini 

( )– Schneiderman (consistance, raccourcis, etc.)

– Nielsen (prévention des problèmes, etc.) 

– Bastien & Scapin

10/11/2011 20

Evaluation heuristique (3): example Principes de Tognazzini

A i i i Utili ti d• Anticipation• Autonomie• Vision des couleurs

• Utilisation des métaphores

• Protection du travail• Vision des couleurs• Valeurs par défaut• Efficacité de l'utilisateur

• Protection du travail de l'utilisateur

• Lisibilité• Efficacité de l utilisateur• Interface explorable• Loi de Fitts

• Lisibilité• Conservation de l'état• Navigation visibleLoi de Fitts

• Objets de l'interface• Réduction du temps de latence

Navigation visible

10/11/2011 21

p• "Learnability" (AskTog.com, 2011)

Evaluation heuristique : mise en pratique

10/11/2011 22

Evaluation heuristique : mise en pratique

10/11/2011 23

Evaluation heuristique : mise en pratique

10/11/2011 24

Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique

10/11/2011 25

Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique

10/11/2011 26

Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique

10/11/2011 27(Usability.gov, 2010)

Evaluation heuristique : mise en pratiqueEvaluation heuristique : mise en pratique

10/11/2011 28

Tests d’utilisabilité (1)Tests d utilisabilité (1)

i à b di• Le test consiste à observer directement l'utilisateur en train de se servir de l' li il'application. 

10/11/2011 29

Tests d’utilisabilité (2): avantagesTests d utilisabilité (2): avantages

• AvantagesAvantages– Permet d'observer l'utilisateur dans un contexte réel d'utilisationréel d utilisation.

– Les problèmes identifiés sont ceux que l'utilisateur rencontre lorsqu'il se sert du logiciel.rencontre lorsqu il se sert du logiciel.

• Inconvénients– Peut difficilement couvrir l'ensemble des fonctionnalités du logiciel. 

10/11/2011 30

Le Common Industry Format (CIF)Le Common Industry Format (CIF)L'Institut Américain des Normes propose un formalisme (ISO/IEC 25062:2006) pour normaliser les tests:

• Description du produit ou du prototype,Description du produit ou du prototype,• Objectifs du test,• Sélection des participants

Sé i â h ili• Sénarios et tâches utilisateur,• Design experimental du test,• Méthodologie et protocole du test,g p ,• Métriques d’utilisabililté et recolte des données• Mesure qualitative et quantitative• Méthode de présentation des résultats• Méthode de présentation des résultats• Annexes10/11/2011 31

Rapport d’utilisabilité:  structure selon le CIF

1. Title Page

2. Executive Summary

8. Usability MetricsA. Effectiveness

B Efficiency3. Introduction

4. Full Product Description

5. Test Objectives

B. Efficiency

C. Satisfaction

9. ResultsA. Data Analysis5. Test Objectives

6. MethodA. Participants

B. Context of Product Use in the Test

A. Data Analysis

B. Data Scoring

C. Data Reduction

D. Statistical Analysis

C. Tasks

D. Test Facility

E. Participant’s Computing Environment

E. Presentation of the Results

F. Performance Results

G. Satisfaction Results

dF. Test Administrator Tools

G. Experimental Design

7. Procedure

10.   Appendices

11.   References

A. Participant General Instructions

B. Participant Task Instructions10/11/2011 32

Exemple: utilisabilité des techniques de l d’ f bvisualisation d’informations abstraites

)3D

, 200

8)

, 201

0)

(VFC

-3

(SIT

G

33(Fanvenus3D, 2010) (Linnean-3D, 2010)10/11/2011

Exemple: méthodologie pour les tests d’ l b l éd’utilisabilité

Selon le format CIF (Commun Industry Format):( y )• Outil de prototypage d’EV3D interactif• Sélection des participants

– Questionnaire de présélection p– Méthode d’échantillonnage 

• Tâches• Design expérimentalg p

– Two within‐subjects / repeated measures design– Contrebalancement pour l’ordre des tâches / techniques– Métriques:   temps d’exécution de la tâche et présence (IPQ, 2008)

• Procédure de mise en œuvre du plan de test– Exécution semi‐automatique du plan de test via la manette 

• Méthodologie pour la collecte des données, l’analyse et la présentations d é lt tdes résultats– Adaptation de l’outil Usability DataLogger (Userfocus, 2010)

3410/11/2011

Exemple: tests d’utilisabilitéExemple: tests d utilisabilité

Generic task: goal oriented exploration

3510/11/2011 (Bazargan, 2011)

Conclusion (1)

« Un système est utilisable lorsqu'il permet à l'utilisateur de réaliser sa tâche avec efficacité, efficience et satisfactionff ff fdans le contexte d'utilisation spécifié » 

(Norme ISO 9241‐11)(Norme ISO 9241‐11) 

10/11/2011 36

Conclusion (2)

Approches d’évaluation:Approches d évaluation:• Analytiques (expert‐based) • Automatique • Empirique (user‐based)

10/11/2011 37

Conclusion (3)

• Le test d’utilisabilité est l’outil de plus performant pourLe test d utilisabilité est l outil de plus performant pour  mesurer l’utilisabilité d’une application ou d’un site web

• Le CIF facilite la plannification et l’exécution des tests d’utilisabilité

10/11/2011 38

ReferencesReferences• Spencer, D. (2009). Card sorting: Designing usable categories. Brooklyn, 

N.Y: Rosenfeld Media

• Tullis, T., and Albert, B. (2008) Measuring the user experience: Collecting, analyzing and presenting usability metrics. Morgan Kauffman Publishers, Burlington, MA. 

• Rubin, J. (1994) Handbook of Usability testing, Wiley Technical Communication Library.

• BAZARGAN HARANDI, K. (2011). Abstract Information Visualization in , ( )Interactive 3D Virtual Environments: Conceptualization and Usability Evaluation. Thèse de doctorat: Université de Genève, 2011, no. SES 747, Edition SES ‐ Université de Genève, ISBN 978‐2‐88903‐005‐7.

• Industry Usability Reporting (IUSR) Project ‐ National Institute of Standards and Technology (NIST), 2011.

• Mary Theofanos (2005). Common Industry Format approved as y ( ) y ppinternational standard. interactions 12, 5 (September 2005), pp. 46‐47.

10/11/2011 39

Questions ?Questions ?

Kaveh.Bazargan@unige.ch

: : kaveh.bazargan

Patrick.Roth@unige.ch

: @rothp:  : kaveh.bazargan : @rothp

: patrickroth

: rothp: kaveh.bazargan

10/11/2011 40