Anne Roudaut, Joëlle Coûtaz Méta-IHM ou comment contrôler lespace interactif ambiant Université...

Anne Roudaut, Joëlle Coûtaz

Méta-IHMou comment contrôler l’espace

interactif ambiant

Université Joseph FourierU.F.R informatique &

Mathématiques Appliquées

Institut National Polytechnique de Grenoble

ENSIMAG

CLIPS-IMAGCommunication langagière et Interaction Personne-Système

IIHMIngénierie de l’Interaction

Homme-Machine

5 - 8 septembre 2006 CNAM - Paris

Ubimob'06 3e Journées Francophones Mobilité et Ubiquité

• Un vaste réseau de ressources informatiques interconnectées

Contexte du travail : IHM en informatique ambiante

2

• En surface, de nouvelles possibilités d’interaction pour l’utilisateur


2



Pick & Drop [Rekimoto 98]

2



Cube TV [Block 04]

2

• Nouveaux services, techniques, ressources


3

• Nouveaux services, techniques, ressources• Frontières souples


3

• Comment contrôler, configurer, évaluer l’état de l’espace ambiant?


4

Problème

• Des solutions isolées et ad hoc

Jigsaw [Rodden 04]

5

Problème

• Des solutions isolées et ad hoc

Paris New-York

tranStick [Rekimoto 05]

5

Jigsaw [Rodden 04]

Problème

• Des solutions isolées et ad hoc• Pas de réflexion générale sur le problème

5

Jigsaw [Rodden 04] tranStick [Rekimoto 05]

Paris New-York

Réponse : le concept de méta-IHM

Méta-IHMMéta-IHM6

Plan

Contexte

Problème

Contributions Conceptuelles

Techniques

Conclusion et perspectives

8

Plan

Contexte

Problème


Techniques


Définition de méta-IHM

Analyse de l’état de l’art

8


• Méta-IHM :

– Une méta-IHM recouvre l’ensemble des fonctions (et leur IHM) nécessaire et suffisant pour permettre à l’utilisateur de configurer, contrôler et évaluer l’état de l’espace ambiant.

– Méta : elle est au-dessus des services métiers de l’espace

– IHM : elle permet de configurer, de contrôler et d’évaluer l’état de cet espace

9

Définition de méta-IHM : Approche adoptée

• Puissance d’une taxonomie :

– Comprendre et cerner le sujet

– Comparer les solutions existantes

– Explorer de nouvelles pistes

10

Définition de méta-IHM : Espace taxonomique

Objets manipulés par une méta-IHM

Nature des objets Numérique-

dépendant Numérique-indépendant

Numérique

Directe

Représentation numérique

Type de manipulation des objets

Représentation physique

11





Numérique

Directe




Ils perdent leur raison d’être

11





Numérique

Directe




Ils conservent leur raison d’être

11





Numérique

Directe





11





Numérique

Directe




Jigsaw [Rodden 04]

11





Numérique

Directe




Dynawall [Streitz 99]

11





Numérique

Directe




Services offerts

Assembler

Découvrir Vocabulaire

Extensibilité du langage d’interaction

Puissance d’une méta-IHM

Redistribuer

Paraméter

Syntaxe

Remodeler Sémantique

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


Speakeasy [Newman 02 ]

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


Les tablettes d’Hinckley [Hinckley 00b]

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


Pick & Drop [Rekimoto 98]

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


Plastic Clock

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


E-gadget [Marcopoulos 04]

12





Numérique

Directe




Services offerts

Assembler




Redistribuer

Paraméter

Syntaxe


12





Numérique

Directe




Services offerts

Assembler



Niveau d’intégration

Meta-IHM externe

Meta-IHM tissée Niveau de

contrôle

Observabilité Traçabilité

Qualités d’une méta-IHM


Redistribuer

Paraméter

Syntaxe


Contrôlabilité

Observabilité : percevoir l’état du service

Traçabilité : observabilité au cours du temps

Contrôlabilité : intervenir sur l’exécution du service

13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

Editeur Jigsaw [Rodden 04]

13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

MigriXML [Molina 06]13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

Projecteur mobile [Borkowski 06]

MigriXML [Molina 06]13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

Speakeasy [Newman 02 ]

13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

Editeur Jigsaw [Rodden 04]

13





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

13

Plan

Contexte

Problème


Techniques



Analyse de l’état de l’art

14

Analyse de l’état de l’art : Tendances

• Méta-IHM tangibles

15



• Méta-IHM tangibles• Méta-IHM pour la redistribution

15

MigriXML [Molina 06]


• Méta-IHM tangibles• Méta-IHM pour la redistribution• Méta-IHM de programmation

15

Jigsaw [Rodden 04]



end-user programming

end-user development

16

Jigsaw [Rodden 04]



Programmation visuelle



16

Jigsaw [Rodden 04]




Programmation textuelle



on mouseUp put "100,100" into pos repeat with x = 1 to the number of card buttons set the location of card button x to pos add 15 to item 1 of pos end repeatend mouseUp

HyperCard

16

Jigsaw [Rodden 04]




Programmation textuelle

Programmation par l’exemple



on mouseUp put "100,100" into pos repeat with x = 1 to the number of card buttons set the location of card button x to pos add 15 to item 1 of pos end repeatend mouseUp

Emacs

16

Jigsaw [Rodden 04] HyperCard

Analyse de l’état de l’art : Les failles




Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

- Langage d’interaction : un réel défi

17





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité


- Absence d’intégralité des services

17





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité



- Niveaux de contrôle peu respectés

17





Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité




- Absence de méta-IHM mixte

17

Plan

Contexte

Problème


Techniques


18

Prototype CESAM

Conception de CESAM : Les bases




Numérique

Directe




Services offerts

Assembler




Meta-IHM externe


contrôle




Redistribuer

Paraméter

Syntaxe


Contrôlabilité

19




- Absence de méta-IHM mixte

Conception de CESAM

Partie externe

Objets systèmes(Ressources d’interaction, calcul et communication)

DécouvrirAssemblerParamétrer

20

Conception de CESAM

Partie externe



Partie tissée

Objets des services métiers

Remodeler

Fusion des 2 parties

Redistribution

20

Conception de CESAM : la partie externe

• Construire des îlots d’interaction

Découverte des objets sous forme de jetons

Zone d’assemblage des jetons

Zone de paramétrage

21



Déplacement des jetons par glisser-déposer

Les jetons compatibles s’allument

21



Formation d’un îlot d’objets jeton non

compatible avec l’îlot formé

21

Conception de CESAM

Partie externe



Partie tissée


Remodeler


Redistribution

22

Conception de CESAM : la partie tissée

• Remodelage de l’application métier FunnyPic

23


• Eclater

Second clic

Premier clic

24


• Eclater• Fusionner

Second clic

Premier clic

24


• Eclater• Fusionner• Dupliquer

clic

24


• Eclater• Fusionner• Dupliquer• Rétablir

Second clic

clic

24

Conception de CESAM

Partie externe



Partie tissée


Remodeler


Redistribution

25

Conception de CESAM : une méta-IHM mixte

• Redistribution par manipulation directe des objets numériques

Le jeton avale l’objet numérique pour le redistribuer

26

Plan

Contexte

Problème


Techniques


27


• Contributions– Espace taxonomique pour la définition d’une méta-IHM– Conception du prototype CESAM

28



28

• Perspectives à court terme :– Etendre le langage d’interaction de CESAM avec de la

programmation par exemple, textuelle et visuelle– Compléter CESAM par tous les niveaux de contrôle– Valider les choix de CESAM par une évaluation

expérimentale



28

• Perspectives à court terme :– Etendre le langage d’interaction de CESAM avec de la

programmation par exemple, textuelle et visuelle– Compléter CESAM par tous les niveaux de contrôle– Valider les choix de CESAM par une évaluation expérimentale

• Perspectives à long terme :

Merci de votre attentionQuestions ?

Implications architecturales : CAMELEON-RT

28


• Un exemple de fonctionnement :

29



1. Découverte du contexte d’interaction

Utilisateur

Plate-forme

Environnement

30



2. Synthèse des données recueillies

Situation

30



3. Création d’un plan de configuration

Plan de configuration :

Remplacer

par

30



4. Mise en œuvre du plan

Rechercher :

30



5. Recherche de composants

Vide !

30



6. Mise en œuvre du plan

Générer :

30



7. Génération du composant

Dessiner sur la zone de

dessin

*

Choisir une couleur

Choisir un outils

Dessiner

// //

* * *

30



8. Exécution du plan

30

Implications architecturales : retour sur la méta-IHM

• Cas du système autonome

31

Implications architecturales : retour sur la méta-IHM

• Contrôle grâce à la méta-IHM

31

Anne Roudaut, Joëlle Coûtaz Méta-IHM ou comment contrôler lespace interactif ambiant Université...

Documents

Transcript of Anne Roudaut, Joëlle Coûtaz Méta-IHM ou comment contrôler lespace interactif ambiant Université...