Leap motion - Une nouvelle forme d'interaction
-
Upload
pierre-yves-lapersonne -
Category
Technology
-
view
660 -
download
1
Transcript of Leap motion - Une nouvelle forme d'interaction
![Page 1: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/1.jpg)
Leap motionUne nouvelle forme d’interaction
✿✿✿✿ ʕ •ᴥ•ʔ/ ︻デ═一 Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International. Version 5 - 05/2015
![Page 2: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/2.jpg)
PY LAPERSONNE
@pylapp
{ingénieur développement mobile}
![Page 3: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/3.jpg)
Au programme...
• Les “anciens” types d’interactions
• Le leap motion
• Les limites actuelles
• Démos !
3
![Page 4: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/4.jpg)
Comment on faisait avant ?
Les “anciens” types d’interactions
![Page 5: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/5.jpg)
5
On faisait tout à la main !
![Page 6: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/6.jpg)
6
Un clavier et une souris
• 1ers périphériques d’interaction• saisie de mots via des boutons• click simple - double - long - molette
![Page 7: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/7.jpg)
7
Un clavier et une meilleure souris
• combinaison de gestes sur une souris tactile
![Page 8: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/8.jpg)
8
Des manettes classiques
• des boutons associés à des actions précises• parfois un ou plusieurs joysticks
![Page 9: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/9.jpg)
9
Des manettes plus riches !
• écran tactile• accéléromètre et gyroscope• retour de couleurs• micro, caméra• NFC
![Page 10: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/10.jpg)
10
Oui mais... les mains sont prises !
![Page 11: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/11.jpg)
11
D’étranges caméras
• caméra, microphone• reconnaissance d’images et de mouvements• contrôle vocal
![Page 12: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/12.jpg)
12
Un nouveau capteur : le Myo
• capteurs musculaires• détection des gestes (positions des doigts, ...)• détection des mouvements• retours haptiques
![Page 13: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/13.jpg)
13
La leap motion !
![Page 14: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/14.jpg)
Qu’est-ce que c’est ?
La leap motion
![Page 15: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/15.jpg)
15
• Ses caractéristiques
○ taille de 3”○ 13 mm x 13 mm x 80 mm, 55 g○ reconnait les 10 doigts et plusieurs mains○ précision de 1/100 de mm○ fréquence de capture de 200 fps○ ~ 90 $
![Page 16: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/16.jpg)
16
• Les besoins ressentis
○ libérer ses mains○ s’affranchir du clavier et de la souris○ ne pas s’encombrer○ profiter des interfaces Windows 8/10 et OS X○ avoir un aperçu des possibilités futures
![Page 17: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/17.jpg)
Comment ça fonctionne ?
La leap motion
![Page 18: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/18.jpg)
18
• Son fonctionnement
○ cube de reconnaissance 3D de 60 cm○ émission de rayons infrarouges○ ces rayons rebondissent et sont capturés
![Page 19: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/19.jpg)
Que peut-on faire avec ?
La leap motion
![Page 20: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/20.jpg)
20
• Naviguer dans une interface
![Page 21: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/21.jpg)
21
• Interagir avec des objets
○ toucher○ déplacer○ frapper○ attraper
![Page 22: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/22.jpg)
22
• D’autres périphériques intégrant la leap
○ l’Occulus DK2 pour de la réalité augmentée
![Page 23: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/23.jpg)
23
• D’autres périphériques intégrant la leap
○ l’Occulus DK2 pour de la réalité augmentée
![Page 24: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/24.jpg)
24
• D’autres périphériques intégrant la leap
○ un clavier de HP avec reconnaissance des gestes...
![Page 25: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/25.jpg)
25
• D’autres périphériques intégrant la leap
○ ... et même un laptop de HP spécial !
![Page 26: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/26.jpg)
Comment l’installer ?
La leap motion
![Page 27: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/27.jpg)
27
• Philosophie KISS
1. On branche le capteur leap motion2. Les drivers s’installent automatiquement3. On récupère le package via le site officiel4. Et on profite du store :-)
![Page 28: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/28.jpg)
![Page 29: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/29.jpg)
29
![Page 30: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/30.jpg)
Un produit parfait ?
Les limites
![Page 31: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/31.jpg)
31
Les limites• pas de retours haptiques
○ difficile de distinguer survol / toucher○ difficile d’estimer sa force
• consommation des ressources○ CPU sollicité fortement
• store très peu fourni
• applications non x-platforms
• manipulations pas assez naturelles
• necessité de concevoir l’UI de son app en fonction
![Page 32: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/32.jpg)
32
Les limites• penser son UI : les menus
![Page 33: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/33.jpg)
33
Les limites• penser son UI : la navigation
✓ modéliser la main du joueur
✓ mettre en valeur l’élément pris
✓ intégrer des menus
![Page 34: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/34.jpg)
bref.
Conclusion
![Page 35: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/35.jpg)
35
• pas vocation à remplacer le clavier et la souris○ ... pour l’instant
• des bons points...○ gestion fine des doigts et des mains○ périphérique très discret○ peu d’encombrement○ couplage avec les interfaces type Metro○ prix attractif
• mais...
○ tributaire de la lumière ambiante○ consommation CPU importante○ fatigue ressentie dans les bras
![Page 36: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/36.jpg)
Démos !
![Page 37: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/37.jpg)
37
Démos !
• Leap Motion Visualizer
• Leap Motion App Home○ Cut the Rope○ Robot Chess○ Form and Function○ Virtual Piano
• Unity
![Page 38: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/38.jpg)
Merci !
![Page 39: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/39.jpg)
![Page 40: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/40.jpg)
• Quelques liens sympathiques
○ Le site officiel➢https://www.leapmotion.com/
○ Le site pour les devs➢https://developer.leapmotion.com/
○ Le store➢https://apps.leapmotion.com/
○ Une vidéo d’intégration VR➢https://youtu.be/3ATQG9mnm34
○ Test complet sur Clubic➢http://www.clubic.com/technologies-d-avenir/article-575170-1-leap-motion-test.html
○ Le Myo➢https://www.thalmic.com/en/myo/
![Page 41: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/41.jpg)
• Quelques liens sympathiques
○ Le très réussi Hackathon 2015 de l’ENSSAT➢http://hackathon.management.enssat.fr/
○ Une belle édition 2015 du Fest4Game de l’ENSSAT➢http://fest4game.bde.enssat.fr/
○ L’ENSSAT➢http://www.enssat.fr/
![Page 42: Leap motion - Une nouvelle forme d'interaction](https://reader031.fdocuments.us/reader031/viewer/2022022203/5873d65d1a28ab9d168b7451/html5/thumbnails/42.jpg)