Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

36
Μάριος-Φώτιος Μπίκος Επιβλέπων: Δυναμική Προσομοίωση Εικονικών Αντικειμένων για Εφαρμογές Επαυξημένης Πραγματικότητας. Κωνσταντίνος Μουστάκας Διπλωματική Εργασία Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας Ιούλιος 2015

Transcript of Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Page 1: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Μάριος-Φώτιος ΜπίκοςΕπιβλέπων:

Δυναμική Προσομοίωση Εικονικών Αντικειμένων για

Εφαρμογές Επαυξημένης Πραγματικότητας.

Κωνσταντίνος Μουστάκας

Διπλωματική Εργασία

Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας

Ιούλιος 2015

Page 2: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Teaser

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2

Video από την Meta Co.PROMPROM

OO

Page 3: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Επαυξημένη Πραγματικότητα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 3

ΠραγματικόΠραγματικός Κόσμοςς Κόσμος

Ψηφιακή Ψηφιακή ΠληροφορίΠληροφορίαα

Page 4: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Αλληλεπίδραση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 4

Page 5: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Πρόβλημα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 5

Ο χειρισμός εικονικών αντικειμένων με γυμνά χέρια είναι πολύπλοκη διαδικασία…

…ιδιαίτερα σε ένα σκάκι επαυξημένης πραγματικότητας!

Page 6: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Θεωρητικό Υπόβαθρο

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 6

Page 7: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Παράμετροι Κάμερας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 7

Extrinsics

Intrinsics

Page 8: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Βαθμονόμηση - Calibration

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 8

Offline Διαδικασία Εύρεσης Intrinsics

Page 9: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Markers σε Γάντι Marker Props

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 9

Σχετικές Ερευνητικές Εργασίες

“FingARtips – Gesture Based Direct Manipulation in Augmented Reality” 2nd International conference on Computer graphics and interactive techniques -2004

“Virtual object manipulation on a table-top AR environment” IEEE and ACM International Symposium on Augmented Reality-2000

Page 10: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Cube-Marker Pen Marker Glove & Retroreflective Spheres

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 10

Σχετικές Ερευνητικές Εργασίες

“Mobile collaborative augmented reality” IEEE and ACM International Symposium on Augmented Reality-2001

“Finger tracking for interaction in augmented environments” IEEE and ACM International Symposium on Augmented Reality-2001

Page 11: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Σχετικές Ερευνητικές Εργασίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 11

Κάμερα Βάθους για την δημιουργία 3D μοντέλου χεριών

Page 12: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Η Εφαρμογή

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 12

Page 13: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Εργαλεία & Τεχνολογίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 13

IRSensor

Color Sensor

IR Laser Projector

First-Person View

Page 14: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Εργαλεία & Τεχνολογίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 14

• Αξιοποίηση βασικών αλγορίθμων όρασης• Χρήση βασικών δομών(π.χ Mat)

• Ανίχνευση markerboards• Εύκολος συνδυασμός με OpenGL

• Πρόσβαση στα δεδομένα των αισθητήρων• Εξαγωγή Blobs / Contours

• 3D Models / Αnimations• Aπεικόνιση επαυξημένης σκηνής

• Επικοινωνία με εκτελέσιμα αρχεία μηχανής σκακιού

Page 15: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Πρόβλημα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 15

• Πιόνια = Ορατά συνεχώς • Απόκρυψη σκακιέρας με τα χέρια

Page 16: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

- Δυσκολότερο να χαθούν όλα την ίδια στιμή- Περισσότερα σημεία διαθέσιμα

για εκτίμηση πόζας κάμερας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 16

Board of Markers=Μarkerboard

Robustness

Page 17: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Markerboard

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 17

8 x 8 MarkerBoard 64 Markers

Page 18: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Blobs & Contours

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 18

Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και αναπαριστά ένα συγκεκριμένο αντικείμενο.

Page 19: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Αναγνώριση Χειρονομίας Pinch

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 19

Page 20: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Διάγραμμα Διαδικασίας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 20

Page 21: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

3D Θέση της Xειρονομίας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 21

..Inner Contour(Hole)

Outer Contour

RGB Image Blob Image

Average X,Y

Mapped Mapped neighborhood neighborhood of pixelsof pixels

....Neighborhood of Points

Average Z depth3D Position3D Position

MapDepthMapDepthToColorToColor

Xcam,Ycam

Page 22: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους για κάθε pixel που παίρνουμε από τον αισθητήρα (ανάλογα με την προβολή)

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 22

Occlusion Handling

Page 23: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Occlusion Handling

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 23

Page 24: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Μηχανή Σκακιού

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 24

Universal Chess Interface (UCI)

• Έξοδος: Κίνηση Αντιπάλου

• Είσοδος: Κίνηση Χρήστη

Πρωτόκολλο Επικοινωνίας με μηχανή σκακιού=

Page 25: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Πειραματική Εγκατάσταση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 25

Αξιολόγηση Συστήματος

Page 26: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

System Usability Scale - SUS

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 26

Page 27: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

System Usability Scale - SUS

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 27

Page 28: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Λάθη Κινήσεων

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 28

Page 29: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Σύγκριση Μεγεθών Αξιολόγησης

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 29

Participant # Time per Task (sec) Tasks Completed (of 30) Time % Tasks % SUS Rating % Average

1 2,99 25 83% 83% 75% 81%

2 4,23 25 59% 83% 55% 66%

3 3,05 16 82% 53% 80% 72%

4 4,94 25 50% 83% 92,5% 75%

5 3,49 25 71% 83% 80% 78%

6 5,64 22 44% 73% 67,5% 62%

7 2,49 18 100% 60% 75% 78%

8 4,66 28 53% 93% 60% 69%

9 2,74 28 91% 93% 70% 85%

10 3,00 26 83% 87% 77,5% 82%

Averages 3,7233,723 23,8 72% 79% 73.25% 75%

Page 30: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Μειονεκτήματα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 30

Page 31: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Λάθη Κινήσεων

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 31

Page 32: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Remember This?

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 32

Video από την Meta Co.PROMPROM

OO

Page 33: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Μελλοντικές Επεκτάσεις

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 33

3D Models Attack Animations

Depth Perception Pawn Promotion

Page 34: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Μελλοντικές Επεκτάσεις

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 34

Συνδυασμός Αισθητήρα+Oculus Rift

Page 35: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

Δημοσίευση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 35

Page 36: Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

7 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 36