Μάριος-Φώτιος ΜπίκοςΕπιβλέπων:

Δυναμική Προσομοίωση Εικονικών Αντικειμένων για

Εφαρμογές Επαυξημένης Πραγματικότητας.

Κωνσταντίνος Μουστάκας

Διπλωματική Εργασία

Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας

Ιούλιος 2015

Teaser

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2

Video από την Meta Co.PROMPROM

OO

Επαυξημένη Πραγματικότητα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 3

ΠραγματικόΠραγματικός Κόσμοςς Κόσμος

Ψηφιακή Ψηφιακή ΠληροφορίΠληροφορίαα

Αλληλεπίδραση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 4

Πρόβλημα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 5

Ο χειρισμός εικονικών αντικειμένων με γυμνά χέρια είναι πολύπλοκη διαδικασία…

…ιδιαίτερα σε ένα σκάκι επαυξημένης πραγματικότητας!

Θεωρητικό Υπόβαθρο

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 6

Παράμετροι Κάμερας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 7

Extrinsics

Intrinsics

Βαθμονόμηση - Calibration

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 8

Offline Διαδικασία Εύρεσης Intrinsics

Markers σε Γάντι Marker Props

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 9

Σχετικές Ερευνητικές Εργασίες

“FingARtips – Gesture Based Direct Manipulation in Augmented Reality” 2nd International conference on Computer graphics and interactive techniques -2004

“Virtual object manipulation on a table-top AR environment” IEEE and ACM International Symposium on Augmented Reality-2000

Cube-Marker Pen Marker Glove & Retroreflective Spheres

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 10

Σχετικές Ερευνητικές Εργασίες

“Mobile collaborative augmented reality” IEEE and ACM International Symposium on Augmented Reality-2001

“Finger tracking for interaction in augmented environments” IEEE and ACM International Symposium on Augmented Reality-2001

Σχετικές Ερευνητικές Εργασίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 11

Κάμερα Βάθους για την δημιουργία 3D μοντέλου χεριών

Η Εφαρμογή

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 12

Εργαλεία & Τεχνολογίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 13

IRSensor

Color Sensor

IR Laser Projector

First-Person View

Εργαλεία & Τεχνολογίες

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 14

• Αξιοποίηση βασικών αλγορίθμων όρασης• Χρήση βασικών δομών(π.χ Mat)

• Ανίχνευση markerboards• Εύκολος συνδυασμός με OpenGL

• Πρόσβαση στα δεδομένα των αισθητήρων• Εξαγωγή Blobs / Contours

• 3D Models / Αnimations• Aπεικόνιση επαυξημένης σκηνής

• Επικοινωνία με εκτελέσιμα αρχεία μηχανής σκακιού

Πρόβλημα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 15

• Πιόνια = Ορατά συνεχώς • Απόκρυψη σκακιέρας με τα χέρια

- Δυσκολότερο να χαθούν όλα την ίδια στιμή- Περισσότερα σημεία διαθέσιμα

για εκτίμηση πόζας κάμερας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 16

Board of Markers=Μarkerboard

Robustness

Markerboard

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 17

8 x 8 MarkerBoard 64 Markers

Blobs & Contours

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 18

Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και αναπαριστά ένα συγκεκριμένο αντικείμενο.

Αναγνώριση Χειρονομίας Pinch

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 19

Διάγραμμα Διαδικασίας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 20

3D Θέση της Xειρονομίας

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 21

..Inner Contour(Hole)

Outer Contour

RGB Image Blob Image

Average X,Y

Mapped Mapped neighborhood neighborhood of pixelsof pixels

....Neighborhood of Points

Average Z depth3D Position3D Position

MapDepthMapDepthToColorToColor

Xcam,Ycam

Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους για κάθε pixel που παίρνουμε από τον αισθητήρα (ανάλογα με την προβολή)

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 22

Occlusion Handling

Occlusion Handling

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 23

Μηχανή Σκακιού

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 24

Universal Chess Interface (UCI)

• Έξοδος: Κίνηση Αντιπάλου

• Είσοδος: Κίνηση Χρήστη

Πρωτόκολλο Επικοινωνίας με μηχανή σκακιού=

Πειραματική Εγκατάσταση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 25

Αξιολόγηση Συστήματος

System Usability Scale - SUS

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 26

System Usability Scale - SUS

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 27

Λάθη Κινήσεων

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 28

Σύγκριση Μεγεθών Αξιολόγησης

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 29

Participant # Time per Task (sec) Tasks Completed (of 30) Time % Tasks % SUS Rating % Average

1 2,99 25 83% 83% 75% 81%

2 4,23 25 59% 83% 55% 66%

3 3,05 16 82% 53% 80% 72%

4 4,94 25 50% 83% 92,5% 75%

5 3,49 25 71% 83% 80% 78%

6 5,64 22 44% 73% 67,5% 62%

7 2,49 18 100% 60% 75% 78%

8 4,66 28 53% 93% 60% 69%

9 2,74 28 91% 93% 70% 85%

10 3,00 26 83% 87% 77,5% 82%

Averages 3,7233,723 23,8 72% 79% 73.25% 75%

Μειονεκτήματα

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 30

Λάθη Κινήσεων

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 31

Remember This?

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 32

Video από την Meta Co.PROMPROM

OO

Μελλοντικές Επεκτάσεις

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 33

3D Models Attack Animations

Depth Perception Pawn Promotion

Μελλοντικές Επεκτάσεις

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 34

Συνδυασμός Αισθητήρα+Oculus Rift

Δημοσίευση

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 35

7 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 36