AR Technologies for Smart Device and User...

2003 - 2012 ⓒ MR&I Lab. SEJONG Univ. Seoul, Korea

1

AR Technologies for Smart Device and User Experience

2012. 6. 26

이종원

Mixed Reality & Interaction Lab.세종대학교


개요

• 증강현실 소개• 모바일 증강현실 시스템• 모바일 증강현실 기반기술• 모바일 증강현실 미래

2


개요


3


증강현실이란?• 가상세계와실 세계를통합하여 실시간에 보여주는시스템

• 가상객체를실 세계에추가하여 가상과 실제공간이공존하여실세계를 보완하는 시스템

• 사용자자신의 감각을통해 직접인지할 수 없는정보를가상정보로 증강하여 보여주는 시스템

• 실세계에서 사용자의 인지와 상호작용 능력을도와주는시스템

• 증강된가상정보를 통해정보를 검색하는 시간과오류를줄여실 세계작업을 손쉽게 지원해 주는시스템

4


증강현실이란?

5

컴퓨터안내수술시스템의현재와미래[2]

시뮬레이트된AR 이미지[1]


증강현실 정의

• 실세계와 가상세계가 결합이 됨• 실시간으로 시스템이 구현되어야 함• 가상세계와 실 세계가 정확하게정렬되어야 함

6


실 세계-가상세계 연속체

• Paul Milgram과 Fumio Kishino가 1994년에실세계와가상세계사이의세계를정의함

7

Augmented reality Augmented virtualityMixed reality

[3]


증강현실 역사

• 1966년– Ivan Sutherland가 head-

mounted display를발명하고가상세계로통하는문이라고하였음

– 증강현실개념이시작되는시기

8

[4]


증강현실 역사

• 1990년– 미국보잉사의 Tom Caudell이작업자들이비행기에전선을조립하는과정을도와주는시스템개발

– 처음으로 Augmented Reality라는어휘를사용함

• 1992년– L.B. Rosenberg가최초의작동하는

AR 시스템중하나인 Virtual Fixtures를개발하고시스템의효용성을보임

9

[4]

[5]


증강현실 역사

• 1997년– S. Feiner와 동료들이 최초의 실외모바일 AR 시스템 개발

• 1999년– Hirokazu Kato가 미국 HITLab에서

ARToolKit를개발함• 2000년

– Bruce H. Thomas가 최초의 실외모바일증강현실 게임인 ARQuake를개발함

10

[6]

[7]

[8]


주요 기술

• 증강현실 구현을 위해 필요한 주요 기술

11

증강현실 구현 기술

-Tracking-Interaction-Calibration & registration-Display

-Evaluation/testing-AR authoring-Visualization-Rendering


개요


12


모바일 증강현실 등장 동기

• 컴퓨터크기는줄어들고 성능은향상됨• 컴퓨터를장소에관계없이 사용할수 있게됨

• 모바일컴퓨터는새로운 가능성을열어줌– 위치기반 컴퓨팅 (location-aware computing)– 맥락기반 컴퓨팅 (context-aware computing)

• 이러한환경에서증강현실을 통한상호작용이최적임

13


컴퓨팅 환경변화

컴퓨터 크기변화 사용자와 관계변화

방의공간 (room) 제출 (submit)벽면공간 (wall) 공유 (share)책상공간 (desk) 앉음 (sit at)무릎공간 (laptop) 사용전후에이동

손바닥 (smartphone) 손으로잡기 (hold)옷 (clothing) 착용 (wear)

14


극복해야 하는 요소

• 모바일컴퓨터– 제한적인 자원– 크기, 무게, 배터리

• 모바일증강현실– 위치, 방향 추정– 시각화

• 실외환경– 비우호적인 환경: 조명, 날씨 등– 추가장치 설치가 어려움

15


적용분야

• 조립 및 건설• 점검 및 유지 보수• 길 안내• 관광• 저널리즘• 의학

• 오락• 개인정보 관리• 군• 건축학• 고고학• …

16


NaviCam• 1995년 Jun Rekimoto와 Katashi Nagao가개발– 워크스테이션, 카메라가장착된모바일디스플레이

• 사용자위치추정– 카메라로보이는컬러마커인식

• 해당마커위에상황에적합한정보제공

17

[9]


Touring Machine• 1997년에 Steve Feiner와동료가개발한실외모바일증강현실시스템– 노트북

• 다양한장치를활용하여사용자위치와방향정보를추정– 디지털나침반 (compass), 경사계 (inclinometer), 보정위성항법시스템 (differential GPS)

• 도심환경에관한정보제공

18

[6]


Tinmith• 1998년 Bruce Thomas와 동료들이개발한시스템을기반으로 2006년까지지속적으로발전

191998 1999 2001 2002 2004

2006

[10]


RWWW Browser

• 2001년 Kooper와 MacIntyre가 개발한첫번째증강현실브라우저– Real-World Wide Web

• WWW와실제공간이통합된 공간을생성• 트래킹

– 사용자머리와 몸추적– Intersense IS-600 tracker

20

[11]


Human Pacman

• 2003년 Adrian Cheok와동료들이개발• 잘알려진 Pacmam 게임을실외공간에서구현

– Pacman과 Ghosts 역할실제플레이어가함• 인터페이스

– Tangible interface• 트래킹

– GPS, inertial sensor

21

[12]


Indoor AR Guidance System

• 2003년 Daniel Wagner와 Dieter Schmalstieg가개발

• 최초로 PDA 환경에서구현된실내공간안내시스템– 환경의 3차원정보제공

• 트래킹– ARToolKit

22

[13]


Invisible Train• 2004년 Daniel Wagner와 동료가개발한모바일환경에서구현된 최초의실시간다중사용자증강현실 게임

23

[14]


모바일 증강현실 시스템

• 모바일폰/스마트폰기반의증강현실시스템• 브라우저 (browser)

– 위치를기반으로주변정보제공– 현재위치를기반으로사용자가원하는분야의정보를특화되게지원

– 레스토랑, 랜드마크, Geo-tagged 정보등– 지도, 위성, 교통상황, 거리뷰형태로제공되기도함

• 게임 (game)– 시점방향변화에따른게임진행– Mosquitoes , Arcade reality

24

[15] [16]


산업분야 동향

• 스마트폰의다양한하드웨어를기반으로정보브라우저기능구현이주를이루고있음– 대략적인위치정보와방향정보– 해당공간에서시점방향변화에따른정보제공

• 스마트폰의성능향상과사용자관심증대로인하여다양한분야에적용이시도되고있음– 게임, 광고, 네비게이션등

• 다수의 SDK가개발되고있음– Metaio(MobileSDK), Qualcomm(Vuforia) 등

25


Browser

26

Wikitude

LayerGoogle sky map Yelp

Ovjet


Arhrrr!

• 2009년 Kimberly Spreen과동료가소개함• 상업용게임과견줄수있는모바일증강현실게임

• NVIDIA Tegra developer Kit, Concorde를기반으로구현함

• 자연스런 feature 트래킹– GPU 사용

27

[17]


모바일 증강현실 게임

28

ARDefender-인공마커

Ball Invasion- SLAM

AR! Pirates-인공마커

[18]

[19]

[20]


개요


29


모바일 증강현실 기반 기술

• 기반 기술– 기본적인모바일증강현실구현에필요한기술

• 사용자 경험 향상 기술– 사용자에게유용한시스템을제공하기위해필요한기술

30


모바일 증강현실 기반기술

• 트래킹 (tracking)• 디스플레이 (display)• 시각화 (visualization)

31


트래킹

• 비전기반 트래킹• 센서기반 트래킹

– 카메라를제외한센서

• 하이브리드 트래킹

32


비전기반 트래킹

• 대부분의모바일장치에 카메라가포함되어있음

• 픽셀단위의정확도가가능함• 강건하지않음• 2D 기반트래킹

– 인공마커– 자연스러운 특징점– 파노라마

• 3D 기반트래킹

33


인공마커 기반 트래킹

• 인공마커

• 장점– 속도가빠름, 강건함

• 단점– 부가적인설치가필요함– 디자인이제한적임

34

ARToolKitmarker

ID marker Frame marker


자연스러운 특징점 기반 트래킹

• 인공마커기반트래킹보다어려움– 인공마커는트래킹을고려하여디자인됨

• 인공마터기반트래킹보다속도가느림– DB의이미지수에영향을받음

• 트래킹방법– 단일이미지기반트래킹– 다수이미지기반트래킹

• 지속적인연구가진행되고있음

35

[22][21]


파노라마 기반 트래킹

• 환경을파노라마를통해 획득함– 사전에획득– 트래킹과 동시에 획득

36국립고궁박물관


파노라마 기반 트래킹

• 장점– 주변 환경 정보를 손쉽게 획득함

• 단점– 파노라마가 획득된 위치 주변에서만 정확한 증강이 가능함

37파노라마기반방향추적 파노라마기반위치추적[23] [24]


3D 기반 트래킹

• 3D 강체모델– 한양대학교

• 3D 강체모델 + panorama– Graz university

• Digimagic 3D AR tracking• 극복해야되는문제

– 초기화

38

[25]

[26]

[27]


SLAM on iPhone

• 2009년 Georg Klein이 SLAM을iPhone에서 실시간으로 구현하는 것을보임

39

[28]


센서기반 트래킹

• 스마트폰에장착된다양한 센서를활용한사용자위치및 방향추정

• GPS: 위치• Wi-Fi: 위치• Cellular signal: 위치• Accelerometer: 움직임과 위치• Gyroscope: 방향• Digital compass: 2D 방향

40


하이브리드 트래킹

• 다양한센서를통합하여사용자의위치와방향을추적

• 각각의센서가보내주는정보를통합하여새로운정보를생성

• 각각의센서의장점을살리고단점을보완할수있는방향으로통합이되어야함

• 스마트폰에다양한센서가부착되어있어하이브리드트래킹구현이적합함

• 예– GPS와 digital compass (또는 gyroscope) 통합– GPS, vision, gyroscope 통합

41


디스플레이

• 구글 Augmented Reality glasses– 공공장소에서실험중

• 유사 디스플레이

42

MicroOpticalEG72000년대 초반

MinoltaForgettableDisplay2000년


시각화

• 사용자에게 보이지 않는정보를 보이게 하는 과정

• 트래킹 정보를 기반으로가상객체를 생성함

• 증강되는 정보의 종류– 이해를돕기위한정보– 사실감이강조되는가상객체

43

Google sky map

int13 ARDefender


시각화 – 고려할 사항

• 실제환경을고려한 증강이되어야 함– 제거되는 부분 고려– 일관된깊이 정보 제공– 예

• 깊이정보오류• 중요정보가려짐

• 하드웨어제약– 디스플레이 크기– 카메라시야각

44[30]


그림을 이용한 깊이 표현

45

상대적크기차이 기반의높이차이

가려짐x o

[30]


시각화 방법

• Phantom rendering– Phantom: 실제객체의가상표현

• Ghost presentation• Scene manipulation• View management

46


Phantom Rendering• 정확한가려짐을 위해서는 실제객체와 가상객체사이의깊이를 비교해야함

• 가상공간표현에 실제객체의 가상표현을 포함함– 실제객체의가상표현은투명하게처리되어보이지않음

• 장점– 가려짐표현– 그림자표현

47[30]

phantom

Augmented model


Ghost Presentation• X-ray visualization

– 실제공간과관련있는보이지않는정보시각화• Perceptual 문제를 고려해야 함

– 제거되는부분을고려한시각화가되어야함– 보이지않는정보와정보를가리는객체를함께보여주어야함

– 정보를가리는객체를반투명객체로시각화• Ghost presentation

– 가리는객체의반투명정도를균일하지않게조절하여쉽게인지할수있도록함

– 이미지에서에지를추출하여실제객체와가상객체와의공간적인지에도움을제공함

48


Ghost Presentation

• 투명도활용

• 에지정보활용

49

나쁜 예

Dense ghost presentation

Sparse ghost presentation

[30]

[30]


Scene Manipulation• 증강현실에존재하는객체의공간적재배치를통한시각화

• 실제객체재배치하여가려져있던가상객체를보이게함

50

[30]


View Management

51[31]

[32]

[33]


사용자 경험 향상 기술

• 상호작용 (interaction)• 인식 (recognition)

52


상호작용이 중요한 이유?

• 증강현실 시스템 구현이라는 것은인터페이스를 디자인 하는 것임

• 가상 정보를 단순히 증강시키는 것이목적이 아님

• 증강현실 시스템의 목적은 사용자에게경험을 제공하는 것임

• 시스템의 목적에 적합한 인터페이스가필요함

53


모바일 상호작용

• 모바일 증강현실 환경에서 사용되는상호작용 방법

• 모바일 증강현실 환경– HMD– 스마트폰디스플레이

54


모바일 상호작용 (HMD)• HMD를디스플레이로 사용하는 증강현실 시스템에적용된상호작용 방법– 초기증강현실시스템은노트북과 HMD를기반으로구현됨

– 3D information browsing– Complex 3D interaction– Tiles– Marker/Target gestures

• 특징– 양손사용

55[34]

[35]

[36]


모바일 상호작용 (스마트폰)• 스마트폰증강현실시스템에적용된상호작용방법– 최근에스마트폰의확산과발전으로증강현실이스마트폰에서많이구현됨

• 상호작용방식– 선택– 움직임– 선택 + 조작

• 특징– 디스플레이와상호작용시스템의일체화– 스마트폰을손에들고있어야함

56


선택 기반 상호작용

• 증강정보선택을위해사용하는상호작용방법• 스마트폰의디스플레이를통해정보검색

– 위치및방향정보를기반– GPS, Wi-Fi, cellular 신호, gyroscope 활용

• 검색된정보선택– 버튼, 일정시간유지

• 적용예– Layer, Wikitude– navigation 앱

57[37] [38]


움직임 기반 상호작용

• 사용자가신체의일부분 또는스마트폰을제한적으로움직이며증강된객체와상호작용 방법

• KickReal/AR Soccer– 사용자발 추적을 통한 상호작용

• Symball– 선택된색 추적을 통한 상호작용

58[39]


움직임 기반 상호작용

• Mosquito Hunt, Marble Revolution– 위치정보사용하지않음– Motion flow 추적을통한상호작용

• AR Tennis– 마커기반으로모바일폰의위치추적을통한상호작용

59[40]


선택, 조작 기반 상호작용

• 증강객체를 선택하고 선택된 객체를이동 및 회전하는 상호작용 방법

• 스마트폰의 움직임 기반 방법– 객체이동– 메쉬조작

• 터치 기반 방법– Blueprint3D

• 실제 앱 등에 적용은 미흡함

60

[41]

[42]

[43]


인식

• 정보가 증강되는 두 가지 방법– 위치기반증강– 인식기반증강

• 특정 패턴이나 객체 인식에 기반을 둔증강– 최근에연구가시작됨– 얼굴인식, 물체인식, 글자인식등이사용됨

61


얼굴인식

• 얼굴인식은오랫동안연구가 진행된분야임

• 최근에모바일장치에서 얼굴인식이가능하게되었고이를 활용한증강현실시스템이개발되었음

• 얼굴인식은사용자에게손쉽게 필요한정보를획득할수 있도록지원함– 온라인: Facebook, Twitter, Google+, …– 저장된정보

62


얼굴인식 - 예• Viewdle Social Camera

– 얼굴에정보 태깅• Animetrics

– FaceR Mobile ID• 신분확인에사용

– FaceR CredentialME• 사용자확인에사용

• TAT Augmented ID– 실생활에서 만나는 사람에 대한 정보제공– Concept app.

63

[44]

[45]

[46]


물체 인식

• Visual search 연구를 기반으로함– 강건한이미지 특징점의 정보를 활용

• 고정된실제객체와 움직이는실제 객체모두에증강이가능함– GPS 기반은 고정된 객체에 증강

• 객체의크기, DB의 용량에따라제한적으로구현이가능함

• 서버-클라이언트방식– 모바일장치에서 실시간 물체인식이 어려움

64


물체 인식- 서버-클라이언트 방식

• 서버– 물체인식– 대용량의랜드마크와관련정보저장– Vocabularies of local visual features 등을사용

• 클라이언트– 이미지획득하여서버로전송– 물체추적– Motion estimation 사용

• 장점– 대용량의 DB 활용이가능함

65


물체 인식 - 예• Book Spine Recognition

– 사용자의움직임이적은경우인식을시작– 책등을인식하고책의정보를모바일장치를통해사용자에게제공

– 글자인식 + 특징점인식• Mobile Augmented Reality Tour

– 모바일증강현실기술을이용하여더즐거운여행을도와줌

66

[47]


글자 인식

• Quest Visual “Word Lens”– 앱에모바일 OCR(Optical

Character Recognition)을활용– 카메라를외국어로작성된문서를보면모국어로번역함

– GPS를활용하여위치정보를기반으로번역을할수도있음

67

[48]


개요


68


모바일 증강현실의 미래

• 현재모바일증강현실은스마트폰을기반으로단순정보만제공하고있음

• 다양한모바일증강현실시스템이등장하였으나아직기반기술에대한많은연구가필요함– 트래킹, 정보 가시화, 상호작용 등– 개인에 적합한 정보 전달– 시각 이외의 다른 감각기관에 정보 증강

• 기반기술이발전하면서다양한분야(협업분야포함)로적용이확대될것임

• 궁극적인증강현실시스템은안경형태의디스플레이가될것이나안전등의다양한이슈가존재함– 모바일 폰이 그때까지 아주 훌륭한 기반 시스템이 될 것임

69


예상 시나리오

• 건축및실내장식 분야– ArchaID

• 수리및설치 분야

• SNS

• 예술분야

• 프로젝터기반 시스템– iLamp, 2003

70

[49]


참조문헌[1] http://www.se.rit.edu/~jrv/research/ar/introduction.html[2] T. Suthau, M. Vetter, P. Hassenpflug, H. P. Meinzer, O. Hellwich, “A concept work for

Augmented Reality visualization based on a medical application in liver surgery,” ISPRS Symposium Commission V, Sep. 2002

[3] P. Milgram, H. Takemura, A. Utsumi, and F. Kishino, “Augmented Reality: A class of displays on the reality-virtuality continuum,” Telemanipulator and Telepresence Technologies, 1994

[4] http://en.wikipedia.org/wiki/Augmented_reality#History[5] http://graphics.cs.columbia.edu/projects/karma/karma.html[6] S. Feiner, B. MacIntyre, T. Hollerer, and T. Webster, “A touring machine: Prototyping 3D

mobile augmented reality systems for exploring the urban environment,” International Symposium on Wearable Computers, Oct. 1997

[7] http://www.hitl.washington.edu/artoolkit/[8] B. Thomas, B. Close, J. Donoghue, J. Squires, P. DeBondi, M. Morris, and W. Piekarski,

“ARQuake: An Outdoor/Indoor Augmented Reality First Person Application,” International Symposium on Wearable Computers, pp. 139-146, Oct. 2000

[9] http://www.sonycsl.co.jp/person/rekimoto/navi.html[10] http://www.tinmith.net/[11] R. Kooper and B. MacIntyre, “The Real-World Web Browser: An Interface for a Continuously

Available, General Purpose, Spatialized Information Space,” International Symposium on Mixed Reality, Mar. 2001

71


[12] A. D. Cheok, S. W. Fong, K. H. Goh, X. Yang and F. Farzbiz, “Human Pacman: a sensing-based mobile entertainment system with ubiquitous computing and tangible interaction,” Workshop on Network and System support for games, 2003

[13] D. Wagner and D. Schmalstieg, “First Steps Towards Handheld Augmented Reality,” International Symposium on Wearable Computers, 2003

[14] http://studierstube.icg.tugraz.at/invisible_train/[15] http://gamesalfresco.com/2009/11/01/buzz-buzz-augmented-reality-mosquitoes-all-around-

your-iphone/[16] http://www.toyspring.com/arcade/[17] www.augmentedenvironments.org/lab/research/handheld-ar/arhrrrr[18] http://www.ardefender.com/[19] http://www.arpirates.com/[20]http://socialtimes.com/ball-invasion-for-ipad2-find-shoot-virtual-balls-in-the-real-

world_b70788[21] D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, D. Schmalstieg, “Real Time Detection and

Tracking for Augmented Reality on Mobile Phones,” IEEE Transactions on Visualization and Computer Graphics, May/June 2010

[22] D. Wagner, D. Schmalstieg, H. Bischof, “Multiple Target Detection and Tracking with Guaranteed Framerates on Mobile Phones,” International Symposium on Mixed and Augmented Reality, 2009

[23] T. Langlotz, D. Wagner, A. Mulloni and D. Schmalstieg, “Online Creation of Panoramic Augmented Reality Annotations on Mobile Phones,” IEEE Pervasive Computing, 2010

[24] V. Nguyen and J. W. Lee, “Self-positioning system for indoor navigation on mobile phones,” IEEE International Conference on Consumer Electronics, Jan. 2012

[25] B. K. Seo, J. Park and J. I. Park, “3-D visual tracking for mobile augmented reality applications,” IEEE International Conference on Multimedia and Expo, 2011

[26] C. Arth, M. Klopschitz, G. Reitmayr and D. Schmalstieg, “Real-Time Self-Localization from Panoramic Images on Mobile Devices,” International Symposium on Mixed and Augmented Reality, Oct. 2011

72


[27] http://www.youtube.com/watch?feature=player_detailpage&v=TN30qdjeQpk[28] G. Klein and D. Murray, “Parallel Tracking and Mapping on a Camera Phone,” International

Symposium on Mixed and Augmented Reality, 2009[29] G. Reitmayr and T. Drummond, “Going Out: Robust Model-based Tracking for Outdoor

Augmented Reality,” International Symposium on Mixed and Augmented Reality, 2006[30] K. Denis, C. Sandor, S. White and S. Dieter, “Visualization Techniques for Augmented

Reality,” Handbook of Augmented Reality, 2011[31] B. Bell, S. Feiner and T. Höllerer, “View Management for Virtual and Augmented Reality,”

Symposium on User Interface Software and Technology, Nov. 2001[32] M. Livingston, L. Rosenblum, S. Julier, D. Brown, Y. Baillot, J. E. Swan II, J. Gabbard, and D.

Hix, “An augmented reality system for military operations in urban terrain,” Interactive/Industry Training, Simulation and Education Conference, 2002

[33] T. Höllerer, S. Feiner, D. Hallaway, B. Bell, M. Lanzagorta, D. Brown, S. Julier, Y. Baillot and L. Rosenblum, “User interface management techniques for collaborative mobile augmented reality,” Computers and Graphics, 2001

[34] I. Poupyrev, D. S. Tan, M. Billinghurst, H. Kato, H. Regenbrecht and N. Tetsutani, “Developing a generic augmented-reality interface,” IEEE Computer, 2002

[35] K. Kiyokawa, H. Takemura and N. Yokoya, “Seamless Design for 3D Object Creation,” Multimedia Computing and Systems, Jan/Mar 2000

[36] S. White, D. Feng and S. Feiner, “Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality,” International Symposium on Mixed and Augmented Reality, 2009

[37] http://www.layar.com/browser/[38] http://www.gizmag.com/wikitude-drive-ar-navigation-app/19710/[39] M. Hakkarainen and C. Woodward, “SymBall – Camera Driven Table Tennis for Mobile Phones,”

International Conference on Advances in Computer Entertainment Technology, June 2005[40] A. Henrysson, M. Billinghurst and M. Ollila, “AR Tennis,” International Conference on

Computer Graphics and Interactive Techniques: Emerging Technologies, Jul. 2006[41] A. Henrysson, M. Billinghurst and M. Ollila, “Virtual object manipulation using a mobile phone,”

International Conference on Augmented tele-existence, 2005

73


[42] A. Henrysson and M. Billinghurst, “Using a mobile phone for 6 DOF mesh editing,” International Conference on Computer-human interaction: design centered HCI, 2007

[43] http://www.fdg-entertainment.com/en/iPhone-Games/Blueprint-3D-iPhone.html[44] http://viewdle.com/products/mobile/index.html[45] http://www.animetrics.com/Products/MobileID.php[46] http://www.tat.se/videos/[47] S. Tsai, D. Chen, H. Chen, C.-H. Hsu, K.-H. Kim, J. P. Singh and B. Girod, “Combining image and

text features: a hybrid approach to mobile book spine recognition,” ACM Multimedia, Nov. 2011

[48] http://questvisual.com/[49] R. Raskar, J. Baar, P. Beardsley, T. Willwacher, S. Rao and C. Forlines, “iLamps: Geometrically

Aware and Self-Configuring Projectors,” SIGGRAPH 2003

74


Q/A

• [email protected]• 02) 3408-3798

75

AR Technologies for Smart Device and User...

Documents

Transcript of AR Technologies for Smart Device and User...