Multifinger interaction between remote users in avatar...

Multifinger interaction between remote users in avatar-mediated telepresence

Youjin Lee et al.CAVW 2017

Copyright of figures and other materials in the paper belongs original authors.

Presented by Ki-Sung Jeong

2017. 05. 16

Computer Graphics @ Korea University

Ki-Sung Jeong| 2017. 05. 16 | # 2Computer Graphics @ Korea University

• Abstract• Introduction• Related work• Overview• Contact Dataset Construction

Active and passive points Interaction types Contact experiment Passive points sampling

• Online Process Interaction classification Computing optimal joint angles

• Result Pose Evaluation

• Discussion and Future work

Contents


• 아바타를 통한 가상 텔레프레전스(Telepresence)에서 햅틱 장치없이 상대방과 악수와 같은 접촉을 유지하는 것은 어려움

본 연구에서는 원격 사용자간 접촉상호작용을 위해 아바타의포즈를 조정하는 방법을 연구 함

• 9가지의 상호작용 데이터베이스를 구축

• 실험을 통해 최적의 포즈를 계산하는 프레임 워크 개발

Abstract

본 연구는 사회적인 상호작용의 질을 향상시키는 것을 보여줌


텔레프레전스

Introduction


• VR/AR기반 텔레프레전스는 풍부한 공간의 경험을 확장할 수 있는잠재력을 가짐

Holoportation은 3D 아바타를 원격공간으로 이동시켜 참가자간의 청각 및시각적 상호작용을 가능하게 함

• Microsoft Research. Holoportation.

• http://www.microsoft.com/en-s/research/project/holoportation-3/

악수나 하이파이브와 같은 접촉적 상호작용은 여전히 어려움을 겪음

• 햅틱 피드백 없이 아바타를 통한 원격 사용자간 손, 손가락의 실시간접촉적 상호작용을 위한 연구

Introduction


Holoportation


• Problem

시각적 피드백만으로 두 명의 원격 사용자가 적절한 접촉을 달성하는포즈를 채택하는 것은 거의 불가능 함

• 이를 해결하기 위해 Oh et al. 과 비슷한 접근

[Jihye Oh, Lee Y, Kim Y, Jin T, Lee S, Lee S-H. Hand contact between remote users through virtual avatars. Proceedings of the 29th CASA 2016]

손가락의 높은 DoFs는 아바타 애니메이션을 어렵게 함

• 실시간으로 손가락의 후보접점을 먼저 선택하고 중복된 DoFs를사용자의 실제 손 포즈에 적용할 수 있는 방법을 연구

Introduction

DoFs : Degrees of Freedom

Related Work


• Adaptive interaction

• Hand Manipulation

Related Work

ESL et al./ “Interactive partner control in close interactions for real-time applications” ACM T Multim Comput, 2013

• 2개의 몸체 부분을 연결,상호작용하는 공간관계를나타냄

Vogt et al./ “A data-driven method for real-time character animation in human-agent interaction.” International conference on intelligentvirtual agents. Cham: Springer, 2014.

• 데이터베이스로부터 일치하는모션데이터를 이용하여 상호작용하는 데이터기반 방법

Mordatch I et al./ “Discovery of complex behaviors through contact-invariant optimization.” ACM Trans Graph, 2012

• Contact-invariant optimization알고리즘사용, 잠재적인접촉점이 주어진 운동에서 활성화되는지 여부를 계산

Pollard NS, Zordan VB/ “Physically based grasping control form example ” Eurographics symposium on Computer Animation, 2005

• 물리기반 손동작 알고리즘


• Hand Manipulation

Related Work

Koga Y et al./ “Planning motions with intentions.” Annual Conference on Computer Graphics and Interactive Techniques, 2013

ElKoura G and Singh K. “Handrix : Animating the human hand.” ACM SIGGRAPH/Eurographics Symposium on Computer Animation, 2003

• 안정적인 객체조작을 위한손 포즈를 생성하기 위한연구

You B-J et al./ “Coexistent Space : Toward Seamless Integration ofReal, Virtual, and Remote Worlds for 4D+ Interpersonal Interactionand Collaboration” SIGGRAPH Asia , 2014

• 4D감각, 힘, 감정을 교환하여네트워크화 된 사용자가 의사소통, 상호작용 및 공동작업을할 수 있는 공존 공간 제안

Rezzonico S et al./ “Consistent grasping in virtual environments based on the interactive grasping automate.” Eurographics symposium on Computer Animation, 2005

• 디지털 장갑을 착용한 사용자의그립 핑 상호작용을 향상시키는일반적인 틀을 제안


• Interaction classification

Related Work

Yun et al./ “Two-person interaction detection using body-pose features and multiple instance learning”Eurographics symposium on Computer Animation, 2005

• 모든 조인트쌍 사이의거리와 상호작용 탐지를위한 기하학적 특징

Vafaei F/ “Taxonomy of gestures in human computer interaction” North Dakota State University, 2013

• 인간 컴퓨터 상호작용에서제스처 분류법 제안

Feix T et al./ “The grasp taxonomy of human grasp types” IEEE TransHum Mach Syst, 2016

Feix T et al./ “A comprehensive grasp taxonomy” Robotics, Science and Systems, 2009

• 물체에 힘을 가하는 손,손가락 등33가지 유형을 파악하는 종합적인파악 분류법 제안

Overview


• 가상 텔레프레전스 시나리오

원격 사용자를 나타내는 가상 아바타

• 아바타의 손 동작을 입력, 유형을 분류하고 원격 아바타 손 동작을 합성

Overview


• 시스템 개요

오프라인 과정에서 접촉점 데이터 집합 수집

상호작용 유형에 따라 접촉점 간의 관계를 분석

Overview

Contact Dataset Construction



Active and passive points

• Active points

고정된 위치에 있는 34개의 사전 정의된 마크

• Passive points

한 손의 Active points에 해당하는 점



Interaction types

• 9가지 유형의 상호작용을 탐구

손의 앞쪽, 뒤쪽과 같이 광범위한 상호작용을 커버



Contact Experiment

• 접촉 실험 방법

1) 서로 다른 색상으로 Active points를 표시

2) 상호작용을 통해 서로에게 흔적을 남김

• 접촉점에 의해 생긴 Active, Passive points 구별

※ 실험자들의 손 길이, 크기 등



Passive points sampling

• 실험 결과

아바타의 핸드 모델에 누적



Passive points sampling

• Passive points를 해당 Active Points와 연결, 이를 Matrix로 저장

1

Online Process


Online Process

Interaction classification

• 상호작용의 유형은 다양한 손 포즈를 분석하여 결정

손 상호작용은 6개의 구성을 가지는 배열로 분류


• Interacting side :

상호작용을 위해 2개의 팔 방향을 검사

• 이를 통해 𝑓𝑠𝑖𝑑𝑒를 Same or Different 로 셋팅

• Contact state and orientations of hands :

두 손이 겹치는지 여부, 손바닥이 서로를 향하고 있는지 여부 확인

• 이를 통해 𝑓𝑐𝑜𝑛을 결정

• Angle between up-vectors of hands :

상향벡터는 손 중심에서 중수지관절까지의 벡터

두 가지 상향벡터간의 각도는 자신의 손이 기울어진 정도를 확인

• 이를 통해 𝑓𝑎𝑛𝑔를 결정

zero, zero-to-quarter, quarter, quarter-to-half, half로 설정

Online Process



• Rotation direction between up-vectors :

자신의 업 벡터가 시계방향, 반 시계 방향으로 회전하는지 결정

• 이를 통해 𝑓𝑟𝑜𝑡을 결정

𝑓𝑐𝑜𝑛 = 0 or half → 𝑓𝑟𝑜𝑡 = none

2개의 업 벡터의 곱을 자신의 손 법선벡터와 비교하여 결정

Vector ≥ 90 반시계 방향Vector < 90 시계 방향

• Gap between fingers :

엄지와 검지 손가락의 간격부터 새끼손가락까지의 평균 간격 확인

• 𝑓𝑔𝑎𝑝은 none, thumb, rest 및 thumb and rest 중 하나로 설정

Online Process



• Number of folded fingers :

손가락의 수에 따라 움직임을 분류

• 중수지관절과 손가락 끝 사이의 거리, 측지선 길이의 비율 확인

• 𝑓𝑓𝑜𝑙𝑑는 각 아바타마다 0~5까지 숫자로 설정

• Interaction classification :

각 유형에 대해 입력 배열이 비교됨.

• 손의 자세를 나타내는 배열이 업데이트, 9개의 참조 배열과 비교

2개의 배열이 일치하면 상호작용 유형이 선택일치하지 않으면 상호작용 유형이 없음으로 설정

Online Process



• 후보 유형은 매 프레임마다 결정

정확도를 높이기 위해 이전의 6개 프레임에서 분류된 유형을 고려

• 7개의 결과 중 주요 유형이 최종 유형으로 선택

유형이 없을 땐 이전의 프레임 유형이 선택

Online Process



Online Process

Computing optimal joint angles

• 접점 기반 방법의 적응형 손 상호작용을 위해 온라인 최적화 수행

두 가지 부분으로 최적화 수행

• 팔뚝과 손의 관절 각을 우선적으로 계산

• 남은 관절을 독립적으로 최적화

접촉 점 사이의 거리, 손 침투, 캡쳐 된 포즈 를 통해 최종 계산

Levenberg-Marquardt 알고리즘 사용


Online Process


• Distance between contact points :

Active point 와 해당 passive point의 접촉

• Active point를 최대한 passive point에 가깝게 함

• 두 점 사이의 거리가 임계 값 보다 낮을 경우

• 𝑋𝑖(𝜃) 상대 아바타 손에서 𝑖번째 Active Point

• 𝑌𝑗(𝑋𝑖) 자신 아바타 손에서 가까운 k개 passive points 중 𝑗번째 point

• 𝑤𝑖𝑗 𝑋𝑖 𝜃 와 𝑌𝑗(𝑋𝑖)사이의 거리를 고려하기 위한 가중치

거리가 임계 값 보다 크면 𝑤𝑖𝑗는 0 (함수에 대한 영향을 제거)


• Hand penetration :

손바닥 사이의 침투를 피하기 위한 바운딩 박스를 제작

상대와 나의 아바타 바운딩 박스가 관통하는 경우

• 𝑎, 𝑏, 𝑐 각각 길이, 너비, 높이의 절반

• 𝑥, 𝑦, 𝑧 𝜃 자신의 아바타 바운딩 박스의 상대적인 정점 위치

실시간 계산을 위해 손가락에 대한 침투는 고려하지 않음

Online Process



• Captured pose :

동작의 부드러움을 위해 결과로 얻은 관절 각을 캡쳐 된 포즈에가깝게 만들도록 권장

• 𝜃 ∗ 입력에서 계산된 관절 각 벡터

• 𝜃 팔뚝 : 6 각 손가락 : 5

Online Process


Result


• 본 연구에서 제시한 9가지 손 상호작용을 실험

Result

Pose


• Folding hands :

• Dancing walts :

Result

Pose

알고리즘 적용 전 알고리즘 적용 후



• Touching back of hand :

• Dancing walts :

Result

Pose




• Shaking hands :

• Thumb-wrestling :

Result

Pose




• Vertical and horizontal fist bump :

Result

Pose



• Arm-wrestling

Result

Pose



• 알고리즘의 정확성, 2차 동작 및 계산시간 측면을 평가 함

• Pose accuracy :

생성된 자세의 실제 거리를 비교 평가

• 방법 적용 전 후 의 Active, Passive points 의 거리를 비교

4.65𝑐𝑚 2.41𝑐𝑚 46.3% ↓

Result

Evaluation


• Secondary motion :

자신의 아바타가 취한 모션에 대해 상대 아바타의 수동 응답을 생성

접촉 상태 유지를 위해 다소 수동적인 조정을 보여줌

• 악수를 할 경우 상대의 아바타는 자신의 아바타 속도에 맞춤

• Computation time :

8GB RAM, Intel Core i7 4790, Intel Core i7 6700

NDVIA GeForce GTX 750, 950

프레임당 계산시간은 24.9𝑚𝑠

• Passive point 분류 및 식별 : 9.35𝑚𝑠

• 최적화 : 15.45𝑚𝑠

Result

Evaluation

Discussion and Future work



Discussion

• 아바타 기반 텔레프레전스 시스템의 사용자 인터렉션 프레임워크

손을 접는 동작부터 팔씨름 까지 다양한 상호작용이 가능

여러 실험을 통해 유형별 접점을 식별

사용자가 원하는 동작을 유지하며 최적 조인트 각도를 결정

계산시간을 줄임으로써 실시간 애니메이션을 가능하게 함



Future work

• 임계 값이 수동으로 조정되기에 분류 기준이 견고하지 못함

Thumb-wrestling을 Vertical fist bump, Arm-wrestling으로 분류

• 상호작용 동작이 none으로 분류되어 상호작용이 갑자기 중단 됨

최적의 임계 값을 학습하여 더 나은 기준을 개발할 계획

• 프레임 속도가 여전히 낮아 최적화에서의 후보접점 최대수를 제한

가까운 passive point를 빨리 검색하고 효율적인 최적화를 통해계산 효율을 향상시키는 것을 목표로 함

• 현재 9가지의 유형으로 제한됨

향후 넓은 범위로 일반화 시킬 계획


Results Video

Multifinger interaction between remote users in avatar...

Documents

Transcript of Multifinger interaction between remote users in avatar...