Human skeleton tracking from depth data using geodesic distances and optical flow
description
Transcript of Human skeleton tracking from depth data using geodesic distances and optical flow
Human skeleton tracking from depth data using geodesic distances and optical flow
作者 : Loren Arthur Schwarz , Artashes Mkhitaryan, Diana ⁎Mateus, Nassir Navab出處 : Image and Vision Computing 30 (2012) 217–226報告者 : 巫佳哲日期 :2013/10/15
2
Outline
1. Introduction2. Human full-body tracking method3. Experiments and results4. Conclusion
3
1. Introduction
• 人類的手勢是一種自然的通訊方式,能夠傳達複雜的訊息。• 使用手勢互動與電腦輔助系統,有很大的好處,例如醫療手術室。
4
• 為了能夠即時追蹤人類全身姿態,基於攝影鏡頭的動作追蹤系統,通常需要一個人穿上繁瑣的標記或套裝。• 即使使用多台攝影機,此任務仍是具有挑戰性的。• 最近的技術進步在開發新穎的深度相機上,即時三維場景的掃描,不需要多相機系統。
5
• Time of Flight (ToF) camera and Kinect A: ToF camera with two infrared flashes and optics at the center. B: ToF amplitude image. C: ToF depth image with color-coded depth in centimeters. D: Kinect device with an infrared projector, an infrared camera and an RGB camera.E: Kinect RGB image. F: Color-coded Kinect depth image.
6
• 典型的 TOF 深度相機在原理的基礎上,需要複雜的硬體,因此價格昂貴。• 微軟的 Kinect 設備出現,深度成像提供給人們研究,因此出現許多新穎的計算機視覺應用
7
• 本文提出了一種方法,使一個人的追蹤全身運動的深度影像,適用於手勢的互動。• 依靠數據訓練為人類姿態估計,因此,僅限於一組特定的動作,本文的方法可以追蹤一般看不見的運動。
8
• 上半部為去背景的深度影像。• 下半部為測地距離的影像。
9
2.Human full-body tracking method
• 序列• D 為深度影像, I 為強度影像• size• TOF 相機於相同的傳感器可以同時採集兩個影像。• Kinect 使用兩個獨立的攝影機的深度和 RGB影像。
10
• 人體追蹤方法的示意圖
11
• Method outline– 深度影像前處理– 從深度數據建構圖形– 建構測地距離的地圖– 解剖標誌的定位– 利用光流消除歧異– 骨架擬合解剖標誌
12
A. 去背景的深度影像,有一隻手臂在身體的前面。B. 測地距離影像。C. 在前一個 frame 獲得的手臂分割影像。D. 從前一個 frame 到當前 frame 的光流場。E. 去除不希望存在的邊的測地距離影像。
13
3. Experiments and results
• 本文評估身體追蹤方法使用一個 TOF 相機和微軟 Kinect 設備• 該 TOF 相機是個 PMD 視覺 CamCube ,強度和深度影像的分辨率為 204×204 像素。• 該 Kinect 追蹤的深度和 RGB 影像,分辨率為 640×480 像素。
14
• 本文進行了以下兩組實驗:– TOF 數據– Kinect 的數據
15
• 採用中值濾波器進行前處理,減少雜訊。• 使用 Horn-Schunck 的方法計算光流場和每一個空間流場元件的低通濾波。• Kinect 在數據上的性能較低,因此給予更高的分辨率從而提高複雜性於圖形中計算。
16
• 紀錄全身姿勢的 ground truth ,使用基於標記的光學動作追蹤系統 ART Dtrack 2 。• 與 TOF 相機同步的動作追蹤系統,並找到其座標。
17
• 動作追蹤系統提供了正確的三維位置 K=16 的身體各個關節的骨架模型。
• 計算每個 frame 中這些身體關節的估計位置和真實位置之間的歐幾里得距離,錯誤度量標準
18
• TOF 深度影像姿態估計的結果– 上半部為典型序列,只有手的移動。– 下半部序列涉及全身運動。
19
• 所有測試序列平均值,本文的方法實現了距離的誤差 =70.1mm ,其標準差為9.8mm 。
20
• 本文的方法在 Kinect 數據上的評估效能以open-source NITE framework做為參考,因為它提供了一個骨架追蹤演算法,。
• 為了達到這個目的,紀錄 NITE 的骨架預測於每一個 frame 的深度圖和強度圖。
21
• NITE 骨架模型
22
• NITE 的骨架模型中,與 Kinect 的骨架結構不同,只包含 個關節。• 這些關節位置的表示• 為了測量關節位置,使用本文的方法預測偏差,手動創建了符合兩個人體模型之間的匹配。
23
• 本文定義的距離誤差於 Kinect 的實驗
• 所有基於 Kinect 的測試序列平均值,本文的方法取得一個距離誤差 =108.4mm 。• 該值高於 TOF 的實驗,因為在兩個使用的人體模型中沒有明確的對應到身體關節。
24
• Kinect 深度影像姿態估計的結果• 左圖 A 為涉及手臂和全身運動序列。• 右圖 B 為 NITE 骨架模型於 15 個關節的距離誤差分布。
25
• TOF 深度影像• 與深度影像重疊的黃色骨架,為預測估計的骨架• 藍色骨架為偵測到的骨架。
26
• Kinect 深度影像• 與深度影像重疊的黃色標記和藍色骨架。• 骨架預測 (藍色 ) 與相對應的 NITE 骨架預測 (紅色 )
27
4. Conclusion
• TOF 和 Kinect 實驗評估的數據顯示,本文的方法可以追蹤各種全身運動,包括自我遮蔽。
28
ENDTHANK YOU