Overview  and  principle  Ø           Goal:  Use  a  6D  tracking  system  to  provide  highly  precise  and  accurate  tracking      for  minimally  invasive  microsurgeries,  such  as  cochlear  implants,  hip  replacement,  …  

Ø  HearRestore:  Need  to  know  the  posiAon  of  the  roboAc  tool  with  respect  to  the  paAent    at  all  Ames  under  varying  condiAons  

Ø  The  tracker  can  be  placed  on  the  surgical  tool,  and  the  target  on  the  paAent  Ø           Teams:  Atracsys  (industrial  partner),  CSEM  (R&D  partner),  ARTORG  (R&D  partner)    The  tracking  system  Ø           Consists  of  a  tracker,  a  5-­‐LEDs  target,  a  6D  tracking  algorithm  and  a  navigaAon  applicaAon  Ø           The  tracker  itself  has  two  cameras,  synchronizaAon  (infrared)  and  communicaAon  (Bluetooth)    

 modules,  and  an  embedded  2D  spaceCoder  algorithm  compuAng  the  2D  posiAon  of  each  LED      on  the  target  

Ø           The  tracker  synchronizes  the  camera  with  the  LEDs,  computes  2D  posiAons,      sends  them  to  the  computer  that  uses  a  6D  tracking  algorithm  to  compute  the  posiAon  of  the  target  

Ø           The  navigaAon  applicaAon  shows  in  real  Ame  the  6D  posiAon  of  the  instrument  w.r.t  to  the  paAent   Towards  the  industrializa9on  of  the  HearRestore  demonstrator  Ø           Uses  two  tracking  devices  (stereo  system)  

Ø  Higher  accuracy  thanks  to  beTer  depth  esAmaAon  Ø           Wireless  

Ø  The  tracker  communicates  with  the  computer  via  Bluetooth  Ø  Both  the  target  and  tracker  are  baTery  operated  

Ø           BeTer  opAcal  front-­‐end:  Novel  mask-­‐on-­‐filter    Ø           More  compact    

Ø           A  light  source  projects  the  shadow  of  a  parAcular  paTern  onto  the  sensor  

Ø           Each  pixel  carries  informaAon  about  the  3D  posiAon  of  the  light  source  

Ø           A  Fourier-­‐like  analysis  of  the  shadow  assesses  the  3D  posiAon  

A  wireless  tracker  pla[orm  for  6D  surgical  navigaAon  

HearRestore Gateway

A.  Chebira1,  P.  Nussbaum1,  E.  Grenet1,  P-­‐A.  Beuchat1,  L.Cosse;ni2,  M.  Hälg2,  G.  MarB2,  E.  Franzi1  1Embedded  Vision  Systems  Group,  CSEM  SA,  Neuchâtel,  Switzerland  

2Atracsys,  Puidoux,  Switzerland  

spaceCoder principle

Tracking in image-guided micro-surgeries

CSEM SA | Rue Jaquet-Droz 1 | CH-2002 Neuchâtel | T +41 32 720 5111 | F +41 32 720 5700

What’s  next  

Ø           Finalize  communicaAon  module    

Ø           Algorithms  

Ø  Stereo  6D  algorithm  

Ø  CalibraAon  methods  for  2D  and  6D  computaAon  

Ø  Binning  methods  to  increase  the  frame  rate  

Ø           Performance  evaluaAon  

Ø  Accuracy  and  precision  benchmark  lab  experiments  

Ø           CalibraAon  methods  for  2D  and  6D  posiAons  

Ø           NavigaAon  applicaAon  (with  ARTORG)  

Ø           System  integraAon  

Patents  Ø           “6D  posiAoning  system  using  a  shadow  sensor”,  US  applicaAon  number  14597434,  filed  15-­‐Jan-­‐2015  

HearRestore robotic arm controller

Drilling head6D tracker

LEDsTarget Tablet for 6D computation & navigation

Bluetooth

Target  Tracker  

Vn Pixel intensity

Sine coefficientsCn,sin

Cn,cos Cosine coefficients

lightEncoder disc

n

n

n

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

=∑

∑

ncosn,n

nsinn,n

CV

CVarctan

:phase) (orposition

α

sin projection

cos projection

regular grating

α

Cloud ofmeasurements