Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping...

14

Transcript of Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping...

Page 1: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

� �������������������� �������������� �������������! "�������# $�&%('��)�+*,�-.���+�����

/�021�3416587:9<;�=?>A@B9<CED�FHGI9J0?9J=LKNM4/LOBOP9J3QDL163SR�TU;AVSWJ9JX�Y&9<ZJ;AV41�=\[

DH] 9<^S1�=_0?`�9<3a0�;�Xcb+;A`�^HVH0?9J=8deW<@B9<3SW<96FEb+;6OPVH`gfH@h1ji:3S@BCk9\=?5_@B0mlaFon:9JpqTU;6=?rEFHn8T[ts /:dSY�uc/,Foi:3H@PCA9J=?5_@v0?9xw+OP16@B5_9,Gy165_Wz1�O{Ftb+OP9\=?`�;A3a0_|m}S9J=_=2163SR�b+9zRo9J~tFH}H=2163HW<9

���y�<�<���4�A�6�)� 3)0?�H@P5x^S16^E9J=zFIp+9�^H=?9<5_9J3e0j1�Xh=216`�9Jp+;6=?r�X�;�=gW<9JOPOU`�163H@P^HVSOP1�0?@B;63�02165_re5�p�@v0?��Ce@P5_VS16O5_9J=?Ck;6@B3S>�`�@BWJ=?;A`�1�3S@B^SVHOh1�0?@B;A3�5�0_=21�0?9<>A@B9<5<M���9��41zCk9�Ro9<5_@B>A3S9<R�1�Ce@B5_@B;A3o|mfS165_9zR�`�@BWJ=?;6^E;A5_@v0?@B;A3H@P3H>5�lo5�0?9<`�0?;�1ARHRo=?9<5_5�0?�S9�=?9z�aVS@v=?9<`�9<3a0�;6X,�H@P>6�q^H=?9<WJ@P5_@B;63�3H9<9zRo9zR�0?;�^E9J=_X�;�=?`"`�1�3S@B^SVHOP1�0?@B;A3q;�X;Afe��9JWJ0?5NVS3SRH9J=��z�6����`�@P3�5_@BZ<9AM���9�16OB5_;�^o=?;A^E;A5_9&RH9<5_@B>63S5gX�;6=N0?;a;6OB0?@B^H5g0?;)VH5_9�;63�0?�S9�`�@PW\=?;6|`�163H@B^SVSOP1�0?;6=�0?;N9J�t9JWJ08163�1�VH0?;A`�1�0?9zR&WJ=_lo5�021�OQ`�;6VS3a0?@B3S>HMc���H9�5�lo5�0?9<`�Wz16OB@BfH=21�0?@B;A3�� `�@BWJ=?;A5_WJ;A^E9J|Wz1�`�9J=21�|¡`�@BWJ=?;A^E;65_@v0?@P;63S9J=\¢�1�34R�0?�H9:`�;eRo9<Ot;6XI0?�H9£;AfH5_9J=?Ck9zR�5_W<9<3S9£1�=?9�3S;�0�re3S;zp�3QMcuy~o^E9J=?@B`�9<3a0216O=?9<5_VHOB0?5IX�;6=c`�@BWJ=?;A^E;65_@v0?@P;63S@B3S>802165_re5yp�@B0?�,=?9<5_^E9<WJ0y0?;8^H=?;�0?9<@B3gW<9<OBOB5U1�=?9�^o=?9<5_9<3a0?9zR,1634RjRH9<`�;63S5�0_=21�0?90?�S9:CA1�OP@PRo@B0ml�;6Xy0?�S9:^H=?;A^E;65_9zR�1�^S^H=?;A16W2�QM

¤ ¥ �&������¦����:�������

§8¨J©4ª2«J¬o­h­�®�¯�°6±�²�¨\³o«\°�®�´�ªg¬e¨J°�¬e´µ®h¶�²·³o¨\«J¬e´S«Nª2³H¸t¨J¹�°�º{³o¨j¨\°Aª2°A¬e¨<¹<»�®h´�«\»t°&¼t®�³o­�³o½o®�¹�¬o­cªJ¹�®�°�´�¹�°6ª6¾¿ »t°6©j¹�¬o´N¼Q°�¸Qª2°A±j®�´�­�®h½H»H«\À�ªJ¹�¬e«2«J°�¨J®h´t½:°�ÁE²·°�¨J®h¶�°6´H«<ª�ÂA½o¨J³aã«\»tÀĨ<¬a«J°U¶�°6¬Hª2¸�¨\°6¶&°6´S«Jª6Â6¹�¬o­h³H¨\®�¶�°�À«\¨J©oÂ�¬e´Q±µ«J»t°�°6Åk¬o­h¸Q¬a«\®�³o´Æ³oº£´�°�Ã�¹�¨J©4ª2«J¬o­h­�®�¯6¬a«J®h³H´«\°6¹<»�´t®�ÇS¸t°Aª�¬e´Q±�¨J°6¬o½o°6´H«<ª�Â+¬e­�­�³eº�Ã�»t®�¹<»¹�³H´S«\¨J®h¼t¸t«\°�«J³)¬)±E°�°6²Q°6¨j¸t´Q±E°�¨<ª?«<¬e´�±t®h´t½)³eº�«J»t°�®�¨j¶�³H­h°A¹�¸t­�¬e¨gª?«J¨\¸�¹�«\¸t¨J°o¾ ¿ »t®�ª,Ã�®�­�­+®�¶�²�¬o¹�«¬�´4¸t¶�¼·°�¨�³oºLÈ�°6­�±tª6Âc®�´�¹�­h¸�±t®h´t½�«J»t°�°�¶�°6¨\½H®h´t½�ª2«\¨J¸�¹z«J¸t¨J¬o­�½o°�´�³o¶�®�¹6ªgÈ�°�­�±ÊÉPËkÌAÍ�ÂUª2«\¨J¸�¹z«J¸t¨\°�À±E®�¨\°A¹z«J°6±�±t¨\¸t½N±E°Aª2®�½o´�ÉhË�ÎeÍÄÂo¬o´�±�«J»t°£´t°�Ã�­�©�±E°6Åo°�­�³o²·°6±�ª\¹�¨\°6°�´t®�´t½j¼S©�Ï,ÀĨ<¬k©�¹�¨J©Eª?«<¬e­�­h³H½o¨<¬e²t»4©ÉhËoËzÍ�Â+¬Hª�Ã:°�­�­8¬oª�ª2¶�¬e­�­�¶�³o­�°6¹�¸t­�°�¬e²t²t­�®�¹�¬a«J®h³H´�ª6¾)Ð�¨J³e«J°�®�´q¹�¨J©4ª2«J¬o­�ª�¬o¨\°�¸t«\®�­h®�¯�°A±º{³o¨�±t³aÃ�´EÀª2«\¨J°6¬e¶Ñ²t¨J³4¹�°6ªJª2®�´t½�¬e´Q±)²�¸t¨\®hÈQ¹6¬a«\®�³o´�®�´�«\»t°�®h´�±t¸�ª?«J¨\®�¬e­c²t¨\³E±E¸Q¹z«\®�³o´�³oº+°6´t¯�©4¶�°6ª6Ât«J»t°�©�¬e¨J°®�´SÅH³o­�Åo°A±Æ®h´Ò²t»�¬e¨J¶�¬o¹�°�¸E«J®�¹6¬e­8º{³o¨J¶�¸t­�¬a«J®h³H´�Â�¬e´�±Ó«\»t°6©Ó¬e¨J°�³eº «J°�´Ò¸�ª2°�º{¸t­£®h´ÒÅa¬e¨J®h³H¸�ª�³o«\»t°6¨¬e¨J°6¬Hª�³eº�¼t®�³o²�»S©Eª\®�¹6¬e­�°�ÁE²Q°6¨\®�¶�°�´S«J¬e«\®�³o´�¾ ¿ »�°�±E°�ÅH°�­�³o²t¶�°6´H«j³eºLª2«\¨<¬a«\°6½o®�°6ªx¬o´�±�±E°6ÅS®�¹�°Aª�º{³H¨¬e¸t«\³o¶�¬e«\°6±�¬e´�±�º¡¬oª2«�¶�¬e´t®�²t¸t­�¬a«J®h³H´�³oºQ²t¨J³e«J°�®�´&¹�¨\©Eª2«J¬e­�ª+¹�¬e´&½o¨J°6¬e«\­�©�®h¶�²t¨J³aÅo°L«\»t°£«J»t¨J³o¸t½H»EÀ²t¸E«�®�´�¶�³o­�°6¹�¸�­�¬o¨c¨J°6ª\°6¬e¨<¹<»�¼4©N¨\°A±E¸�¹�®�´t½�º{¨J³o¶Ô»t³H¸t¨<ª�«J³jª\°6¹�³H´�±tªc«\»t°L«\®�¶�°Lº{³H¨U¶�¬e´�®h²t¸�­�¬e«\®�³o´³eº�¹�¨J©Eª?«<¬e­�ª�¾

¿ »t®�ªNÃ8³H¨\Õ�®�ª�¬e®�¶&°A±�¬e«g¸Qª2®�´t½�¹�³H¶&²�¸E«\°6¨gÅ4®�ª2®�³o´µ«\³�²t¨J³aÅ4®�±E°�«\»t°�¹�³o¶�²t­�®�¬o´�¹�°�¬e´Q±�«\»�°¨J³o¼t¸�ª2«\´�°6ªJªUÃ�»�®�¹<»&²t¨J°6¹�®�ª\°8²t¨J³e«J°�®�´�¶�¬e´�®h²t¸�­�¬e«\®�³o´&¨\°AÇH¸�®h¨J°6ª+Ã�®h«\»t³H¸E«�«\»t°�´t°6°6±�º{³o¨�°�Á4«J°�´�ª\®hÅH°¬e´Q¬e­�©4ª\®�ª�³eº�«\»�°�²t»4©Eª2®�¹�ªx³eº�½o¨<¬oª\²t®�´t½�³o¨g¬�±E°�«<¬e®�­h°A±�Õ4´t³aÃ�­h°A±E½o°�³oº�«\»t°�°�´4Å4®h¨J³o´t¶�°6´H«A¾,Öj´t°³eº·«\»�°x¶�¬a×?³o¨�¬H±EÅa¬e´�¹�°6ª�®�´�¨\³H¼Q³o«\®�¹�ª�³aÅH°�¨+«\»�°x­�¬Hª?«8ÌoØg©o°6¬o¨Jª�®�ª�«J»t°xÅ4®�ª\¸�¬o­�¹�³H´H«J¨\³H­E³eºI¨\³H¼Q³o«\®�¹¶�¬e´t®�²t¸t­�¬a«J³o¨<ª�É ÙkÍľ ¿ »t°�¬H±EÅo°6´H«x³oº�º¡¬oª2«,¬e´�±�®�´t°�ÁE²·°�´�ª\®�Åo°�±E®�½o®h«J¬o­�®h¶�¬o½o®�´t½�«\°A¹<»t´t³o­�³o½H©�»�¬Hª¬e­�­�³aÃ8°A±q¹�¬e¶�°6¨J¬�ª2©Eª2«\°�¶�ª�«\³¼Q°�®�´S«\°�½H¨J¬e«\°A±Ó¬oª�²�¬e¨\«�³oºj¬¹�­�³Hª\°6±q­�³4³o²Óº{°6°6±E¼Q¬o¹<Õq¹�³H´H«J¨\³H­ª\©4ª2«\°6¶ÚÉPË�ÍľNÛ,®�ª\¸�¬e­�ª\°�¨JÅo³o®�´t½�ª2«\¨<¬a«J°�½o®�°6ªj»�¬H±�¼Q°6°�´ª2¸�¹6¹�°Aª\ª2º{¸t­�­h©�®�¶�²t­h°6¶�°�´S«\°A±µ¬a«g«\»�°�¶�®hÀ¹�¨J³HªJ¹�¬o­h°£­�°�ÅH°�­Eº{³H¨L¶�¬e´t®�²t¸t­�¬a«J®h³H´�³eºyÕ4´t³aÃ�´�¶�®�¹�¨\³oÀÄ°6­h°A¹z«\¨J³o¶�°A¹<»�¬e´t®�¹�¬o­Eª2©Eª2«\°�¶�ªxÉ ÜtÂQË6ØkÍ·Ã�®P«J»¹�¬o­h®�¼t¨<¬a«J°6±�±E°�Å4®�¹�°6ª�Ý¡»t³aÃ:°�Åo°6¨�®h´�«J»t°6ª\°�²�¬e²·°�¨<ª:«\»�°&§:Þ,ß�¶�³E±E°6­�ª�³oºU«J»t°�²t¨J³e«J°�®�´�ª�¹�¨J©Eª?«<¬e­�ª¬e´Q±�«\»�°gª\©Eª?«J°�¶à¹�¬o­h®�¼t¨<¬a«J®h³H´�¬e¨J°,´t³o«:Õ4´t³aÃ�´·áz¾�Û,®�ª2®�³o´�¹�¬o´�²t¨J³aÅ4®�±E°j¨\®�¹<»�Õ4´t³aÃ�­�°6±E½H°j¬o¼Q³H¸E««\»�°,ª2²Q¬a«\®�¬e­·¬e¨J¨J¬o´t½o°6¶�°�´S«�³eºI«\»t°,³o¼E×?°A¹z«Jª�«\³�¼·°x¶�¬e´�®h²t¸�­�¬e«\°6±�ÂS¬Hª�Ã:°�­�­Q¬oª�ÕS´�³aÃ�­h°A±E½o°x¬o¼Q³H¸E««\»�°g¶�°A¬e´�ª:³eº+¶�¬e´t®�²t¸t­�¬a«J®h³H´�ÂEÃ�»t®�¹<»�®�´)³H¸t¨�¹�¬oª\°N¬e¨J°,«J»t°N®h´�ª2«\¨J¸t¶�°�´S«<ª£´t°�°A±E°6±�«\³&²Q°6¨2º{³H¨\¶

Page 2: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Camera

Objective

Graspingloop

Proteins

Robot Robot ControlFrame

Camera Frame

Target Frame

Z

Y

X

Y

r

r

c

c

R, t

Xr

Mg

Z c

Mg*

Mobile loop

Protein crystal

Ým¬Há Ý¡¼Qá

� ®h½H¸t¨J°�Ë����4°�«J¸t²��&Ý¡¬Há,Ã:³o¨JÕ4ª2«J¬e«\®�³o´�º{³H¨g²�¨\³o«\°�®�´µ¹�¨\©Eª2«J¬e­�ªj¶�¬o´t®�²t¸t­�¬a«\®�³o´��LÝ{¼QájÃ:³o¨JÕEª?«<¬a«\®�³o´º{¨<¬e¶�°6ª6¾

²t¨J³e«J°�®�´�¶�¬o´t®h²�¸t­�¬e«\®�³o´�¾xÖj¸t¨x½H³H¬o­y®�ªx«\³�Å4®�ª\¸�¬o­h­�©�¶�³o´�®P«J³o¨,¬o´�±�¹�³H´H«J¨\³H­I«\»t°Aª2°�®h´�ª2«\¨J¸t¶�°�´S«<ª¬oª�«J»t°�©Ó®�ª\³o­�¬a«\°�¬e´�± ¬o¹6ÇS¸t®h¨J°�²�¨\³o«\°�®�´�ª�Ý¡¬�«<¬oª\ÕqÕS´�³aÃ�´Ò¬oª�� ��� �������������������! Aáz¾#"jª2®�´t½Æ¬Å4®�ª\®�³o´�ª\©Eª?«J°�¶�Âc¬�ª\®h¶�²t­�°�¸t´t®�´�ª?«J¨\¸�¶&°6´S«\°6±�«J³S³H­�¹�¬o´�¼·°6¹�³o¶�°�¬�²t¨J°6¹�®�ª\®�³o´Æ±E°�Å4®�¹�°�¹�¬e²Q¬e¼t­�°³eº�²·³Hª\®h«\®�³o´�¹�³o´S«\¨J³o­Ä¾ � ³o¨L«J¬oª\ÕEª�Â4ª\¸�¹<»�¬oª8¹�°6­h­·³o¨:²t¨J³e«\°6®h´�¶�¬o´t®h²�¸t­�¬e«\®�³o´�ÂS«J»t®�ª8®�±E°6¬�³eº�Å4®�ª\¸�¬o­º{°�°A±E¼�¬H¹<Õ�¹�³o´S«\¨J³o­U¼Q°A¹�³H¶&°Aª,°�Á4«\¨J°�¶�°�­�©�®h¶�²·³o¨\«J¬e´S«A¾�§8­�¬oªJª2®�¹�¬o­Uª2«\¨<¬a«J°�½o®�°6ª,³eº�¶�¬e´�®h²t¸�­�¬e«\®�³o´Ã�®�­h­£´t³o«�Ã:³o¨JÕƬe«�«J»t°6ª\°�ªJ¹�¬o­h°Aª)Ý¡³o¼E×?°A¹z«<ª�¹6¬e´�¼·°�¸t´�±E°6¨�ËAØoØ%$y¶.®�´Òª\®h¯6°Aá�±E¸t°)«\³�«J»t°�¨\°�ÀÇS¸t®�¨\°A±Ò²�¨\°A¹�®�ª2®�³o´ÔÝ{¼·°�©H³o´�±Ò«\»�°µ¹�¬o­h®�¼t¨<¬a«\®�³o´Ò¨J¬o´t½o°�³oºN¹�³o´4Åo°6´H«J®h³H´�¬e­�®�´�±E¸Qª?«J¨\®�¬e­x²�¨\°A¹�®�ª2®�³o´±E°6ÅS®�¹�°AªJág¬o´�±Æ¬o±t±E®h«\®�³o´Q¬e­�²t¨J³o¼t­�°�¶�ªN¨J°�­�¬a«J®h´t½)«\³�¶�®�¹�¨J³HªJ¹�¬o­h°&²t»t°6´t³o¶�°�´Q¬t¾�§8¸t¨J¨\°6´H«J­h©HÂy«\»�°¶�°6¹<»�¬o´t®�¹�ª�³oº�¶&®�¹�¨J³o¶�¬o´t®h²�¸t­�¬e«\®�³o´�®�ªx²·³S³H¨\­�©�¸t´�±E°6¨Jª2«\³4³E±yÂI¬e´�±�«J»S¸Qªx¨J°6ª\¸t­P«<ªx³oºLª2°6´�ª2³H¨\­�°6ªJª¶�®�¹�¨\³H¶�¬e´t®�²t¸t­�¬a«J®h³H´)ª2«\¨<¬a«\°6½o®�°6ª£¬e¨J°N¸t´t²t¨J°6±t®�¹�«J¬e¼�­h°H¾

¿ »t®�ª�²�¬e²·°�¨,®�ª£¼�¬Hª2°A±�³o´�³o¸t¨x²�¨\°6ÅS®�³o¸Qª8Ã:³o¨JÕµÉ &aÍc®�´�Ã�»t®�¹<»�Ã:°N²t¨J³o²·³Hª\°6±�¬e´�®h´S«J°�½o¨<¬a«J°6±¹�³H´S«\¨J³o­,ª\©Eª?«J°�¶�Âx¹�³H´�ª2®�ª2«\®�´t½q³eº�¬q»t®�½o»tÀĨJ°6ª\³o­�¸E«\®�³o´Ê³H²E«\®�¹�¬o­,¶�®�¹�¨\³Sª\¹�³o²·°oÂ�±E®�½o®h«J¬o­,®�¶�¬o½o®�´t½ª\©4ª2«\°6¶�ÂH®�¶�¬e½o°j¼�¬oª\°6±�ª2°6¨\ÅH³eÀ_¹�³o´S«J¨\³H­h­�°�¨<ª�¬e´�±�¬�¶�®�¹�¨\³H¶�¬o´t®�²t¸t­�¬a«\³H¨�º{³H¨8²t¨J°6¹�®�ª\°x²·³Hª\®P«J®h³H´t®�´t½³eº:¬�¹�¨J©o³H½o°6´t®�¹�­h³4³o²�Ã�®P«J»µ¨J°6ª\²Q°A¹z«g«\³�¬�²t¨J³e«J°�®�´�¾�'_´�«J»t®�ªN²Q¬e²·°�¨gÃ8°&°�Á4«\°6´�±�³H¸t¨g²t¨\°6Å4®h³H¸�ªÃ:³o¨JÕ)Ã�®h«\»¬�¼·°�«2«J°�¨N¶�°6¹<»�¬o´t®�ª2¶ º{³H¨jÅ4®�ª2¸�¬o­c«J¨J¬H¹<Õ4®h´t½�³eº�«J»t°�­�³4³o²�¾)(°&¬o­�ª\³)±E°Aª\¹�¨\®�¼·°�«\»�°²t¨J³o¼t­�°�¶�ª�¬Hª\ª\³E¹�®�¬a«\°A±�Ã�®h«\»�¸�ª\®h´�½�­h³4³o²Qª+º{³o¨�¬e¸t«\³o¶�¬e«\°6±�¶�³o¸t´S«J®h´t½�¬o´�±�²t¨\°Aª2°6´S«L±E°6ª\®h½H´&¬o´�±®�¶&²�­h°6¶&°6´S«J¬a«J®h³H´�®�±E°A¬oªgº{³o¨N«?Ã:³�±E®+*·°6¨\°6´H«�¶�³H¸t´S«\®�´t½�«\³4³o­�ªNÃ�»t®�¹<»Ã�®�­�­�º¡¬o¹�®h­�®P«<¬a«J°�«J»t°�«J¬Hª2Õ¬e´Q±�¶�¬eÕH°g«\»t°�²t¨J³E¹�°Aª\ª:¶�³o¨J°N¨\³H¼t¸�ª2«6¾

¿ »t°¨\°6¶�¬o®h´Q±E°�¨�³eº�«J»t®�ª�²�¬e²·°�¨�®�ª�³H¨\½S¬e´t®�¯�°A± ¬oª�º{³o­�­h³aÃxª,�-'_´.�4°6¹�«\®�³o´ ÌtÂ,Ã:°�¼�¨\®�°0/�©±E°Aª\¹�¨\®�¼Q°j³o¸t¨£»�¬o¨J±tÃ:¬o¨\°,ª\°�«J¸t²)¬o´�±�«J»t°g«J¬Hª2Õ�¬a«£»�¬o´�±y¾ ¿ »t°g´t°�Á4«£«?Ã8³&ª2°A¹z«J®h³H´�ª8ª\¸t¶�¶�¬e¨J®h¯6°³o¸�¨x²t¨J°�Å4®h³H¸�ª£Ã:³o¨JÕ�12�4°A¹z«J®h³H´�Ü�²t¨\°Aª2°6´S«Jª£³o¸�¨x¶�°�«\»�³4±�º{³H¨x¼t¨J®h´�½o®�´t½�«\»t°�­h³4³o²�®�´S«\³�º{³E¹�¸Qª¬e´Q±3�E°6¹z«J®h³H´ÆÎ�°�ÁE²t­�¬e®�´�ª�³o¸�¨�ÅS®�ª\¸�¬e­Lª\°�¨JÅo³H®h´�½)¶�°�«J»t³E±y¾54x°�Á4«AÂU®�´-�4°6¹�«\®�³o´76EÂUÃ8°�¬H±t±E¨J°6ªJªª\³o¶�°)±E¨<¬kÃ�¼�¬H¹<Õ4ª�³eºx³o¸�¨�³H¨\®�½o®�´�¬e­�«\¨<¬o¹<Õ4®h´�½�¶�°�«\»�³4±Ò¬e´�±Ó²t¨\°Aª2°6´S«&¬e´�®h¶�²t¨J³aÅo°A±ÆÅo°�¨<ª\®h³H´�¾Öj¸t¨�Ã:³o¨JÕ�³o´�¶�°�«\»�³4±�ª£º{³o¨�²t¨J³e«J°�®�´�¹�¨\©Eª2«J¬o­y¶&³H¸t´S«\®�´t½�®�ªx²t¨\°Aª2°6´S«\°6±)®�´5�4°A¹z«J®h³H´58�¾

9 : *£����' ����¦<;����>=2?.*x�U�����6')�������

Öj¸t¨:Ã8³H¨\ÕEª2«J¬e«\®�³o´�Ý¡ª\°�° � ®h½H¸t¨J°�ËA¬Há�®�ª£¹�°6´H«J°�¨J°6±)¬e¨J³o¸t´�±�¬@�4¸t«2«\°6¨�A�Ð�À?Ì�B!6N¶�®�¹�¨\³H²Q³Sª2®h«\®�³o´t°6¨²t­�¬a«\º{³o¨J¶ Ã�®h«\»µ«\»t¨J°�°�±E°6½o¨J°�°6ª,³eº�º{¨J°�°A±E³o¶C1#®�´�±E°�²·°�´Q±E°�´S«N¶&³o«\®�³o´µ¹�³o´S«\¨J³o­�¬e­�³o´�½�«\»t°&Ï�ÂD ¬o´�±FE�¬aÁE°6ª6¾ ¿ »�®�ªL²Q³Sª2®h«\®�³o´t°6¨L¬e­�­�³aÃxª�ª2¸�¼EÀĶ�®�¹�¨J³o´�¨J°6ª\³o­�¸E«\®�³o´�±E³aÃ�´&«\³�ÎHØ%GIH¾UÞ ¹�¨J©4ª2«J¬o­¶�³o¸t´S«J®h´t½�«\³4³o­�Ý¡°o¾ ½�¾�¬)¹�¨\©H³o½H°�´t®�¹N­h³4³H²�Â�ª2°6° � ®�½o¸t¨J°&Ìo¬Há�®�ªN¬a«\«J¬o¹<»�°6±�¬Hªx«J»t°�¶�¬o´t®�²t¸t­�¬a«\³H¨

Page 3: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

����������

��������

Human hair

Graspingloop

100um

Ým¬Há Ý{¼·á

� ®�½o¸t¨J°�Ì���Ý¡¬Sá��g¨J¬Hª2²t®�´t½&­h³4³H²)º{³H¨�²t¨J³e«\°6®h´�¹�¨J©Eª?«<¬e­�ª��yÝ¡¼Qᣲt¨J³e«J°�®�´�¹�¨\©Eª2«J¬e­�ª6¾

°�´Q±4ÀÄ°�*·°A¹z«J³o¨A¾ ¿ »t°&¶�³o¸t´S«J®h´t½�«\³4³o­+®�ªj°Aª2²·°6¹�®�¬o­h­�©�±E°6ª\®�½o´t°A±�«\³)²t®�¹<Õ�²t¨J³e«J°�®�´�¹�¨\©Eª2«J¬e­�ª�Ý � ®h½oÀ¸t¨J°�Ìa¼Qá�¾ ¿ »t°�«J³4³o­c¬o´�±)«\»t°�²t¨J³e«J°�®�´�¹�¨J©4ª2«J¬o­�ª�¬o¨\°N³H¼�ª2°6¨\ÅH°6±�«\»t¨J³o¸�½o»�¬e´µÖj­�©S¶�²t¸Qª ��E·Ï�Ëk̳o²t«\®�¹�¬e­�¶&®�¹�¨J³HªJ¹�³H²Q°H¾ ¿ »�°x¶�®�¹�¨\³Sª\¹�³o²·°:²�¨\³aÅ4®�±E°6ª�¬g«J³e«<¬e­�¶�¬o½o´t®hÈQ¹�¬e«\®�³o´&º{¨J³o¶ B�¾ ÎoÁ�«J³�Ë6Ø BaÁy¾¿ »t°N¸t´t®h«�»�¬oª£¬�§�§:ß�¹�¬o¶�°�¨<¬�¶�³E±E¸t­�°N¬H±t¬e²t«\°�¨£³H´H«J³�Ã�»�®�¹<»�¬@�E³o´4©�Ïj§LÀ?ÙHÙ�§�§:ß�¹6¬e¶�°�¨<¬®�ª£¶&³H¸t´S«\°A±y¾

'_´ ³H¸t¨)ª\©Eª?«J°�¶�Â�«\»�°¹6¬e¶�°�¨<¬Æ¶�³o¸t´S«\°A± ³o´ «\»t°¶�®�¹�¨\³Sª\¹�³o²·°�³o¼E×?°A¹z«J®hÅH°�³o¼�ª\°�¨JÅo°Aª�«\»�°²t¨J³e«J°�®�´ ¹�¨J©4ª2«J¬o­�ª�¬e´�± «J»t°µ¶�³o¸�´H«J®h´�½q«\³4³o­&Ý{°H¾ ½Q¾�«\»t°�¹�¨J©o³o½H°�´t®�¹�­�³S³H²Qá�¬e«2«J¬H¹<»t°6± «J³q«\»�°«\»�¨\°6°�À_±E°�½H¨\°6°6ª2Àijoº Àmº{¨J°�°A±E³o¶ ¶�®�¹�¨J³o²·³Hª\®P«J®h³H´t°�¨gÝ{°6©o°�ÀÄ«\³oÀÄ»Q¬e´�±�¹�³o´EÈQ½o¸t¨<¬a«J®h³H´Qáz¾���°�«��£¬e´Q± ��¼·°)¨J°6ª\²Q°A¹z«J®hÅH°�­�©Æ¬�º{¨J¬o¶�°)¬a«\«J¬H¹<»t°6±Æ«J³µ«J»t°)ÈtÁE°6±Ó¹6¬e¶�°�¨<¬µ¬o´�±Ó¬�º{¨<¬e¶�°�¬a«\«J¬o¹<»�°6±Æ«J³�«\»�°¨J³o¼·³e«jÝmª2°6° � ®h½H¸t¨\°�Ë�¼Qá�¾ ¿ »�°)EQÀ_¬aÁE®�ªL³eºI«\»�°j¹�¬o¶�°�¨<¬gº{¨J¬o¶&°j¬e´�±�³oºI«\»t°j¨\³H¼Q³o«8¹�³H´H«J¨\³H­Eº{¨<¬e¶�°¬e¨J°g²�¬e¨<¬e­�­h°6­m¾

Öj¸t¨N½o³S¬e­+®�ªg«J³�¬o­h®�½o´¬�¨J°�º{°6¨\°6´�¹�°&²Q³H®h´S«�³eºL«\»t°&«\³4³H­xÝ{°o¾ ½�¾�«\»t°�¹�°6´S«\°�¨N³oºL«\»�°&»�³o­�°�º{³H¨¬)­h³4³o²·á�� Ã�®h«\»Æ¹�³4³H¨J±E®�´�¬e«\°6ª�� ��� É � ������������� Í��Ò®�´ � ¬e´�±�«\»t°�¹�°6´S«\°�¨N³oº8¬e´�®�ª\³o­�¬a«J°6±²t¨J³e«J°�®�´!�#"�Ã�®P«J»¹�³S³H¨J±t®h´�¬e«\°Aª�$%"� � É � "� ��� "� �&� "� Í'�Ò®�´( � ¾ ¿ »t°&²t¨\³o«\°6®h´�®�ªN¬oªJª\¸t¶�°6±�®�´º{³E¹�¸�ª6¾ ¿ »t¨J°�°�±E°6½o¨J°�°Aª8³oºUº{¨J°�°A±E³o¶Ñ¶�¸�ª2«x¼·°�¹�³o´S«J¨\³H­h­�°6±yÂEÃ:°N´t°�°A±)«\»4¸�ª£«J³�°�Á4«\¨<¬o¹�«�¬e«x­h°A¬oª2««\»�¨\°6°�®�´�±E°6²Q°6´�±E°�´S«�¶�°6¬Hª2¸t¨J°6ª,º{¨J³o¶ «\»�°&®�¶�¬e½H°o¾ �4®�´�¹�°�«J»t°�²t¨\³o«\°6®h´�®�ªN¬oªJª\¸t¶�°6±�®�´�º{³4¹�¸�ª6Â���)�*� "� Ã�»�°�´�«\»t°�­�³4³o²�®�ªx¬e­�ª2³�®�´�º{³4¹�¸�ª6¾8Þ,ª6ÂtÃ:°�Ã�®h­�­cª\°�°�®�´�«\»t°�ª\°6ÇS¸t°6­mÂt«\»t° � À�¬eÁE®�ª�¹6¬e´«\»4¸�ª£¼·°�¹�³H´S«\¨J³o­�­h°A±�¸�ª\®�´t½�¬�º{³E¹�¸�ª�¶�°6¬Hª2¸t¨J°�+ � ®�´�«\»t°�®�¶�¬e½o°H¾��°�«), � É - ��. Í'�ÒÝ{¨J°6ª\²�¾�,/" � É -�" ��. "zÍ��Uá�¼·°j«\»t°g¹�³4³o¨<±E®�´�¬a«J°6ª�®�´�«J»t°j®�¶�¬e½H°x²t­�¬e´t°j³eºy«\»�°

¨J°�º{°�¨J°�´Q¹�°�²·³o®�´H«g³eº�«\»�°�¶�³o¸t´S«J®h´t½�«\³4³o­:Ý{¨J°6ª\²�¾�³eº�«\»�°�²t¨J³e«J°�®�´Qáz¾ ¿ »t°�¨\³H¼Q³o«,¶�³e«\®�³o´�¬o­h³H´t½«\»�°0��¬e´�± � ¬aÁE®�ªgÃ�®�­h­�¼·°�¹�³o´S«J¨\³H­h­�°6±µ¼S©�¶�®�´t®�¶&®�¯�®�´t½�«\»�°�±t®�ª2«J¬o´�¹�°�®�´µ«J»t°�®h¶�¬e½H°�ª\²�¬o¹�°¼·°�«?Ã:°�°�´!,�¬e´�±!,/"a¾ ¿ »t°&²·³Hª\®P«J®h³H´t®h´�½�«J¬Hª2Õ�¹6¬e´�«J»S¸Qª,¼·°&¬H¹<»t®�°�Åo°A±�¼4©�È�¨Jª2«j¶�®�´t®�¶&®�¯�®�´t½�¬º{³E¹�¸�ª8¶�°6¬Hª2¸t¨J°,¬o´�±�«J»t°�´�¼4©�¶�®h´�®h¶�®�¯�®�´t½&¬o´�°�¨J¨J³o¨�®�´�«J»t°j®�¶�¬e½H°,ª2²Q¬o¹�°H¾ ¿ ³&¹�³o´S«J¨\³H­t«\»�°��¬e´Q± � ¬aÁE®�ª£³eº+«\»t°�¶�®�¹�¨J³o²·³Hª\®P«J®h³H´t°�¨£Ã:°N»�¬kÅo°j«\³�«J¨J¬H¹<Õ�«\»t°N«J³S³H­�®�´�¬�¹�³o¶�²t­�°�Á)ªJ¹�°6´t°o¾

1 2 ���6�����6��� �43�*65���&' �6�&�+�87����x���

¿ »t°�È�¨Jª2«�ª?«J°�²�³oºx³o¸t¨�¹�³H´S«\¨J³o­£ª?«J¨J¬e«\°�½H©�®�ª�«\³¼t¨\®�´t½µ«\»t°�­h³4³H²Ó®h´�º{³E¹�¸�ª6¾ ¿ ³¨\°A¬e­�®h¯6°�«\»�°¹�³H´S«\¨J³o­x¬e­�³o´�½Æ«\»t° � À_¬aÁE®�ª6Â8«\»t°ª2¶�¬e­�­,±E°6²E«\» ³oºNÈ�°�­�±Ê³eºN«\»�°�¶�®�¹�¨\³Sª\¹�³o²·°�¹�¬e´Ê¼·°µ¸�ª\°6±�¾�4®�´�¹�°&«J»t°&«J¬e¨J½o°�«�Ý¡®m¾ °�«\»�°&²�¨\³o«\°�®�´Æ¹�¨J©4ª2«J¬o­�á,®�ª�¬oªJª2¸t¶�°A±�®�´µº{³E¹�¸Qª�Âc«\»t°�²·³Hª\®P«J®h³H´t®h´�½)³oºL«\»�°¶�®�¹�¨\³H¶�¬e´t®�²t¸t­�¬a«J³o¨�¬e­�³o´t½ � ¹�¬e´�¼·°x±E³o´�°x¼4©�¶�³aÅ4®h´t½�¬o­h³H´t½g«\»t° � ¬aÁE®�ª�¸t´S«\®�­�¬N¶�°6¬oª\¸t¨J°�³eºº{³E¹�¸�ª�®�´�«\»t°�®�¶�¬e½o°:9N®�ª�¶�¬eÁE®h¶�®�¯�°6±�¾ (°x¹<»t³Hª\°£¬oªUº{³E¹�¸�ª�¶�°6¬Hª2¸�¨\°8«\»t° ¿ °�´�°�´t½H¨J¬H±�¶�°6¬Hª2¸t¨J°

Page 4: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Ým¬Há Ý¡¼Qá

� ®�½o¸�¨\°�Ü � � ³4¹�¸�ª\®h´t½&«J»t°�­h³4³H²��xÝ¡¬Sá:®h´t®h«\®�¬e­�±t°�º{³E¹�¸�ª\°6±�®�¶�¬e½o° ��Ý{¼Qá8ÈQ´�¬e­yº{³E¹�¸�ª2°A±�®�¶�¬e½H°o¾

+ �a¾ ¿ °�´t°6´t½o¨<¬o±�®�ªx¬&¶�°6¬Hª2¸�¨\°N³eºU«\»t¨J°6ª\»t³H­�±E°A±�½H¨J¬H±E®�°�´S«�¶�¬o½o´t®h«\¸Q±E°�ÉPËAÜkÍ��

�� � + � � ������� �� 9 ��� ������� Ý � 9 ���� � 9 �� á ¬e´Q± �� 9 ������ Ý?Ëká

'�«j¹�¬o´�¼Q°�²�¨\³aÅH°6±�«\»�¬e«�«\»t°�¼·°6ª2«xº{³E¹�¸Qª2°A±)®�¶�¬e½H°�®�ª�³H¼E«J¬o®h´�°6±�¬a«�«J»t°�½H­h³H¼�¬e­y¶�¬aÁE®�¶�¸t¶³eºj«\»t°�º{³E¹�¸Qª�¶&°A¬oª\¸t¨J° + � ®Pºg«\»t°�«J»t¨\°Aª2»�³o­�±Ó®�ª�¯�°�¨J³ÊÉPËAÜkÍľ (°�«\»4¸�ª�¸�ª\°�«\»t° ¿ °�´t°6´t½o¨<¬o±¶�°6¬Hª2¸t¨J°gÃ�®P«J» �:� Øt¾%(°N¶�¬aÁE®h¶�®�¯�°N®h«£¼4©�¹�³o´S«\¨J³o­�­�®h´t½�«\»t° � ¶�³e«J®h³H´�³oºc«\»�°�¶�¬o´t®�²t¸t­�¬a«\³H¨¬o¹6¹�³H¨J±E®�´t½�«\³ � ����� ����+ � ÝmÌHáÃ�»t°6¨\° � ��� ®�ªN«J»t° � ¹�³o´S«\¨J³o­�°�Á4²�¨\°Aª\ª\°6±�®h´Æ«J»t°�¨J³o¼·³e«�¹�³H´S«\¨J³o­�º{¨<¬e¶�°�¬e´�± � ±E°6²Q°6´�±tª�³o´¬�´4¸t¶�¼·°�¨j³eº�²�¬o¨J¬o¶&°�«\°6¨Jª�ª\¸�¹<»�¬oªx«\»t°�¨\°�º{¨J¬H¹z«\®�Åo°�®�´�±E°�Á�³oº�«\»t°�³H²E«\®�¹�ª6Ât«J»t°�¶�¬o½o´t®hÈQ¹�¬e«\®�³o´º¡¬o¹�«\³H¨&¬o´�±Ó³o«\»t°6¨Jª�Ý¡ª\°�°ÆÉ &eÍ£º{³o¨�±E°�«<¬e®�­�ª<áz¾ ¿ »�°)´t³H¨\¶Ú³oº � ¹�¬e´Ò¼Q°)ÈtÁE°6±Ò¬oª�¬�½H¬e®�´Ó³oºj¬²t¨J³o²·³o¨\«\®�³o´�¬o­�¹�³o´S«J¨\³H­+­�¬kÃ�¬e´�±µ«\»t°)ª2®�½o´³eº � °�´�ª\¸t¨J®h´�½)«J»t°�¶�¬aÁE®�¶&®�¯6¬e«\®�³o´Æ³eº)+ ��¹�¬e´¼·°³o¼t«J¬e®�´t°A±�³�*QÀ�­h®�´t°N¼4©�³H¼�ª2°6¨\Å4®�´t½�«\»t°�°�*·°A¹z«x³eºU«\»t°�¨J³o¼·³e« � ¶�³o«\®�³o´�³o´%+��o¾

¿ »t®�ªN¶&°�«\»t³E±»�¬Hªj¼·°�°6´«\°6ª2«\°A±µ³H´�³H¸t¨N°�ÁE²·°�¨J®h¶�°�´S«<¬e­�²t­�¬a«\º{³o¨J¶ Ý¡ª\°�° � ®h½H¸t¨\°�Ëkáz¾ ¿ »t°ª\²Q°A¹�®hÈ�°6±�ÅS®�ª\¸�¬e­S«J¬Hª2Õ�ã¬oªc«\³�¬o¸E«\³H¶�¬e«\®�¹�¬o­h­�©N¼t¨\®�´t½j«\»t°£­�³4³o²�®�´S«\³jº{³E¹�¸�ªUº{¨J³o¶ ¬e´�®h´�®P«J®�¬o­E³o¸E«\À³eº Àĺ{³E¹�¸�ªg²·³Hª\®P«J®h³H´�¾ ¿ »t°&¨\°Aª2¸�­P«<ªg¬o¨\°&ª2»�³aÃ�´�®h´�«\»�°�È�½H¸t¨J°6ªg¼Q°6­h³aÃ�¾ ¿ »�°�®�´t®h«\®�¬e­�±E°�º{³4¹�¸�ª\°6±®�¶�¬o½o°N®�ª�ª2»t³aÃ�´�®�´ � ®�½o¸t¨J°�Üo¬&¬e´�±)«J»t°�®h´tÀmº{³E¹�¸Qª£®h¶�¬e½H°N®�ªxª\»t³aÃ�´)®h´ � ®h½H¸t¨J°NÜo¼�¾

� - ��������� : *x�! &���6���Þ�º «J°�¨�«\»t°)­h³4³o²Æ®�ª�º{³E¹�¸Qª2°A±yÂ+«\»t°�¶�³o«\®�³o´q®�´ � ¬e´�± � »�¬Hª�«J³�¼Q°)¹�³o´S«J¨\³H­h­�°6±®�´q³o¨<±E°�¨�«J³¬e­�®�½o´�«\»t°&¹�°6´H«J°�¨j³eº�½o¨<¬kÅ4®P«?©)³eº�«\»t°�­h³4³H²�Ã�®P«J»�«\»t°�¹�°�´S«J°�¨,³oº�¬�²t¨J³e«\°6®h´�¹�¨\©Eª2«J¬o­m¾ ¿ »t°�®�±E°A¬®�ª:«\³�¸�ª\°NÅS®�ª\¸�¬e­�ª\°�¨JÅo³H®h´t½�«\³�ª\­h®�±E°N«J»t°�­h³4³H²)¸t´Q±E°�¨£«J»t°�¹�¨J©Eª?«<¬e­�¬e´Q±�«J»t°�´�­�®Pº «x®h«x¸t²�Ã�®h«\»�¬ª\®h¶�²t­�°N¸t²4Ã:¬o¨J±)¶�³e«\®�³o´c¾

Û,®�ª2¸Q¬e­xª\°�¨JÅo³o®�´t½�®�ª�¹�­�¬oªJª\®PÈ�°A±Ó®�´S«\³�«?Ã8³¶�¬e®�´ ¬o²t²t¨J³H¬o¹<»�°6ª�É 8tÂLÙEÂ�Ë 6AÍ�¾ ¿ »t°�È�¨<ª2«&³H´t°É BEÂUË 8kÍ�ÂQ¼�¬Hª2°A±�³o´�«J»t°�¹�³o¶�²t¸E«<¬a«\®�³o´µ³eº�¬�ÜaÀ_ß §:¬e¨\«\°6ª\®�¬e´�°�¨J¨\³H¨6Â�¨\°AÇH¸�®h¨J°6ªx¬�²Q°6¨2º{°A¹z«�§:ÞjßxÀ¶�³E±E°�­U³eº�«\»t°�³o¼E×?°A¹z«j¬o´�±�¬�¹6¬e­�®h¼t¨<¬a«J°6±�¹�¬o¶�°�¨<¬&«\³�³H¼E«J¬o®h´�¸t´4¼t®�¬oª\°6±�²·³Hª\°�°Aª?«J®h¶�¬a«J®h³H´�¾ '_´«\»�°�ª\°6¹�³H´�±�¬e²�²t¨\³S¬o¹<»�Ât«\»t°�²Q³Sª2°�°Aª?«J®h¶�¬e«\®�³o´�®�ª,³H¶&®h«2«J°6±�¬o´�±�«\»�°�¹�³H´S«\¨J³o­�­�³4³o²�®�ªj±E®�¨J°6¹z«J­h©¹�­�³Hª\°6±&®�´�«\»t°j®h¶�¬o½o°xª\²�¬o¹�°o¾ ¿ »�¬a«L°6´�ª\¸t¨\°Aª�­�³4¹6¬e­·¹�³o´4ÅH°�¨J½o°�´Q¹�°£¬e´�±�ª2«J¬o¼t®h­�®h«?©�®�´�²t¨J°6ª\°�´�¹�°x³eº¶�³E±E°�­�®h´�½�°�¨J¨\³H¨Jª�¬o´�±�´t³o®�ª2°�²·°�¨\«\¸�¨\¼�¬e«\®�³o´�ª�É ÌAÍ�¾ '_´�³o¸t¨,¹6¬oª\°oÂE«J»t°�¶�³E±E°�­�ªx³oºU«J»t°�³H¼�ª2°6¨\ÅH°6±

Page 5: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

«J¬o¨\½H°�«<ª�¬e¨J°�¸t´tÕ4´t³aÃ�´�¬e´�±)«J»t°�ª\©4ª2«\°6¶�®�ªx´t³o«,¹�¬o­h®�¼t¨<¬a«\°A±y¾ (°�«J»S¸Qª�¸�ª\°N«\»t°�®�¶�¬e½H°�À�¼�¬oª\°6±¬e²�²t¨\³S¬o¹<»�¾

§8°�´S«\¨<¬e­I«J³�«\»t®�ªx¬o²t²t¨J³H¬o¹<»)®�ª�«\»t°�®�¶�¬e½o°��S¬o¹�³o¼t®�¬e´�� Ý¡¬o­�ª\³�¹�¬e­�­�°6±)®h´S«\°6¨J¬H¹z«J®h³H´)¶�¬a«J¨\®hÁ�áÃ�»t®�¹<»�¨J°�­�¬a«J°6ªj«\»�°�±E® *I°�¨J°�´S«J®�¬o­�¶&³o«\®�³o´�����³oº:ª\³o¶�°&®h¶�¬e½H°&º{°6¬a«J¸t¨J°6ª��&«\³�«\»�°�±E® *I°�¨J°�´S«J®�¬o­¶�³e«J®h³H´&®�´�«\»�°,¹�¬o¶&°6¨J¬�¹�³4³o¨<±E®h´Q¬a«\°Aª�������� � � ���¾ '_´�³H¸t¨L¬e²�²t­h®�¹�¬e«\®�³o´�Âo«\»t°j¹�¬e¶�°6¨J¬g³o¼tÀª\°�¨JÅo°6ª�«\»t°j¨\³H¼Q³o«L«\³�¼Q°g¹�³H´H«J¨\³H­h­�°6±��Sª\¸�¹<»�¹�³H´EÈ�½H¸t¨J¬e«\®�³o´�®�ªLÕ4´t³aÃ�´�¬Hª�°6©o°�ÀÄ«\³oÀÄ»Q¬e´�±�ª\©4ª2«\°6¶�ªÉ ÎaÍ8¬oªN³H²t²·³Hª\°6±µ«\³�«\»�°�¶&³H¨\°�¹�­�¬Hª\ª\®�¹6¬e­�°�©H°�À�®h´tÀÄ»�¬o´�±¹�³o´tÈ�½o¸t¨<¬a«J®h³H´�ÂyÃ�»t°6¨\°&«\»�°�¹�¬e¶�°6¨J¬�®�ª¶�³o¸t´S«J°6±)³o´�«\»t°�¨J³o¼·³e«�°�*·°A¹z«\³H¨x¬e´�±)³o¼Qª2°6¨\ÅH°6ª8«\»t°�³H¼E×?°6¹�«£«\³�¼·°�¶�¬o´t®�²t¸t­�¬a«\°A±y¾

� ³H¨:³H¸t¨£ª2²·°6¹�®PÈQ¹g¬e²�²t­h®�¹�¬e«\®�³o´�ÂE¹�³o´�ª\®�±t°�¨J®h´t½�³o´t­�©�¬�²�­�¬o´�¬e¨:»t³o¨J®�¯�³o´S«<¬e­·¶&³o«\®�³o´�ÂS«J»t°N°�©o°�À«\³oÀÄ»Q¬e´�±��H¬H¹�³H¼t®�¬o´�¨J°�­�¬a«J®h³H´�ª2»�®h²)º{³o¨x¬�ª\®h´t½H­h°gº{°A¬a«\¸�¨\°N²·³o®�´H«x®�ª,�

�, � � � ��� � ��� � � �� � .�� � ��� � � ��� � � Ý¡ÜSá

Ã�»t°6¨\°��� � � ��� � � � ®�ª�«\»�°�°6©o°)«\³Æ»�¬o´�±Ó®�´S«\°�¨<¬o¹�«\®�³o´Ò¶�¬e«\¨J®PÁy � ®�ª&«\»�°�¶�¬o½o´t®hÈQ¹�¬e«\®�³o´º¡¬o¹�«\³H¨6Â�¬e´Q± � � � ®�ª&¬µÌ��ÆÌ�¨\³o«J¬a«J®h³H´q¶�¬a«\¨J®hÁ�«J»�¬a«&¶�¬o²�ª�«\»t°�¹�³o´S«J¨\³H­�Åo°A¹z«\³H¨�°�Á4²�¨\°Aª\ª\°6±®�´ «\»�°Æ¹6¬e¶�°�¨<¬qº{¨<¬e¶�° � � � � ¬e´�± «\»t°q¹�³o´S«\¨J³o­gÅo°A¹z«\³H¨�°�ÁE²t¨J°6ªJª2°A± ®h´ «\»t°Æ¨J³o¼·³e«�¹�³H´H«J¨\³H­º{¨<¬e¶�° � � � � ¾�ÞѪ2¸t®h«J¬o¼t­�°�¹�³H´H«J¨\³H­�­�¬kà «J³�¶�¬eÕH°�«\»t°)°�¨J¨\³H¨�Åo°6¹�«\³H¨�� � ,�� ,/"�±E°A¹�¨J°6¬oª\°°�ÁE²·³o´t°6´S«\®�¬e­�­h©µÝ¡®m¾ °o �� � � ���4á8«J³"!�®�ª£½H®hÅH°�´�¼4© �

� � � � � � ��#� $� � � Ý ,%�(, " á Ý{Î4á

Ã�»t°6¨\° , " ®�ª£«J»t°�±E°Aª2®�¨J°6±)²Q³Sª2®h«\®�³o´�®�´�«\»t°�®�¶�¬e½H°Nª\²�¬H¹�°�³eº+«\»�°�¹�°6´H«J°�¨x³oºU«J»t°�­�³4³o²� #��� � � ®�ª«\»�°�°6ª2«\®�¶�¬e«\°A±�®�¶�¬e½o°��S¬o¹�³o¼t®�¬e´�¬e´�±��Æ®�ª�¬&²t¨J³o²·³o¨\«\®�³o´Q¬e­I½H¬o®h´�¾�o¸Q±E½o®�´t½jº{¨\³H¶Ô¬gª2«J¬e¼�®h­�®P«?©�ª2«\¸Q±E©oÂeÃ:°8ÈtÁ&#� � � � #� #� «J³g¬g¹�³H´�ª?«<¬e´S«UÅa¬o­h¸t°:Ã�»t®�­h°:°�´Qª2¸t¨J®�´t½«\»�°�¹�³H´4Åo°�¨J½o°6´�¹�°�³oºL¹�³H´H«J¨\³H­m¾ � ³o¨j³o¸t¨g¬e²t²�­h®�¹�¬e«\®�³o´� #� ®�ª,ÈtÁE°6±�«J³�«J»t°�Åa¬e­�¸t°�½o®�Åo°�´µ¼S©)«\»�°¶�¬e´4¸Eº¡¬H¹z«\¸�¨\°6¨6¾ ¿ »t°�°6ª2«\®�¶�¬a«\°A± ¨\³o«J¬a«J®h³H´�¶�¬a«J¨\®hÁ'#� � � ®�ª&ÈtÁE°A± ¬Hª�«\»t°�¹�­h³Sª2°Aª?«�¨J³e«J¬e«\®�³o´¶�¬a«J¨\®hÁ�«J³)(# * #��+ � � Ã�»t°�¨J°�#��+ � � ®�ª�«\»�°,®�´H«J°�¨<¬o¹�«\®�³o´�¶�¬a«J¨\®hÁ&´4¸t¶�°6¨\®�¹�¬o­h­�©&¹�³o¶�²t¸E«J°6±�³�*QÀ�­�®h´t°,¼S©³o¼Qª2°6¨\Å4®�´t½�«J»t°�¨\°6²Q°6¨J¹�¸�ªJª2®�³o´�³eº:«\»t°�¨J³o¼·³e«N¶�³e«\®�³o´Æ®�´µ«J»t°�®�¶�¬o½o°�ª\²�¬o¹�°o¾ � ¸t¨\«\»�°�¨�±E°�«J¬e®�­�ª¹�¬o´)¼·°Nº{³o¸�´�±�®h´qÉ &kÍľ

¿ ³x«\¨<¬o¹<Õ�«J»t°8¹�°�´S«\°6¨�³eº4½o¨<¬kÅ4®P«?©x³oº4«\»t°�½H¨J¬Hª2²�®h´t½£­�³4³o²�ÂAÃ8°L®h´t®h«\®�¬e­�­�©j¸�ª\°6±�¬�ª\®�¶&²�­h°�¶�³o«\®�³o´±E°�«\°6¹�«\³H¨6¾��g®�Åo°�´)«?Ã:³�¹�³o´�ª\°6¹�¸E«\®�Åo°g®�¶�¬o½o°Aª� 9-,/. ( ¬e´�±%9-,zÂtÃ:°g«\»t¨J°6ª\»t³o­�±�«J»t°�®�¨,±E®+*I°�¨J°�´�¹�°j«J³³o¼t«J¬e®�´�¬�¼t®�´�¬e¨J©�®�¶�¬o½o°�³oºU«J°�¶�²Q³H¨J¬o­�Åa¬e¨J®�¬e«\®�³o´�ª�9�,�� 9-,/. ( ¾��4®h¶�®�­�¬o¨\­�©oÂ�Ã8°�¸�ª\°�¬�¨J°�º{°�¨J°�´Q¹�°®�¶�¬o½o°�9 + Ýmª\¬k©HÂH«J»t°,®�´t®h«\®�¬e­I®�¶�¬o½o°ká�«\³�³o¼E«<¬e®�´ 9-,0� 9 + ¾ ¿ »t°j­h³H½o®�¹�¬o­�³o²·°�¨<¬a«J®h³H´�Þ 4jß ®�ªL«\»t°6´¬e²�²t­h®�°6±&«J³�«J»t°x«?Ã:³�¼t®�´�¬e¨J©&®h¶�¬e½H°6ª�«J³�³H¼E«J¬o®h´�«J»t°,­�³4³o²�¬o´�±�®P«<ª8¹�°�´S«\°6¨L®�ªL¹�³o¶�²t¸E«J°6±�¬Hª�«\»�°¹�°6´S«\°�¨�³oºU½H¨J¬kÅ4®h«?©�³eºU®h«Jªx®h´t´�°�¨x²t®hÁE°�­�ª�¾

(�°&»�¬kÅH°�¸�ª\°6±�«J»t®�ªx«J¨J¬H¹<ÕS®�´t½�¶�°�«\»t³E±�«J³�ÅH°�¨J®Pº{©�³o¸�¨jª\°�¨JÅo³o®�´t½�°�ÁE²Q°6¨\®�¶�°�´S«J¬o­h­�©)³H´�³o¸�¨²t­�¬a«\º{³o¨J¶�¾ ¿ »t°�ª2²·°6¹�®PÈ�°A±µÅ4®�ª2¸Q¬e­+«J¬Hª2Õ�¹�³o´�ª\®�ª2«\°A±�³oº8²t¨J°6¹�®�ª\°�²·³Hª\®h«\®�³o´t®�´t½�³eºL«J»t°�¹�¨J©o³H½o°�´�®�¹­�³S³H²qÃ�®P«J»�¨J°6ª\²Q°A¹z«�«\³�¬�¹�¨J©Eª?«<¬e­L²�¨\³o«\°�®�´ Ým¬aº «\°6¨�«J»t°�º{³E¹�¸�ª2®�´t½µ«J¬oª\ÕÆÃ:¬Hª�¬H¹<»t®h°6Åo°A±�áz¾ ¿ »t°½o¨<¬oª\²t®�´t½�­�³S³H²�Ã:¬Hª�Å4®�ª2¸�¬o­h­�©�½H¸t®�±E°6±�«J³�®h«Jª8±E°6ª\®h¨J°6±�²Q³Sª2®h«\®�³o´�¸t´Q±E°�¨8«\»t°g±E°6ªJ¹�¨J®�¼Q°A±�¶&°�«\»t³E±y¾¿ »t°j®h¶�¬e½H°6ª�¹�³o¨J¨\°Aª2²·³o´Q±E®h´�½N«\³�«J»t°j±t°6ª\®h¨J°6±�¬o´�±�È�´�¬o­·¹�³o´EÈQ½o¸t¨<¬a«J®h³H´�ª�¬e¨J°�½o®�Åo°6´�®h´ � ®h½H¸t¨\°AªÎH¬¬e´Q±ÓÎo¼ ¨J°6ª\²Q°A¹z«\®�Åo°6­h© Ý{«\»t°�®�´t®h«\®�¬e­x¬e´Q±Ò±E°Aª2®�¨J°6±Ó²·³Hª\®h«\®�³o´�³oº,«J»t°�¹�°�´S«J°�¨�³eºg½o¨<¬kÅS®h«?©Æ³eº«\»�°�½H¨J¬Hª2²t®�´t½Ó­�³4³o² ¬o¨\°�¨\°6²t¨J°6ª\°�´S«\°A± ¼4© Ã�»�®P«J°Æ±t®�ª\ÕEªJá�¾ � ®�½o¸t¨J°µÎS¹�ª\»t³aÃxª�«\»t°Æ°�¨J¨J³o¨�®�´«\»�°¹�³S³H¨J±t®h´�¬e«\°Aª�³oº�«\»t°q¹�°�´S«\°6¨)³oº�½o¨<¬kÅ4®P«?© ³eº�«\»t°½o¨<¬oª\²t®�´t½Ó­�³S³H² ¼·°�«?Ã:°�°6´ ®h«Jª�¹�¸�¨\¨J°�´S«¬e´Q±Æ®P«<ª�±E°Aª2®�¨J°6±Æ­�³4¹6¬a«J®h³H´®�´q«J»t°�®�¶�¬e½o°H¾ ¿ »t°�¹�³o´4Åo°6¨\½H°�´�¹�°&³oº�«\»t°)¹�³4³o¨<±E®�´�¬a«J°6ªN«J³�«\»�°�®�¨±E°Aª2®�¨\°A±�Åa¬e­�¸t°j±E°6¶�³o´�ª2«\¨<¬a«J°6ª�«J»t°N¹�³o¨J¨J°6¹z«8¨\°A¬e­�®h¯A¬a«\®�³o´�³oºy«\»t°j«J¬Hª2ÕI¾ ¿ »t°,ÈQ´�¬e­·°�¨J¨\³H¨Jª�³H´�«\»�°¹�³4³H¨J±E®�´�¬e«\°6ª�®�ª�­�°6ªJª�«\»Q¬e´ Ë)²t®hÁ4°6­L«J»�¬a«�¹�³H¨\¨J°6ª\²Q³H´�±tª�«\³�¬µ²Q³Sª2®h«\®�³o´�®h´t½¬o¹6¹�¸t¨<¬o¹�©µ¼·°�©o³H´�±Ë6Ø . ( $IH¾ ¿ »t°�¹�³H¶�²t¸E«\°A±�¹�³o´S«J¨\³H­y­�¬kà ®�ª�½H®hÅH°�´�®h´ � ®h½H¸t¨J°gÎS±y¾

Page 6: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

��������

�������� ����

Ým¬Há Ý¡¼Qá

0 20 40 60 80 100 120 140 160 1800

2

4

6

8

10

12

14

16

18

20

0 20 40 60 80 100 120 140 160 180−250

−200

−150

−100

−50

0

50

100

Ý¡¹Aá Ým±�á

� ®h½H¸t¨J°&Î ��Ý¡¬Sá)'_´t®h«\®�¬e­�®�¶�¬e½o° �:Ý¡¼QágÈ�´Q¬e­�®�¶�¬e½o° �:Ým¹6á�¹�³o´S«\¨J³o­�ÅH°6¹�«\³o¨�Ý $IH��ká �£Ý¡±�áN°6¨\¨J³o¨N®�´«\»�°�®h¶�¬e½H°�ª2²�¬H¹�°�Ý{²t®hÁE°�­�ÅH°�¨<ª2¸Qª:«\®�¶&°káz¾

� ;����� =��6���

Öj´t°�³eºj«\»t°�²�¨\³H¼t­h°6¶�ª�Ã:°�°�´�¹�³o¸t´S«J°�¨J°6±ÓÃ�®h«\»Ê³H¸t¨�³o¨J®h½H®h´Q¬e­8«\¨<¬o¹<Õ4®h´�½�¶�°�«J»t³E± ®�ª&«J»t°�¬oª2Àª\¸t¶�²E«\®�³o´�«J»�¬a«�«J»t°,³H´t­�©�³o¼t×?°6¹z«8®h´�¶�³e«J®h³H´�®�ª�«\»t°x«\³4³o­h«\®�²�Ý{°H¾ ½�«J»t°,­�³4³o²Qá�¾ '_´�²�¨J¬H¹z«\®�¹�°HÂe«J»t®�ª¬oªJª\¸t¶�²E«\®�³o´q­�°6¬H±tª�«J³�²t¨J³o¼t­�°�¶�ª6¾�ß,¸t°�«\³�«J»t°�´Q¬a«\¸�¨\°�¬o´�±«\»�°)ª\®h¯6°�³eº�«J»t°�°6´SÅ4®�¨\³H´t¶�°�´S«ÝmÌ ��Ü�$ �I³oº�­h®�ÇS¸t®�±�ázÂS«\»�°j¶�³e«J®h³H´�³eºy«J»t°x«J³S³H­·ª2«\®�¨<ªL¬e´Q±�¹�¬o¸�ª2°Aª�«J»t°,³o«\»t°6¨8´t°A¬e¨J¼4©�³o¼t×?°6¹z«<ª�«J³¶�³aÅo°H¾ ¿ »t®�ªx¬o­�ª\³&¹6¬e¸�ª\°6ª£Åa¬o¨\®�¬a«J®h³H´�®�´)«J»t°�ªJ¹�°�´�°g®�­�­h¸t¶�®�´�¬a«J®h³H´�¾ ¿ »t°N´t°�«x°0*I°6¹z«x®�ª£«J»�¬a«£«\»�°«\¨<¬o¹<ÕH°�¨g¶�¬k©�ª2³H¶&°�«\®�¶�°6ªg½o°�«�¹�³o´Eº{¸Qª2°A±y¾�Þj±t±E®h«\®�³o´�¬o­h­�©oÂcº{³o¨�¬)ª\¸�¹6¹�°6ªJª2º{¸t­�¶�³o¸t´S«6ÂcÃ8°�´t°6°6±«\³&«J¨J¬H¹<Õ�«\»t°N«<¬e¨J½o°�«£¹�¨\©Eª2«J¬e­ÄÂEÃ�»t°�«\»t°6¨�¶&³aÅ4®�´t½�³o¨�´t³o«6¾

¿ ³�¨J°6ª\³o­�Åo°,«\»t°Aª2°�¹�³H¶�²t­h®�¹�¬e«\®�³o´�ª6ÂEÃ:°g»Q¬kÅo°,°6¶�²t­h³a©H°6±�¬e´�¬e­h«\°�¨J´�¬e«\®�Åo°g¶&°�«\»t³E±)«\³&«J¨J¬H¹<Õ«\»�°�­�³4¹6¬a«J®h³H´�³eº�«\»�°�­�³S³H²�¼�¬Hª2°A±�³o´ � �Eß «J°�¶�²t­�¬a«\°�¶�¬a«J¹<»�®h´t½�É 6aÍľ (�°&¬e­�ª2³�¸Qª2°�«J°�¶�²t­�¬a«J°¶�¬a«<¹<»t®h´�½�«J³&«\¨<¬o¹<Õ�«J»t°N«J¬o¨\½H°�«£²t¨\³o«\°6®h´�¹�¨J©Eª?«<¬e­Ä¾

� ³H¨�«\»t°�¹�¨\©Eª2«J¬o­mÂ�½H®hÅH°�´�«?Ã8³�¹�³o´�ª\°6¹�¸E«\®�Åo°�®�¶�¬e½o°Aª�9-,g¬o´�± 9-, $�� ,,«J¬eÕH°�´q¬a«�«J®h¶�°Aª��g¬o´�±� ��� �zÂ+Ã:°�¸�ª2°�«J»t°�ª\¸t¶ ³oºxª\ÇS¸�¬o¨\°A±�±E®+*I°�¨J°�´�¹�°6ª�¬Hª�¬�¶&°A¬oª\¸t¨J°�³eº�ÇH¸Q¬e­�®P«?©�³eº:«\»t°�¶�¬e«J¹<»¼·°�«?Ã:°�°�´�²Q³Sª2®h«\®�³o´ÊÉ - � . Í�� ³eºL«J»t°�¹�¨J©Eª?«<¬e­+®h´®h¶�¬o½o° 9-,j¬o´�±�²·³Hª\®P«J®h³H´ É - ��� - � . ��� . Í'� ®�´®�¶�¬o½o° 9-, $�� , �� Ý - � .�� - ��� - ��. ��� . á � �

����� ���! #"Ý 9�, $�� ,�Ý - �$� - ��% � . �$� . �'& á��(9�,�Ý - ��% ��. �(& á\á � Ý 6Há

) °6¨\°HÂ*Ñ®�ª:¬�¨J°6¹�«J¬e´�½o¸t­�¬e¨�¨J°�½H®h³H´�³eº�®�´S«\°�¨J°6ª2«8³oº�Ã�®�±E«\»,+ ¬e´�±�»t°�®�½o»S«.-)¹�°6´S«\°�¨J°6±�¬a«gÉ Ø � ØaÍ��Ã�»t®�¹<»�®�ª+¸�ª2°A±�«J³j­�³E¹�¬a«J°L«J»t°£²t¨J³e«\°6®h´&¹�¨J©Eª?«<¬e­Ä¾ ¿ »t°£´t°�Ã�­h³E¹�¬e«\®�³o´�³oº�«J»t°:¹�¨\©Eª2«J¬o­·É -�" � . "zÍ'�LÂe®�ª

Page 7: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

� ®h½H¸t¨\° 6 ��Þ�ªJ¬e¶�²t­�°N­h³4³H²)¶�¬oª\ÕI¾

«\»�°x³o´t°x«\»�¬e«L¶�®h´t®�¶�®h¯6°6ª � Ý - � .�� - � � - � . � � . á�º{³o¨,É � - � � . Í � ®h´�¬o´ � � � ´�°�®�½o»4¼Q³H¨\»�³S³E±³eº£É Ø � ØeÍ'�L¾

� ³H¨x«\»�°�­�³S³H²�Â�»�³aÃ8°6Åo°�¨AÂE«J»t°�¬e¼·³aÅo° ���Eß «J¨J¬H¹<Õ4®h´t½�Ã�®�­�­U´t³o«,Ã:³o¨JÕ�Ã:°�­�­m·ª2®�´�¹�°�«\»t°&¬e¨J°6¬³eº�«J»t° /�³HªJª�®�ª�ÇS¸t®P«J°�ª\¶�¬e­�­:¹�³o¶�²�¬o¨\°A±«\³�«\»t°�¬e¨J°6¬�³oºx«\»�°)¨J°6¹�«J¬e´�½o­�°�«\»�¬e«&°6´�¹�³H¶�²�¬oªJª2°Aª«\»�°�­�³4³o²�Â:°�ÁE²·³Hª\®h´�½�¶�³o¨J°�³eºj«\»t°�¼�¬H¹<Õ4½o¨J³o¸t´�±q«\»�¬o´Ò«J»t°�­�³S³H²Ò®h«Jª\°�­hº?¾ �g°�´t°6¨J¬o­h­�©oÂ8®Pºg«\»�°¼�¬H¹<ÕS½H¨\³H¸t´�±�®�ª�¶�³H¨\°�³H¨�­h°Aª\ª�¸�´t®Pº{³H¨\¶ ¬e´�±)«J»t°�­�³S³H²�®�ª�»�®h½H»t­h©�¹�³H´H«J¨J¬Hª?«J®h´�½�Â4«\»�°�¹<»�¬e´�¹�°�³eº«\»�°�«\¨<¬o¹<ÕH°�¨�¶�®�ª\ª\®�´t½�«J»t°�­�³4³o²qÃ�®�­h­£¼·°)ÇS¸t®h«\°�­�³aÃ�¾ ) ³aÃ8°6Åo°6¨�«\»t°Aª2°�¬oªJª2¸�¶&²t«\®�³o´�ª�±E³µ´t³o«¬e­�ã¬k©4ªg»t³H­�±�«J¨\¸t°�¬o´�±�«\»t°6¨\°�¬o¨\°�ªJ¹�°6´�¬e¨J®h³Sªg¸t´�±E°6¨�Ã�»t®�¹<»�«J»t°�«\¨<¬o¹<ÕH°�¨NÃ�®�­h­Lº¡¬e®�­,Ý{°H¾ ½Q¾�ª2°6°«\»�°�Þx²t²·°�´�±t®PÁ�áz¾

'_´�³o¨<±E°6¨�«\³�¬kÅH³o®�±)«\»t®�ªjª\®h«\¸�¬e«\®�³o´�·Ã8°�»�¬kÅo°N«J³�¶�¬eÕH°�ª2¸t¨J°�«J»�¬a«gÃ8°�¸Qª2°�¬Hª,¬�«J°�¶�²t­�¬a«J°³o´�­h©q²t®hÁE°�­�ª�«\»�¬e«�Ã:°�ÕS´�³aà ¼Q°6­h³H´t½µ«J³«\»t°�­h³4³H²Ò¬e´Q±Ò¬kÅH³o®�±Æ¼�¬o¹<Õ4½o¨J³o¸�´�±q²t®hÁE°�­�ª�¾ ¿ ³Æ±E³ª\³�ÂyÃ:°&¸Qª2°�¬)¼t®h´Q¬e¨J©�¶�¬Hª2Õ�«\»�¬e«NÃ�®�­�­�È�­P«J°�¨�³H¸E«N«\»t°�¼�¬H¹<Õ4½o¨J³o¸t´�±�¾ ¿ »t°�¶�¬oª\ÕÓÝ � ®h½H¸t¨J° 6Há®�ª�¬µª\®�¶&²�­h°)¼t®h´Q¬e¨J©µ¶�¬a«J¨\®hÁ�� ��� � ³oº,ª2®�¯�° + ��-cÂ+Ã�»�®�¹<»Ó®�ª�¨\°6½o®�ª?«J°�¨J°6±Ã�®P«J»q«\»�°�«\¨<¬o¹<Õ4®�´t½Ã�®�´�±E³aÃ�¬e´�±Æ¹�³H´S«J¬e®�´�ª�³H´t°6ª6ÂcÃ�»�°�¨J°�«\»t°�¹�³o¨J¨\°Aª2²·³o´Q±E®h´�½�²�®PÁE°�­8¼Q°6­h³H´t½Hª�«\³�«\»�°�­h³4³H²�Â+¬o´�±¯�°6¨\³Sª�Â4Ã�»t°6¨\°g«J»t°�²t®hÁ4°6­�ª�¬o¨\°N²�¬o¨2«�³oºU«J»t°�¼�¬o¹<Õ4½H¨\³H¸t´�±y¾ ¿ »4¸�ª£Ã8°N¶�®�´t®h¶�®�¯�°N«J»t°Nº{¸t´�¹�«\®�³o´

�� Ý - � .�� - � � - � . �,� . á � �� � � ���! #"

� ��� � Ý 9 , $�� , Ý - �,� - �,% � . � � . � & á � 9 , Ý - �,% � . � & á2á � Ý 8Sá¿ »t°L¶�¬Hª2Õg®�ªc®h´�®P«J®�¬o­h®�¯�°A±Nº{³o­�­h³aÃ�®�´t½£«J»t°�«J°6¹<»t´t®�ÇS¸t°8±t°6ªJ¹�¨J®h¼·°6±N®�´ �4°A¹z«\®�³o´ 6�¼S©N¹�³H´S«\¨J³o­�­h®�´t½

«\»�°:¶�¬o´t®h²�¸t­�¬e«\³H¨+®�´�«\»t°£¼·°�½o®�´t´t®�´t½g«\³N½H³,«J³j«J»t¨J°�°�±E®+*·°6¨\°6´H«�­�³E¹�¬a«J®h³H´�ª�¬e´�±�¬o¹6ÇH¸�®h¨J®h´�½,«J»t¨\°6°®�´t®P«J®�¬o­�®h¶�¬o½o°6ª6 9 +  9 ( ¬e´Q±(9 � ¾ ¿ »�°&­�³4³o²�®�ª�±E°�«\°A¹z«\°A±µ³H´ 9 � ¬o´�±¬)¨J°6¹�«J¬o´t½o­�°�®�ª�ª2°6­h°A¹z«J°6±¬e¨J³o¸�´�±�«J»t°�­�³4³o²�Ã�»t®�¹<»�®�ª�¸�ª\°6±�¬Hª:«\»t°�¶�¬Hª2ÕÝ � ®�½o¸t¨J° 6oá�¾ ¿ »t°�¹�³o¨J¨\°Aª2²·³o´�±t®h´t½�¬o¨\°A¬�³oº�9 �®�ª£¸�ª2°A±)«\³�®h´�®P«J®�¬o­h®�¯�°N«J»t° � �EßÔ«J¨J¬H¹<Õ4®h´t½�¬e­�½o³H¨\®h«\»�¶�¾

(�°�»�¬kÅo°�«J°6ª2«\°6±«J»t®�ª�«\¨<¬o¹<Õ4®�´t½�¶�°�«\»�³4±Ó°�ÁE²Q°6¨\®�¶�°�´S«J¬o­h­�©µ¸Qª2®�´t½�«\»�°)ªJ¬e¶�°�«\°Aª?«�¬Hª�±E°�ÀªJ¹�¨J®h¼·°6±�®h´5�4°6¹�«\®�³o´6E¾�Þx´)°�ÁE²Q°6¨\®�¶�°�´S«J¬o­I¨\¸t´)®�ª£ª\»t³aÃ�´�®�´ � ®�½o¸t¨J°�8t¾ ¿ »t°N­�¬o¨\½H°�¨8¨\°A¹z«J¬o´t½o­�°³o´�«\»t°j®h¶�¬e½H°6ª8ª2»t³aÃxª�«\»t°j«\¨<¬o¹<Õ4®�´t½�Ã�®�´�±E³aà ¬a«8«\»t°j¼Q°6½o®�´t´t®�´t½�¬o´�±�¬e«L«\»�°j°6´�±�³eºy«J»t°g¨\¸t´c¾¿ »t°�ª2¶�¬e­�­�°�¨�¨J°6¹�«J¬o´t½o­�°�«\¨<¬o¹<ÕEªN«J»t°)¹�¨\©Eª2«J¬o­m¾µÞjª�¹6¬e´Ó¼·°)ª\°�°6´qº{¨J³o¶.«\»t°�È�½o¸�¨\°HÂU«J»t°�´t°�ö�°�«J»t³E±�ª2¸�¹6¹�°Aª\ª2º{¸t­�­h©)«\¨<¬o¹<ÕEª:«\»�°�­�³S³H²�¬e´�±�¹�³o´4Åo°6¨\½H°6ª8«\³�«J»t°�«<¬e¨J½o°�«A¾ ¿ »�°�È�´�¬o­c°�¨J¨J³o¨<ª£³o´«\»�°�¹�³4³o¨<±E®�´�¬a«J°6ª:®�ª�¬o½H¬o®h´�­h°Aª\ª:«J»�¬e´ÆËAØ . ( $IH�¾� � �����+*j��� �������������� �������������

¿ »t°x®�±E°A¬N¼Q°6»t®h´Q±�¬e­�®h½H´t®�´t½g«\»t°g¹�°�´S«J°�¨�³oºQ«J»t°,­�³4³o²�Ã�®P«J»�«\»t°j¹�°�´S«J°�¨L³oºQ«J»t°,ª\°�­�°6¹�«\°6±�²�¨\³o«\°�®�´®�ª�«\»Q¬a«j³H´�®h«Jªxã¬k©)«\³�«J»t°�«<¬e¨J½o°�«j²Q³H®h´S«6·«J»t°�­�³4³o²�Ã�®�­h­�ª2­�®�±E°�¸t´Q±E°�¨,«\»t°&¹�¨J©4ª2«J¬o­U¬o´�±�«\»t°6´

Page 8: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Ým¬Há Ý¡¼Qá

-6

-4

-2

0

2

4

6

8

10

0 10 20 30 40 50 60 70 80 90 100

"controls.x""controls.y"

-350

-300

-250

-200

-150

-100

-50

0

50

100

150

0 10 20 30 40 50 60 70 80 90 100

"errors.x""errors.y"

Ý¡¹Aá Ým±�á

� ®h½H¸t¨J°�8���Ý¡¬Sá)'_´t®h«\®�¬e­�®�¶�¬e½o° �:Ý¡¼QágÈ�´Q¬e­�®�¶�¬e½o° �:Ým¹6á�¹�³o´S«\¨J³o­�ÅH°6¹�«\³o¨�Ý $IH��ká �£Ý¡±�áN°6¨\¨J³o¨N®�´«\»�°�®h¶�¬e½H°�ª2²�¬H¹�°�Ý{²t®hÁE°�­�ÅH°�¨<ª2¸Qª:«\®�¶&°káz¾

«\»�°�¶�¬e´t®�²t¸t­�¬a«J³o¨�¹�³o¸t­�±Óª\®h¶�²t­�©¶&³aÅH°�¸t²q«J³�­�®Pº «�®P«A¾ ¿ »t®�ª�®�ª�¹�°�¨\«J¬o®h´t­�©²Q³Sª\ª\®h¼�­h°HÂ�¬Hª�³o¸�¨°�ÁE²·°�¨J®h°6´�¹�°�ª\»t³aÃxª6¾ ) ³aÃ:°�Åo°6¨6Â:®h«)®�ª�´t³o«�Åo°6¨\©Ò¨\³H¼t¸�ª2«�®h´ ²�¨J¬H¹z«\®�¹�°µ°�Åo°6´ ®PºN«J»t°�«J¨J¬H¹<Õo°�¨<ª²·°�¨\º{³o¨J¶ /Q¬kÃ�­�°6ªJª2­�©o¾ ¿ Ã:³�³o«\»t°6¨£«\»t®�´t½Hªx¶�¬k©�»�¬e²t²·°�´�®�´�ª2«\°6¬H±y¾

� ®h¨<ª?«AÂQ±E¸�¨\®�´t½�¹�¨J©Eª?«<¬e­�­h®�¯6¬e«\®�³o´�ÂQª2³H¶&°�²�¨\³o«\°�®�´�ª£«J°�´�±�«J³�¬a«\«J¬H¹<»)«J»t°�¶�ª\°�­�Åo°Aª£«\³�«J»t°�¼·³e«\À«\³H¶.¬Hª�®hºx½o­�¸t°6±�¾ ¿ »t®�ª�®�ª�´t³o«�¨<¬e¨J°�¼t¸E«�¬�²Q°6¨2º{°A¹z«J­h©Æ´t³H¨\¶�¬e­8²t»t°6´t³o¶�°�´�³o´�¾'�º�«J»t°�­�³4³o²°�´Q¹�³o¸�´H«J°�¨<ª�ª2¸Q¹<»�¬�²�¨\³o«\°�®�´�Ât®h«,Ã�®�­h­U¶�³Hª2«x­h®�Õo°6­h©)¼Q°6´�±�¬e´�± /�°�Á)¼·°6¹6¬e¸�ª\°�®P«j®�ª�¶�¸�¹<»�ª2³oº «\°6¨«\»Q¬e´ «\»t°�¹�¨\©Eª2«J¬o­m¾ '_´ ª\¸�¹<» ª2®h«\¸�¬e«\®�³o´�ª6£¹�¨J©4ª2«J¬o­h­�³o½H¨J¬o²t»t°6¨Jª�È�¨Jª2«�¸�ª\°�¬Æª2»�¬o¨\²Êª\³o­�®�±Ò«\³4³H­¬e´Q±�«J¨\©)«\³)±E°�«<¬o¹<»�«\»t°�¹�¨J©4ª2«J¬o­�¼·°�º{³o¨J°N«\»�°�©�²t¨\³E¹�°�°6±�Ã�®h«\»�«J»t°�­�³4³o²�¾ ¿ »t®�ªx®�ª,¬�Åo°6¨\©�±E°�­�®hÀ¹�¬e«\°g²t¨J³4¹�°6±E¸�¨\°j¼Q°A¹�¬e¸Qª2°g®P«�®�ª£°�Á4«\¨J°�¶�°6­h©�®�¶�²Q³H¨2«<¬e´S«8«J»�¬a«£«J»t°g¹�¨\©Eª2«J¬o­�ª:¨J°�¶�¬e®�´�®�´H«<¬o¹�«�¬o´�±«\»�°�©Æ¬e¨J°�«?©4²t®�¹�¬o­h­�©µÅH°�¨J©�º{¨<¬e½H®h­�°o¾�Öj¸t¨�¶�®�¹�¨\³H¶�¬e´t®�²t¸t­�¬a«J³o¨AÂ�»t³aÃ:°�Åo°6¨6Â+±E³4°6ª�´�³e«�¬o­h­�³aà º{³H¨¬e¸t«\³o¶�¬e«\®�¹g¹<»Q¬e´t½H°j³oºU«J»t°N«\³4³o­�ª6Âtª2³&«\»�®�ªxª\³o­�¸E«J®h³H´)®�ª£´t³e«xÅ4®�¬e¼t­�°o¾

�4°6¹�³o´�±�Ât°�ÅH°�´�®Pº+«\»�°�¹�¨J©Eª?«<¬e­y®�ª�­h³4³Sª2°HÂ4«\»t°�­�³4³o²�¶�¬k©)ª\®h¶�²t­�©)ª2«J¬o¨2«�²t¸�ª\»t®�´t½�®h«6Â�®�´�ª2«\°A¬o±³eº£ª2­�®�±E®h´�½�¸t´�±E°6¨\´t°A¬a«J»�¾ ¿ »t®�ª�®�ªN³oº «\°�´«J»t°�¹�¬Hª2°�Ã�®h«\»qª2¶�¬o­h­�°�¨�¹�¨J©Eª?«<¬e­�ª�¬oªg«J»t°�©µ¬o¨\°�ÅH°�¨J©­�®h½H»H«�¬e´Q±�«\»�°�®�¨g»�°�®�½o»S«g®�ªN¹�³H¶&²Q¬e¨<¬e¼t­�°�«\³)«\»�°�«J»t®�¹<ÕS´�°6ªJªj³oº�«\»�° /�³Sª\ª6¾�§8¨J©4ª2«J¬o­h­�³o½H¨J¬o²t»t°6¨Jª¬o±�±E¨\°Aª\ªL«\»�°Nª\®h«\¸�¬e«\®�³o´�¼4©�¸Qª2®�´t½&¨\³o«J¬a«J®h³H´�¬e­I±E°6½o¨J°�°6ª8³eºUº{¨\°6°6±E³H¶�«\³�²·°�¨\º{³o¨J¶à¬��Jª\¹�³S³H²t®�´t½��¶�³aÅo°,¬o´�±�¸t´�°6¬e¨\«\»�«J»t°N¹�¨J©4ª2«J¬o­�Ã�®h«\»�«J»t°g­h³4³o²c¾�Öj¸t¨:¶�¬e´t®�²t¸t­�¬a«J³o¨:±E³4°6ª8´t³e«:²t¨\³aÅ4®�±E°�«J»t°6ª\°±E°6½o¨J°�°6ªj³eº8º{¨\°6°6±E³H¶�¾���ÅH°�´µ®hº8®h«�±E®�±yÂc®h«�®�ªg´t³o«�¹�­h°A¬e¨g«\»Q¬a«g«\»t°�ªJ¬e¶�°&¶&³aÅH°�¹6¬e´µ¼·°�°6¬Hª2®�­�©®�¶&®h«J¬e«\°A±)²�¨\³H½o¨<¬e¶�¶�¬a«\®�¹�¬o­h­�©o¾

¿ ³�¬o±�±E¨\°Aª\ªj«J»t°6ª\°�«?Ã:³�®�ªJª2¸�°6ª6ÂyÃ8°&»�¬kÅo°�¹<»t³Sª2°6´�«?Ã8³�¬e­h«\°6¨\´Q¬a«\®�Åo°�«\³4³o­�ªj«\³�¨J°�²t­�¬o¹�°�«\»�°­�³S³H²31 ¬µª\»t³aÅH°�­£¬e´�±Ò¬µ½H­�¬Hª\ª&¹�¬o²t®h­�­�¬e¨J©o¾ ¿ »t°�ª2»t³aÅH°�­NÝ � ®�½o¸t¨J°�Ùe¬Há�®�ª&¶�¬o±E°�³eºg¬�ª\¶�¬e­�­¨J°6¹z«<¬e´t½H¸t­�¬e¨,²�®h°A¹�°oÂ�¬o²t²t¨J³kÁE®h¶�¬a«J°�­�©ÆË�H H �µØ�� Ü�H H.®�´�ª\®h¯6°oÂy³eº:²t­�¬oª2«\®�¹�ª\»t®�¶ ª?«J³4¹<Õ�½H­h¸�°6±«\³�«\»t°,«\®�²�³eºc¬�²�®h´�³H¨8¹�³o²t²·°�¨8Ã�®h¨J°o¾ '�«8³H²Q°6¨J¬e«\°Aª�³o´�«J»t°jªJ¬e¶�°x²t¨J®�´�¹�®�²t­�°j¬oª�«\»t°j­h³4³H²@1 Ã:°ª\­h®�±E°,®h«£¸t´�±E°6¨L«J»t°g¹�¨\©Eª2«J¬o­�1 »t³aÃ:°�Åo°6¨6ÂH®P«£®�ª:Ì 6 $IHà«J»t®�¹<Õ�Ã�»t®�¹<»�¶�¬oÕo°Aª�®h«:»�¬o¨J±�°�´t³H¸t½o»�«J³

Page 9: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Ý¡¬Sá Ý{¼Qá

� ®�½o¸t¨J°�Ù ��Ý¡¬Sá ¿ »t°�ª\»t³aÅo°6­I±t°6ª\®h½H´���Ý{¼Qᣬ�½H­�¬Hª\ª£¹6¬e²t®�­h­�¬e¨J©o¾

°�ÁE°6¨J¹�®�ª\°N«\»t°&´t°A¹�°6ªJªJ¬e¨J©�º{³o¨<¹�°�«\³ �\¸t´t½o­�¸t° ��ª?«J¸�¹<Õ�¹�¨J©4ª2«J¬o­�ª6¾ '�«g»�¬oªj¬e­�ª2³�¶�¸�¹<»�­�¬e¨J½o°�¨j¬e¨J°6¬«\»Q¬e´�«\»�°�­h³4³H²�Ã�»�®�¹<»�ª2«\®�¨Jª�«\»t°�­�®�ÇH¸�®�±�¬o¨\³H¸t´�±)®P«N¬oª�®h«,¶�³aÅo°Aª�¾ ¿ »t®�ªx²t¨J°�ÅH°�´S«Jª£«J»t°�´t°A¬e¨J¼4©¹�¨J©Eª?«<¬e­�ª�º{¨J³o¶$­h©4®�´t½�³o´�«J»t°,¼·³e«\«\³o¶�¬e´Q±�¶�¬eÕo°Aª�®h«L°6¬Hª2®�°�¨�º{³H¨�«J»t°jª\»t³aÅo°6­4«\³�½o³�¸t´�±t°�¨J´t°6¬e«\»«\»�°�¶�¾

¿ »t°�½H­�¬Hª\ªj¹�¬o²t®h­�­�¬e¨J©Ý � ®�½o¸�¨\°&Ùa¼Qá�®�ªj´t³e«N¬�´t°6Ã�®�±E°A¬t¾ '_´�º¡¬o¹z«AÂI®P«NÃ:¬HªxÃ�»�¬e«g¹�¨\©Eª2«J¬e­�­�³eÀ½o¨<¬e²�»t°�¨<ªx¸�ª\°6±�º{³o¨N¶�³o¸t´S«J®h´t½)¼Q°�º{³o¨J°�«J»t°�©�ª\Ã�®h«J¹<»t°A±�«\³�­�³S³H²�ª�Ý º{³H¨g¨J°6¬Hª2³H´�ªx»Q¬kÅS®�´t½�«\³�±E³Ã�®h«\»Æ°6¬Hª2°�³eº£¶�¬e´4¸�¬o­�¸�ª2°�¬o´�±²Q³Sª?«J²t¨\³E¹�°6ªJª2®�´t½Sá�¾�'�«�®�ªNÅH°�¨J©�¸�ª\°�º{¸t­�®�´«\»�¬e«�®P«�¹6¬e´Æ°6¬Hª2®�­�©²t®�¹<Õ�¬�´t°A¬e¨J¼S©�¹�¨J©Eª?«<¬e­Q®PºU¬�ª2¶�¬o­h­·´t°�½S¬a«J®hÅH°,²t¨J°6ªJª2¸�¨\°x®�ª:¬e²t²t­�®�°6±�«J³�®h«Jª8³e«J»t°�¨:°�´�±�¾>'�«<ª8«\®�²�®�ª»�¬o¨J±)°�´t³H¸t½o»)«\³�»t°6­h²�­�³4³Hª\°�´�½o­�¸t°6±�¹�¨J©Eª?«<¬e­�ª�¾

¿ »t°�¹6¬e²t®�­h­�¬e¨J©�®�ª�¶�³Hª2«\­�©)²�»�¬oª\°6±�³o¸t«x³eº�¸�ª\°�®h´�º¡¬kÅH³o¨�³eº+«\»�°�­h³4³H²)«J»t°6ª\°�±t¬k©Eª£¼·°6¹6¬e¸�ª\°®h«:¶�¬eÕH°6ª8®P«�»�¬o¨J±�«\³&²t¨J³o²·°�¨J­h©&º{¨J°�°�¯6°,«J»t°N¹�¨J©4ª2«J¬o­Q¼·°�º{³H¨\°g®h«£®�ª:²t­�¬o¹�°A±�³H´�«\»�°,Á4À�¨J¬k©�±E®+*·¨<¬o¹�À«\³H¶�°�«\°6¨Jª6¾ ) ³aÃ:°�ÅH°�¨AÂ�¬�Åo°6¨\©)¸�ª\°�º{¸t­cº{°6¬a«J¸t¨J°�³eº�¬�¹6¬e²t®�­h­�¬e¨J©�®�ª�«J»�¬a«g®P«g¹�¬e´�°A¬oª\®h­�©�°?×?°6¹�«x«\»�°¹�¨J©Eª?«<¬e­�¼�¬H¹<Õ�¼4©µ¬e²t²�­h©4®�´t½�¬�ª\¶�¬e­�­�²Q³Sª2®h«\®�Åo°�²t¨J°6ªJª\¸t¨\°H¾ ¿ »�®�ªN³H²Q°6´�ªg«\»t°�²·³HªJª\®h¼t®�­�®P«?©�º{³H¨�¬«?Ã:³eÀ_ª?«J°�²�¹�¨\©Eª2«J¬e­·¶�³o¸t´S«�ª\¹�°�´�¬o¨\®�³�ÂH®h´4ÅH³o­�ÅS®�´t½&¬�«\¨<¬e´Qª?º{°6¨:ª2«J¬e«\®�³o´)¬HªL³H²t²·³Hª\°6±�«J³�«J»t°�±E®h¨J°6¹�«±E°6²Q³Sª2®h«�¶�°�«J»t³E±ÆÃ�®P«J»Æ«\»t°�ª\»t³aÅH°�­���«\»t°)¹�¬e²�®h­�­�¬o¨\©¹�³H¸t­�±¼·°�¸�ª\°6±�«J³µ¬o¹6ÇH¸�®h¨J°�«\»t°)¹�¨J©4ª2«J¬o­º{¨J³o¶ «J»t°�­h®�ÇS¸t®�±�¬o´�±�«\»t°6´�±t°�²·³Hª\®P«x®h«�«\³�«J»t°�­h³4³H²)®�´�¬�¶�¸�¹<»�¶&³H¨\°�¹�³o´S«\¨J³o­�­h°A±�º¡¬Hª2»t®�³o´c¾

¿ ³�«\°Aª?«j«\»t°�¸�ª\¬o¼t®�­h®h«?©)³oº�«\»t°�«?Ã8³�«\³4³o­�ªxÃ:°�»�¬kÅH°�²Q°6¨2º{³H¨\¶�°A±�¨\°A¬e­hÀÄÃ:³o¨J­�±�°�Á4²·°�¨J®�¶&°6´S«Jª6¾¿ »t°�½o³H¬o­c³oºL°6¬H¹<»�°�ÁE²Q°6¨\®�¶�°�´S«jã¬oª,«\³)³o´t­�©�¹�³H´EÈ�¨J¶Ñ«J»�¬a«j«\»t°�«\³4³H­U®�ªj¹6¬e²�¬o¼t­�°�³eº�²�®�¹<Õ4®�´t½¬¹�¨J©4ª2«J¬o­m¾ �L¬H¹<»Ó«J³S³H­mÂ8Ã:¬Hª&®h´�ª2«J¬o­h­�°6±Ò³o´Ò«\»�°�¶�¬o´t®�²t¸t­�¬a«\³H¨�Ã�»t®�¹<» ã¬oª�«\°6­h°6³o²·°�¨<¬a«\°A±Ó«J³²·°�¨\º{³o¨J¶ ¬j´4¸t¶�¼Q°6¨�³eºQ¶�³H¸t´S«\®�´t½,«<¬oª\ÕEª�¾ � ®h½H¸t¨\° Bgª2»t³aÃxª�¬gª2°6­h°A¹z«�®�¶�¬o½o°Aªcº{¨J³o¶ ¬jª\¸�¹�¹�°6ªJª?º{¸�­¶�³o¸t´S«J®h´t½�³o´S«\³Ó¬Óª\»t³aÅH°�­Ä¾ � ®�½o¸t¨J° &Óª\»t³aÃxª�«J»t°µ¸Qª2°�³oº�¬Ó¹�¬o²t®�­h­�¬e¨J©Ó«J³Ó²t®�¹<Õ ¬o´�±Ê­�¬e«\°6¨¨J°�­�°6¬oª\°x¬�¹�¨\©Eª2«J¬o­m¾ ¿ »t°j¬H±EÅa¬e´S«J¬o½o°Aª�³eº�¼·³e«J»�«\³4³H­�ª8¹�³o¶�²�¬o¨\°A±&«\³�¸�ª2®�´t½&¬�­h³4³H²�Ã8°6¨\°j¹�­�°6¬e¨J­�©°�ÁE²·°�¨J®h°6´�¹�°A±)±t¸t°N«\³&«\»�°�°6¬oª\°N³eº+«\»t°�¹�¨\©Eª2«J¬o­·¶�¬o´t®h²�¸t­�¬e«\®�³o´�¾

� ������x���������&�

¿ »t°�±E°6Åo°6­h³H²t¶�°�´S«,³eº�Å4®�ª\¸�¬o­h­�©�½H¸t®�±t°6±�ª2«\¨<¬a«\°6½o®�°6ª�¬o²t²t­�®h°A±�«\³�»t®�½o»�¨J°6ª\³o­�¸E«\®�³o´�³o²t«\®�¹�¬e­+ª2©Eª2À«\°6¶�ª�ª2»�³aÃ�²t¨J³o¶�®�ª2°£®�´�³aÅo°�¨<¹�³H¶�®h´t½g¬g«\°A¹<»t´t³o­�³o½H©�¼�¬e¨J¨J®h°6¨�«\³N«\»�°x¬e¸E«J³o¶�¬a«J°6±&¶�®�¹�¨\³H¶�¬o´t®�²EÀ¸t­�¬a«J®h³H´�³oºQ¼t®�³o­�³o½H®�¹6¬e­4¹�°�­�­�ª�¾>'_´&«\»t®�ª�²�¬e²·°�¨AÂeÃ:°£»�¬kÅo°:®h´4ÅH°6ª2«\®�½H¬a«J°6±�¬e´�±�°�ÁE²·°�¨J®h¶�°�´S«<¬e­�­h©�Åa¬e­�®hÀ±t¬e«\°6±�«\»t°:¸�ª\°L³oº�¸t´�¹6¬e­�®h¼t¨<¬a«J°6±�Å4®�ª2¸Q¬e­4ª2°6¨\ÅH³o®�´t½�«\°A¹<»t´t®�ÇS¸t°6ªc«\³g²Q³Sª2®h«\®�³o´&¬x­�³4³o²�¶�³o¸�´H«J°6±�³o´¬&¶�®�¹�¨\³H¶�¬o´t®�²t¸t­�¬a«\³H¨£Ã�®P«J»)¨J°6ª\²Q°A¹z«�«J³�¬&²t¨J³e«J°�®�´�¹�¨\©Eª2«J¬o­y³o¼�ª\°�¨JÅo°A±�¼4©)¬�¹�¬o¶&°6¨J¬�¶�³o¸t´S«J°6±³o´Ò¬e´Ó³H²E«\®�¹�¬o­8¶�®�¹�¨J³HªJ¹�³o²·°o¾ ¿ »t°)°�ÁE²Q°6¨\®�¶�°�´S«J¬o­L¨J°6ª\¸t­P«<ª�ª\»t³aÃ$«\»Q¬a«&«\»t°�Å4®�ª\¸�¬e­Lº{°�°A±E¼�¬o¹<Õ¹�¬o´�²t¨J³aÅ4®�±E°,«\»t°N¨J°6ÇS¸t®�¨\°A±�²t¨J°6¹�®�ª\®h³H´�«\³�¬o¹<»�®h°6Åo°x«J»t°jÈtÁE°6±�«<¬oª\ÕI¾>(°N²t¨J³o²·³Hª\°6±�±E°Aª2®�½o´Qª�º{³H¨«\³4³H­�ª:«J»�¬a«x¶�¬eÕH°,«J»t°N«\¨<¬o¹<Õ4®�´t½�¬e´�±)¶�³o¸t´S«J®h´t½&«<¬oª\Õ�°6¬Hª2®�°�¨x¬o´�±�¶�³H¨\°N¨J³o¼t¸�ª2«6¾

¿ »t®�ª�Ã:³o¨JÕ®�ª�³o¸t¨&´t°�ÁS«�ª2«\°�²Óº{³o¨JÃ:¬o¨J±Æ³H´q«\»t°�±E°Aª2®�½o´Ó³oº,¬e´Ò®h´S«\°6½o¨<¬a«J°6±qª\©4ª2«\°6¶.«\»�¬e«Ã�®�­h­N¼·°¬o¼t­h°µ«\³ Å4®�ª\¸�¬e­�­�© ®�ª\³o­�¬a«\°�®h´Q±E®hÅ4®�±E¸�¬o­g²�¨\³o«\°�®�´�ª)®h´ ¬�¹�¸t­P«J¸t¨J°oÂx«J³Ò¶�³aÅH°µ¹�¸�ª2«\³H¶�ª

Page 10: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Ým¬Há Ý{¼·á

Ý¡¹Aá Ý¡±Qá

Ý{°ká Ý{ºJá

� ®h½H¸t¨J°@B��NÞ ª\¸�¹6¹�°6ªJª2º{¸t­�¶�³o¸t´S«�ª2°AÇS¸t°�´�¹�°�¸�ª2®�´t½�«\»�°�ª2»t³aÅH°�­���Ým¬Hág®�´t®P«J®�¬o­�¹�¨J©Eª?«<¬e­�¹�³H´EÈ�½H¸EÀ¨<¬a«\®�³o´��:Ý¡¼Qág«\»�°�ª2»�³aÅo°�­�®�ª�°6´H«J°�¨J®h´�½�«\»t°�­�®�ÇS¸t®�± Ý¡±�¬e¨JÕµ²�¬e«J¹<»Æ³o´«\»�°�­h°�º «<á �xÝm¹6ág«J»t°�ª\»t³aÅo°6­ª\­h®�±E°6ª:¸t´Q±E°�¨£³o´�°g¹�¨\©Eª2«J¬e­��IÝ¡±�áL«\»�°Nª\»t³aÅH°�­Iª2­�®�±t°6ª:¸t´�±E°6¨�¬�ª\°6¹�³H´�±�¹�¨\©Eª2«J¬o­+Ý¡²�¬e¨\«:³oº�«\»�°jÈQ¨Jª2«³o´�°�®�ªNÅ4®�ª\®h¼�­h°&³o´µ«\»t°�­�°�º «<á0�:Ý¡°Aágª\»t³aÅo°6­+¨<¬e®�ª\°6±�¬o¼Q³aÅH°�«\»�°�ª2³H­h¸E«J®h³H´�ÂIÈ�¨<ª?«�¹�¨J©Eª?«<¬e­�®�´µº{³E¹�¸QªÝ º<á�ª2»�³aÅo°�­I¨<¬e®�ª2°A±)¬o¼Q³aÅH°,«J»t°�ª\³o­�¸E«\®�³o´�Âtª\°6¹�³o´�±�¹�¨J©Eª?«<¬e­I®�´)º{³E¹�¸�ª�¾

Page 11: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

Ým¬Há Ý{¼·á

Ý¡¹Aá Ý¡±Qá

� ®h½H¸t¨J° & �8Þ ª2¸Q¹�¹�°Aª\ª2º{¸t­c¹�¨\©Eª2«J¬o­�²t®�¹<ÕS®�´t½�ª\°6ÇS¸t°6´�¹�°�¸Qª2®�´t½�«J»t°�¹�¬o²t®�­h­�¬e¨J© �jÝ¡¬Sá:«\»�°�¹�¬o²t®h­�­�¬e¨J©¬e²�²t¨\³S¬o¹<»t®�´t½)º{¨\³H¶ «J»t°�¨J®h½H»H« ��Ý{¼Qá�«\»t°�¹6¬e²t®�­�­�¬o¨\©µª\¸�¹<ÕEª�®�´«\»t°�¹�¨\©Eª2«J¬o­ ��Ý¡¹Aág«\»�°�¹�¬o²t®h­�­�¬e¨J©¬e¼·³aÅo°£«J»t°,­�®�ÇH¸�®�±�Ã�®P«J»�«\»t°g¹�¨J©Eª?«<¬e­Q¬e«L«J»t°x«J®h²��yÝm±�á�«J»t°j¹6¬e²t®�­�­�¬o¨\©�¨\°6­h°A¬oª\°6ª�«J»t°j¹�¨\©Eª2«J¬o­�¼�¬H¹<Õ®�´)«J»t°�­�®�ÇS¸t®�±y¾

Page 12: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

®�´�ª?«J¨\¸�¶&°6´S«Jª�«\³Ò¹�³o´S«J¬H¹z«)«\»t°®�ª\³o­�¬a«J°6± ²�¨\³o«\°�®�´�ª6Â�«\³Ò½o¨<¬oª\²Ê«\»t°²t¨J³e«J°�®�´�ª�¬o´�± «J¨J¬o´�ª2²·³o¨\««\»�°�¶àº{³H¨£º{¸t¨\«\»t°6¨�²t¨\³E¹�°6ªJª2®�´t½�¾

� � =������ ��*x¦���*,% *j�&�

¿ »t®�ª�Ã:³o¨JÕÓÃ:¬Hª�ª2¸�²t²Q³H¨2«J°6± ¼4©�¬Æ½o¨<¬e´Q±Ó«J³Æ«\»t° 4,³o¨\«\»t°A¬oª2«F�S«\¨J¸�¹z«J¸t¨<¬e­ �g°6´t³o¶�®�¹�ª�§8³o´tÀª\³o¨\«\®�¸t¶�º{¨J³o¶ «J»t°�ÐL¨\³o«\°�®�´ �S«\¨J¸�¹z«J¸t¨J° '_´t®P«J®�¬e«\®�Åo°�³oº 4j¬a«\®�³o´Q¬e­ '_´�ª2«\®h«\¸t«\°6ª�³eº ) °6¬o­P«J» Ý¡Ð 6eØ��A 8SÌaÎ�ËAÜHá�¾

� '�'*,��¦������ : *,�����<��� )�z�·� ��� ��3�* ;Ò����� =��6��� � ���������<��3�%

Öj´t°�³eº:«\»�°�²t¨\³H¼t­�°�¶�ªNÃ�®P«J»«\¨<¬o¹<Õ4®h´�½�«J»t°�­h³4³H²�®�ªN«\»Q¬a«�¬�ª2°6­h°A¹z«J°6±¨\°A¹z«<¬e´t½H¸t­�¬o¨,«J°�¶�²t­�¬a«J°Ã�®�­h­Q®h´t°6Å4®P«<¬e¼t­�©�®�´�¹�­h¸�±t°,¬N²Q³H¨2«J®h³H´�³eºI«\»�°x¼�¬o¹<Õ4½H¨\³H¸t´�±�Ã�»t®�¹<»�¶�¬k©&¬ *I°6¹z«L«\»t°�«J¨J¬H¹<Õo°6¨6¾ ¿ »t°ª2«J¬e´Q±t¬e¨<± ���Eß�«\¨<¬o¹<Õ4®�´t½�³eº�¬)¨J°6¹�«J¬o´t½o¸t­�¬e¨N¨J°�½H®h³H´�Ã�®�­h­L´t³e«�Ã:³o¨JÕ�Ã8°6­h­ÄÂUª\®�´�¹�°&«\»�°�¬e¨J°6¬�³eº«\»�° /Q³HªJªN®�ª�ÇS¸t®h«\°�ª\¶�¬o­h­�¹�³o¶�²�¬o¨\°A±�«\³�«J»t°�¬e¨J°6¬�³eº:«\»t°�¨J°6¹z«<¬e´t½H­h°�«\»Q¬a«�°�´Q¹�³o¶�²�¬Hª\ª\°6ª,«\»�°­�³S³H²�ÂE°�ÁE²·³Hª\®h´�½&¶�³H¨\°N³eºU«\»t°�¼Q¬o¹<Õ4½o¨J³o¸t´Q±�«\»Q¬e´)«\»t°�­�³4³o²�®P«<ª2°6­Pº?¾

�4²·°6¹�®hÈQ¹6¬e­�­h©HÂ4¬Hª\ª\¸t¶�°,Ã:°g»�¬kÅo°,¬�¨\°A¹z«<¬e´t½H¸t­�¬o¨L¨J°�½H®h³H´�³eºc®�´S«\°�¨J°6ª2« * ¬e¨J³o¸t´�±�«\»t°g­h³4³H²�³eºª\®h¯6° + � -�¬o´�±)­h°�«:«J»t°�¨<¬a«\®�³&³eºc«J»t°�¬e¨J°6¬�³eºU«\»t°N­�³S³H²)®�´)«\»�¬e«£¨J°6¹�«J¬o´t½o­�°,«J³&«\»t°g«\³o«J¬o­�¬e¨J°6¬³eº�*Ñ®�ªIÂE®m¾ °o¾+«J»t°N­h³4³o²)³E¹�¹�¸�²t®h°Aª + -)²t®PÁE°6­�ª�¬o´�±�«J»t°N¼�¬o¹<Õ4½o¨J³o¸�´�±�³E¹�¹�¸t²t®�°6ªNÝ?Ë ��tá + -²t®hÁE°�­�ª�ÂEØ ���� Ëo¾4��°�«£«\»t°N­�³S³H²�¼·°�¬a«�²Q³Sª2®h«\®�³o´É - � . Í��q¬a«:«\®�¶&° �:¬e´�±)³E¹�¹�¸�²S©�«J»t°�ª2¸�¼�ª2°�«³eº�²�®PÁE°�­�ª�� ,�� *�¾ �4®�¶&®�­�¬e¨J­h©HÂS­�°�«8«\»t°g­�³S³H²�¬a«8«\®�¶&° � � � ��¼·°j¬a«:²Q³Sª2®h«\®�³o´�É - � � - ��. � � . Í��¬e´Q±�³E¹�¹�¸�²S©)«\»�°&¬o¨\°A¬�� , $�� ,�� *�¾���°�«�� � � ,�� � , $�� , ¬o´�±�� � *����,¾�4x³aà ¹�³H´�ª\®�±E°6¨«\»�°N«?Ã8³�Åa¬e­�¸t°6ª � Ý - ��. � - �$� - � . � � . á8¬o´�± � Ý - � .�� - � . áz¾

� ³H¨ � Ý - � .�� - � � - ��. �$� . á�Ât«\»�°�¨\°6½o®�³o´�³eº�®h´S«J°�¨J°6ª2«x»�¬oª�¶�³aÅH°6±)¼S©�«\»t°�ªJ¬e¶�°�¬o¶&³H¸t´S«É � - � � . Í�� ¬Hª�«J»t°µ­�³4³o² ¬o´�± «\»t°6¨\°�º{³o¨J°�«\»�°µ­�³S³H² ³E¹�¹�¸�²t®h°Aª�«J»t°�ªJ¬e¶�°µ²·³o¨\«\®�³o´ ³oº *�Â,®Ä¾ °H¾� , � � , $�� , � �j¾ ¿ »t®�ª�®�ª�«\»�°µ±E°6ª\®�¨\°A± ª\®h«\¸�¬e«\®�³o´ÊÃ�»t°�´ «J»t°�«\¨<¬o¹<ÕH°�¨�»�¬Hª�ª2¸Q¹�¹�°Aª\ª2º{¸t­�­h©º{³o­�­�³aÃ8°A±�«\»�°�­h³4³o²c¾ ¿ »t°�¨J°�º{³H¨\°HÂ

� Ý - � .�� - �$� - � . �$� . á � ÝÄÙoá�� ��� ��� #"

Ý 9-, $�� ,�Ý - � � - � % ��. �$� . �'& á�� 9-,zÝ - ��% ��. �'& á\á � Ý BSá

� �� ��� ��� ��

Ý 9-, $ � ,�Ý - �$� - ��% � . � � . � & á�� 9-,�Ý - � % � . �'& á2á ��� Ý &Sá

�� � � ���! ��

Ý 9-, $�� ,�Ý - � � - � % ��. �$� . �'& á�� 9-,zÝ - ��% ��. �'& á\á � Ý?Ë6ØSá

�� � � ���! ��

Ý 9 , $�� , Ý - � � - � % ��. �$� . �'& á�� 9 , Ý - ��% ��. �'& á\á � Ý?ËoËká

�� � � ���! ��

Ý 9-, $�� ,�Ý - � � - � % ��. �$� . �'& á�� 9-,zÝ - ��% ��. �'& á\á � Ý?ËAÌHá

Ý?Ë �!tá + - � � � � ���! �� Ý 9-, $�� ,�Ý - � � - � % ��. �$� . �'& á�� 9-,zÝ - ��% ��. �'& á\á �Ý?Ë �!tá + - Ý?Ë6ÜSá

Ý?Ë �!tá + -���"$#&%�Ý'�£á Ý?Ë�Î4á

Ã�»t°6¨\°�"$#&%�Ý(��ág®�ªN«J»t°�¶�°6¬o´EÀ_ª\ÇS¸�¬o¨\°�ÀÄ°6¨\¨J³o¨j³eº£«\»t°�®h´S«\°6´�ª\®P«?©³eº:«\»t°�¼�¬o¹<Õ4½o¨J³o¸�´�±µ²�®PÁE°�­�ª6¾¿ »t°�ª\¸t¶�³aÅH°�¨£«J»t°�¨\°6½o®�³o´)� Ã�®h­�­c®�±E°A¬e­�­h©�¼·°�¯6°�¨J³�ÂE¼·°6¹�¬o¸�ª\°�®P«�«<¬eÕo°Aª£«\»�°�±E® *I°�¨J°�´Q¹�°�³eº+«\»�°

Page 13: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

®�´H«J°�´�ª\®h«\®�°6ª8³eº�«J»t°jªJ¬e¶�°,²Q¬e¨\«8³eºc«\»t°j­h³4³o²�¼Q°�«?Ã8°6°�´�«J»t°j«?Ã8³�®�¶�¬e½H°6ª6¾ '_´)²t¨J¬H¹z«J®�¹�°,®h«:Ã�®�­h­·¼·°¬�ª2¶�¬o­h­ÄÂE²Q³Sª2®h«\®�Åo°�¬o¶&³H¸t´S«,±E¸t°g«\³�®�¶�²Q°6¨2º{°A¹z«J®h³H´�ª£³eº+«\»t°�¬H¹�ÇS¸t®�ª2®h«\®�³o´�±E°6ÅS®�¹�°H¾

��Åa¬e­�¸�¬e«\®�´t½ � Ý - ��. � - ��. ᣹�³o¨J¨\°Aª2²·³o´Q±tª�«J³&«\»t°�ª\®P«J¸�¬a«J®h³H´)Ã�»t°6¨\°g«J»t°g«\¨<¬o¹<Õo°6¨8»Q¬oª£­�³4¹<ÕH°6±³o´S«J³�«\»t°&¼�¬H¹<ÕS½H¨\³H¸t´�±y¾ '_´�«J»t®�ªg¹�¬Hª2°H·«\»t°&¨\°6½o®�³o´�«J»�¬a«N¸t´�±E°6¨\½H³4°6ª,¹<»Q¬e´t½H°6ª,¹�³o´�ª\®�ª?«g³eº�«\»�°³o­�±�¬o´�±�«J»t°£´t°�Ã�²Q³Sª2®h«\®�³o´�ª+³oºt«\»t°£­�³4³o²�®�´ *�¬e´�±�«\»t°£¨J°6ª2«+³oº�®h«�®�ªU«\»t°£¼�¬H¹<Õ4½o¨J³o¸t´�± �ÆÃ�»t®�¹<»ª2«J¬k©Eª8«\»t°�ªJ¬e¶�°�Ý¡ª\¸t¼E×?°A¹z«�«\³�¨J°�²·°6¬e«J¬o¼t®h­�®h«?©�¹<»�¬e¨<¬o¹�«\°6¨\®�ª?«J®�¹6ªL³oºc«J»t°�¬o¹6ÇH¸�®�ª\®P«J®h³H´�±t°�Å4®�¹�°Aá0�

� Ý - � .�� - � . á � Ý?Ë 6Há�� ��� ��� #"

Ý 9�, $�� ,�Ý - � % � . �'& á�� 9-,zÝ - ��% � . �'& á2á � Ý?Ë,8Sá

� ������ ���! ��

Ý 9 , $ � , Ý - � % � . � & á�� 9 , Ý - � % � . � & á2á ��� Ý?ËkÙoá

�� � � ���! ��

Ý 9�, $�� ,�Ý - � % � . �'& á�� 9-,zÝ - ��% � . �'& á2á � Ý?Ë,BSá

�� � � ���! ��

Ý 9�, $�� ,�Ý - � % � . �'& á�� 9-,zÝ - ��% � . �'& á2á � Ý?Ë,&Sá

Ì +'-� � � � ���! �� Ý 9 , $�� , Ý - � % � . �'& á�� 9 , Ý - ��% � . �'& á2á �

Ì +'- ÝmÌeØSá� � Ì + -���"$#&%�Ý'� � �:á ÝmÌEËká

Ã�»t°6¨\°�"$#&%�Ý(� � �:á·®�ªy«J»t°L¶�°A¬e´EÀ_ª\ÇS¸�¬o¨\°�ÀÄ°6¨\¨J³o¨Q³eº4«\»�°L®�´H«J°�´�ª\®h«?©g±E®+*I°�¨J°�´�¹�°�³eºt¹�³H¨\¨J°6ª\²·³o´�±E®�´t½²t®hÁE°�­�ª�«\»Q¬a«j¹<»�¬o´t½o°�¼·°�«?Ã:°�°6´�«\»t°�­h³4³H²�¬e´�±�«J»t°�¼�¬H¹<ÕS½H¨\³H¸t´�±y¾ ¿ »t°�®�´t°AÇH¸Q¬e­�®P«?©�¬a«x«J»t°�°6´�±º{³o­�­�³aÃxªLº{¨J³o¶�«\»t°Nº¡¬H¹z«£«\»Q¬a«�«\»�°�¬e¨J°6¬�³eº � ®�ª�¬e«x¶&³Sª?«£«?Ã�®�¹�°N«J»t°�¬e¨J°6¬�³eº � , ¾

�4®�´�¹�°jÃ8°jÃ:¬o´H«L«\³�«J¨J¬H¹<Õ�«J»t°,­�³4³o²�ÂSÃ8°,Ã:¬o´H«L«\³�¶�¬oÕo°,ª\¸t¨J°�«\»�¬e« � Ý - � .�� - �(� - ��. �(� . á¶�®h´�®h¶�®�¯�°6ª � ®�´Ó«J»t°)ª\°6¬o¨J¹<»q´t°6®h½H»4¼Q³H¨\»t³4³E±yÂ�Ã�»t®�¹<»Ó¶�°6¬o´�ª�«\»�¬e«&®h«�ª\»t³H¸t­�±Ó¼Q°�­h°Aª\ª�«\»Q¬e´� Ý - � .�� - � . áz¾ ) ³aÃ8°6Åo°6¨6ÂS«\»�®�ª�Ã�®�­�­�´t³e«�¼·°N«\»t°�¹6¬oª\°NÃ�»t°�´��

� Ý - ��.�� - ��. á � � Ì + - "$#&%�Ý(� � �£á � Ý?Ë � tá +'-�"$#&%�Ý'�£á ÝmÌoÌHá

³o¨"$#&%�Ý(� � �:á �

Ý?Ë �!táÌ "$#&%�Ý(��á ÝmÌeÜSá

¿ ³g½H®hÅH°£¨\°A¬e­hÀÄ­�®Pº{°£¶�°6¬o´t®�´t½N³eº·«\»t®�ª�ÂH®Pº·«\»�°�­h³4³o²�³E¹�¹�¸t²t®�°6ª£Ë���6k«J»�³oºQ«J»t°x¬e¨J°6¬j³eº·«\»�°�¨\°A¹z«J¬o´t½o­�°¬e´Q±g«\»t°:ª\ÇS¸�¬o¨\°�±E®+*I°�¨J°�´�¹�°L³o´N«J»t°8¬kÅH°�¨<¬e½H°U¼·°�«?Ã:°�°6´�«\»t°8­h³4³H²�¬e´�±g«J»t°L¼�¬H¹<Õ4½o¨J³o¸t´�±j®�ªU¬o¼Q³H¸E«Ë6ØHØ�®�´S«\°6´�ª2®h«?©�­�°�ÅH°�­�ª�Ây«J»t°�´q¬�¼�¬H¹<Õ4½o¨J³o¸t´�±�Ã�®P«J»®�´S«\°6´�ª2®h«?©µÅa¬o¨\®�¬e´�¹�°�³oº 6oØ)­�°�ÅH°�­�ªN³o¨N¶�³o¨J°¶�¬k©�¹�¬o¸�ª\°,«J»t°N«\¨<¬o¹<ÕH°�¨:«\³�­�³Hª\°j«J»t°�­�³S³H²�¾

'_´�³o¨<±E°6¨�«\³�¬kÅH³o®�±)«\»t®�ª,ª\®P«J¸�¬a«J®h³H´�·Ã8°�»Q¬kÅo°N«\³�¶�¬oÕo°�ª\¸t¨J°�«\»Q¬a«x«J»t°�®�´t°6ÇS¸�¬o­h®h«?©ÆÝmÌeÜSᣮ�ª´t°6Åo°�¨,«\¨J¸t°o¾ ¿ »t°�ª\³o­�¸E«\®�³o´�®�ªj«\³)¶�¬oÕo°�«\»t°�¹�³4°���¹�®h°6´H« � ( .�� �� � ¬oªgª2¶�¬e­�­�¬oªj²Q³Sª\ª\®�¼t­h°HÂI®m¾ °o¾ ª\»t³o¸t­�±�¼·°�¬oªj¹�­�³Hª\°�¬oª,²Q³Sª\ª\®�¼t­h°�«\³µËH¾ ¿ »t®�ªx¶�°6¬o´�ª�«J»�¬a«gÃ8°&ª2»�³o¸t­�±�ª?«J¨\®�Åo°�«\³�¨J°6ª2«\¨J®�¹�«x«\»�°«\°6¶�²t­�¬e«\°j³o´t­�©&«\³�²�®PÁE°�­�ª�«J»�¬a«£Ã:°xÕ4´t³aÃʼQ°6­h³H´t½�«J³�«\»�°,­�³S³H²�¬e´Q±�¬kÅo³H®�±�«\»�°j®�´�¹�­�¸�ª\®h³H´�³eºc¬Hª¶�¬e´4©�¼�¬H¹<Õ4½o¨J³o¸t´�±�²t®PÁE°6­�ªx¬Hª£²Q³Sª\ª\®�¼t­h°H¾

��*�e*,��*,����*x�

ÉhË�Í�Ð�¾�¾�Þx­�­�°�´�Â+Þ�¾ ¿ ®�¶�¹�°�´tÕH³� D ¾��g¾hÂU¬e´�±Ð�¾�A�®�¹<»t°�­�¶�¬e´�¾�Þx¸E«J³o¶�¬a«J°6±µ«\¨<¬o¹<Õ4®�´t½�¬o´�±½o¨<¬oª\²t®�´t½�³eº�¬�¶�³aÅS®�´t½�³H¼E×?°6¹�«�Ã�®P«J»Ó¬�¨\³H¼Q³o«\®�¹�»Q¬e´�±4À�°�©H°�ª2©Eª2«\°�¶�¾� ��������� � � �������� ��� � ��� � � � ����� ��� � � � ��� � �Q &�ÝÄÌoá ��Ë 6HÌ��IË,8 6tÂHÞ,²t¨\®�­�Ë &�&oÜ�¾

Page 14: Camera - Columbia Universityallen/PAPERS/iros03.pdf · 2003. 12. 2. · Camera Objective Grasping loop Proteins Robot Robot Control Frame Camera Frame Target Frame Z Y X Y r r c c

É ÌkÍ � ¾U§8»�¬e¸�¶&°�«2«J°o¾�Ð�³o«\°6´H«J®�¬o­U²�¨\³H¼t­h°6¶�ªj³oº:ª2«J¬o¼t®h­�®h«?©�¬e´�±�¹�³o´4ÅH°�¨J½o°�´Q¹�°�®�´µ®�¶�¬e½H°�À�¼�¬oª\°6±¬e´Q±�²·³Hª\®h«\®�³o´EÀ�¼�¬oª\°6±�Å4®�ª\¸�¬o­�ª2°6¨\ÅH³o®�´t½�¾ � ����� � ��� � � � � � ����� � � ��� � ��� � � � � � � ������ � � �� � ����� ��� �� � ���� ��� � � ����� � �������! � �"#" � � � ���$"&% ���! � ' � �+�, eÂHÌoÜSÙ�� 8 8 �tÙ�BtÂË,& &�B�¾

É ÜaÍ �Q¾ ¿ ¾ � °A±t±E°6¶�¬¬e´Q± ¿ ¾)(�¾�§8»�¨\®�ª?«J°�´�ª\³o´c¾�Ð�¬e¨<¬e­�­�°�­8¬Hª\ª\°�¶�¼t­�©�³oºx»t®h½H»�¬oª\²·°6¹z«�¨<¬a«\®�³¶�®�¹�¨\³Sª?«J¨\¸Q¹z«\¸�¨\°Aª�¾ '_´�"�* �� � � ��� � � � � � � �+�� �� � ��� � ��� � � � � �,�� �� � � � � � % ���+��� � ����²�¬o½o°6ªNË�6eÜ��·Ë,8oÎ� �8³Sª?«J³o´� ")�EÞ� �4°�²E«J°�¶�¼Q°6¨�Ë,& &�&t¾

É ÎeÍ �&¾ � ­�¬e´Q±E®h´c � ¾I§8»Q¬e¸t¶�°�«\«\°H·¬o´�± �x¾ A�¬e¨<¹<»�¬e´Q±y¾ �L©o°�ÀÄ®�´EÀ�»�¬e´�± �&°6©o°�ÀÄ«\³oÀÄ»Q¬e´�±�¹�³4³H²EÀ°�¨<¬a«J®h³H´&º{³o¨�Å4®�ª2¸�¬o­�ª\°�¨JÅo³o®�´t½Q¾ '_´ ���� � 0��� � � �������>� � � ��� ��� � �0� � ��� � ����������� � ����Â!�t¬e´� ¨<¬e´Q¹�®�ª\¹�³�ÂQ§:Þ�ÂQÞx²t¨J®h­cÌoØoØHØt¾

É 6kÍ �&¾ ) ¬o½o°�¨:¬e´�±�Ð�¾ �:°�­�»4¸t¶�°�¸t¨A¾ � ��¹�®h°6´H«:¨\°6½o®�³o´�«J¨J¬H¹<ÕS®�´t½�Ã�®h«\»)²�¬e¨<¬e¶�°�«\¨J®�¹�¶�³E±E°6­�ª8³eº½o°6³o¶�°�«J¨\©)¬e´�±)®h­�­�¸t¶�®h´�¬e«\®�³o´�¾-* �.� zÂQÌoØ�Ý?ËAØHá0�hËAØHÌ�6 �·ËAØoÜ�&�ÂHÖg¹z«J³o¼·°�¨�Ë,& &�B�¾

É 8aÍ �¾ ) ¬oª\»t®�¶�³e«\³Q¾/�� � �����0" � 21 � ��� 43 � � ��� ����� �5� � � � ��� �6� � � � ���7� ����� % ���+� � � ��8 � � � �� �9�� � ��� �7" � ���0�� ��: ��� � � ����;e¾>(³o¨J­�± �E¹�®h°6´H«J®PÈ·¹��E°�¨J®h°Aª8®�´<(�³o¼·³e«J®�¹6ª:¬o´�±�Þ,¸E«\³H¶�¬a«\°A±�4©Eª2«\°�¶�ª6ÂtÛ�³o­�Ù4Â�(³o¨J­�±5�E¹�®�°�´S«J®PÈQ¹�ÐL¨\°Aª\ª6 �4®�´t½H¬o²Q³H¨6ÂyË &�&oÜ�¾

ÉvÙAÍ �I¾ ) ¸E«<¹<»t®�´�ª2³H´� �&¾ ) ¬e½o°6¨6ÂS¬e´�±�Ð�¾4§8³o¨JÕo°H¾·Þ «\¸E«J³o¨J®�¬o­�³H´�ÅS®�ª\¸�¬e­·ª2°6¨\ÅH³�¹�³o´S«J¨\³H­m¾ �� ���� � �����%��� � � � � ��� � � ��� � � ��� � � � ��� � �QÂ�ËAÌ�Ý 6Há � 8 6EË�� 84ÙaØtÂ4Ög¹z«\³H¼Q°6¨�Ë,& &�8t¾

É BaÍ�Ð�¾�A�¬e¨\«\®�´t°�«6Â�4�¾4ßj¬o¸�¹<»t°6¨6 �Q¾ �N¬o­h­�®�¹�°oÂE¬e´Q± Aq¾Eß,»�³o¶�°o¾ � � � ��� � ������ � � � � ���! ����� � �>=���+��?%���� �@� � ��������� � ����¾ (�³H¨Jª\»t³o²�³H´ 4x°6à ¿ ¨J°�´�±�ªx®�´ '_¶�¬e½o°�ÀļQ¬oª\°6±<(�³o¼·³e«��4°�¨JÅo³H®h´t½QÂ'6(xÖ��7A &SÙ4 �g¨J°�´�³o¼t­�°oÂyË &�&SÙE¾

É &aÍ D ¾ A�°6¯�³o¸Q¬e¨�¬e´Q±qÐ�¾ �¾UÞ,­h­�°�´c¾�Ûj®�ª\¸�¬o­8ª\°�¨JÅo³4°6±�¶�®�¹�¨\³H²Q³Sª2®h«\®�³o´t®�´t½�º{³H¨�²t¨J³e«J°�®�´¶�¬eÀ´t®�²t¸t­�¬a«J®h³H´�¾I'_´ � � � � �������� � � � ��� � � � � � ��� ��� � ��� �B" ��� � � � ���C� � � ������� � �)"ED%���GF � �+��� �a²�¬o½o°6ªNËaÙ 8 8 �·ËaÙoÙEËoÂHÌoØoØHÌt¾

ÉhË6ØaÍ �g¾���¾%4,°�­�ª2³H´� D ¾ E·»t³o¸cÂ8¬e´Q± �g¾�Û,®�Õ4¨J¬o¶�¬H±E®h«?©H¬t¾-�4°6´�ª\³o¨\Àļ�¬Hª2°A±q¶�®�¹�¨\³S¬oªJª2°6¶�¼t­�©Æ³eº»4©4¼t¨\®�±)¶&°6¶�ª�±E°�Å4®�¹�°6ª6¾ ������IH � �� � ������ � �7" ��� � � ��ÂE²Q¬e½o°Aª£Ü 6��4Î!6tÂSßj°6¹�°�¶�¼·°�¨NË &�&�B�¾

ÉhËoË�ÍNÛ�¾���¾ 4x®�°�´�´�¬e¼·°�¨AÂ�Ð�¾J(�®�¹<»�¬e¨<±tª\³o´�Â+Û�¾ N­�®h½H»t³aÅo°6¨6Â���¾ �8³H¸�ª\Õk¬�ÂUÛ�¾ �L¾��g®�¨<¬e´�±t¬�Â+¬o´�±�Q¾��g°6°�¨A¾ ß,®�ª\¹�³aÅo°6¨\®�´t½q´t³aÅH°�­g­h®�½H¬o´�±tª�º{³o¨�¶�¬H¹�¨J³o¶�³o­�°6¹�¸t­�°6ª�¸Qª2®�´t½ÒÁSÀ�¨<¬k© ¹�¨\©Eª2«J¬e­�­�³eÀ½o¨<¬e²�»t®�¹NªJ¹�¨J°�°6´t®h´�½�¾K � � �$8 � � � � � � � � � ��Â+Ë,B��hËHË6Ø!6��·ËHË6Ø BtÂHÌoØoØoØ�¾

ÉhËAÌkÍ5(�¾ � ¾ �4°�¨JÅ4®�¹�°o¾ ¿ »t°�¬e¸E«J³o¶�¬a«J°6±�¬o²t²t¨J³H¬o¹<»�«\³&²t¨\³o«\°6®h´�ª?«J¨\¸�¹�«\¸t¨J°o¾�" ��� � � � �5L0MON ÂyËAÜeÎ!6tÂË,& &�&�¾

ÉhË6ÜaÍ Aq¾��4¸�¼t¼�¬e¨<¬e³Q ¿ ¾U§8»t³o®ÄÂ�¬e´�±�Þ�¾�4,®hÕ4¯6¬H±y¾ � ³4¹�¸�ª\®h´t½)«\°A¹<»t´t®�ÇS¸t°6ª6¾ ¿ °6¹<»t´t®�¹�¬o­K(�°�²·³o¨\«&HÌt¾ Ø &t¾ ØeÎQÂSßj°�²E«A¾�³oº �x¾ �xÂ�� " 4 D �S«\³H´S© �8¨J³4³oÕIÂIË,& &HÌE¾

ÉhË�ÎeÍ�§j¾���¾+Û�°�¨J­h®�´�±E°H¾ �S«\¨J¸�¹�«\¸t¨J°�À�¼�¬oª\°6±q±t¨\¸t½�±E°6ª\®h½H´���²t¨J³o½o¨J°6ªJª6Âc¨J°6ª\¸t­P«<ª�¬o´�±Ó¹<»�¬o­h­�°�´t½H°6ª6¾" �� ����� �� �5L Ât²�¬o½o°Aª 6HÙoÙ���6�BSÙ4ÂQË,& &eÎ�¾

ÉhË 6kÍ ��¾�(�°6®�ªJª�ÂHÞ�¾ �E¬o´�±E°6¨Jª\³o´�Âe¬o´�±�§j¾�4x°�¸�¶�¬o´�¾�ßj©4´�¬e¶�®�¹�ª2°6´�ª2³H¨2À�¼�¬Hª2°A±�¹�³H´H«J¨\³H­H³oº·¨J³o¼·³e«<ªÃ�®h«\»�Å4®�ª2¸�¬o­yº{°�°A±E¼�¬H¹<Õ·¾ �����PH ���� � ��� �6� � � � ��� � �0�@� ����� ��� � � � ��� � �QÂQÜQÝ 6oá0� ÎSØeÎ �SÎ�ËaÙ4ÂÖg¹z«J³o¼·°�¨�Ë &�BSÙE¾

ÉhË,8aÍ�(�¾ ( ®h­�ª2³H´�ÂI§j¾ (�¾ ) ¸t­�­�ª6ÂQ¬o´�± �&¾ �:°�­�­Ä¾Q(x°�­�¬a«\®�Åo°�°6´�±4À�°0*I°6¹�«\³o¨g¹�³H´H«J¨\³H­y¸�ª\®h´t½)¹�¬e¨\«\°�Àª\®�¬o´µ²·³Hª\®P«J®h³H´EÀļQ¬oª\°6±�Å4®�ª2¸�¬o­+ª\°�¨JÅo³H®h´�½�¾ ������ � � ����� ��� � � � ��� � �0� ��� � � ��� � � � ��� � �QÂËAÌ�Ý 6Há � 8�BeÎ � 8 &�8tÂQË,& &�8t¾