a type of snakes called water balloons in image processing

8/8/2019 a type of snakes called water balloons in image processing

1/6

o f I n t e r n a t i o n a l J o i n t C o n f e r e n c e o n N e u r a l N e t w o r k s , O r l a n d o , F l o r i d a , U S A , A u g u s t 1 2 - 1 7 , 2 0 0 7

W a t e r B a l l o o n s : A H y b r i d W a t e r s h e d B a l l o o n S n a k e S e g m e n t a t i o nI s s a m D a g h e r a n d Kamal E l Tom

A b s t r a c t - I n t h i s p a p e r , a new i m a g e s e g m e n t a t i o nt e c h n i q u e c a l l e d W a t e r B a l l o o n s i s i n t r o d u c e d . I tc o m b i n e s b o t h W a t e r s h e d s e g m e n t a t i o n a n d t h e A c t i v eC o n t o u r Model known a s B a l l o o n S n a k e . Th eW a t e r s h e d t r a n s f o r m h a s a m a j o r p r o b l e m o f o v er -s e g m e n t a t i o n . S o l u t i o n s l i k e R e g i o n m e r g i n g , u s e o fm a r k e r s , u s e o f m u l t i - s c a l e s h a v e b e e n p r o p o s e d . T h e s ea p p r o a c h e s l e d t o o t h e r p r o b l e m s s u c h a s u n d e r -s e g m e n t a t i o n . Th e B a l l o o n S n a k e i n a n i n n o v a t i v ea p p r o a c h t h a t d e t e c t s s a l i e n t o b j e c t s i n a n i m a g e . B u ti n g e n e r a l S n a k e s a r e v e r y s e n s i t i v e t o i n i t i a l i z a t i o n a n dn e e d u s e r i n t e r a c t i o n s a n d a - p r i o r i k n o w l e d g e o fo b j e c t s t o s e g m e n t . W a t e r B a l l o o n s p r o v i d e t h ea d v a n t a g e o f r e d u c i n g w a t e r s h e d o v e r - s e g m e n t a t i o np r o b l e m s w h i l e p r e v e n t i n g u n d e r - s e g m e n t a t i o n a n de n s u r e a u t o m a t i c i n i t i a l i z a t i o n o f t r a d i t i o n a l s n a k e s . I na d d i t i o n , a m e t h o d f o r p a r a m e t e r o p t i m i z a t i o n o f t h ep r o p o s e d h y b r i d s n a k e i s i n t r o d u c e d b a s e d o n e n e r g yt r a n s i t i o n s t r a c k i n g .

i . INTRODUCTIONI m a g e s e g m e n t a t i o n i s t h e p r o c e s s o f d i s t i n g u i s h i n go b j e c t s o f i n t e r e s t f r o m a g i v e n i m a g e . I n t h i s s e c t i o n , t h ef o l l o w i n g s e g m e n t a t i o n t e c h n i q u e s a r e i n t r o d u c e d :T h e w a t e r s h e d t r a n s f o r m , t h e A c t i v e c o n t o u r m o d e l s( S n a k e s ) , a n d t h e B a l l o o n S n a k e s .A . T h e w a t e r s h e d t r a n s f o r mT h e w a t e r s h e d t r a n s f o r m i s t h e b a s i c s e g m e n t a t i o n t o o l i nm a t h e m a t i c a l m o r p h o l o g y [ 1 ] , [ 2 ] . T h e w a t e r s h e d c o n c e p tc o m e s f r o m t h e f i e l d o f t o p o g r a p h y : I n a t o p o g r a p h i cs u r f a c e , t h e w a t e r s h e d s a r e t h e l i n e s d i v i d i n g t w oc a t c h m e n t b a s i n s . A g r a y - s c a l e g r a d i e n t i m a g e i sc o n s i d e r e d a s a t o p o g r a p h i c s u r f a c e w h e r e t h e v a l u e o fe a c h p i x e l r e p r e s e n t s t h e e l e v a t i o n o r a l t i t u d e a t t h a t p o i n t .T h u s , h i g h - g r a d i e n t i m a g e e d g e s r e p r e s e n t w a t e r s h e d sw h i l e l o w - g r a d i e n t r e g i o n s c o r r e s p o n d t o c a t c h m e n tb a s i n s . W a t e r s h e d r e g i o n s o r c a t c h m e n t b a s i n s o f t h e' t o p o g r a p h i c ' i m a g e a r e h o m o g e n e o u s m e a n i n g t h a t t h ec o r r e s p o n d i n g p i x e l s a r e c o n ne c t e d w i t h a p a t h o fm o n o t o n i c a l l y d e c r e a s i n g a l t i t u d e . E a c h c a t c h m e n t b a s i n i sr e p r e s e n t e d b y t h e s e t o f p i x e l s t h a t w i l l d r a i n t o t h e s a m el o c a l m i n i m u m . A w a t e r s h e d l i n e w i l l s e p a r a t e e a c h p a i r o f

b a s i n s , a n d t h e f i n a l u n i o n o f a l l t h e l i n e s w i l l d e f i n e t h ew a t e r s h e d s e g m e n t a t i o n .I f we i m a g i n e a h o l e i n e a c h l o c a l minimum a n di m m e r s e t h e t o p o g r a p h i c s u r f a c e i n w a t e r , t h e w a t e r s t a r t sf i l l i n g a l l t h e c a t c h m e n t b a s i n s p r o g r e s s i v e l y . T h e r e w i l l b ea n i n s t a n t a t w h i c h w a t e r c o m i n g f r o m t w o d i f f e r e n tm i n i m a w o u l d m e e t a n d m e r g e t h e t w o b a s i n s . T o a v o i dt h a t d i f f e r e n t b a s i n s m e r g e , a dam i s b u i l t a t e a c h p o i n t o fc o n t a c t . F o l l o w i n g t h e f l o o d i n g o r i m m e r s i o n p r o c e s s , t h eu n i o n o f a l l t h o s e d a m s c o n s t i t u t e s t h e w a t e r s h e d s . T h ew a t e r s h e d t r a n s fo r m d e no t es t h e a s s i g n m e n t o f a l l p o i n t si n a d i s t i n c t c a t c h m e n t b a s i n w i t h t h e s a m e l a b e l , w h i l e as p e c i a l l a b e l i s a s s i g n e d t o a l l p o i n t o f t h e w a t e r s h e d .E f f i c i e n t a l g o r i t h m s h a v e b e e n p r o p o s e d t o s i m u l a t e t h ei m m e r s i o n p r o c e s s [ 3 ] , [ 4 ] .I n [ 5 ] t h e n o t i o n s o f b a s i n s a n d c o n t o u r s d y n a m i c s a r ei n t r o d u c e d , w h i c h r e q u i r e i n t e r a c t i v e d y n a m i c st h r e s h o l d i n g . M u l t i s c a l e a n a l y s i s [ 6 ] o f i n t e n s i t y m i n i m ai n t h e g r a d i e n t m a g n i t u d e i m a g e p r o v i d e s a m e c h a n i s m f o ri m p o s i n g a s c a l e - b a s e d h i e r a r c h y o n t h e w a t e r s h e d sr e g i o n s , w h i c h c a n b e u s e d t o l a b e l w a t e r s h e d b o u n d a r i e sa c c o r d i n g t o t h e i r s c a l e . T h e d i s a d v a n t a g e o f t h i s m e t h o di s t h a t s e v e r e G a u s s i a n b l u r r i n g t h r o u g h s c a l e s p a c e r e s u l t si n d i s l o c a t e d o r p e r t u r b e d e d g e s .T h e a d v a n t a g e o f t h e w a t e r s h e d t r a n s f o r m i s t h a t i tp r o d u c e s c l o s e d a n d a d j a c e n t c o n t o u r s i n c l u d i n g a l l i m a g ee d g e s . O f t e n t h e w a t e r s h e d p r o d u c e s a s e v e r e o v e r -s e g m e n t a t i o n , b u t t h e c r u c i a l p o i n t i s t h a t a l l i m p o r t a n to b j e c t b o u n d a r i e s a r e i n c l u d e d , a n d t h e t a s k i s r e d u c e d t oe l i m i n a t i n g t h e u n d e s i r e d o n e s .Some s o l u t i o n s o f t h e o v e r - s e g m e n t a t i o n a r e :1 ) R e g i o n M e r g i n g :A s i m p l e r e g i o n m e r g i n g m e t h o d b e g i n s w i t h t h ea s s u m p t i o n t h a t e a c h p i x e l i s a s e p a r a t e i m a g e r e g i o n o rb e l o n g s t o a p r e - s e g m e n t e d r e g i o n . A d j a c e n t r e g i o n s a r et h e n m e r g e d b a s e d o n t h e r e g i o n ' s s t a t i s t i c s , s u c h a s t h emean [ 7 ] . F a s t i m p l e m e n t a t i o n s o f t h i s m o d e l g r o u p p i x e l sb y t r a c i n g " w a t e r f a l l s " t o t h e i r c o r r e s p o n d i n g m i n i m a a n dt h e n m e r g e t h e r e s u l t i n g r e g i o n s b a s e d o n t h e d e p t h o rv o l u m e o f t h e r e s u l t i n g p o o l [ 8 ] . M o r e o v e r , s o m e " v i s u a l l yh e t e r o g e n e o u s r e g i o n s " may b e " s t a t i s t i c a l l y h o m o g e n e o u sr e g i o n s " . T o o v e r c o m e t h i s p r o b l e m , c a r e f u l i n t e r v e n t i o nf r o m t h e u s e r o r e x p l i c i t p r i o r k n o w l e d g e o n t h e i m a g es t r u c t u r e i s n e c e s s a r y f o r r e g i o n m e r g i n g .

I s s a m D a g h e r : A s s o c i a t e P r o f e s s o r , U n i v e r s i t y Of b a l a m a n d . L e b a n o nK a m a l E l T o m : M S s t u d e n t . U n i v e r s i t y Of b a l a m a n d . L e b a n o nE m a i l : d a g h e r i a b a l a m a n d . e d u . l b1 - 4 2 4 4 - 1 3 8 0 - X / 0 7 / $ 2 5 . 0 0 2 0 0 7 I E E E


2/6

2 ) M u l t i - s c a l e H i e r a r c h i c a l S e g m e n t a t i o n :O n e way t o a v o i d t h e s e g m e n t s t h a t r e s u l t f r o m s m a l lv a r i a t i o n s i n t h e g r a d i e n t i m a g e i s t o l o w - p a s s f i l t e r ( b l u r )t h e i m a g e i n o r d e r t o r e m o v e t h e s e g r a d i e n t s . H o w e v e r ,l o w - p a s s f i l t e r i n g w i l l a l s o d e c r e a s e t h e p r e c i s i o n . I nm u l t i - s c a l e h i e r a r c h y [ 6 ] , a s t h e G a u s s i a n s c a l e s i g m ai n c r e a s e , t h e w a t e r s h e d s c h a n g e b o t h n u m b e r a n d p o s i t i o n .T h i s m e a n s t h a t o b j e c t s c o n s t r u c t e d b y m e r g i n g h i g h s c a l es e g m e n t s , w i l l h a v e b o r d e r s t h a t a r e d i s t o r t e d c o m p a r e d t ot h e l o w s c a l e b o r d e r s , a n d t h i s m i g h t c a u s e p r o b l e m s w h e ns h a p e i n f o r m a t i o n i s u s e d t o c o n t r o l t h e m e r g i n g o fs e g m e n t s . S i n c e s e g m e n t s a r e l i n k e d o v e r s c a l e t h i s i sh a n d l e d b y r e p l a c i n g a l l h i g h s c a l e s e g m e n t s b y t h e u n i o no f i t s l o w s c a l e " c h i l d r e n " s e g m e n t s l i n k e d t o i t [ 6 ] .3 ) M a r k e r - C o n t r o l l e d W a t e r s h e d S e g m e n t a t i o n :A m a r k e r i s a c o n n e c t e d c o m p o n e n t b e l o n g i n g t o a ni m a g e . I n t e r n a l m a r k e r s a s s o c i a t e w i t h o b j e c t s o f i n t e r e s t ,a n d e x t e r n a l m a r k e r s a s s o c i a t e w i t h t h e b a c k g r o u n d . T h ec r i t e r i a f o r a n i n t e r n a l m a r k e r c a n f o r e x a m p l e b e t h a t i th a s t o b e s u r ro u n d e d b y p i x e l s w i t h h i g h e r a l t i t u d e . T h e s em a r k e r s a r e t h e n m a d e t o b e t h e o n l y a l l o w e d m i n i m a i nt h e w a t e r s h e d a l g o r i t h m . T h e w a t e r s h e d l i n e s c r e a t e d h e r ea r e d e f i n e d a s e x t e r n a l m a r k e r s . T h e e x t e r n a l m a r k e r se f f i c i e n t l y p a r t i t i o n t h e i m a g e i n t o r e g i o n s c o n t a i n i n g o n es i n g l e i n t e r n a l m a r k e r a n d s o m e b a c k g r o u n d . T h e p r o b l e mi s t h e n r e d u c e d t o p a r t i t i o n i n g e a ch o f t h e s e r e g i o n s i n t ot w o , w h i c h c a n b e d o n e b y s o m e s i m p l e r s e g m e n t a t i o na l g o r i t h m .

B . S n a k e sI n 1 9 8 7 , K a s s , W i t k i n a n d T e r z o p o u l u s i n t r o d u c e d t h eA c t i v e C o n t o u r M o d e l s c o m m o n l y k n o w n a s S n a k e s [ 9 ] .A c t i v e c o n t o u r i s d e f i n e d a s a n e n e r g y m i n i m i z i n g s p l i n e .I t s e n e r g y d e p e n d s o n i t s s h a p e a n d l o c a t i o n w i t h i n t h ei m a g e . A s na k e c a n b e c o n s i d e r e d a s a n u m b e r o f c o n t r o lp o i n t s o r s n a x e l s t h a t a r e l i n k e d t o g e t h e r a n d f r e e t od e f o r m u n d e r t h e c o n s t r a i n i n g f o r c e s . T h e c o n t r o l p o i n t sv ( s ) = [ x ( s ) , y ( s ) ] a r e t r a d i t i o n a l l y p l a c e d n e a r t h e e d g e s o fi n t e r e s t b e c a u s e o f t h e p o o r c a p t u r e r a n g e o f a s n a k e .S n a k e d e f o r m a t i o n i s c a r r i e d b y m in im i z a ti o n o f a ne n e r g y f u n c t i o n s o t h a t t h e c o n t o u r w i l l move f r o m a ni n i t i a l p o s i t i o n u n t i l t h e e n e r g y w i l l s t a b i l i z e a t s i g n i f i c a n te d g e s .F u r t h e r m o r e , a s n a k e w o r k s b e t t e r w h e n a l l t h e p o i n t sa r e e q u a l l y s p a c e d a n d n o t t o o f a r a p a r t . T h i s i s t o e n s u r e ab e t t e r p e r f o r m a n c e i n e d g e t r a c i n g . T h e r e f o r e , a ni n t e r p o l a t i o n m e c h a n i s m i s n e e d e d t o s e t t h e a p p r o p r i a t el i m i t a t i o n s o n t h e d i s t a n c e s b e t w e e n c o n t r o l p o i n t s . I fp o i n t s a r e t o o c l o s e o r t o o f a r a p a r t , t h e m e c h a n i s m m u s td e l e t e o r a d d p o i n t s r e s p e c t i v e l y i n o r d e r t o h a v e a g o o di n i t i a l p o s i t i o n . A t e a c h s t e p o f d e f o r m a t i o n , t h i s p r o c e s s o fc h e c k i n g t h e i n i t i a l c o o r d i n a t e s s h o u l d b e d o n e t o e n s u r eb e t t e r p e r f o r m a n c e o f a s n a k e .T h e t o t a l s n a k e e n e r g y i s d e f i n e d a s [ 9 ] :E s n a k e 2 y [ a ( s ) l v s l + ( s ) v s ] E e x t ( v ( s ) ) d s

F i n d i n g a c u r v e f o r w h i c h E h a s a s t a t i o n a r y v a l u e i s ap r o b l e m o f v a r i a t i o n a l c a l c u l u s a n d o n e c a n a p p l y t h ef u n d a m e n t a l E u l e r - L a g r a n g e D i f f e r e n t i a l E q u a t i o n g i v i n gt h e f o l l o w i n g e q u a t i o n :a ( s ) v s s - ( s ) v s s s s - V E e x t 0 ( 2 )W h e r e t h e t h i r d t e r m i s n o r m a l i z e d b y t h e e x t e r n a l e n e r g yw e i g h t y . S o l u t i o n o f t h e a b o v e e q u a t i o n g i v e s u s o u rf i n a l c o n t o u r m i n i m i z i n g E s n a k e ' O n e way t o i n t e r p r e t t h i se q u a t i o n i s t o c o n s i d e r i t t o b e a f o r c e b a l a n c e e q u a t i o n o fa s y s t e m :

F i n t + F e x t 0 ( 3 )w h e r e

F i n t = a ( s ) v s s - ( S ) V s s s sa n d

F e x t -VE e x tT h e f i n a l s o l u t i o n [ 9 ] i s :

v t = [ A + , r I ] 1 [ , v t _ 1 - F ( v t _ 1 ) ]W h e r e t i s t h e t i m e s t e p .S p l i t t i n g b a c k v i n t o i t s x a n d y c o m p o n e n t s :x t = [ A +r I ] ' [ x t _ l - F x ( x t - , ) ]

( 4 )( 5 )( 6 )

( 7 )Y t =[A + r I ] [ t Fy ( x t - 1 , y t - ) ] ( 8 )

F x ( x t - I , Y t - I ) i s t h e g r a d i e n t f o r c e i n x d i r e c t i o n o n p o i n t( x t - I I Y - y ) o f t h e i m a g e . I t i s r e t r i e v e d f r o m t h e g r a d i e n ti m a g e d a t a w h e n s n a k e m o v e s o n t o t h i s p o i n t . S i m i l a r l y ,e v e r y p o i n t o n t h e s n a k e w i l l f o l l o w t h i s p r o c e s s a n dm o v e s t o i t s new p o s i t i o n . T h i s i s t h e c o mp l e t e m i n i m i z i n gp r o c e s s f o r s n a k e d e f o r m a t i o n .Some o f t h e p r o b l e m s f a c e d b y t h e S n a k e s a r e :1 ) I n i t i a l i z a t i o n :A s n a k e i s t r a d i t i o n a l l y i n i t i a l i z e d b y h a n d ( i . e . p l a c i n g t h ei n i t i a l p o s i t i o n s o f c o n t r o l p o i n t s ) a n d n o t a u t o m a t i c a l l yd o n e b y c o m p u t e r . T h e c o n t r o l p o i n t s n e e d t o b e f i r s tp o s i t i o n e d n e a r t h e e d g e s o f i n t e r e s t d u e t o t h e s m a l lc a p t u r e r a n g e o f i m a g e g r a d i e n t . T h i s i s e a s i l y d o n e b yh u m a n s b u t i s n o t a n e a s y t a s k f o r a s y s t e m t o i n t u i t i v e l yr e a l i z e t h e o b j e c t o f i n t e r e s t . H o w e v e r , i f t h e r e i s e n o u g hc o m p u t e r p o w e r , o n e c a n a l w a y s e x e c u t e many s n a k e s a l lt o g e t h e r a n d l e t i t r a n d o m l y p i c k u p a l l t h e e d g e s i n a ni m a g e a n d t h e n s e l e c t t h e r e q u i r e d o n e s .

2 ) G e n e r a t i n g S n a k e P a r a m e t e r s :P r o d u c i n g a s u i t a b l e s e t o f p a r a m e t e r s f o r s n a k ei n i t i a l i z a t i o n i s a n o t h e r d i f f i c u l t y . P a r a m e t e r s / w e i g h t s o fe n e r g i e s t o t a l l y c o n t r o l t h e p e r f o r m a n c e o f s n a k ed e f o r m a t i o n . C h o o s i n g a s e t o f p a r a m e t e r s ( a , / 3 , y ) t h a tc a n b e u s e d f o r a p a r t i c u l a r o b j e c t i n a n i m a g e i s a d i f f i c u l tt a s k f o r a c o m p u t e r . H o w e v e r , a f t e r i n i t i a l i z i n g a s n a k e , i ti s d i f f i c u l t t o h a v e a s y s t e m t h a t a u t o m a t i c a l l y c h a n g e s t h ep a r a m e t e r s w i t h r e s p e c t t o t i m e u s i n g d a t a f r o m t h e i m a g e .


3/6

3 ) C a p t u r e R a n g e :I f a n o b j e c t i n t h e i m a g e h a s a n e d g e w h i c h s h o w s ac o n c a v i t y t h e n t h e t r a d i t i o n a l s n a k e w i l l h a v e a p r o b l e m i nt r a c i n g t h e e d g e a t t h i s c o n c a v e d p a r t . T h e r e a s o n i s t h a tt h e c a p t u r e r a n g e a t t h e s e p a r t s o f e d g e s i s t o o f a r f r o m t h es n a k e ( F i g . 1 ) . A p o o r s o l u t i o n i s t o i n c r e a s e t h e ' c ' v a l u eo f t h e G a u s s i a n b l u r r i n g f i l t e r , t h u s i n c r e a s i n g t h e s n a k ec a p t u r e r a n g e , b u t t h e e d g e o f t h e o b j e c t w i l l b e a l s ob l u r r e d a n d c a n n o t b e t r a c e d a c c u r a t e l y . A m e t h o d c a l l e d' G r a d i e n t V e c t o r F l o w ' ( G V F ) i s l a t e l y p r o p o s e d t oo v e r c o m e t h i s p r o b l e m . T h i s m e t h o d m a k e s u s e o f t h ea m p l i f i c a t i o n o f i m a g e g r a d i e n t t o i n c r e a s e t h e s n a k ec a p t u r e r a n g e a n d d e f o r m a t i o n s p e e d b u t s ho u l d c o n t a i nt h e m e d i a l a x i s o f t h e o b j e c t [ 1 0 ] . A n o t h e r m e t h o d t o s o l v et h i s p r o b l e m i s t h e B a l l o o n S n a k e t h a t w i l l i n f l a t e o rd e f l a t e t h e s n a k e f r o m i t s f a r t h e s t p o s i t i o n s t o t h e f i n a le d g e l o c a t i o n s t h u s i n c r e a s i n g t h e s n a k e c a p t u r e r a n g e .

F i g 1 . Low c a p t u r e r a n g e o f t r a d i t i o n a l s n a k eP r e v i o u s c o m b i n a t i o n s o f w a t e r s h e d a n d s n a k e s h a v e n o ts o l v e d t h e o v e r - s e g m e n t a t i o n p r o b l e m s . I n [ 1 1 ] , a s n a k ez o n e i s d e f i n e d a r o u n d t h e o b j e c t b o u n d a r i e s w h e r e t h ec o r r e s p o n d i n g w a t e r s h e d p o i n t s a r e c a n d i d a t e s f o r t h e t r u eo b j e c t b o u n d a r y . E n e r g y m i n i m i z a t i o n o r t h e s e a r c h i n gp r o c e s s i s c a r r i e d o u t u s i n g d y n a m i c p r o g r a m m i n g .H o w e v e r , i n m o s t a p p l i c a t i o n s t h e d i f f i c u l t y i s m a i n l y i nt h e d e f i n i t i o n ( l o c a l i z a t i o n ) o f t h e s n a k e z o n e .T h e w a t e r s h e d - b a s e d s e g m e n t a t i o n o n a d o w n - s a m p l e di m a g e i s u s e d t o g e t t h e i n i t i a l c o n t o u r s f o r t h e s n a k e [ 1 2 ] .T h i s w i l l g u a r a n t y a u t o m a t i c i n i t i a l i z a t i o n o f s n a k e s u s i n gw a t e r s h e d a n d s m o o t h n e s s o f w a t e r s h e d l i n e s u s i n g a c t i v ec o n t o u r s .A new e n e r g y f u n c t i o n a l i s d e r i v e d b a s e d o n t h et o p o g r a p h i c d i s t a n c e d e f i n i t i o n o f t h e w a t e r s h e d l i n e [ 1 3 ] .T h i s s e g m e n t a t i o n w i l l i n c o r p o r a t e c o n t r o l o v e r t h es m o o t h n e s s o f t h e w a t e r s h e d l i n e s .S m o o t h n e s s o f w a t e r s h e d l i n e s i s s o l v e d b u t t h e i m p o r t a n to v e r a n d u n d e r - s e g m e n t a t i o n p r o b l e m s o f w a t e r s h ed a r en o t a d d r e s s e d i n [ 1 2 ] , [ 1 3 ] .

C . B a l l oo n S n a k e sL a u r e nt D . C o h e n [ 1 4 ] , i n t r o d u c e d a m o d e l t h a t m a k e s t h ec u r v e b e h a v e s l i k e a b a l l o o n w i t h a n a d d i t i o n a l e x t e r n a lf o r c e w h i c h m o v e s t h e c o n t o u r o u t ( i n f l a t i o n ) o r i n( d e f l a t i o n ) a l o n g i t s n o r m a l t h u s e l i m i n a t i n g t h e n e e d f o rt h e i n i t i a l c u r v e t o b e c l o s e t o t h e c o r r e c t e d g e s . By p l a c i n gb a l l o o n s n a k e i n s i d e / o u t s i d e t h e o b j e c t o f i n t e r e s t a n di n f l a t e / d e f l a t e c o n t o u r t o i t s b o u n d a r y , t h i s new m o d e l i sv e r y u s e f u l f o r s o m e o b j e c t t h a t i s d i f f i c u l t t o l o c a t e o r t o oc o m p l i c a t e t o t r a c e b y o r i g i n a l m o d e l . T h e B a l l o o n s n a k ep a s s e s o v e r r e l a t i v e l y w e a k e d g e s a n d i t s t o p s o n s a l i e n te d g e s [ 1 4 ] , [ 1 5 ] .

I n B a l l o o n m o d e l , t h e o r i g i n a l s n a k e i n t e r n a l f o r c e i sk e p t t h e s a m e w h i l e a new e x t e r n a l ' p r e s s u r e ' f o r c e t e r m i sa d d e d t o t h e s n a k e f o r c e f u n c t i o n .T h e t o t a l b a l l o o n s n a k e f o r c e i s n o w :F s n a k e ( F i n t + F e x t ) + F p r e s s u r e ( 9 )

T h e e x t e r n a l f o r c e i s :F e x t =-VE e x t

= - G 6 ( X , y ) f ( x , y )F E k i m a g eV E i m a g eT h e p r e s s u r e f o r c e a d d e d i s g i v e n b y :

F p r e s s u r e = k l n ( s )

( 1 0 )

( 1 1 )w h e r e n ( s ) i s t h e n o r m a l u n i t v e c t o r t o t h e c u r v e a t p o i n tv ( s ) , a n d k 1 i s t h e a m p l i t u d e o f t h e f o r c e , i t i n d i c a t e si n f l a t i o n ( w h e n p o s i t i v e ) o r d e f l a t i o n ( w h e n n e g a t i v e ) .A t t h e s a m e t i m e , t h e v a l u e o f k 1 h a s a n i n f l u e n c e o n t h es p e e d o f d e f o r m a t i o n .

F s n a k e ( F i n t + F e x t ) + F p r e s s u r eF V E i m a - k 1 n ( s V )

kimage ( 1 2 )T h e F s n a k e i s t h e f o r c e e q u a t i o n t h a t n e e d s t o b em i n i m i z e d i n b a l l o on s n a k e d e f o r m a t i o n . D u e t o t h e n e w l ya d d e d p r e s s u r e f o r c e , b a l l o o n m o d e l i s a b l e t o o v e r c o m et h e o v e r s h r i n k i n g p r o b l e m i n t h e o r i g i n a l s n a k e . A l s o , i ft h e o b j e c t h a s a t r o u b l e s o m e s h a p e , p l a c i n g a b a l l o o ni n s i d e t h e i m a g e a n d e x p a n d i n g i t s c o n t o u r w i l l s o l v em a t c h i n g t h e d e s i r e d s h a p e . T h e f i n a l s o l u t i o n i s :v t = [ A + I ] x [ r v t _ 1 - F ( v t _ 1 ) + F p r e s s u r e ] ( 1 3 )

I I . WATERBALLOON SNAKEA . T h e H y b r i d T e c h n i q u e

S i n c e w a t e r s h e d r e g i o n s a r e c l o s e d a n d d i s j o i n t r e g i o n sw h o s e u n i o n s c o n s t i t u t e t h e w h o l e i m a g e a n d s i n c et r a d i t i o n a l s n a k e s n e e d t o b e i n i t i a l i z e d n e a r t h e t a r g e te d g e s , t h e w a t e r s h e d l i n e s a r o u n d e a c h r e g i o n c a n b ec o n s i d e r e d a s i n i t i a l s n a k e s . T h u s , w a t e r s h e d r e g i o n s a r ei n v o l v e d i n a m u l t i p l e s n a k e s a p p r o a c h . T h e i d e a o f t h i sm e t h o d i s t h a t t h e a p p r o p r i a t e i n t e r n a l a n d e x t e r n a l f o r c e ss h o u l d d r i v e t h o s e s n a k e s i n o r d e r t o b e d r a g g e d b y t h es i g n i f i c a n t e d g e s . T r a d i t i o n a l s n a k e s c o u l d n o t b ei n i t i a l i z e d f a r a w a y f r o m t h e t a r g e t e d g e s . GVF s n a k es h o u l d c o n t a i n t h e m e d i a l a x i s o f t h e o b j e c t t h e r e f o r e t h e yc a n n o t d r i v e w a t e r s h e d l i n e s .On t h e o t h e r h a n d , B a l l o o n s n a k e s c a n b e i n f l a t e d o rd e f l a t e d u n t i l t h e y a r e a t t r a c t e d b y t h e o b j e c t e d g e s .B a l l o o n s a r e f r e e t o b e i n i t i a l i z e d a n y w h e r e i n s i d e o b j e c t


4/6

d u e t o t h e p o w e r f u l e x t e r n a l p r e s s u r e e n e r g y t e r m t h a t w i l ld r i v e t h e s n a k e t o t h e c o r r e c t l o c a t i o n . S i n c e w a t e r s h e dr e g i o n s a r e o v e r - s e g m e n t e d v e r s i o n o f t h e o b j e c t , aB a l l o o n s n a k e i n i t i a l i z e d a t t h e l o c a t i o n o f a w a t e r s h e dr e gi o n c o nt o u r w i l l b e a s t r o n g c a n d i d a t e f o r c a p t u r i n g t h es a l i e n t o b j e c t e d g e s . W a t e r s h e d r e g i o n s c a n n o t c r o s s t h eo b j e c t e d g e s , s o B a l l o o n s n a k e s w i l l n o t c a u s e a n yp r o b l e m . T h e y a l s o d o n ' t h a v e t o i n c l u d e t h e o b j e c t m e d i a la x i s , w h i c h e n s u r e f r e e i n i t i a l i z a t i o n .F i g u r e 2 s h o w s t h e b l o c k d i a g r a m o f t h e p r o p o s e d h y b r i ds e g m e n t a t i o n t e c h n i q u e . T h e o r i g i n a l i m a g e i s l o w - p a s sf i l t e r e d o r b l u r r e d t o r e m o v e s m a l l n o i s y r e g i o n s . T h e n , t h ew a t e r s h e d t r a n s f o r m i s a p p l i e d o n t h e g r a d i e n t i m a g e t os e g m e n t w a t e r s h e d r e g i o n s . N o w , c o n t o u r - t r a c i n gt e c h n i q u e s c a n b e a p p l i e d t o e x t r a c t w a t e r s h e d r e g i o nc o n t o u r s . T h o s e c o n t o u r s w i l l c o n s t i t u t e t h e i n i t i a l b a l l o o ns n a k e s t h a t w i l l d e f o r m t o c a p t u r e t h e o b j e c t e d g e s .B a l l o o n s n a k e s h a v e a l a r g e c a p t u r e r a n g e s o c o r r e c t s n a k ed e f o r m a t i o n c a n b e g u a r a n t i e d e v e n i f t h e i n i t i a l s n a k e ( o rt h e c o n t o u r o f t h e w a t e r s h e d r e g i o n ) i s f a r a w a y f r o m t h et a r g e t e d g e s . T h i s s i t u a t i o n i s f r e q u e n t f o r a g i v e nc a n d i d a t e w a t e r s h e d r e g i o n , s o b a l l o o n s n a k e i s m o s ts u i t a b l e t o d r i v e t h e w a t e r s h e d c o n t o u r s . O n c e a s n a k ec a p t u r e s o n e o b j e c t , t h e i m a g e i s r e l a b e l e d s o t h a t t h e n e x ts n a k e w i l l n o t b e a w a t e r s h e d c o n t o u r i n s i d e t h e c a p t u r e do b j e c t . F o r e a c h s n a k e , p a r a m e t e r o p t i m i z a t i o n i s r e q u i r e dt o e n s u r e o p t i m u m e d g e l o c a l i z a t i o n .T h i s p r o c e s s i s r e p e a t e d f o r e a c h s n a k e t o o b t a i n t h eW a t e r B a l l o o n s e g m e n t a t i o n . I l l u s t r a t i o n o f t h e t e c h n i q u eo n t h e t w o t o u c h i n g b l o o d c e l l s i s s h o w n i n F i g u r e 3 w i t h al o w - r e s o l u t i o n i m a g e .

( c )F i g . 3 . P r o p o s e d S e g m e n t a t i o n S t r a t e g y . ( a ) I n i t i a l w a t e r s h e d r e g i o n sa n d l i n e s ( o v e r - s e g m e n t e d i m a g e ) . ( b ) D e f o rm a t i o n o f i n i t i a l w a t e r s h e dl i n e s w i t h B a l l o o n S n a k e s . ( c ) F i n a l C o n t o u r s w i t h t h e t w o b l oo d c e l l ss e p a r a t e d ( l i n e s a r e d r a w n i n s i d e p i x e l s ) .B . O p t i m i z a t i o n o f s n a k e p a r a m e t e r s b a s e d o n E n e r g yT r a c k i n gA s n a k e may n o t b e l o c a t e d a t t h e t a r g e t e d g e s d u e t o i t ss e n s i t i v i t y t o t h e s n a k e p a r a m e t e r s . T h u s t h e r e i s a n e e d t op a r a m e t e r o p t i m i z a t i o n t h a t b e s t l o c a l i z e t h e c o r r e c t e d g e s .T h e l a c k o f k n o w l e d g e a b o u t t h o s e e d g e s i s w h a t m a k e so p t i m i z a t i o n o f t h e s n a k e p a r a m e t e r s a v e r y h a r d p r o b l e m .T h u s a new a p p r o a c h f o r d e t e r m i n i n g t h o s e p a r a m e t e r s i sp r o p o s e d t h a t i s d e r i v e d f r o m t h e e n e r g y f u n c t i o n a lb eh a v i o r o f W a t e r Ba l l o o n s .

F i g . 2 . B l o c k D i a g r a m o f W a t e r B a l l o o n S e g m e n t a t i o n .


5/6

50 1 0 0 1 5 0 2 0 0 2 5 0( a )- 2 0 0 : 1

F400 4 l o W n ( r6 00 l E t b a o

-8 00A

-1000V ' - , . X

- 1 2 0 0 -h

- 1 4 0 0 00 1 0 0 1 50 2 0 0 2 5 0

( b )F i g . 4 . E n e r g y p l o t s o f W a t e r B a l l o o n S n a k e s . ( a ) E x t e r n a l E n e r g y t e r mb e h a v i o r . ( b ) T o t a l E n e r g y t e r m b e h a v i o r .T h e T o t a l E n e r g y t e r m i s s h o w n i n F i g u r e 4 ( b ) , t h e e n e r g yb e h a v i o r s e e m s n o t t o p r o v i d e a n y i n f o r m a t i o n a b o u t t h es n a k e p e r f o r m a n c e . T h e c h a l l e n g e w a s t o f i n d ar e l a t i o n s h i p b e t w e e n t h i s e n e r g y b e h a v i o r a n d t h e o p t i m u mp a r a m e t e r s .T h e k e y s o l u t i o n w a s t o l o o k a t t h e t o t a l e n e r g y t e r m a n dt h e c o r r e s p o n d i n g e l a s t i c i t y , b e n d i n g , e x t e r n a l a n dp r e s s u r e ( B a l l o o n ) e n e r g y t e r m s . T h e i d e a i s c l e a r i nF i g u r e 4 ( a ) a n d ( b ) w h e r e t w o c o n c l u s i o n s a r e d r a w n :* T h e r e e x i s t a n e n e r g y t r a n s i t i o n t o a h i g h E n e r g y

s t a t e a n d t h e n a d r o p t o a l o w e r e n e r g y s t a t e .* T h e d r o p t o t h e l o w e r e n e r g y s t a t e o c c u r ss i m u l t a n e o u s l y i n b o t h t h e e x t e r n a l a n d t o t a le n e r g y t e r m s .T h i s i s n o t b y c h a n c e ; a s t h e e d g e w i l l d e f o r m f r o m i t si n i t i a l p o s i t i o n a t t h e w e a k e d g e t o t h e s t r o n g e s t e d g e , i tt r a v e r s e s a h o m o g e n e o u s r e g i o n w h e r e g r a d i e n t f i e l d i sw e a k a n d n o e d g e i s e n c o u n t e r e d .I n t h i s h o m o g e n e o u s r e g i o n , t h e e x t e r n a l e n e r g y t e r m i sm a x i m a l ( i n a b s o l u t e s e n s e ) a n d t h u s t h e t o t a l e n e r g y t e r mi s m a x i m a l . T h i s e x p l a i n s t h e t r a n s i t i o n t o a h i g h - e n e r g ys t a t e i n b o t h t h e t o t a l a n d e x t e r n a l e n e r g y c u r v e s .O n e c a n a l s o n o t e t h a t t h e f i n a l e n e r g y s t a t e i s l o w e r t h a nt h e i n i t i a l o n e s i n c e t h e s n a k e i s m i n i m i z i n g i t s t o t a le n e r g y .T h i s b e h a v i o r w i l l b e t h e t y p i c a l f o r t h e p r o p o s e dW a r t e r B a l l o o n t e c h n i q u e : s t a r t i n g f r o m a w a t e r s h e d l i n e a sa n i n i t i a l b a l l o o n s n a k e , t h e d e f o r m a t i o n f r o m t h e w e a ke d g e t o t h e s t r o n g e d g e t h r o u g h t h e h o m o g e n e o u s r e g i o nw i l l a l w a y s i n d u c e t h i s e n e r g y p u l s e .

- 5 0 0 . \ \- 1 0 0 0 t, t- 1 5 0 0 0 5 10 1 5 2 0 2 5 30 3 5 4 0 4 5F i g . 5 . T o t a l E n e r g y t e r m b e ha v i o r w h e n B a l l o o n i n f l a t e s o u t s i d e o b j e c t .

F i g u r e 5 c o r r e s p o n d s t o t h e c a s e w h e r e t h e b a l l o o n i si n f l a t e d o u t s i d e t h e t a r g e t b o u n d a r i e s . I n t h i s c a s e , t h eT o t a l e n e r g y i n c r e a s e s c o n s i d e r a b l y . W h e n e v e r t h i s c a s e i se n c o u n t e r e d , t h e p a r a m e t e r s n e e d t o b e c ha n g e d a n d t h ep r e s s u r e w e i g h t s h o u l d b e d e c r e a s e d . T hi s p a r a m e t er su p d a t i n g i s c o n t i n u e d u n t i l t h e e n e r g y t r a n s i t i o n s f o l l o wt h e c a s e o f F i g u r e 4 . T h e o p t i m u m v a l u e s o b t a i n e d a r e t h e nf e d b a c k t o d e f o r m t h e s n a k e .T h e b l o c k d i a g r a m o f t h e o p t i m i z a t i o n s t a g e i s s h o w n i nF i g u r e 6 w h e r e t h e p a r a m e t e r s a r e i n i t i a l i z e d e q u a l l y t og i v e e q u a l i m p o r t a n c e t o a l l e n e r g y t e r m s .F r o m t h e a b o v e d i s c u s s i o n s , a c r i t e r i o n c a n b e t e s t e d t oc h e c k i f t h e r e i s a n e n e r g y p u l s e w i t h t r a n s i t i o n t o a h i g he n e r g y s t a t e a n d a b a c k t r a n s i t i o n t o a l o w e r e n e r g y s t a t e o rt h e r e i s o n l y a t r a n s i t i o n t o a h i g h e n e r g y s t a t e i n c a s e o f ac o n t i n u o u s l y i n f l a t i n g b a l l o o n . T h i s c r i t e r i o n i s b a s e d o nt h e i n i t i a l , f i n a l , a n d maximum v a l u e s o f t h e e n e r g y .E f i n a l - E i n i t i a li f f i


6/6

r e g i o n d e f o r m e d w i t h t h e b a l l o o n s n a k e c a p t u r e s a s i n g l ec e l l p a r t o f t w o o r m o r e t o u c h i n g c e l l s , t h e f o l l o w i n gd e f o r m a t i o n s w i l l s e p a r a t e t h e r e m a i n i n g c e l l s ( F i g 7 ( c ,d ) ) . W a t e r - B a l l o o n S n a k e w a s a b l e t o s e p a r a t e t h et o u c h i n g o b j e c t s .

( a )

( b )

( c )

e n e r g y t r a n s i t i o n s t r a c k i n g , a n d o p t i m u m e d g el o c a l i z a t i o n i s a c h i e v e d .REFERENCES

[ 1 ] G o n z a l e s R . C . & W o o d s R . E . D i g i t a l I m a g e P r o c e s s i n g , I S B N : 0 -2 0 1 - 1 8 0 7 5 , 3 r d e d i t i o n , P r e n t i c e H a l l 2 0 0 2 .[ 2 ] S e r r a J . I m a g e A n a l y s i s a n d M a t h e m a t i c a l M o r p h o l o g y . A c a d e m i cP r e s s , L o n d o n 1 9 8 2 .[ 3 ] V i n c e n t L . & S o i l l e P . W a t e r s h e d i n d i g i t a l s p a c e s : a n e f f i c i e n ta l g o r i t h m b a s e d o n i m m e r s i o n s i m u l a t i o n s , I E E E T r a n s . o n P A M I ,v o l . 1 3 , n o . 6 , p p . 5 8 3 - 5 9 8 . 1 9 9 1[ 4 ] B e u c h e r S . & M e y e r F . T h e m o r p h o l o g i c a l a p p r o a c h t os e g m e n t a t i o n : t h e w a t e r s h e d t r a n s f o r m a t i o n . I n E . R . D o u g h e r t y ,e d i t o r , M a t h e m a t i c a l M o r p h o l o g y i n I m a g e P r o c e s s i n g , c h a p . 1 2 ,p p . 4 3 3 - 4 8 1 . M a r c e l D e k k e r , Ne w Y or k . 1 9 93[ 5 ] N a j m a n L . & S c h m i t t M . G e o d e s i c s a l i e n c y o f w a t e r s h e d c o n t o u r sa n d h i e r a r c h i c a l s e g m e n t a t i o n , I E E E T r a n s . o n P A M I , v o l . 1 8 , n o .1 2 , p p . 1 1 6 3 - 1 1 7 3 D e c . 1 9 9 6 .[ 6 ] G a u c h J . M . I m a g e s e g m e n t a t i o n a n d a n a l y s i s v i a m u l t i s c a l eg r a d i e n t w a t e r s h e d h i e r a r c h i e s , I E E E T r a n s . o n I m a g e P r o c . , v o l . 8 ,p p . 6 9 - 7 9 . J a n . 1 9 9 9[ 7 ] B le a u A . & L e o n L . J . W a t e r s h e d - b a s e d s e g m e n t a t i o n a n d r e g i o nm e r g i n g , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , v o l . 7 7 , p p .3 1 7 - 3 7 0 2 0 0 0 .[ 8 ] H a r i s K . , E f s t r a t i a d i s S . N . , M a g l a v e r a s N . & K a t s a g g e l o s A . K .H yb r i d I m a g e S e g m e n t a t i o n U s i n g W a t e r s h e d s a n d F a s t R e g i o nM e r g i n g . I E E E . T r a n s . o n I m a g e P r o c e s s i n g , v o l . 7 , n o 1 2 , p p .1 6 8 4 - 1 6 9 9 D e c . 1 9 9 8 .[ 9 ] K a s s M . , W i t k i n A . & T e r z o p o u l o s D . S n a k e s : A c t i v e c o n t o u rm o d e l s . I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , v o l . 1 , p p . 3 2 1 -3 3 1 1 9 8 7 .[ 1 0 ] N i l a n j a n R . , A c t o n S . T . , A l t e s T . , d e L a n g e E . & B r o o k e m a n J .M e r g i n g P a r a m e t r i c A c t i v e C o n t o u r s w i t h i n H o m o g e n e o u s I m a g eR e g i o n s f o r M R I - B a s e d L u n g S e g m e n t a t i o n . I E E E T r a n s . o nM e d i c a l I m a g i n g , v o l . 2 2 , n o . 2 . F e b . 2 0 0 3 .[ 1 1 ] P a r k J . & K e l l e r J . M . S n a k e s o n t h e W a t e r s h e d . I E E E T r a n s . o nP A M I , v o l . 2 3 ,n o . 1 0 O c t . 2 0 0 1 .[ 1 2 ] K i r a n V . & B o r a P . K . W a t e r s n a k e : I n t e g r a t i n g t h e W a t e r s h e d a n dt h e A c t i v e C o n t o u r A l g o r i t h m s . I E E E . 2 0 0 3 .[ 1 3 ] N g u y e n H . T . , W o r r i n g M . & v a n d e n B o o m g a a r d R . W a t e r s n a k e s :E n e r g y - D r i v e n W a t e r s h e d S e g m e n t a t i o n . I E E E T r a n s . o n P A M I ,v o l . 2 5 , n o . 3 . M a r c h 2 0 0 3 .[ 1 4 ] C o h e n L . D . On A c t i v e C o n t o u r M o d e l s a n d B a l l o o n s . C o m p u t e rV i s i o n G r a p h i c s a n d I m a g e P r o c e s s i n g : I m a g e U n d e r s t a n d i n g , v o l .5 3 , n o . 2 , p p . 2 1 1 - 2 1 8 M a r c h 1 9 9 1 .[ 1 5 ] C o h e n L . D . & C o h e n I . F i n i t e - E l e m e n t M e t h o d s f o r A c t i v e C o n t o u rM o d e l s a n d B a l l oo n s f o r 2 - D a n d 3 - D I m a g e s . I E E E T r a n s . o nP A M I , v o l . 1 5 , n o . l l , p p . 1 1 3 1 - 1 1 4 7 N o v . 1 9 9 3

J U )F i g . 7 . W a t e r - B a l l o o n S e g m e n t a t i o n . ( a ) O r i g i n a l I m a g e . ( b ) W a t e r s h e dR e g i o n s . ( c ) B a l l o o n S n a k e d e f o r m a t i o n . ( d ) W a t e r - B a l l o o n S e g m e n t a t i o nw i t h t h e t o u c h i n g c e l l s s e p a r a t e d .

I I I . C O N C L U S I O NI n t h i s p a p e r , a h y b r i d W a t e r s h e d B a l l o o n s n a k et e c h n i q u e f o r i m a g e s e g m e n t a t i o n i s i n t r o d u c e d . T h enew t e c h n i q u e c o m b i n e s t h e u s e o f W a t e r s h e dt r a n s f o r m a n d B a l l o o n s n a k e s i n a n i n n o v a t i v ea p p r o a c h t h a t d e t e c t s s a l i e n t o b j e c t s i n a n i m a g e .W a t e r b a l l o o n s p r o v i d e t h e a d v a n t a g e o f r e d u c i n go v e r - s e g m e n t a t i o n o f W a t e r s h e d w h i l e p r e v e n t i n gu n d e r - s e g m e n t a t i o n p r o b l e m s . T o u c h i n g o b j e c t s a r es e p a r a t e d , s n a k e p a r a m e t e r s a r e o p t i m i z e d b a s e d o n

a type of snakes called water balloons in image processing

Documents

Transcript of a type of snakes called water balloons in image processing