Jordan1996_516.pdf

7/27/2019 Jordan1996_516.pdf

http://slidepdf.com/reader/full/jordan1996516pdf 1/12

F A S T H Y B R I D B L O C K R E G I O N - B A S E D

A L G O R I T H M F O R O B J E C T T R A C K I N G

F . J o r d a n , M . S c h u t z , a n d M . K u n t

S i g n a l P r o c e s s i n g L a b o r a t o r y ,

S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y ,

C H - 1 0 1 5 L a u s a n n e , S w i t z e r l a n d

E m a i l : j o r d a n @ l t s s g 3 . e p f l . c h

T e l : + + 4 1 2 1 6 9 3 7 0 8 8

F a x : + + 4 1 2 1 6 9 3 7 0 9 0

A B S T R A C T

T h i s p a p e r p r e s e n t s a t e c h n i q u e t o s e g m e n t a n d t r a c k a r e g i o n o f i n t e r e s t i n a v i d e o s e q u e n c e . T h e p r e -

s e n t e d t e c h n i q u e s t a r t s w i t h a s p a t i o - t e m p o r a l c o n t o u r e x t r a c t i o n . T h i s c o n t o u r e x t r a c t i o n i s p e r f o r m e d

b y m i x i n g i n f o r m a t i o n f r o m a s p a t i a l g r a d i e n t a n d a t e m p o r a l d i e r e n t i a t o r . A b l o c k s e g m e n t a t i o n i s

t h e n a p p l i e d o n t h e i m a g e , a n d w i t h i n e a c h b l o c k t h e c o n t o u r p a r t i s a p p r o x i m a t e d b y a s t r a i g h t l i n e

s e g m e n t . T h e s e c o n t o u r a p p r o x i m a t i o n s a r e t h e n f u r t h e r q u a n t i z e d b y a v e c t o r q u a n t i z a t i o n t e c h n i q u e ,

u s i n g a p r e d e n e d c o d e b o o k . I n o r d e r t o c l o s e a n d s m o o t h t h e r e g i o n o f i n t e r e s t c o n t o u r , a n i n t e r p o l a t i o n

b a s e d o n H e r m i t e p o l y n o m i a l s i s p e r f o r m e d o n t h e s e t o f d i s c r e t e q u a n t i z e d c o n t o u r p a r t s . F i n a l l y , t h e

t r a c k i n g p r o c e s s i s p e r f o r m e d u s i n g a n a d d i t i o n - r e m o v a l o f b l o c k s c o n t a i n i n g c o n t o u r p a r t s b y t e s t i n g

t h e i r p o s s i b l e b e l o n g i n g t o t h e p o l y n o m i a l c o n t o u r . T h i s t e s t i n g i s d o n e b y u s i n g a b l u r r e d v e r s i o n o f

t h e p o l y n o m i a l c o n t o u r i n o r d e r t o b e a b l e t o t r a c k d e f o r m a t i o n s i n t h e o b j e c t . T h e i n i t i a l g u e s s f o r

t r a c k i n g i s g i v e n m a n u a l l y b y a n e n d - u s e r .

K e y w o r d s : C o n t o u r e x t r a c t i o n , q u a n t i z a t i o n , a n d i n t e r p o l a t i o n ; b l o c k b a s e d ; t r a c k i n g ; d e f o r m a b l e

o b j e c t s ; s u p e r v i s e d s e g m e n t a t i o n ; H e r m i t e p o l y n o m i a l s ; s h a p e c o d i n g ; v i d e o p r o c e s s i n g .

1 . I N T R O D U C T I O N

W i t h t h e d e v e l o p m e n t o f n e w m u l t i m e d i a a p p l i c a t i o n s a n d t h e f u t u r e v i d e o s t a n d a r d M P E G - 4 , n e w

i m a g e p r o c e s s i n g a l g o r i t h m s m u s t b e d e v e l o p e d i n o r d e r t o r e a c h h i g h c o m p r e s s i o n r a t i o s a s w e l l a s

t o p r o v i d e v a r i o u s f u n c t i o n a l i t i e s , s u c h a s t h e d e t e c t i o n a n d m a n i p u l a t i o n o f m o v i n g o b j e c t s i n v i d e o

s e q u e n c e s . C l a s s i c a l b l o c k - b a s e d c o m p r e s s i o n s c h e m e s w h i c h h a v e b e e n d e v e l o p e d i n t h e p a s t c a n n o t

e a s i l y p r o v i d e t h e r e q u i r e d f u n c t i o n a l i t i e s , s i n c e t h i s k i n d o f s e g m e n t a t i o n h a s n o w a y t o d e t e c t o r f o l l o w

t h e r e a l m o v i n g c o n t o u r s e x i s t i n g i n t h e s c e n e . N e v e r t h e l e s s , b l o c k - b a s e d a p p r o a c h e s h a v e w i d e l y p r o v e d

t h e i r e c i e n c y b o t h i n t h e r a t e d i s t o r t i o n t r a d e - o 1 a n d r e a s o n a b l e c o m p u t i n g t i m e 2 . T h i s p a p e r

p r e s e n t s a w a y t o u p g r a d e a b l o c k - b a s e d c o d i n g s c h e m e i n t o a r e g i o n - b a s e d o n e . S i m i l a r a p p r o a c h e s c a n

b e f o u n d i n 3 , 4 .

I n o r d e r t o r e d u c e t h e b l o c k i n g a r t i f a c t s i n t r o d u c e d b y a p u r e b l o c k - b a s e d a p p r o a c h a n d t o i m p r o v e

t h e q u a l i t y o f t h e p r e d i c t e d i m a g e , s e v e r a l t e c h n i q u e s t o s p l i t b l o c k s i n t o t w o o r m o r e r e g i o n s h a v e b e e n

p r o p o s e d i n 5 , 6 , 7 , 8 . T h e s e m o t i o n e l d r e n e m e n t t e c h n i q u e s d e n e a n e w n o n - p u r e b l o c k - b a s e d

s e g m e n t a t i o n . T h e b l o c k s p l i t t i n g i s u s u a l l y d o n e u s i n g a p r e d e n e d c o d e b o o k w h i c h d e s c r i b e s t h e

7/27/2019 Jordan1996_516.pdf


p a t t e r n s i n w h i c h a b l o c k c a n b e s u b - s e g m e n t e d . S u c h a c o d e b o o k i s a v e c t o r - q u a n t i z e d r e p r e s e n t a t i o n

o f a l l p o s s i b l e w a y s t o s p l i t a b l o c k i n s e v e r a l s u b - r e g i o n s . I t h a s b e e n s h o w n i n 5 , 6 t h a t t h e n e w

s e g m e n t a t i o n o b t a i n e d b y s u c h a b l o c k s p l i t t i n g t e c h n i q u e i s m o r e c o r r e l a t e d t o t h e c o n t o u r s e x i s t i n g i n

n a t u r a l i m a g e s , t h e l a t t e r b e i n g a b y - p r o d u c t o f t h e m o t i o n e l d r e n e m e n t w h i c h w a s o r i g i n a l l y d e s i g n e d

f o r c o m p r e s s i o n p u r p o s e s b y m e a n s o f r e d u c t i o n o f t h e d i s p l a c e d f r a m e d i e r e n c e D F D e n t r o p y .

I n t h i s p a p e r w e p r o p o s e a m e t h o d w h i c h a l l o w s t o d e n e a n d t r a c k i n t i m e a c l o s e d r e g i o n i n a

s e q u e n c e . T h e c l o s e d r e g i o n s h o u l d c o r r e s p o n d t o a r e a l m o v i n g o b j e c t i n t h e s c e n e . T o i n i t i a l i z e t h e

p r o c e s s , a m a n u a l s e l e c t i o n o f t h e r e g i o n o f i n t e r e s t i s p e r f o r m e d b y t h e u s e r . T h e n , t h e c o n t o u r s a r e

e x t r a c t e d f r o m t h i s r e g i o n o f i n t e r e s t a n d a p p r o x i m a t e d b y a l i s t o f l i n e s e g m e n t s . T h i s l i s t g i v e s a r o u g h

a p p r o x i m a t i o n o f t h e c o n t o u r o f t h e o b j e c t w e i n t e n d t o s e g m e n t a n d t r a c k . T h e t r a c k i n g i s p e r f o r m e d b y

m e a n s o f a m a t c h i n g p r o c e s s o f l i n e s e g m e n t s b e t w e e n t h e c u r r e n t f r a m e a n d t h e p r e v i o u s o n e . F i n a l l y ,

t h e c l o s e d c o n t o u r i s c o m p u t e d u s i n g a H e r m i t e p o l y n o m i a l .

T h e i m p l e m e n t a t i o n o f t h e p r e s e n t e d s e g m e n t a t i o n a n d t r a c k i n g t e c h n i q u e h a s b e e n m a d e w i t h r e a l -

t i m e c o n s t r a i n t s i n a s o f t w a r e - b a s e d s y s t e m o n a m a s s i v e l y p a r a l l e l s u p e r - c o m p u t e r . F o r t h i s r e a s o n t h e

p r o p o s e d s e g m e n t a t i o n t e c h n i q u e h a s b e e n d e s i g n e d w i t h t h e f o l l o w i n g a d d i t i o n a l c o n s t r a i n t s :

L o w c o m p u t a t i o n l o a d

B a c k w a r d c o m p a t i b l e w i t h a l r e a d y e x i s t i n g b l o c k - b a s e d c o d e c s .

T h i s p a p e r i s o r g a n i z e d a s f o l l o w s : S e c . 2 g i v e s a b r i e f o v e r v i e w o f t h e c o m p l e t e t e c h n i q u e a n d

m o t i v a t i o n s f o r t h e p e r f o r m e d i n v e s t i g a t i o n s . T h e d e t a i l e d d e s c r i p t i o n o f t h e v a r i o u s t o o l s u s e d i s g i v e n

i n l a t e r s e c t i o n s . F i r s t , S e c . 3 d e s c r i b e s t h e s p a t i o - t e m p o r a l c o n t o u r e x t r a c t i o n s c h e m e w h i c h h a s b e e n

d e v e l o p e d . T h e n , S e c . 4 d e s c r i b e s t h e t e c h n i q u e u s e d t o q u a n t i z e t h e c o n t o u r p a r t s . S e c . 5 e x p l a i n s h o w

t h e q u a n t i z e d c o n t o u r p a r t s a r e i n t e r p o l a t e d i n o r d e r t o n d s m o o t h a n d c l o s e d c o n t o u r s . F i n a l l y , S e c . 6

d e a l s w i t h t h e d e v e l o p e d o b j e c t c o n t o u r t r a c k i n g t e c h n i q u e . S i m u l a t i o n r e s u l t s a r e s h o w n a n d d i s c u s s e d

i n S e c . 7 a n d n a l l y , S e c . 8 g i v e s s o m e c o n c l u d i n g r e m a r k s .

2 . D E S C R I P T I O N O F T E C H N I Q U E

T h e m o t i o n e l d r e n e m e n t t e c h n i q u e b y m e a n s o f b l o c k s p l i t t i n g p r o p o s e d i n 5 w a s b a s e d o n p r o p e r t i e s

o f t h e D F D . T h i s e n a b l e d t o m i n i m i z e t h e D F D e n e r g y , i n o t h e r w o r d s t o d e c r e a s e i t s e n t r o p y , t h u s t o

i n c r e a s e t h e c o m p r e s s i o n r a t i o f o r a g i v e n n a l q u a l i t y o f t h e d e c o m p r e s s e d s e q u e n c e w h e n c o m p a r e d

w i t h a p u r e b l o c k - b a s e d t e c h n i q u e l i k e M P E G - 2 f o r e x a m p l e . I t h a s b e e n s h o w n i n 5 , 6 t h a t t h e

s e g m e n t a t i o n r e n e m e n t o f t h e b l o c k s c a n r o u g h l y b e c o r r e l a t e d w i t h m o v i n g o b j e c t b o u n d a r i e s . T h e

m a j o r d r a w b a c k o f t h i s s e g m e n t a t i o n t e c h n i q u e i s t h e h e a v y c o m p u t a t i o n a l c o s t . T h u s i t c a n n o t d i r e c t l y

b e u s e d f o r t h e r e a l - t i m e c o n s t r a i n e d i m p l e m e n t a t i o n w e h a v e i n m i n d .

I n t h e p r o p o s e d t e c h n i q u e , a c o m b i n e d s p a t i a l a n d t e m p o r a l c o n t o u r e x t r a c t i o n t e c h n i q u e i s c h o s e n

a s a s t a r t i n g p o i n t . T h e o b t a i n e d c o n t o u r s a r e t h e n u s e d t o d e n e t h e l i n e s e g m e n t s . T h e s e l i n e s e g m e n t s

a r e t a k e n f r o m t h e p r e d e n e d c o d e b o o k . I n m o r e d e t a i l s , t h e r e s u l t o f t h e c o n t o u r e x t r a c t o r i s s p l i t u p

i n t o b l o c k s . T h u s , w e c a n h a v e a s m a l l p i e c e o f c o n t o u r i n s o m e o f t h e b l o c k s . T h e s e s m a l l p i e c e s o f

c o n t o u r a r e t h e n a p p r o x i m a t e d u s i n g t h e b e s t t t i n g l i n e s e g m e n t t h a t c a n b e f o u n d i n a g i v e n c o d e b o o k .

T h e s e c o d e b o o k - b a s e d a p p r o x i m a t e d c o n t o u r s e g m e n t s a r e t h e n u s e d a s g u i d e p o i n t s a n d s l o p e s f o r a

H e r m i t e p o l y n o m i a l i n t e r p o l a t o r , w h i c h i s u s e d i n o r d e r t o p r o d u c e a s m o o t h c l o s e d c o n t o u r o f a r e g i o n

o f i n t e r e s t i n t h e s e q u e n c e . T h i s r e g i o n o f i n t e r e s t i s d e n e d b y t h e e n d - u s e r , s i n c e h e i s t h e o n l y o n e

w h o i s a b l e t o d e n e w h a t r e g i o n h e w a n t s t h e s y s t e m t o e x t r a c t f r o m t h e s e q u e n c e a n d t r a c k t h r o u g h

t i m e .

T h e r e g i o n t r a c k i n g p r o c e s s i s p e r f o r m e d b y m e a n s o f c o n t o u r t r a c k i n g . M o r e p r e c i s e l y , t h e c o n t o u r

s e g m e n t s a r e m a t c h e d w i t h t h e p o l y n o m i a l c o n t o u r . A d e c i s i o n p r o c e s s a d d s o r r e m o v e s s o m e o f t h e

7/27/2019 Jordan1996_516.pdf


c o n t r o l b l o c k s w h e r e i n t e r e s t i n g v e c t o r q u a n t i z e d c o n t o u r p a r t s a r e l o c a t e d . T h i s a d d i n g a n d r e m o v i n g

p r o c e s s a l l o w s t h e p r e s e n t e d t e c h n i q u e t o t r a c k d e f o r m a b l e o b j e c t s t h r o u g h t i m e .

3 . C O N T O U R E X T R A C T I O N

T h e c o n t o u r e x t r a c t i o n t e c h n i q u e w e u s e d i n t h i s w o r k i s b a s e d o n a c o m b i n e d s p a t i a l a n d t e m p o r a l

c o n t o u r e x t r a c t o r . T h e i d e a i s t o u s e a c o m b i n a t i o n o f a g r a d i e n t - b a s e d s p a t i a l c o n t o u r e x t r a c t o r a n d a

t e m p o r a l f r a m e d i e r e n t i a t o r i n a w e i g h t e d s u m i n o r d e r t o g e t s p a t i o - t e m p o r a l c o n t o u r s .

T h e s p a t i a l c o n t o u r S

i ; j

o f p i x e l a t l o c a t i o n i ; j i s o b t a i n e d b y m e a n s o f a g r a d i e n t b a s e d c o n t o u r

e x t r a c t i o n :

S

i ; j

= j I

i , 1 ; j

, I

i + 1 ; j

j + j I

i ; j , 1

, I

i ; j + 1

j : 1

T h e t e m p o r a l c o n t o u r T

i ; j

o f p i x e l a t l o c a t i o n i ; j i s c o m p u t e d a s t h e d i e r e n c e b e t w e e n i t s v a l u e i n

t h e c u r r e n t f r a m e a n d t h e o n e i n t h e p r e v i o u s f r a m e :

T

i ; j

= I

t

i ; j

, I

t , 1

i ; j

: 2

F i n a l l y t h e s p a t i a l S

i ; j

a n d t e m p o r a l T

i ; j

c o m p o n e n t s o f o u r c o n t o u r e x t r a c t o r a r e c o m b i n e d t o g e t h e r

i n a w e i g h t e d s u m i n o r d e r t o g e t o u r s p a t i o - t e m p o r a l c o n t o u r C

i ; j

:

C

i ; j

=

S

i ; j

+ T

i ; j

+

: 3

T h e w e i g h t s a n d a r e a d e s c r i p t i o n o f t h e t r a d e o b e t w e e n s p a t i a l a n d t e m p o r a l c o n t o u r s . T y p i -

c a l l y w e u s e d = 8 a n d = 2 .

4 . V E C T O R Q U A N T I Z A T I O N O F C O N T O U R S

T h e v e c t o r q u a n t i z a t i o n o f t h e c o n t o u r s o b t a i n e d a f t e r c o n t o u r e x t r a c t i o n i s d o n e i n t w o s t e p s . F i r s t ,

t h e c o n t o u r p a r t c o n t a i n e d i n a b l o c k i s a p p r o x i m a t e d b y a s t r a i g h t l i n e s e g m e n t . I n a s e c o n d s t e p t h e

c o d e b o o k e l e m e n t w h i c h i s g e o m e t r i c a l l y t h e c l o s e s t t o t h e s t r a i g h t l i n e s e g m e n t i s c h o s e n .

4 . 1 . C o n t o u r a p p r o x i m a t i o n w i t h a l i n e

T o a p p r o x i m a t e t h e c o n t o u r w i t h i n a g i v e n b l o c k w i t h a s t r a i g h t l i n e , w e l o o k f o r t w o c o n t o u r p o i n t s

o n t h e b o u n d a r i e s o f t h e b l o c k , a s i l l u s t r a t e d i n F i g . 1 . C o n t o u r p o i n t s a r e s i m p l y p o i n t s w i t h h i g h

g r a d i e n t v a l u e s . T h u s , t h e C

i ; j

v a l u e s E q . 3 l o c a t e d i n t h e g r a y s h a d e d a r e a o f F i g . 1 a r e s c a n n e d

f o r m a x i m u m v a l u e s . O n e m a x i m u m l o c a t i o n i s s e l e c t e d p e r b l o c k s i d e . T h e t w o b i g g e s t o f t h e f o u r

m a x i m a s a r e c h o s e n i n o r d e r t o n d t h e c o o r d i n a t e s i ; j

k 1

a n d i ; j

k 2

. T h e s e t w o c o o r d i n a t e s g i v e t h e

t w o e n d p o i n t s o f t h e s t r a i g h t l i n e s w e i n t e n d t o n d . T h i s t e c h n i q u e e n s u r e s u s n o t t o t a k e t w o e n d

p o i n t s o n t h e s a m e b l o c k s i d e , w h i c h w o u l d l e a d t o a n u n u s a b l e r e s u l t .

4 . 2 . S e l e c t i o n o f t h e c o d e b o o k e l e m e n t

I n o r d e r t o r e d u c e t h e t r a n s m i s s i o n c o s t f o r t h e s e g m e n t a t i o n p a r t s , t h e s t r a i g h t l i n e s a p p r o x i m a t i n g t h e

c o n t o u r s a r e q u a n t i z e d u s i n g a v e c t o r q u a n t i z a t i o n t e c h n i q u e . I n s u c h a t e c h n i q u e a c o d e b o o k d e s c r i b i n g

a s u b - s e t o f a l l p o s s i b l e b l o c k s e g m e n t a t i o n s i s u s e d o n t h e c o d e r a n d t h e d e c o d e r s i d e . T h u s , f o r e a c h

b l o c k , a c o d e d e s c r i b i n g i t s s e g m e n t a t i o n i s t r a n s m i t t e d ; a z e r o c o d e i n d i c a t i n g t h a t t h e b l o c k i s n o t p a r t

o f t h e c o n t o u r . F i g . 2 g i v e s a n e x a m p l e o f a c o d e b o o k .

7/27/2019 Jordan1996_516.pdf


( i , j ) 1k

( i , j ) k 2

F i g u r e 1 : C o n t o u r a p p r o x i m a t i o n

F i g u r e 2 : C o d e b o o k e l e m e n t s u s e d f o r s e g m e n t a t i o n 1 3 1 e l e m e n t s .

7/27/2019 Jordan1996_516.pdf


I f e

k ; l

d e n o t e s a n e l e m e n t o f t h e c o d e b o o k f o r t h e b l o c k a t c o o r d i n a t e k ; l , a n d s i n c e t h e b l o c k

s p l i t t e r u s e d t o g e n e r a t e t h e c o d e b o o k u s e d s t r a i g h t l i n e s t o s e p a r a t e a b l o c k i n t w o r e g i o n s , e

k ; l

c a n

b e d e s c r i b e d b y t h e e n d p o i n t s i ; j

e 1

a n d i ; j

e 2

o f t h e s t r a i g h t l i n e s e g m e n t . I n o r d e r t o s e l e c t t h e

c l o s e s t c o d e b o o k e l e m e n t f o r a g i v e n l i n e a p p r o x i m a t e d c o n t o u r , a m i n i m i z a t i o n o f a d i s t a n c e f u n c t i o n

i s p e r f o r m e d . T h e d i s t a n c e d b e t w e e n t w o l i n e s g i v e n b y t h e i r e n d p o i n t s i s g i v e n b y :

d =

q

i

e 1

, i

k 1

2

+ j

e 1

, j

k 1

2

+

q

i

e 2

, i

k 2

2

+ j

e 2

, j

k 2

2

: 4

F o r e a c h b l o c k o f t h e i m a g e w h i c h c o n t a i n s a c o n t o u r p a r t , t h e m i n i m i z a t i o n p r o c e s s o f d o n e u s i n g

a l l t h e c o d e b o o k e l e m e n t s . T h e r e s u l t o f t h i s p r o c e s s i s a b l o c k - b a s e d d e s c r i p t i o n o f t h e c o n t o u r s , a s

s h o w n i n F i g . 3 .

F i g u r e 3 : C o n t o u r s a p p r o x i m a t e d b y c o d e b o o k e l e m e n t s .

5 . C O N T O U R I N T E R P O L A T I O N

T h e s e g m e n t s w h i c h h a v e b e e n c o m p u t e d i n S e c . 4 r e p r e s e n t a r o u g h d e n i t i o n o f t h e o b j e c t s h a p e s a s

c a n b e s e e n i n F i g . 3 . I n o r d e r t o d e n e a c l o s e d r e g i o n , i t i s n e c e s s a r y t o c o n n e c t " t h e s e g m e n t s . O n e

w a y t o a c h i e v e s u c h a t a s k c o n s i s t s i n d e n i n g t h e c o n t o u r a s a p o l y n o m i a l p s .

T h e p r o p o s e d m e t h o d a p p r o x i m a t e s c o n t o u r s u s i n g m u l t i p l e H e r m i t e p o l y n o m i a l s . T h e c u r v e i s

d r a w n b e t w e e n p a i r s m ; m + 1 o f c o n s e c u t i v e b l o c k s w h i c h b e l o n g t o t h e c o n t o u r a n d t h a t w e c a l l

c o n t r o l b l o c k s " . E a c h o f t h e s e c o n t r o l b l o c k s u s e s t h e l i n e s e g m e n t o r i e n t a t i o n o f t h e c o d e b o o k e l e m e n t

t o e v a l u a t e t h e d e r i v a t i v e o f t h e p o l y n o m i a l , a s d e s c r i b e d i n F i g . 4 . T h e c e n t e r i ; j

m

o f a s e g m e n t m

i s c a l l e d t h e c o n t r o l p o i n t " o f t h e p o l y n o m i a l a n d d e n e d a s :

i ; j

m

=

i

p 1

+ i

p 2

2

;

j

p 1

+ j

p 2

2

: 5

T h e H e r m i t e p o l y n o m i a l s a r e c o m p u t e d f o r e a c h p a i r o f b l o c k s m ; m + 1 u s i n g t w o c o n s t r a i n t s w h i c h

a r e t h e d e r i v a t i v e s a n d t h e c o n t r o l p o i n t s . T h e t w o d e r i v a t i v e s a r e b o t h m u l t i p l i e d b y t h e d i s t a n c e D

b e t w e e n t h e t w o c o n t r o l p o i n t s . T h i s a l l o w s t o a d a p t t h e d e r i v a t i v e c o n s t r a i n t w h e n t w o c o n t r o l p o i n t s

a r e n o t e q u a l l y s p a c e d . T h u s , w h e n c o n t r o l p o i n t s a r e d i s t a n t , w e c a n i m p o s e a h a r d c o n s t r a i n t o n t h e

d e r i v a t i v e . W h e n t h e c o n t r o l p o i n t s a r e c l o s e , b e t t e r r e s u l t s a r e o b t a i n e d w h e n t h e d e r i v a t i v e c o n s t r a i n t

i s l o w e r e d . A c t u a l l y t h i s g i v e s a r o u g h c o n t r o l o n t h e m a x i m u m c u r v a t u r e o f t h e c o n t o u r . T h e d e r i v a t i v e

7/27/2019 Jordan1996_516.pdf


( s)( i , j )

d s( i , j )d m

( i , j ) m

( i , j ) + 1md d s

( i , j ) + 1m

D

l

F i g u r e 4 : C o n t o u r i n t e r p o l a t i o n u s i n g H e r m i t e p o l y n o m i a l s

o f a p o l y n o m i a l c a n n o w b e w r i t t e n a s :

d i ; j

m

d s

= D

i

p 1

, i

p 2

l

;

j

p 1

, j

p 2

l

; 6

w h e r e l , t h e s e g m e n t l e n g t h i s d e n e d a s :

l =

q

i

p 1

, i

p 2

2

+ j

p 1

, j

p 2

2

: 7

E a c h o f t h e i ; j s c o o r d i n a t e s c a n n o w b e w r i t t e n a s a H e r m i t e p o l y n o m i a l :

p s = a s

3

+ b s

2

+ c s + d : 8

T h e c o e c i e n t s a , b , c a n d d o f t h e H e r m i t e p o l y n o m i a l c a n b e f o u n d f o r i s a n d j s u s i n g t h e

f o l l o w i n g c o n s t r a i n t s :

p 0 = i ; j

m

;

p 1 = i ; j

m + 1

;

p

0

0 =

d i ; j

m

d s

;

p

0

1 =

d i ; j

m + 1

d s

:

9

F i g . 5 s h o w s a n e x a m p l e o f a r e g i o n c l o s e d u s i n g s u c h a p o l y n o m i a l a f t e r l i n e a n d c o d e b o o k a p p r o x -

i m a t i o n o f c o n t o u r s . I t m a y b e n o t i c e d t h a t t h i s t e c h n i q u e c a n a l s o b e u s e d f o r s h a p e c o d i n g , a s s h o w n

i n 9 .

6 . T R A C K I N G

T h e o b j e c t a t t i m e t i s d e n e d w i t h a l i s t L t o f c o d e b o o k e l e m e n t s a n d t h e c o r r e s p o n d i n g k ; l b l o c k

c o o r d i n a t e s :

L t = f k ; l

r

g t : 1 0

T h e t r a c k i n g p r o c e s s i s i n i t i a l i z e d w i t h a m a n u a l d r a w i n g o f t h e r e g i o n o f i n t e r e s t , a s i l l u s t r a t e d i n

F i g . 6 . T h e s h a p e o f t h e r e g i o n o f i n t e r e s t i s u p d a t e d f r o m f r a m e t o f r a m e u s i n g t w o p r o c e s s e s : a r e m o v a l

o f s e g m e n t s f r o m t h e l i s t a c c o r d i n g t o a m o t i o n c r i t e r i a a n d a n a d d i t i o n o f n e w s e g m e n t s t o t h e l i s t .

F i g . 7 s h o w s t h e p r o c e s s e s .

7/27/2019 Jordan1996_516.pdf


F i g u r e 5 : E x a m p l e o f a r e g i o n c l o s e d b y H e r m i t e p o l y n o m i a l .

F i g u r e 6 : M a n u a l d e n i t i o n o f t h e r e g i o n o f i n t e r e s t .

( t )Image

( t +1)ImageExtractionContour

ApproximationLine Contour

ApproximationCodebook Contour

Interpolation

Elements

Select Removed

+-

Elements

Select Added

++

( t ) L ( t +1) L’ ( t +1) L

F i g u r e 7 : S y s t e m d i a g r a m .

7/27/2019 Jordan1996_516.pdf


7/27/2019 Jordan1996_516.pdf


I t i s n o w p o s s i b l e t o d e n e a n e s t i m a t i o n o f t h e b e l o n g i n g " o r m a t c h i n g o f c o d e b o o k e l e m e n t e

k ; l

w i t h t h e p o l y n o m i a l p s w i t h i n a g i v e n b l o c k w i t h a n o r m a l i z e d v a l u e c :

c =

a , b

a

; 1 6

w h e r e c s i m p l y e x p r e s s e s h o w m a n y p i x e l s h a v e t h e s a m e l o c a t i o n b e t w e e n a c o d e b o o k e l e m e n t l i n e a n d

t h e p o l y n o m i a l p a r t w i t h i n a g i v e n b l o c k . F i g . 8 s h o w s a n e x a m p l e o f t h e s u p e r p o s i t i o n o f a b l u r r e d

p o l y n o m i a l c o n t o u r a n d a c o d e b o o k e l e m e n t l i n e s e g m e n t i n a b l o c k .

p ( s)

Line of codebook element segment

Blurred polynomial contour

F i g u r e 8 : C o d e b o o k p o l y n o m i a l s u p e r p o s i t i o n u s e d f o r m a t c h i n g p r o c e s s i n a 1 2 1 2 b l o c k .

7 . S I M U L A T I O N R E S U L T S

T h e s i m u l a t i o n s h a v e b e e n m a d e w i t h a 3 5 2 2 8 8 8 b i t s L T S " v i d e o s e q u e n c e , w i t h 1 2 1 2 b l o c k s . A

r e g i o n i s s e l e c t e d a t f r a m e 2 0 0 . F i g . 9 s h o w s t h e e x t r a c t e d r e g i o n g i r l " f o r f r a m e 2 0 1 a n d f r a m e 2 2 5 o f

t h e t e s t s e q u e n c e L T S " . T h e f r a m e 2 2 5 s h o w s t h e r e s u l t a f t e r r e c u r s i v e t r a c k i n g o f 2 5 f r a m e s . F i g . 1 0

s h o w s t h e e x t r a c t e d r e g i o n h a n d " f o r f r a m e s 2 0 4 , 2 1 3 a n d 2 2 5 o f t h e t e s t s e q u e n c e L T S " . T h e l i s t L t

h a s b e e n u p d a t e d 2 5 t i m e s b e t w e e n t h e s e t w o f r a m e s , u s i n g t h e a b o v e d e s c r i b e d p r o c e s s .

F i g . 1 1 s h o w s i n d e t a i l s t h e u p d a t i n g o f t h e l i s t L t . D u r i n g t h e t r a c k i n g , i t i s p o s s i b l e t o n o t i c e

t h a t t h e n u m b e r o f e l e m e n t s w h i c h d e n e t h e s h a p e d o e s n o t v a r y v e r y m u c h , w h i c h i n d i c a t e s a g o o d

e q u i l i b r i u m b e t w e e n r e m o v e d a n d a d d e d e l e m e n t s . T h e n u m b e r o f r e m o v e d a n d a d d e d e l e m e n t s i s

i r r e g u l a r , w h i c h s h o w s t h a t t h e u p d a t i n g p r o c e s s i s w o r k i n g c o r r e c t l y .

8 . C O N C L U S I O N

T h e s e g m e n t a t i o n t e c h n i q u e d e s c r i b e d i n t h i s p a p e r a l l o w s t o o b t a i n a j o i n t d e t e c t i o n a n d s e g m e n t a t i o n

o f o b j e c t s o n t h e b a s i s o f a b l o c k - b a s e d s e g m e n t a t i o n c o d i n g s c h e m e . S i n c e e a c h s t a g e o f t h e a l g o r i t h m

w o r k s o n l y a t b l o c k l e v e l i n s t e a d o f t h e u s u a l p i x e l l e v e l , t h e c o m p u t a t i o n a l l o a d r e m a i n s v e r y l o w . I n

p r a c t i c e , i t r e q u i r e s a b o u t 0 . 2 s e c o n d p e r i m a g e t o o b t a i n t h e s e g m e n t a t i o n a n d t r a c k i n g o n a I m p a c t "

S i l i c o n G r a p h i c s w o r k s t a t i o n .

T h e p r e s e n t e d t e c h n i q u e a l l o w s a s m o o t h t r a n s i t i o n f r o m a b l o c k - b a s e d t o a n o b j e c t - b a s e d v i d e o p r o -

c e s s i n g a p p r o a c h , t h u s a c h i e v i n g t h e b a c k w a r d c o m p a t i b i l i t y c o n s t r a i n t . T h e q u a n t i z a t i o n o f e x t r a c t e d

c o n t o u r s , c o m b i n e d w i t h t h e c o n t o u r r e c o n s t r u c t i o n b y m e a n s o f H e r m i t e p o l y n o m i a l s a l l o w s a l o w c o s t

7/27/2019 Jordan1996_516.pdf


a b

F i g u r e 9 : E x t r a c t e d r e g i o n s f r o m t h e s e q u e n c e L T S " a t f r a m e : a 2 0 1 , b 2 2 5 .

a

b c

F i g u r e 1 0 : H a n d t r a c k e d i n t h e s e q u e n c e L T S " a t f r a m e : a 2 0 4 , b 2 1 3 , c 2 2 5 .

7/27/2019 Jordan1996_516.pdf


30201000

10

20

30

40

Removed elements

Added elements

Total elements in shape

Frame number

N u m

b e r o f e l e m e n t s

F i g u r e 1 1 : V a r i a t i o n o f a d d e d , r e m o v e d a n d t o t a l n u m b e r o f e l e m e n t s i n l i s t L t .

r e p r e s e n t a t i o n o f t h e c o n t o u r s i n t e r m s o f d a t a t r a n s m i s s i o n . F u r t h e m o r e , t h e c o n t o u r p a r t s u p d a t i n g

s c h e m e a l l o w s t r a c k i n g o f m o v i n g a n d d e f o r m a b l e o b j e c t s i n v i d e o s e q u e n c e s .

9 . R E F E R E N C E S

1 F . D u f a u x , I M o c c a g a t t a , B . R o u c h o u z e , T . E b r a h i m i , a n d M . K u n t . M o t i o n c o m p e n s a t e d g e n e r i c

c o d i n g o f v i d e o b a s e d o n m u l t i r e s o l u t i o n d a t a s t r u c t u r e " . O p t i c a l E n g e n e e r i n g , V o l . 3 2 , N o . 7 , p p .

1 5 5 9 1 5 7 0 , J u l y 1 9 9 3 .

2 H . N i c o l a s a n d F . J o r d a n . I n t e r a c t i v e o p t i m i z a t i o n a n d m a s s i v e l y p a r a l l e l i m p l e m e n t a t i o n s o f v i d e o

c o m p r e s s i o n a l g o r i t h m s " . I n I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g , V o l . I o f I I I , p p .

2 2 9 2 3 2 , L a u s a n n e , S w i t z e r l a n d , S e p t e m b e r 1 9 9 6 . I C I P ' 9 6 .

3 R . N o h r e . F r a g m e n t a t i o n - b a s e d i m a g e c o d i n g " . E l e c t r o n i c s L e t t e r s , V o l . 3 1 , N o . 1 1 , p p . 8 7 0 8 7 1 ,

1 9 9 5 .

4 S . D e s m e t , B . D e k n u y d t , L . V a n E y c k e n , a n d A . O o s t e r l i n c k . I n i t i a l s e g m e n t a t i o n o f a s c e n e u s i n g

t h e r e s u l t s o f a c l a s s i c a t i o n b a s e d m o t i o n e s t i m a t o r " . I n I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e

P r o c e s s i n g , V o l . I o f I I I , p p . 5 5 9 5 6 2 , A u s t i n , T e x a s , N o v e m b e r 1 9 9 4 . I C I P ' 9 4 .

5 I . M o c c a g a t t a , F . M o s c h e n i , M . S c h u t z , a n d F . D u f a u x . A m o t i o n e l d s e g m e n t a t i o n t o i m p r o v e

m o v i n g e d g e s r e c o n s t r u c t i o n i n v i d e o c o d i n g " . I n F i r s t I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e

P r o c e s s i n g , V o l . I I I o f I I I , p p . 7 5 1 7 5 5 , A u s t i n , T e x a s , 1 9 9 4 . I C I P ' 9 4 .

6 I . M o c c a g a t t a , F . M o s c h e n i , M . S c h u t z , a n d F . D u f a u x . A V Q - b a s e d m o t i o n e l d r e n e m e n t

t e c h n i q u e f o r i m a g e s e q u e n c e c o d i n g " . I n E u r o p e a n S y m p o s i u m o n A d v a n c e d N e t w o r k s a n d S e r v i c e s ,

C o n f e r e n c e o n C o m p r e s s i o n T e c h n o l o g i e s a n d S t a n d a r d s f o r I m a g e a n d V i d e o C o m m u n i c a t i o n s , V o l .

2 4 5 1 , p p . 1 5 6 1 6 7 , A m s t e r d a m , M a r c h 1 9 9 5 . S P I E .

7/27/2019 Jordan1996_516.pdf


Jordan1996_516.pdf

Documents

Transcript of Jordan1996_516.pdf