Illumination Invariant Face Detection

8/6/2019 Illumination Invariant Face Detection

http://slidepdf.com/reader/full/illumination-invariant-face-detection 1/17

University of Wollongong

Research Online

University of Wollongong Thesis Collection University of Wollongong Thesis Collections

2009

Illumination invariant face detection

Alister Cordiner

University of Wollongong

Research Online is the open access institutional repository for the

University of Wollongong. For further information contact Manager

Repository Services: [email protected].

Recommended CitationCordiner, Alister, Illumination invariant face detection, MComSc thesis, School of Computer Science and Software Engineering,University of Wollongong, 2009. http://ro.uow.edu.au/theses/864

http://ro.uow.edu.au/

http://ro.uow.edu.au/theses

http://ro.uow.edu.au/thesesuow


http://ro.uow.edu.au/thesesuow

http://ro.uow.edu.au/theses






Illumination Invariant Face Detection

A t h e s i s s u b m i t t e d i n f u l l l m e n t o f t h e

r e q u i r e m e n t s f o r t h e a w a r d o f t h e d e g r e e

M a s t e r o f C o m p u t e r S c i e n c e

f r o m

U N I V E R S I T Y O F W O L L O N G O N G

b y

A l i s t e r C o r d i n e r

S c h o o l o f C o m p u t e r S c i e n c e a n d S o f t w a r e E n g i n e e r i n g

J u l y 2 0 0 9



c C o p y r i g h t 2 0 0 9

b y


A l l R i g h t s R e s e r v e d

i i



D e d i c a t e d t o

L e o n a r d a n d S y l v i a

i i i



D e c l a r a t i o n

T h i s i s t o c e r t i f y t h a t t h e w o r k r e p o r t e d i n t h i s t h e s i s w a s d o n e b y

t h e a u t h o r , u n l e s s s p e c i e d o t h e r w i s e , a n d t h a t n o p a r t o f i t h a s b e e n

s u b m i t t e d i n a t h e s i s t o a n y o t h e r u n i v e r s i t y o r s i m i l a r i n s t i t u t i o n .


6 t h J u l y 2 0 0 9

i v



A b s t r a c t

T h e p u r p o s e o f f a c e d e t e c t i o n i s t o p r o c e s s i n p u t i m a g e s i n o r d e r t o d e t e r m i n e t h e l o c a t i o n s o f a n y

f a c e s i n t h e i m a g e . F a c e s a r e c o m p l e x o b j e c t s a n d d e t e c t i n g t h e m r e m a i n s a c h a l l e n g i n g t a s k f o r

c o m p u t e r v i s i o n s y s t e m s , d e s p i t e t h e r e l a t i v e e a s e w i t h w h i c h h u m a n s a r e a b l e t o d o s o . O n e o f t h e

m a j o r d i c u l t i e s f a c e d b y f a c e d e t e c t i o n s y s t e m s i s c h a l l e n g i n g i l l u m i n a t i o n c o n d i t i o n s , s u c h a s l o w

l e v e l l i g h t i n g a n d c a s t s h a d o w s . T h i s t h e s i s r e v i e w s t h e s t a t e o f t h e a r t f a c e d e t e c t i o n m e t h o d s ( w i t h

p a r t i c u l a r e m p h a s i s o n t h e m e t h o d o f V i o l a a n d J o n e s ) a n d e x p l o r e s m e t h o d s o f o v e r c o m i n g a d v e r s e

i l l u m i n a t i o n c o n d i t i o n s . T h e s e m e t h o d s c a n b e b r o a d l y c l a s s i e d a s i n v a r i a n t f e a t u r e s , n o r m a l i s a t i o n

a n d v a r i a t i o n m o d e l l i n g . F o u r n o v e l a p p r o a c h e s t o o v e r c o m i n g i l l u m i n a t i o n t h a t f a l l i n t o t h e s e 3

c a t e g o r i e s a r e p r o p o s e d i n t h i s t h e s i s , n a m e l y : ( i ) l o g - r a t i o H a a r - l i k e f e a t u r e s ; ( i i ) D C H a a r - l i k e

f e a t u r e s ; ( i i i ) l o c a l v a r i a n c e n o r m a l i s a t i o n ; a n d ( i v ) c l a s s i e r f u s i o n . F u r t h e r m o r e , a n e w t y p e o f

f e a t u r e c a l l e d t h e g e n e r a l i s e d i n t e g r a l i m a g e f e a t u r e ( G I I F ) i s p r o p o s e d a s a n a l t e r a t i v e t o H a a r -

l i k e f e a t u r e s . T h e G I I F m e t h o d i s n o t s p e c i c a l l y r e l a t e d t o i l l u m i n a t i o n i n v a r i a n t f a c e d e t e c t i o n ,

b u t i n s t e a d a p p l i e s t o t h e m o r e g e n e r a l t a s k o f f a c e d e t e c t i o n a n d i s t h e r e f o r e p r e s e n t e d a s a s e p a r a t e

c h a p t e r . E x p e r i m e n t a l r e s u l t s o n s t a n d a r d f a c e d a t a b a s e s a r e p r o v i d e d f o r a l l o f t h e p r o p o s e d m e t h o d s

t o v e r i f y t h a t t h e y a c h i e v e i m p r o v e d a c c u r a c y .

v



A c k n o w l e d g e m e n t s

F i r s t a n d f o r e m o s t , I w o u l d l i k e t o t h a n k m y s u p e r v i s o r s , P r o f e s s o r P h i l i p O g u n b o n a a n d D r W a n q i n g

L i . W i t h o u t t h e i r w i s d o m , g u i d a n c e , c o n s t r u c t i v e f e e d b a c k a n d e n c o u r a g e m e n t t h i s w o r k w o u l d

n o t h a v e b e e n p o s s i b l e . I w i s h t o t h a n k a l l o f m y s t u d e n t c o l l e a g u e s , p a r t i c u l a r l y t h e m e m b e r s o f

t h e A d v a n c e d M u l t i m e d i a R e s e a r c h L a b a t t h e U n i v e r s i t y o f W o l l o n g o n g , f o r t h e o p p o r t u n i t i e s t o

e x c h a n g e i d e a s a n d s h a r e d i v e r s e p o i n t s o f v i e w a t t h e g r o u p m e e t i n g s . I a l s o w i s h t o t h a n k m y

e m p l o y e r s , p a r t i c u l a r l y D r T a r i k H a m m a d o u , f o r b e i n g e x i b l e a n d a l l o w i n g m e t o c o m p l e t e m y t h e s i s

w h i l e b e i n g e m p l o y e d . A n d n a l l y , I w o u l d l i k e t o t h a n k m y f a m i l y , e s p e c i a l l y m y p a r e n t s , L e o n a r d

a n d S y l v i a , f o r b e i n g s u p p o r t i v e a n d e n c o u r a g i n g o v e r t h e s e p a s t t w o y e a r s . T o t h e m I d e d i c a t e t h i s

t h e s i s .

v i



C o n t e n t s

A b s t r a c t v

A c k n o w l e d g e m e n t s v i

1 I n t r o d u c t i o n 1

1 . 1 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1 . 2 C o n t r i b u t i o n s o f t h e t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1 . 3 P u b l i c a t i o n l i s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1 . 4 O r g a n i s a t i o n o f t h e t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 L i t e r a t u r e r e v i e w 5

2 . 1 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 . 2 F a c e d e t e c t i o n m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 . 2 . 1 K n o w l e d g e - b a s e d m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1

2 . 2 . 2 F e a t u r e - b a s e d m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

2 . 2 . 3 T e m p l a t e m a t c h i n g m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

2 . 2 . 4 A p p e a r a n c e - b a s e d m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

2 . 2 . 5 S e m i n a l p a p e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7

2 . 2 . 6 F a c e d a t a b a s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8

2 . 2 . 7 E v a l u a t i n g f a c e d e t e c t i o n s y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0

2 . 3 C h a l l e n g e s i n f a c e d e t e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2

2 . 3 . 1 L o w r e s o l u t i o n o r p o o r q u a l i t y i m a g e s . . . . . . . . . . . . . . . . . . . . . . . 2 2

2 . 3 . 2 O c c l u s i o n b y f o r e i g n o b j e c t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3

2 . 3 . 3 I l l u m i n a t i o n v a r i a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5

2 . 3 . 4 F a c i a l e x p r e s s i o n s a n d s t r u c t u r a l o b s t r u c t i o n s . . . . . . . . . . . . . . . . . . 2 6

2 . 3 . 5 P o s e ( r o t a t i o n ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7

2 . 3 . 6 A r t i c i a l f a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9

2 . 4 E v a l u a t i o n o f V i o l a a n d J o n e s f a c e d e t e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 3 0

v i i



2 . 5 D i s c u s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5

3 I l l u m i n a t i o n i n v a r i a n t f a c e d e t e c t i o n 3 6

3 . 1 T h e o r y o f l i g h t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7

3 . 1 . 1 S y m b o l s a n d n o t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7

3 . 1 . 2 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7

3 . 1 . 3 L i g h t i n g e n v i r o n m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5

3 . 1 . 4 E e c t s o f i l l u m i n a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6

3 . 1 . 5 H u m a n p e r c e p t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 7

3 . 1 . 6 A p p r o a c h e s t o i l l u m i n a t i o n i n v a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . 4 7

3 . 2 I n v a r i a n t f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8

3 . 2 . 1 I n t e n s i t y d e r i v a t i v e ( g r a d i e n t ) l t e r s . . . . . . . . . . . . . . . . . . . . . . . . 5 0

3 . 2 . 2 D C T - b a s e d f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1

3 . 2 . 3 G a b o r w a v e l e t l t e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1

3 . 2 . 4 H a a r - l i k e w a v e l e t l t e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2

3 . 2 . 5 E x p e r i m e n t s w i t h i n v a r i a n t f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . 5 2

3 . 2 . 6 D i s c u s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4

3 . 3 N o r m a l i s a t i o n a n d r e l i g h t i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4

3 . 3 . 1 M o n o t o n i c t r a n s f e r f u n c t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 6

3 . 3 . 2 H o m o m o r p h i c l t e r i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8

3 . 3 . 3 B a s i s s e t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 9

3 . 3 . 4 R a t i o i m a g e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3

3 . 3 . 5 E x p e r i m e n t s w i t h n o r m a l i s a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6

3 . 3 . 6 D i s c u s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8

3 . 4 V a r i a t i o n m o d e l l i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8

3 . 4 . 1 I l l u m i n a t i o n c o n e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1

3 . 4 . 2 3 - D l i n e a r s u b s p a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2

3 . 4 . 3 P r i n c i p a l C o m p o n e n t A n a l y s i s ( P C A ) . . . . . . . . . . . . . . . . . . . . . . . 7 3

3 . 4 . 4 I n d e p e n d e n t C o m p o n e n t A n a l y s i s ( I C A ) . . . . . . . . . . . . . . . . . . . . . . 7 3

3 . 4 . 5 F i s h e r ' s L i n e a r D i s c r i m i n a n t ( F L D ) . . . . . . . . . . . . . . . . . . . . . . . . 7 4

3 . 4 . 6 N o n - n e g a t i v e M a t r i x F a c t o r i s a t i o n ( N M F ) . . . . . . . . . . . . . . . . . . . . . 7 4

3 . 4 . 7 D i s c u s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 6

4 P r o p o s e d m e t h o d s 7 8

4 . 1 I n v a r i a n t f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 9

4 . 1 . 1 R a t i o f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 9

v i i i



A V i o l a a n d J o n e s f a c e d e t e c t i o n 1 3 1

A . 1 H a a r - l i k e f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 2

A . 2 A d a B o o s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 4

A . 3 C a s c a d e g e n e r a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 8

A . 4 M e r g i n g a l g o r i t h m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 9

A . 5 E x t e n s i o n s t o V i o l a a n d J o n e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 9

A . 5 . 1 A d a B o o s t a l g o r i t h m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 9

A . 5 . 2 W e a k l e a r n e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 0

A . 5 . 3 H a a r - l i k e f e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 1

B i b l i o g r a p h y 1 4 2

x



L i s t o f T a b l e s

2 . 1 C o m m o n l y u s e d f a c e d a t a b a s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9

2 . 2 A v e r a g e d e t e c t i o n r a t e s a t o r i g i n a l s c a l e . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1

2 . 3 A v e r a g e n u m b e r o f f a l s e p o s i t i v e s a t o r i g i n a l s c a l e . . . . . . . . . . . . . . . . . . . . . 3 2

4 . 1 C o m p a r i s o n o f f a c e d e t e c t i o n r e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 1

4 . 2 E x a m p l e s o f f a l s e p o s i t i v e s a n d f a l s e n e g a t i v e s f o r a l l i l l u m i n a t i o n i n v a r i a n t a p p r o a c h e s 1 0 3

5 . 1 C o m p a r i s o n o f A U C a n d e r r o r r a t e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 5

x i



L i s t o f F i g u r e s

2 . 1 C o n t o u r e d s k e t c h o f a h u m a n f a c e [ 4 5 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 . 2 F a c e d e t e c t i o n s y s t e m t o p o l o g y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 . 3 C o m b i n i n g r e s u l t s f r o m m u l t i - r e s o l u t i o n , m u l t i - f a c e d e t e c t i o n . . . . . . . . . . . . . . 8

2 . 4 P a t t e r n c l a s s i c a t i o n a p p r o a c h t o d e t e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 9

2 . 5 K n o w l e d g e - b a s e d a r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1

2 . 6 F e a t u r e - b a s e d a r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

2 . 7 T e m p l a t e m a t c h i n g a r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

2 . 8 E x a m p l e o f A A M i t e r a t i v e d e f o r m i n g [ 3 7 ] . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

2 . 9 A p p e a r a n c e - b a s e d a r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

2 . 1 0 E x a m p l e i m a g e s f r o m t h e A R f a c e d a t a b a s e [ 1 1 3 ] . . . . . . . . . . . . . . . . . . . . . 2 0

2 . 1 1 T h e i m p o r t a n c e o f c o n t e x t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3

2 . 1 2 E x a m p l e s o f o c c l u s i o n b y s u n g l a s s e s a n d a s c a r f [ 1 1 3 ] . . . . . . . . . . . . . . . . . . . 2 4

2 . 1 3 E x a m p l e s o f d i e r e n t f a c i a l e x p r e s s i o n s [ 1 0 8 ] . . . . . . . . . . . . . . . . . . . . . . . 2 6

2 . 1 4 E x a m p l e s o f a f r o n t a l f a c e a n d o u t - o f - p l a n e r o t a t e d f a c e s [ 9 ] . . . . . . . . . . . . . . . 2 7

2 . 1 5 T h e f o u r m a i n a p p r o a c h e s t o r o t a t i o n - i n v a r i a n t f a c e d e t e c t i o n . . . . . . . . . . . . . . 2 8

2 . 1 6 E x a m p l e s o f a r t i c i a l f a c e s . [ 8 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0

2 . 1 7 F a c e s i z e v s . d e t e c t i o n r a t e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3

2 . 1 8 A v e r a g e i n t e n s i t y v s . d e t e c t i o n r a t e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3

2 . 1 9 E x a m p l e s o f i m a g e s w i t h l o w a n d h i g h a v e r a g e f a c e i n t e n s i t y w h i c h w e r e n o t d e t e c t e d 3 4

2 . 2 0 E x a m p l e s o f i m a g e s w h e r e t h e f a c e d e t e c t o r p e r f o r m e d p o o r l y . . . . . . . . . . . . . . 3 4

3 . 1 S p e c u l a r v s . d i u s e r e e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8

3 . 2 D i e r e n t t y p e s o f r e e c t i o n f r o m t h e s k i n [ 4 4 ] . . . . . . . . . . . . . . . . . . . . . . 3 9

3 . 3 S c a t t e r i n g e e c t o f d i u s e s u r f a c e s b l u r s t h e i n c i d e n t l i g h t a s i t i s r e e c t e d . . . . . . 4 0

3 . 4 H i s t o g r a m s k e w n e s s i n d i c a t e s t h e t y p e o f r e e c t i o n . . . . . . . . . . . . . . . . . . . 4 1

3 . 5 E x a m p l e g l o b a l a n d i n d i v i d u a l g e o m e t r i c m o d e l s g e n e r a t e d f r o m 3 - D f a c e d a t a [ 2 7 ] . 4 1

x i i



3 . 6 A n i m a g e c a n b e r e p r e s e n t e d a s t h e p i x e l - w i s e p r o d u c t o f a r e e c t a n c e i m a g e a n d a n

i l l u m i n a n c e i m a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3

3 . 7 A t t a c h e d a n d c a s t s h a d o w s f r o m a n i n c i d e n t l i g h t r a y [ 2 3 ] . . . . . . . . . . . . . . . . 4 4

3 . 8 C u b e a n d s p h e r i c a l e n v i r o n m e n t m a p s s h o w i n g s o m e p o s s i b l e i n c i d e n t l i g h t d i r e c t i o n s 4 5

3 . 9 E x a m p l e s o f v a r y i n g i l l u m i n a t i o n [ 5 9 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6

3 . 1 0 E d g e m a p s a r e u n s t a b l e u n d e r s t r o n g i l l u m i n a t i o n v a r i a t i o n s a n d t h e c o m p u t e d e d g e s

d o n o t n e c e s s a r i l y c o r r e s p o n d t o c h a n g e s i n r e e c t a n c e . . . . . . . . . . . . . . . . . 4 9

3 . 1 1 G a b o r w a v e l e t l t e r s o f v a r y i n g f r e q u e n c i e s a n d o r i e n t a t i o n s . . . . . . . . . . . . . . . 5 1

3 . 1 2 F r e q u e n c y r e s p o n s e o f t h e H a a r - l i k e f e a t u r e s p r o p o s e d b y V i o l a a n d J o n e s . . . . . . . 5 2

3 . 1 3 E x a m p l e s o f i n v a r i a n t f e a t u r e v a l u e s , w h e r e t h e t o p l e f t i m a g e i s t h e o r i g i n a l i n p u t

i m a g e f r o m t h e B i o I D d a t a b a s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3

3 . 1 4 P e r f o r m a n c e o f a V i o l a a n d J o n e s c l a s s i e r u s i n g d i e r e n t i n v a r i a n t f e a t u r e s . . . . . . 5 5

3 . 1 5 H o m o m o r p h i c l t e r i n g u s i n g t h e d i s c r e t e F o u r i e r t r a n s f o r m ( D F T ) . . . . . . . . . . . 5 8

3 . 1 6 E x a m p l e o f h o m o m o r p h i c l t e r i n g a p p l i e d t o a f a c e . . . . . . . . . . . . . . . . . . . . 5 9

3 . 1 7 D e c o m p o s i t i o n o f a n i n p u t i m a g e s e q u e n c e i n t o r e e c t a n c e a n d i l l u m i n a t i o n i m a g e s

u s i n g t h e m e t h o d o f [ 1 7 4 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0

3 . 1 8 N o r m a l i s a t i o n m e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7

3 . 1 9 M e a n a n d v a r i a n c e n o r m a l i s a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 9

3 . 2 0 V i s u a l r e p r e s e n t a t i o n o f t h e i l l u m i n a t i o n c o n e o f a f a c e [ 2 ] . . . . . . . . . . . . . . . 7 2

3 . 2 1 ( a ) N M F i l l u m i n a t i o n b a s i s i m a g e s . ( b ) R e l i g h t i n g r e s u l t s ( t o p r o w a r e t h e i n p u t i m a g e s ,

b o t t o m r o w a r e t h e r e l i t i m a g e s ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5

3 . 2 2 D C T , P C A ( e i g e n f a c e s ) a n d N M F b a s i s i m a g e s g e n e r a t e d f o r t h e e x p e r i m e n t s . . . . 7 7

4 . 1 H a a r - l i k e f e a t u r e s H 1 t o H 4 w e r e u s e d b y V i o l a a n d J o n e s . F e a t u r e H 5 i s t h e p r o p o s e d

D C f e a t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1

4 . 2 E x a m p l e i m a g e s w h e r e t h e c l a s s i e r f a i l s r a n k e d i n o r d e r o f c o n d e n c e w e i g h t i n g f r o m

t o p l e f t t o b o t t o m r i g h t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1

4 . 3 C o m p a r i s o n o f t h e e r r o r r a t e o f f a c e d e t e c t o r s t r a i n e d w i t h a s i n g l e H a a r - l i k e f e a t u r e .

F e a t u r e H 5 i s t h e p r o p o s e d D C f e a t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2

4 . 4 C o m p a r i s o n o f t h e c l a s s i c a t i o n m a r g i n gi v e r s u s i l l u m i n a t i o n a n g l e o n t h e Y a l e B

d a t a b a s e f o r ( a ) t h e D C f e a t u r e s a n d ( b ) t h e r a t i o f e a t u r e s . . . . . . . . . . . . . . . . 8 3

4 . 5 C o m p a r i s o n o f e r r o r r a t e o n t h e Y a l e B d a t a b a s e . . . . . . . . . . . . . . . . . . . . . . 8 4

4 . 6 F a l s e p o s i t i v e ( a ) b e f o r e a n d ( b ) a f t e r v a r i a n c e a n d m e a n n o r m a l i s a t i o n i s a p p l i e d . . . 8 5

4 . 7 C o m p a r i s o n o f d i e r e n t t y p e s o f v a r i a n c e n o r m a l i s a t i o n . . . . . . . . . . . . . . . . . 8 6

x i i i



4 . 8 C o m p a r i s o n o f t h e c l a s s i c a t i o n m a r g i n gi v e r s u s i l l u m i n a t i o n a n g l e o n t h e Y a l e B

d a t a b a s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 7

4 . 9 C o m p a r i s o n o f e r r o r r a t e o n t h e Y a l e B d a t a b a s e . . . . . . . . . . . . . . . . . . . . . . 8 8

4 . 1 0 E x a m p l e s o f 3 p o s s i b l e i l l u m i n a t i o n c l a s s e s . . . . . . . . . . . . . . . . . . . . . . . . . 8 9

4 . 1 1 H i g h - l e v e l b l o c k d i a g r a m o f t h e p r o p o s e d f a c e d e t e c t i o n s y s t e m . . . . . . . . . . . . . . 8 9

4 . 1 2 E x a m p l e s o f f a c e s c l u s t e r e d i n t o f a c e i l l u m i n a t i o n c l a s s e s u s i n g k - m e a n s c l u s t e r i n g . . 9 2

4 . 1 3 E x a m p l e m e m b e r s h i p m a t r i c e s f o r c r i s p a n d f u z z y c l u s t e r i n g . . . . . . . . . . . . . . . 9 2

4 . 1 4 C a l c u l a t i n g t h e o u t p u t o f m o n o l i t h i c a n d m u l t i p l e c l a s s i e r s . . . . . . . . . . . . . . . 9 3

4 . 1 5 T h e r s t 1 0 H a a r - l i k e f e a t u r e s s e l e c t e d f o r t h e ( a ) m o n o l i t h i c a n d ( b ) c l u s t e r e d f a c e

d e t e c t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 6

4 . 1 6 T h e R O C c u r v e s h o w s t h a t a l l o f t h e m u l t i p l e c l a s s i e r v a r i a n t s o u t p e r f o r m t h e m o n o -

l i t h i c c l a s s i e r m e t h o d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 7

4 . 1 7 C o n f u s i o n m a t r i c e s s h o w i n g t h e d e t e c t i o n r a t e s a c r o s s t h e d i e r e n t f a c e i l l u m i n a t i o n

c l a s s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 8

4 . 1 8 C o m p a r i s o n o f R O C c u r v e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 1

5 . 1 I n p u t i m a g e a n d i t s c o r r e s p o n d i n g i n t e g r a l i m a g e . . . . . . . . . . . . . . . . . . . . . 1 0 7

5 . 2 R e g i o n A c a n b e c o m p u t e d a s y1 + y4 − (y2 + y3) [ 4 8 ] . . . . . . . . . . . . . . . . . . 1 0 8

5 . 3 E x a m p l e g e n e t i c a l g o r i t h m [ 5 1 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 9

5 . 4 S o m e e x a m p l e s o f H a a r - l i k e f e a t u r e s u s e d t o r e p r e s e n t h . . . . . . . . . . . . . . . . . 1 1 0

5 . 5 E x a m p l e i n t e g r a l i m a g e l o o k - u p s u s e d t o c a l c u l a t e a s i n g l e H a a r - l i k e f e a t u r e v a l u e . . . 1 1 3

5 . 6 E x a m p l e i n t e g r a l i m a g e l o o k - u p s u s e d t o c a l c u l a t e a s i n g l e g e n e r a l i s e d i n t e g r a l i m a g e

f e a t u r e v a l u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3

5 . 7 A p p r o x i m a t i o n o f a V i o l a a n d J o n e s H a a r - l i k e f e a t u r e i n t h e G I I F f e a t u r e s p a c e c o n -

s t r a i n e d b y g ∈ {−1, 0,+1} . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 5

5 . 8 C a l c u l a t i o n o f a n o s e t i n t e g r a l i m a g e . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 8

5 . 9 E x a m p l e c o n v e r s i o n s f r o m a G I I F g t o a t r a n s l a t i o n i n v a r i a n t G I I F g̃ . . . . . . . . . . 1 2 0

5 . 1 0 E e c t o f v a r y i n g t h e m u t a t i o n a n d c r o s s o v e r r a t e s . . . . . . . . . . . . . . . . . . . . 1 2 2

5 . 1 1 E e c t o f v a r y i n g t h e α v a l u e o n t h e e r r o r r a t e a n d s p a r s i t y . . . . . . . . . . . . . . . 1 2 2

5 . 1 2 E q u i v a l e n t H a a r - l i k e f e a t u r e s

hg e n e r a t e d b y v a r y i n g t h e v a l u e o f α f r o m a h i g h v a l u e

( l e f t ) t o a l o w v a l u e ( r i g h t ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 4

5 . 1 3 E e c t o f v a r y i n g t h e r a n g e o f g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 4

5 . 1 4 C o m p a r i s o n o f t h e R O C c u r v e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 6

A . 1 H a a r - l i k e f e a t u r e s o r i g i n a l l y p r o p o s e d b y [ 1 7 0 ] , w h e r e t h e d a r k e r r e c t a n g l e s a r e t h e

p o s i t i v e r e g i o n s a n d l i g h t e r r e c t a n g l e s a r e t h e n e g a t i v e r e g i o n s . . . . . . . . . . . . . 1 3 2

x i v



A . 2 E x a m p l e o f a n i n t e g r a l i m a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 3

A . 3 A d a B o o s t v i e w e d a s a n e u r a l n e t w o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 5

A . 4 W e a k c l a s s i e r s w i t h l o w e r t r a i n i n g e r r o r s a r e g i v e n h i g h e r w e i g h t i n g s . . . . . . . . . 1 3 7

A . 5 S t r u c t u r e o f t h e f a c e d e t e c t o r c a s c a d e . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 8

A . 6 E x a m p l e s o f m u l t i p l e d e t e c t i o n s b e f o r e m e r g i n g i s a p p l i e d [ 1 4 2 ] . . . . . . . . . . . . . 1 3 9

Illumination Invariant Face Detection

Documents

Transcript of Illumination Invariant Face Detection