2-Laplacian Eigenmaps and Spectral(2001-Cited1504)

7/30/2019 2-Laplacian Eigenmaps and Spectral(2001-Cited1504)

1/7

L a p l a c i a n E i g e n m a p s a n d S p e c t r a l

T e c h n i q u e s f o r E m b e d d i n g a n d C l u s t e r i n g

M i k h a i l B e l k i n a n d P a r t h a N i y o g i

D e p t s . o f M a t h e m a t i c s a n d C o m p u t e r S c i e n c e

T h e U n i v e r s i t y o f C h i c a g o

H y d e P a r k , C h i c a g o , I L 6 0 6 3 7 .

( m i s h a @ m a t h . u c h i c a g o . e d u , n i y o g i @ c s . u c h i c a g o . e d u )

A b s t r a c t

D r a w i n g o n t h e c o r r e s p o n d e n c e b e t w e e n t h e g r a p h L a p l a c i a n , t h e

L a p l a c e - B e l t r a m i o p e r a t o r o n a m a n i f o l d , a n d t h e c o n n e c t i o n s t o

t h e h e a t e q u a t i o n , w e p r o p o s e a g e o m e t r i c a l l y m o t i v a t e d a l g o r i t h m

f o r c o n s t r u c t i n g a r e p r e s e n t a t i o n f o r d a t a s a m p l e d f r o m a l o w d i -

m e n s i o n a l m a n i f o l d e m b e d d e d i n a h i g h e r d i m e n s i o n a l s p a c e . T h e

a l g o r i t h m p r o v i d e s a c o m p u t a t i o n a l l y e c i e n t a p p r o a c h t o n o n -

l i n e a r d i m e n s i o n a l i t y r e d u c t i o n t h a t h a s l o c a l i t y p r e s e r v i n g p r o p -

e r t i e s a n d a n a t u r a l c o n n e c t i o n t o c l u s t e r i n g . S e v e r a l a p p l i c a t i o n s

a r e c o n s i d e r e d .

I n m a n y a r e a s o f a r t i c i a l i n t e l l i g e n c e , i n f o r m a t i o n r e t r i e v a l a n d d a t a m i n i n g , o n e

i s o f t e n c o n f r o n t e d w i t h i n t r i n s i c a l l y l o w d i m e n s i o n a l d a t a l y i n g i n a v e r y h i g h d i -

m e n s i o n a l s p a c e . F o r e x a m p l e , g r a y s c a l e n n i m a g e s o f a x e d o b j e c t t a k e n w i t h

a m o v i n g c a m e r a y i e l d d a t a p o i n t s i n R

n

2

. H o w e v e r , t h e i n t r i n s i c d i m e n s i o n a l i t y o f

t h e s p a c e o f a l l i m a g e s o f t h e s a m e o b j e c t i s t h e n u m b e r o f d e g r e e s o f f r e e d o m o f

t h e c a m e r a { i n f a c t t h e s p a c e h a s t h e n a t u r a l s t r u c t u r e o f a m a n i f o l d e m b e d d e d i n

R

n

2

. W h i l e t h e r e i s a l a r g e b o d y o f w o r k o n d i m e n s i o n a l i t y r e d u c t i o n i n g e n e r a l ,

m o s t e x i s t i n g a p p r o a c h e s d o n o t e x p l i c i t l y t a k e i n t o a c c o u n t t h e s t r u c t u r e o f t h e

m a n i f o l d o n w h i c h t h e d a t a m a y p o s s i b l y r e s i d e . R e c e n t l y , t h e r e h a s b e e n s o m e

i n t e r e s t ( T e n e n b a u m e t a l , 2 0 0 0 R o w e i s a n d S a u l , 2 0 0 0 ) i n t h e p r o b l e m o f d e v e l -

o p i n g l o w d i m e n s i o n a l r e p r e s e n t a t i o n s o f d a t a i n t h i s p a r t i c u l a r c o n t e x t . I n t h i s

p a p e r , w e p r e s e n t a n e w a l g o r i t h m a n d a n a c c o m p a n y i n g f r a m e w o r k o f a n a l y s i s f o r

g e o m e t r i c a l l y m o t i v a t e d d i m e n s i o n a l i t y r e d u c t i o n .

T h e c o r e a l g o r i t h m i s v e r y s i m p l e , h a s a f e w l o c a l c o m p u t a t i o n s a n d o n e s p a r s e

e i g e n v a l u e p r o b l e m . T h e s o l u t i o n r e e c t s t h e i n t r i n s i c g e o m e t r i c s t r u c t u r e o f t h e

m a n i f o l d . T h e j u s t i c a t i o n c o m e s f r o m t h e r o l e o f t h e L a p l a c i a n o p e r a t o r i n p r o -

v i d i n g a n o p t i m a l e m b e d d i n g . T h e L a p l a c i a n o f t h e g r a p h o b t a i n e d f r o m t h e d a t a

p o i n t s m a y b e v i e w e d a s a n a p p r o x i m a t i o n t o t h e L a p l a c e - B e l t r a m i o p e r a t o r d e n e d

o n t h e m a n i f o l d . T h e e m b e d d i n g m a p s f o r t h e d a t a c o m e f r o m a p p r o x i m a t i o n s t o

a n a t u r a l m a p t h a t i s d e n e d o n t h e e n t i r e m a n i f o l d . T h e f r a m e w o r k o f a n a l y s i s


2/7

p r e s e n t e d h e r e m a k e s t h i s c o n n e c t i o n e x p l i c i t . W h i l e t h i s c o n n e c t i o n i s k n o w n t o

g e o m e t e r s a n d s p e c i a l i s t s i n s p e c t r a l g r a p h t h e o r y ( f o r e x a m p l e , s e e 1 , 2 ] ) t o t h e

b e s t o f o u r k n o w l e d g e w e d o n o t k n o w o f a n y a p p l i c a t i o n t o d a t a r e p r e s e n t a t i o n

y e t . T h e c o n n e c t i o n o f t h e L a p l a c i a n t o t h e h e a t k e r n e l e n a b l e s u s t o c h o o s e t h e

w e i g h t s o f t h e g r a p h i n a p r i n c i p l e d m a n n e r .

T h e l o c a l i t y p r e s e r v i n g c h a r a c t e r o f t h e L a p l a c i a n E i g e n m a p a l g o r i t h m m a k e s i t r e l -

a t i v e l y i n s e n s i t i v e t o o u t l i e r s a n d n o i s e . A b y p r o d u c t o f t h i s i s t h a t t h e a l g o r i t h m

i m p l i c i t l y e m p h a s i z e s t h e n a t u r a l c l u s t e r s i n t h e d a t a . C o n n e c t i o n s t o s p e c t r a l c l u s -

t e r i n g a l g o r i t h m s d e v e l o p e d i n l e a r n i n g a n d c o m p u t e r v i s i o n ( s e e S h i a n d M a l i k ,

1 9 9 7 ) b e c o m e v e r y c l e a r . F o l l o w i n g t h e d i s c u s s i o n o f R o w e i s a n d S a u l ( 2 0 0 0 ) , a n d

T e n e n b a u m e t a l ( 2 0 0 0 ) , w e n o t e t h a t t h e b i o l o g i c a l p e r c e p t u a l a p p a r a t u s i s c o n -

f r o n t e d w i t h h i g h d i m e n s i o n a l s t i m u l i f r o m w h i c h i t m u s t r e c o v e r l o w d i m e n s i o n a l

s t r u c t u r e . O n e m i g h t a r g u e t h a t i f t h e a p p r o a c h t o r e c o v e r i n g s u c h l o w - d i m e n s i o n a l

s t r u c t u r e i s i n h e r e n t l y l o c a l , t h e n a n a t u r a l c l u s t e r i n g w i l l e m e r g e a n d t h u s m i g h t

s e r v e a s t h e b a s i s f o r t h e d e v e l o p m e n t o f c a t e g o r i e s i n b i o l o g i c a l p e r c e p t i o n .

1 T h e A l g o r i t h m

G i v e n k p o i n t s x

1

: : : x

k

i n R , w e c o n s t r u c t a w e i g h t e d g r a p h w i t h k n o d e s , o n e

f o r e a c h p o i n t , a n d t h e s e t o f e d g e s c o n n e c t i n g n e i g h b o r i n g p o i n t s t o e a c h o t h e r .

1 . S t e p 1 . C o n s t r u c t i n g t h e G r a p h ] W e p u t a n e d g e b e t w e e n n o d e s i a n d j i f

x

i

a n d x

j

a r e \ c l o s e " . T h e r e a r e t w o v a r i a t i o n s :

( a ) - n e i g h b o r h o o d s . p a r a m e t e r 2 R ] N o d e s i a n d j a r e c o n n e c t e d b y a n

e d g e i f x

i

; x

j

2

<

A d v a n t a g e s : g e o m e t r i c a l l y m o t i v a t e d , t h e r e l a t i o n s h i p i s n a t u r a l l y

s y m m e t r i c .

D i s a d v a n t a g e s : o f t e n l e a d s t o g r a p h s w i t h s e v e r a l c o n n e c t e d c o m p o -

n e n t s , d i c u l t t o c h o o s e

( b ) n n e a r e s t n e i g h b o r s . p a r a m e t e r n 2 N ] N o d e s i a n d j a r e c o n n e c t e d b y

a n e d g e i f i i s a m o n g n n e a r e s t n e i g h b o r s o f j o r j i s a m o n g n n e a r e s t

n e i g h b o r s o f i

A d v a n t a g e s : s i m p l e r t o c h o o s e , t e n d s t o l e a d t o c o n n e c t e d g r a p h s .

D i s a d v a n t a g e s : l e s s g e o m e t r i c a l l y i n t u i t i v e .

2 . S t e p 2 . C h o o s i n g t h e w e i g h t s ] H e r e a s w e l l w e h a v e t w o v a r i a t i o n s f o r

w e i g h t i n g t h e e d g e s :

( a ) H e a t k e r n e l . p a r a m e t e r t 2 R ] . I f n o d e s i a n d j a r e c o n n e c t e d , p u t

W

i j

= e

x

i

x

j

2

t

T h e j u s t i c a t i o n f o r t h i s c h o i c e o f w e i g h t s w i l l b e p r o v i d e d l a t e r .

( b ) S i m p l e - m i n d e d . N o p a r a m e t e r s W

i j

= 1 i f a n d o n l y i f v e r t i c e s i a n d

j a r e c o n n e c t e d b y a n e d g e .

A s i m p l i c a t i o n w h i c h a v o i d s t h e n e c e s s i t y o f c h o o s i n g t

3 . S t e p 3 . E i g e n m a p s ] A s s u m e t h e g r a p h G , c o n s t r u c t e d a b o v e , i s c o n n e c t e d ,

o t h e r w i s e p r o c e e d w i t h S t e p 3 f o r e a c h c o n n e c t e d c o m p o n e n t .


3/7

0 20 40

0

10

20

30

40

5 0 5

x 103

8

6

4

2

0

2

4

6

8x 10

3

2 0 2

4

2

0

2

4

F i g u r e 1 : T h e l e f t p a n e l s h o w s a h o r i z o n t a l a n d a v e r t i c a l b a r . T h e m i d d l e p a n e l

i s a t w o d i m e n s i o n a l r e p r e s e n t a t i o n o f t h e s e t o f a l l i m a g e s u s i n g t h e L a p l a c i a n

e i g e n m a p s . T h e r i g h t p a n e l s h o w s t h e r e s u l t o f a p r i n c i p a l c o m p o n e n t s a n a l y s i s

u s i n g t h e r s t t w o p r i n c i p a l d i r e c t i o n s t o r e p r e s e n t t h e d a t a . D o t s c o r r e s p o n d t o

v e r t i c a l b a r s a n d ' + ' s i g n s c o r r e s p o n d t o h o r i z o n t a l b a r s .

C o m p u t e e i g e n v a l u e s a n d e i g e n v e c t o r s f o r t h e g e n e r a l i z e d e i g e n v e c t o r p r o b -

l e m :

L y = D y ( 1 )

w h e r e D i s d i a g o n a l w e i g h t m a t r i x , i t s e n t r i e s a r e c o l u m n ( o r r o w , s i n c e

W i s s y m m e t r i c ) s u m s o f W D

i i

=

P

j

W

j i

L = D ; W i s t h e L a p l a c i a n

m a t r i x . L a p l a c i a n i s a s y m m e t r i c , p o s i t i v e s e m i d e n i t e m a t r i x w h i c h c a n

b e t h o u g h t o f a s a n o p e r a t o r o n f u n c t i o n s d e n e d o n v e r t i c e s o f G

L e t y

0

: : : y

k 1

b e t h e s o l u t i o n s o f e q u a t i o n 1 , o r d e r e d a c c o r d i n g t o t h e i r

e i g e n v a l u e s w i t h y

0

h a v i n g t h e s m a l l e s t e i g e n v a l u e ( i n f a c t 0 ) . T h e i m a g e

o f x

i

u n d e r t h e e m b e d d i n g i n t o t h e l o w e r d i m e n s i o n a l s p a c e R

m

i s g i v e n b y

( y

1

( i ) : : : y

m

( i ) )

2 J u s t i c a t i o n

R e c a l l t h a t g i v e n a d a t a s e t w e c o n s t r u c t a w e i g h t e d g r a p h G = ( V E ) w i t h e d g e s

c o n n e c t i n g n e a r b y p o i n t s t o e a c h o t h e r . C o n s i d e r t h e p r o b l e m o f m a p p i n g t h e

w e i g h t e d c o n n e c t e d g r a p h G t o a l i n e s o t h a t c o n n e c t e d p o i n t s s t a y a s c l o s e t o g e t h e r

a s p o s s i b l e . W e w i s h t o c h o o s e y

i

2 R t o m i n i m i z e

X

i j

( y

i

; y

j

)

2

W

i j

u n d e r a p p r o p r i a t e c o n s t r a i n t s . L e t y = ( y

1

y

2

: : : y

n

)

T

b e t h e m a p f r o m t h e g r a p h

t o t h e r e a l l i n e . F i r s t , n o t e t h a t f o r a n y y , w e h a v e

1

2

X

i j

( y

i

; y

j

)

2

W

i j

= y

T

L y ( 2 )

w h e r e a s b e f o r e , L = D ; W . T o s e e t h i s , n o t i c e t h a t W

i j

i s s y m m e t r i c a n d

D

i i

=

P

j

W

i j

. T h u s

P

i j

( y

i

; y

j

)

2

W

i j

c a n b e w r i t t e n a s

X

i j

( y

2

i

+ y

2

j

; 2 y

i

y

j

) W

i j

=

X

i

y

2

i

D

i i

+

X

j

y

2

j

D

j j

; 2

X

i j

y

i

y

j

W

i j

= 2 y

T

L y


4/7

7 8 9 10

x 103

0.0095

0.01

0.0105

0.011

0.0115

0.012

0.0125

0.013

0.0135

was

were

would

has

willsaid

can

could

may

did

must

should

nevermight

used

does

got

told

didnt

going

felt

sawwant

began

0.015 0.016 0.017 0.018

0.0125

0.012

0.0115

0.011

of

in

on

at

from

than

between

under

against

during

upon

toward

among

along

2 4 6 8

x 103

0.024

0.0245

0.025

0.0255

0.026

0.0265

0.027

0.0275

0.028

be

do

make

see

get

know

go

take

say

put

find

look

give

becomehelp

F i g u r e 3 : F r a g m e n t s l a b e l e d b y a r r o w s i n g u r e 2 , f r o m l e f t t o r i g h t . T h e r s t

c o n t a i n s i n n i t i v e s o f v e r b s , t h e s e c o n d c o n t a i n s p r e p o s i t i o n s a n d t h e t h i r d m o s t l y

m o d a l a n d a u x i l i a r y v e r b s . W e s e e t h a t s y n t a c t i c s t r u c t u r e i s w e l l - p r e s e r v e d .

T h e r e f o r e , t h e m i n i m i z a t i o n p r o b l e m r e d u c e s t o n d i n g a r g m i n

y

T

D y = 1

y

T

L y

0.015 0.01 0.005 0 0.005 0.01 0.015 0.020.015

0.01

0.005

0

0.005

0.01

0.015

0.02

0.025

0.03

1

3

2

F i g u r e 2 : 3 0 0 m o s t f r e q u e n t w o r d s o f t h e B r o w n

c o r p u s r e p r e s e n t e d i n t h e s p e c t r a l d o m a i n .

T h e c o n s t r a i n t y

T

D y = 1

r e m o v e s a n a r b i t r a r y s c a l i n g

f a c t o r i n t h e e m b e d d i n g . M a -

t r i x D p r o v i d e s a n a t u r a l

m e a s u r e o n t h e v e r t i c e s o f t h e

g r a p h . F r o m e q . 2 , w e s e e

t h a t L i s a p o s i t i v e s e m i d e f -

i n i t e m a t r i x a n d t h e v e c t o r

y t h a t m i n i m i z e s t h e o b j e c -

t i v e f u n c t i o n i s g i v e n b y t h e

m i n i m u m e i g e n v a l u e s o l u t i o n

t o t h e g e n e r a l i z e d e i g e n v a l u e

p r o b l e m L y = D y

L e t 1 b e t h e c o n s t a n t f u n c -

t i o n t a k i n g v a l u e 1 a t e a c h

v e r t e x . I t i s e a s y t o s e e t h a t 1 i s a n e i g e n v e c t o r w i t h e i g e n v a l u e 0 . I f t h e g r a p h

i s c o n n e c t e d , 1 i s t h e o n l y e i g e n v e c t o r f o r = 0 . T o e l i m i n a t e t h i s t r i v i a l s o l u -

t i o n w h i c h c o l l a p s e s a l l v e r t i c e s o f G o n t o t h e r e a l n u m b e r 1 , w e p u t a n a d d i t i o n a l

c o n s t r a i n t o f o r t h o g o n a l i t y t o o b t a i n

y

o p t

= a r g m i n

y

T

D y = 1

y

T

D 1 = 0

y

T

L y

T h u s , t h e s o l u t i o n y

o p t

i s n o w g i v e n b y t h e e i g e n v e c t o r w i t h t h e s m a l l e s t n o n - z e r o

e i g e n v a l u e . M o r e g e n e r a l l y , t h e e m b e d d i n g o f t h e g r a p h i n t o R

m

( m > 1 ) i s g i v e n

b y t h e n m m a t r i x Y = y

1

y

2

y

m

] w h e r e t h e i t h r o w , d e n o t e d b y Y

T

i

, p r o v i d e s

t h e e m b e d d i n g c o o r d i n a t e s o f t h e i t h v e r t e x . T h u s w e n e e d t o m i n i m i z e

X

i j

Y

i

; Y

j

2

W

i j

= t r ( Y

T

L Y )

T h i s r e d u c e s n o w t o

Y

o p t

= a r g m i n

Y

T

D Y = I

t r ( Y

T

L Y )


5/7

F o r t h e o n e - d i m e n s i o n a l e m b e d d i n g p r o b l e m , t h e c o n s t r a i n t p r e v e n t s c o l l a p s e o n t o

a p o i n t . F o r t h e m - d i m e n s i o n a l e m b e d d i n g p r o b l e m , t h e c o n s t r a i n t p r e s e n t e d a b o v e

p r e v e n t s c o l l a p s e o n t o a s u b s p a c e o f d i m e n s i o n l e s s t h a n m

2 . 1 T h e L a p l a c e - B e l t r a m i O p e r a t o r

T h e L a p l a c i a n o f a g r a p h i s a n a l o g o u s t o t h e L a p l a c e - B e l t r a m i o p e r a t o r o n m a n i -

f o l d s .

0.015 0.01 0.005 0 0.005 0.01 0.0150.01

0.005

0

0.005

0.01

0.015

2

31

F i g u r e 4 : 6 8 5 s p e e c h d a t a p o i n t s p l o t t e d i n t h e t w o

d i m e n s i o n a l L a p l a c i a n s p e c t r a l r e p r e s e n t a t i o n .

C o n s i d e r a s m o o t h m - d i m e n s i o n a l

m a n i f o l d M e m b e d d e d i n

R

k

. T h e R i e m a n n i a n s t r u c -

t u r e ( m e t r i c t e n s o r ) o n t h e

m a n i f o l d i s i n d u c e d b y t h e

s t a n d a r d R i e m a n n i a n s t r u c -

t u r e o n R

k

. S u p p o s e w e h a v e

a m a p f M ! R . T h e g r a -

d i e n t r f ( x ) ( w h i c h i n l o c a l

c o o r d i n a t e s c a n b e w r i t t e n a s

r f ( x ) =

P

n

i = 1

@ f

@ x

i

@

x

i

) i s a

v e c t o r e l d o n t h e m a n i f o l d ,

s u c h t h a t f o r s m a l l x ( i n a

l o c a l c o o r d i n a t e c h a r t )

f ( x + x ) ; f ( x ) j j h r f ( x ) x i j j j r f j j j j x

T h u s w e s e e t h a t i f r f i s s m a l l , p o i n t s n e a r x w i l l b e m a p p e d t o p o i n t s n e a r

f ( x ) . W e t h e r e f o r e l o o k f o r a m a p t h a t b e s t p r e s e r v e s l o c a l i t y o n a v e r a g e b y t r y i n g

t o n d

a r g m i n

f

L

2

( M

= 1

Z

M

r f ( x )

2

M i n i m i z i n g

R

M

r f ( x )

2

c o r r e s p o n d s d i r e c t l y t o m i n i m i z i n g L f =

1

2

P

i j

( f

i

;

f

j

)

2

W

i j

o n a g r a p h . M i n i m i z i n g t h e s q u a r e d g r a d i e n t r e d u c e s t o n d i n g e i g e n -

f u n c t i o n s o f t h e L a p l a c e - B e l t r a m i o p e r a t o r L . R e c a l l t h a t L

d e f

= d i v r ( f ) , w h e r e

d i v i s t h e d i v e r g e n c e . I t f o l l o w s f r o m t h e S t o k e s t h e o r e m t h a t ; d i v a n d r

a r e f o r m a l l y a d j o i n t o p e r a t o r s , i . e . i f f i s a f u n c t i o n a n d X i s a v e c t o r e l d

R

M

h X r f i =

R

M

d i v ( X ) f . T h u s

Z

M

r f

2

=

Z

M

L ( f ) f

W e s e e t h a t L i s p o s i t i v e s e m i d e n i t e a n d t h e f t h a t m i n i m i z e s

R

M

r f

2

h a s t o

b e a n e i g e n f u n c t i o n o f L

2 . 2 H e a t K e r n e l s a n d t h e C h o i c e o f W e i g h t M a t r i x

T h e L a p l a c e - B e l t r a m i o p e r a t o r o n d i e r e n t i a b l e f u n c t i o n s o n a m a n i f o l d M i s i n -

t i m a t e l y r e l a t e d t o t h e h e a t o w . L e t f M ! R b e t h e i n i t i a l h e a t d i s t r i -

b u t i o n , u ( x t ) b e t h e h e a t d i s t r i b u t i o n a t t i m e t ( u ( x 0 ) = f ( x ) ) . T h e h e a t


6/7

e q u a t i o n i s t h e p a r t i a l d i e r e n t i a l e q u a t i o n

@ u

@ t

= L u . T h e s o l u t i o n i s g i v e n b y

u ( x t ) =

R

M

H

t

( x y ) f ( y ) w h e r e H

t

i s t h e h e a t k e r n e l { t h e G r e e n ' s f u n c t i o n f o r

t h i s P D E . T h e r e f o r e ,

L f ( x ) = L u ( x 0 ) =

@

@ t

Z

M

H

t

( x y ) f ( y )

t = 0

L o c a l l y , t h e h e a t k e r n e l i s a p p r o x i m a t e l y e q u a l t o t h e G a u s s i a n , H

t

( x y )

( 4 t )

n

2

e

x y

2

4 t

w h e r e x ; y ( x a n d y a r e i n l o c a l c o o r d i n a t e s ) a n d t a r e

b o t h s u c i e n t l y s m a l l a n d n = d i m M . N o t i c e t h a t a s t t e n d s t o 0 , t h e h e a t

k e r n e l H

t

( x y ) b e c o m e s i n c r e a s i n g l y l o c a l i z e d a n d t e n d s t o D i r a c ' s - f u n c t i o n , i . e . ,

l i m

t ! 0

R

M

H

t

( x y ) f ( y ) = f ( x ) . T h e r e f o r e , f o r s m a l l t f r o m t h e d e n i t i o n o f t h e d e r i v a -

t i v e w e h a v e

L f ( x

i

) ;

1

t

f ( x ) ; ( 4 t )

n

2

Z

M

e

x y

2

4 t

f ( y ) d y

I f x

1

: : : x

k

a r e d a t a p o i n t s o n M , t h e l a s t e x p r e s s i o n c a n b e a p p r o x i m a t e d b y

L f ( x

i

) = ;

1

t

2

6

4

f ( x

i

) ;

1

k

( 4 t )

n

2

X

x

j

0 < x

j

x

i

<

e

x

i

x

j

2

4 t

f ( x

j

)

3

7

5

T h e c o e c i e n t

1

t

i s g l o b a l a n d w i l l n o t a e c t t h e e i g e n v e c t o r s o f t h e d i s c r e t e

L a p l a c i a n . S i n c e t h e i n h e r e n t d i m e n s i o n a l i t y o f M m a y b e u n k n o w n , w e p u t

=

1

k

( 4 t )

n

2

. N o t i c i n g t h a t t h e L a p l a c i a n o f t h e c o n s t a n t f u n c t i o n i s z e r o , w e

i m m e d i a t e l y h a v e

1

=

P

x

j

0 < x

j

x

i

<

e

x

i

x

j

2

4 t

. N o t i c e , h o w e v e r , t h a t w e d o n o t

h a v e t o w o r r y a b o u t , s i n c e t h e g r a p h L a p l a c i a n L w i l l c h o o s e t h e c o r r e c t m u l t i -

p l i e r f o r u s . F i n a l l y w e s e e h o w t o c h o o s e t h e e d g e w e i g h t s f o r t h e a d j a c e n c y m a t r i x

W

W

i j

=

(

e

x

i

x

j

2

4 t

i f x

i

; x

j

<

0 o t h e r w i s e

3 E x a m p l e s

E x a m p l e 1 { A T o y V i s i o n E x a m p l e : C o n s i d e r b i n a r y i m a g e s o f v e r t i c a l a n d

h o r i z o n t a l b a r s l o c a t e d a t a r b i t r a r y p o i n t s i n t h e 4 0 4 0 v i s u a l e l d . W e c h o o s e

1 0 0 0 i m a g e s , e a c h c o n t a i n i n g e i t h e r a v e r t i c a l o r a h o r i z o n t a l b a r ( 5 0 0 c o n t a i n i n g

v e r t i c a l b a r s a n d 5 0 0 h o r i z o n t a l b a r s ) a t r a n d o m . F i g . 1 s h o w s t h e r e s u l t o f a p p l y i n g

t h e L a p l a c i a n E i g e n m a p s c o m p a r e d t o P C A .

E x a m p l e 2 { W o r d s i n t h e B r o w n C o r p u s : F i g . 2 s h o w s t h e r e s u l t s o f a n

e x p e r i m e n t c o n d u c t e d w i t h t h e 3 0 0 m o s t f r e q u e n t w o r d s i n t h e B r o w n c o r p u s { a

c o l l e c t i o n o f t e x t s c o n t a i n i n g a b o u t a m i l l i o n w o r d s a v a i l a b l e i n e l e c t r o n i c f o r m a t .

E a c h w o r d i s r e p r e s e n t e d a s a v e c t o r i n a 6 0 0 d i m e n s i o n a l s p a c e u s i n g i n f o r m a t i o n

a b o u t t h e f r e q u e n c y o f i t s l e f t a n d r i g h t n e i g h b o r s ( c o m p u t e d f r o m t h e b i g r a m

s t a t i s t i c s o f t h e c o r p u s ) .

E x a m p l e 3 { S p e e c h : I n F i g . 4 w e c o n s i d e r t h e l o w d i m e n s i o n a l r e p r e s e n t a t i o n s

a r i s i n g f r o m a p p l y i n g t h e L a p l a c i a n E i g e n m a p a l g o r i t h m t o a s e n t e n c e o f s p e e c h


7/7

8.2 8 7.8 7.6 7.4

x 103

4.94

4.96

4.98

5

5.02

5.04

5.06

x 103

sh

sh

sh

sh

sh

sh

shsh

sh

sh

sh

sh

sh

0 10 20

x 104

7.1

7

6.9

6.8

6.7

6.6

x 103

aa

aa

ao

ao

ao

ao

aoao

ao

ao

ao

ao

ao

ao

ao

ao

ao

ao

ao

q

qq

l

7.5 8 8.5 9 9.5

x 103

4.6

4.7

4.8

4.9

5

5.1

5.2

5.3

5.4

x 103

h#

h#

h#

dcl

kcl

gcl

h#

h#

h#

h#

h#h#h#

F i g u r e 5 : A b l o w u p o f t h e t h r e e s e l e c t e d r e g i o n s i n g u r e 4 , f r o m l e f t t o r i g h t .

N o t i c e t h e p h o n e t i c h o m o g e n e i t y o f t h e c h o s e n r e g i o n s . N o t e t h a t p o i n t s m a r k e d

w i t h t h e s a m e s y m b o l m a y a r i s e f r o m o c c u r r e n c e s o f t h e s a m e p h o n e m e a t d i e r e n t

p o i n t s i n t h e u t t e r a n c e . T h e s y m b o l \ s h " s t a n d s f o r t h e f r i c a t i v e i n t h e w o r d s h e

\ a a " , " a o " s t a n d f o r v o w e l s i n t h e w o r d s d a r k a n d a l l r e s p e c t i v e l y \ k c l " , " d c l " , " g c l "

s t a n d f o r c l o s u r e s p r e c e d i n g t h e s t o p c o n s o n a n t s \ k " , " d " , " g " r e s p e c t i v e l y . \ h # "

s t a n d s f o r s i l e n c e .

s a m p l e d a t 1 k H z . S h o r t - t i m e F o u r i e r s p e c t r a w e r e c o m p u t e d a t 5 m s i n t e r v a l s

y i e l d i n g 6 8 5 v e c t o r s o f 2 5 6 F o u r i e r c o e c i e n t s f o r e v e r y 3 0 m s c h u n k o f t h e s p e e c h

s i g n a l . E a c h v e c t o r i s l a b e l e d a c c o r d i n g t o t h e i d e n t i t y o f t h e p h o n e t i c s e g m e n t i t

b e l o n g e d t o . F i g . 4 s h o w s t h e s p e e c h d a t a p o i n t s p l o t t e d i n t h e t w o d i m e n s i o n a l

L a p l a c i a n r e p r e s e n t a t i o n . T h e t w o \ s p o k e s " c o r r e s p o n d p r e d o m i n a n t l y t o f r i c a t i v e s

a n d c l o s u r e s r e s p e c t i v e l y . T h e c e n t r a l p o r t i o n c o r r e s p o n d s m o s t l y t o p e r i o d i c s o u n d s

l i k e v o w e l s , n a s a l s , a n d s e m i v o w e l s . F i g . 5 s h o w s t h r e e d i e r e n t r e g i o n s o f t h e

r e p r e s e n t a t i o n s p a c e .

R e f e r e n c e s

1 ] F a n R . K . C h u n g , S p e c t r a l G r a p h T h e o r y , R e g i o n a l C o n f e r e n c e S e r i e s i n M a t h -

e m a t i c s , n u m b e r 9 2 , 1 9 9 7

2 ] F a n R . K . C h u n g , A . G r i g o r ' y a n , S . - T . Y a u , H i g h e r e i g e n v a l u e s a n d i s o p e r i -

m e t r i c i n e q u a l i t i e s o n R i e m a n n i a n m a n i f o l d s a n d g r a p h s , C o m m u n i c a t i o n s o n

A n a l y s i s a n d G e o m e t r y , t o a p p e a r ,

3 ] S . R o s e n b e r g , T h e L a p l a c i a n o n a R i e m m a n n i a n M a n i f o l d , C a m b r i d g e U n i -

v e r s i t y P r e s s , 1 9 9 7 ,

4 ] S a m T . R o w e i s , L a w r e n c e K . S a u l , N o n l i n e a r D i m e n s i o n a l i t y R e d u c t i o n b y

L o c a l l y L i n e a r E m b e d d i n g , S c i e n c e , v o l 2 9 0 , 2 2 D e c . 2 0 0 0 ,

5 ] J i a n b o S h i , J i t e n d r a M a l i k , N o r m a l i z e d C u t s a n d I m a g e S e g m e n t a t i o n , I E E E

T r a n s a c t i o n s o n P A M I , v o l 2 2 , n o 8 , A u g u s t 2 0 0 0

6 ] J . B . T e n e n b a u m , V . d e S i l v a , J . C . L a n g f o r d , A G l o b a l G e o m e t r i c F r a m e w o r k

f o r N o n l i n e a r D i m e n s i o n a l i t y R e d u c t i o n , S c i e n c e , V o l 2 9 0 , 2 2 D e c . 2 0 0 0

2-Laplacian Eigenmaps and Spectral(2001-Cited1504)

Documents

Transcript of 2-Laplacian Eigenmaps and Spectral(2001-Cited1504)