(7) Competition and Self-Organisation- Kohonen Nets

7/27/2019 (7) Competition and Self-Organisation- Kohonen Nets

1/12

7 : C o m p e t i t i o n a n d s e l f - o r g a n i s a t i o n :

K o h o n e n n e t s

K e v i n G u r n e y

D e p t . H u m a n S c i e n c e s , B r u n e l U n i v e r s i t y

U x b r i d g e , M i d d x . U K

1 C o m p e t i t i v e d y n a m i c s

C o n s i d e r a l a y e r o r g r o u p o f u n i t s a s s h o w n i n t h e d i a g r a m b e l o w .

Inputs

Only one nodesconnections shown

for clarity

C o m p e t i t i v e l a y e r

E a c h c e l l r e c e i v e s t h e s a m e s e t o f i n p u t s f r o m a n i n p u t l a y e r a n d t h e r e a r e i n t r a l a y e r

o r l a t e r a l c o n n e c t i o n s s u c h t h a t e a c h n o d e i s c o n n e c t e d t o i t s e l f v i a a n e x c i t a t o r y ( p o s i t i v e )

w e i g h t a n d i n h i b i t s a l l o t h e r n o d e s i n t h e l a y e r w i t h n e g a t i v e w e i g h t s .

N o w s u p p o s e a v e c t o r x i s p r e s e n t e d a t t h e i n p u t . E a c h u n i t n o w c o m p u t e s a w e i g h t e d

s u m s o f t h e i n p u t s p r o v i d e d b y t h i s v e c t o r . T h a t i s

s =

X

i

w

i

x

i

( 1 )

I n v e c t o r n o t a t i o n t h i s i s , o f c o u r s e , j u s t t h e d o t p r o d u c t w x . T h i s i s t h e w a y o f

l o o k i n g a t t h i n g s w h i c h w i l l t u r n o u t t o b e m o s t u s e f u l . T h e n s o m e n o d e k , s a y , w i l l h a v e a

v a l u e o f s l a r g e r t h a n a n y o t h e r i n t h e l a y e r . I t i s n o w c l a i m e d t h a t , i f t h e n o d e a c t i v a t i o n

i s a l l o w e d t o e v o l v e b y m a k i n g u s e o f t h e l a t e r a l c o n n e c t i o n s , t h e n n o d e k w i l l d e v e l o p a

m a x i m a l v a l u e f o r a w h i l e t h e o t h e r s g e t r e d u c e d . T h e t i m e e v o l u t i o n o f t h e n o d e i s u s u a l l y

g o v e r n e d b y a n e q u a t i o n w h i c h d e t e r m i n e s t h e r a t e o f c h a n g e o f t h e a c t i v a t i o n ( L e c t u r e 1 ,

s e c t i o n ` I n t r o d u c i n g t i m e ' ) . T h i s m u s t i n c l u d e t h e i n p u t f r o m t h e l a t e r a l c o n n e c t i o n s a s w e l l

1


2/12

N e u r a l N e t s 7 2

a s t h e ` e x t e r n a l ' i n p u t g i v e n b y s . T h u s i f l i s t h e w e i g h t e d s u m o f i n p u t s f r o m t h e l a t e r a l

c o n n e c t i o n s

d a

d t

=

s

s +

l

l ; a ( 2 )

R e c a l l t h a t d a = d t i s t h e r a t e o f c h a n g e o f a . T h e r e w i l l u s u a l l y b e a s i g m o i d o u t p u t

r e l a t i o n y = ( a )

W h a t h a p p e n s i s t h a t t h e n o d e w i t h g r e a t e s t e x c i t a t i o n s f r o m t h e i n p u t h a s i t s a c t i -

v a t i o n i n c r e a s e d d i r e c t l y b y t h i s a n d i n d i r e c t l y v i a t h e s e l f - e x c i t a t o r y c o n n e c t i o n . T h i s t h e n

i n h i b i t s t h e n e i g h b o u r i n g n o d e s , w h o s e i n h i b i t i o n o f k i s t h e n f u r t h e r r e d u c e d . T h i s p r o c e s s

i s c o n t i n u e d u n t i l a s t a b i l i t y i s r e a c h e d . T h e r e i s t h e r e f o r e a ` c o m p e t i t i o n ' f o r a c t i v a t i o n

a c r o s s t h e l a y e r a n d t h e n e t w o r k i s s a i d t o e v o l v e v i a c o m p e t i t i v e d y n a m i c s . U n d e r s u i t a b l e

c o n d i t i o n s , t h e n o d e s w h o s e i n p u t s w a s l e s s t h a n t h a t o n t h e ` w i n n i n g n o d e ' k w i l l h a v e t h e i r

a c t i v i t y r e d u c e d t o z e r o . T h e n e t i s t h e n s o m e t i m e s r e f e r r e d t o a s ` w i n n e r - t a k e s - a l l ' n e t , s i n c e

t h e n o d e w i t h l a r g e s t i n p u t ` w i n s ' a l l t h e a v a i l a b l e a c t i v i t y .

I f t h e n e t ' s a c t i v i t y i s r e p r e s e n t e d i n p r o l e a l o n g t h e s t r i n g o f n o d e s t h e n a n i n i t i a l

s i t u a t i o n i n p a r t a ) o f t h e d i a g r a m b e l o w w i l l e v o l v e i n t o t h e s i t u a t i o n s h o w n i n p a r t b ) .

activation

after

before

t i m e e v o l u t i o n u n d e r c o m p e t i t i v e d y n a m i c s

C o m p e t i t i v e d y n a m i c s a r e o b v i o u s l y u s e f u l i n e n h a n c i n g t h e a c t i v a t i o n ` c o n t r a s t ' o v e r

a n e t w o r k l a y e r a n d s i n g l i n g o u t t h e n o d e w h i c h i s r e s p o n d i n g m o s t s t r o n g l y t o i t s i n p u t . W e

n o w e x a m i n e h o w t h i s p r o c e s s m a y b e u s e f u l i n a l e a r n i n g s i t u a t i o n .

2 C o m p e t i t i v e l e a r n i n g

C o n s i d e r a t r a i n i n g v e c t o r s e t w h o s e v e c t o r s a l l h a v e t h e s a m e l e n g t h , a n d s u p p o s e , w i t h o u t

l o s s o f g e n e r a l i t y , t h a t t h i s i s o n e . R e c a l l t h a t t h e l e n g t h k x k o f a v e c t o r x i s g i v e n b y

k x k =

X

i

x

2

i

( 3 )

A v e c t o r s e t f o r w h i c h k x k = 1 f o r a l l x i s s a i d t o b e n o r m a l i s e d . I f t h e c o m p o n e n t s a r e

a l l p o s i t i v e o r z e r o

t h e n t h i s i s a p p r o x i m a t e l y e q u i v a l e n t t o t h e c o n d i t i o n

t h i s i s c o n s i s t e n t w i t h t h e i n t e r p r e t a t i o n o f t h e i n p u t a s d e r i v e d f r o m t h e o u t p u t o f a p r e v i o u s l a y e r


3/12


X

i

x

i

= 1 ( 4 )

S i n c e t h e v e c t o r s a l l h a v e u n i t l e n g t h , t h e y m a y b e r e p r e s e n t e d b y a r r o w s f r o m t h e

o r i g i n t o t h e s u r f a c e o f t h e u n i t ( h y p e r ) s p h e r e .

v e c t o r s o n u n i t h y p e r s p h e r e

S u p p o s e n o w t h a t a c o m p e t i t i v e l a y e r h a s h a d i t s w e i g h t v e c t o r s n o r m a l i s e d a c c o r d i n g

t o ( 4 ) . T h e n t h e s e v e c t o r s m a y a l s o b e r e p r e s e n t e d o n t h e s a m e s p h e r e .

W h a t i s r e q u i r e d f o r t h e n e t t o e n c o d e t h e t r a i n i n g s e t i s t h a t t h e w e i g h t v e c t o r s b e c o m e

a l i g n e d w i t h a n y c l u s t e r s p r e s e n t i n t h i s s e t a n d t h a t e a c h c l u s t e r i s r e p r e s e n t e d b y a t l e a s t

o n e n o d e . T h e n , w h e n a v e c t o r i s p r e s e n t e d t o t h e n e t t h e r e w i l l b e a n o d e , o r g r o u p o f n o d e s ,

w h i c h r e s p o n d m a x i m a l l y t o t h e i n p u t a n d w h i c h r e s p o n d i n t h i s w a y o n l y w h e n t h i s v e c t o r

i s s h o w n a t t h e i n p u t .

vectors

weights

w e i g h t s a n d v e c t o r s a l i g n e d

I f t h e n e t c a n l e a r n a w e i g h t v e c t o r c o n g u r a t i o n l i k e t h i s , w i t h o u t b e i n g t o l d e x p l i c i t l y

o f t h e e x i s t e n c e o f c l u s t e r s a t t h e i n p u t , t h e n i t i s s a i d t o u n d e r g o a p r o c e s s o f s e l f - o r g a n i s e d

o r u n s u p e r v i s e d l e a r n i n g . T h i s i s t o b e c o n t r a s t e d w i t h n e t s w h i c h w e r e t r a i n e d w i t h t h e d e l t a

r u l e o r B P w h e r e a t a r g e t v e c t o r o r o u t p u t h a d t o b e s u p p l i e d .

I n o r d e r t o a c h i e v e t h i s g o a l , t h e w e i g h t v e c t o r s m u s t b e r o t a t e d a r o u n d t h e s p h e r e s o

t h a t t h e y l i n e u p w i t h t h e t r a i n i n g s e t . T h e r s t t h i n g t o n o t i c e i s t h a t t h i s m a y b e a c h i e v e d

i n a n g r a d u a l a n d e c i e n t w a y b y m o v i n g t h e w e i g h t v e c t o r w h i c h i s c l o s e s t ( i n a n a n g u l a r

s e n s e ) t o t h e c u r r e n t i n p u t v e c t o r t o w a r d s t h a t v e c t o r s l i g h t l y . T h e n o d e k w i t h t h e c l o s e s t

v e c t o r i s t h a t w h i c h g i v e s t h e g r e a t e s t i n p u t e x c i t a t i o n s s i n c e t h i s i s j u s t t h e d o t p r o d u c t o f


4/12


t h e w e i g h t a n d i n p u t v e c t o r s . A s s h o w n b e l o w , t h e w e i g h t v e c t o r o f n o d e k m a y b e a l i g n e d

m o r e c l o s e l y w i t h t h e i n p u t i f a c h a n g e w i s m a d e a c c o r d i n g t o

w = ( x ; w ) ( 5 )

wx

x-w

w = w + w

w = (x - w)

v e c t o r t r i a n g l e - w e i g h t s a n d i n p u t s

N o w i t w o u l d b e p o s s i b l e t o u s e a s u p e r v i s o r y c o m p u t e r t o d e c i d e w h i c h n o d e h a d t h e

g r e a t e s t e x c i t a t i o n s b u t i t i s m o r e s a t i s f a c t o r y i f t h e n e t c a n d o t h i s i t s e l f . T h i s i s w h e r e

t h e c o m p e t i t i v e d y n a m i c s c o m e s i n t o p l a y . S u p p o s e t h e n e t i s w i n n e r - t a k e - a l l s o t h a t t h e

w i n n i n g n o d e h a s v a l u e 1 a n d a l l t h e o t h e r s h a v e v a l u e c l o s e t o z e r o . A f t e r l e t t i n g t h e n e t

r e a c h e q u i l i b r i u m u n d e r t h e l a t e r a l c o n n e c t i o n d y n a m i c s w e n o w e n f o r c e t h e r u l e

w = ( x ; w ) y ( 6 )

a c r o s s t h e w h o l e n e t . T h e n t h e r e w i l l o n l y b e a s i n g l e n o d e ( t h e o n e w h o s e d o t - p r o d u c t s w a s

g r e a t e s t ) w h i c h h a s y = 1 a n d f o r w h i c h t h e w e i g h t c h a n g e i s t h e s a m e a s i n ( 6 ) . A l l o t h e r

n o d e s w i l l h a v e y = 0 a n d s o t h e r e w e i g h t c h a n g e w i l l a l s o b e z e r o . T h e s t a g e s i n l e a r n i n g

( f o r a s i n g l e v e c t o r p r e s e n t a t i o n ) a r e t h e n

1 . a p p l y v e c t o r a t i n p u t t o n e t a n d e v a l u a t e s f o r e a c h n o d e .

2 . u p d a t e t h e n e t ( i n p r a c t i c e , i n d i s c r e t e s t e p s ) a c c o r d i n g t o ( 2 ) f o r a n i t e t i m e o r u n t i l

i t r e a c h e s e q u i l i b r i u m .

3 . t r a i n a l l n o d e s a c c o r d i n g t o ( 6 )

T h e r e a r e a f e w p o i n t s a b o u t t h e l e a r n i n g r u l e w o r t h n o t i n g . F i r s t , i f t h e w e i g h t s a r e

i n i t i a l l y n o r m a l i s e d a c c o r d i n g t o ( 4 ) a n d t h e i n p u t v e c t o r s a r e n o r m a l i s e d i n t h e s a m e w a y ,

t h e n t h e n o r m a l i s a t i o n o f t h e w e i g h t s i s p r e s e r v e d u n d e r t h e l e a r n i n g r u l e . T h e c h a n g e i n t h e

l e n g t h o f w i s g i v e n b y t h e s u m o f t h e c h a n g e s i n i t s c o m p o n e n t s

X

i

w

i

= y

X

i

x

i

;

X

i

w

i

!

( 7 )

a n d e a c h o f t h e s u m s i n t h e b r a c k e t i s 1 s o t h a t t h e r i g h t h a n d s i d e i s z e r o . T h e o b j e c t

o f n o r m a l i s a t i o n i s a r e s u l t o f a s u b t l e t y t h a t h a s b e e n i g n o r e d s o f a r i n o r d e r t o c l a r i f y t h e

e s s e n t i a l s o f t h e s i t u a t i o n . I t w a s a s s u m e d t h e d o t p r o d u c t s , g i v e s a n i n d i c a t i o n o f t h e a n g u l a r

s e p a r a t i o n o f t h e w e i g h t a n d i n p u t v e c t o r s . T h i s i s t r u e u p t o a p o i n t b u t r e c a l l t h a t t h e d o t


5/12


p r o d u c t a l s o i n v o l v e s t h e p r o d u c t o f v e c t o r l e n g t h s . I f e i t h e r t h e i n p u t o r w e i g h t v e c t o r s a r e

l a r g e , t h e n s m a y a l s o b e l a r g e , n o t a s a r e s u l t o f a n g u l a r p r o x i m i t y ( t h e v e c t o r s b e i n g a l i g n e d )

b u t s i m p l y b y v i r t u e o f t h e i r m a g n i t u d e . W e w a n t a m e a s u r e o f v e c t o r a l i g n m e n t w h i c h d o e s

n o t r e q u i r e a s e p a r a t e c o m p u t a t i o n o f v e c t o r l e n g t h s , a n d t h e n o r m a l i s a t i o n p r o c e s s i s o n e

w a y o f a c h i e v i n g t h i s .

S e c o n d l y , t h e l e a r n i n g r u l e m a y b e e x p a n d e d t o t h e s u m o f t w o t e r m s

w = x y ; w y ( 8 )

T h e r s t o f t h e s e l o o k s l i k e a H e b b t e r m w h i l e t h e s e c o n d i s a w e i g h t d e c a y . T h u s w e

m a y s e e c o m p e t i t i v e s e l f - o r g a n i s a t i o n a s H e b b l e a r n i n g b u t w i t h a d e c a y t e r m t h a t g u a r a n t e e s

n o r m a l i s a t i o n . T h i s l a t t e r p r o p e r t y m a y b e t h o u g h t o f i n b i o l o g i c a l t e r m s a s a c o n s e r v a t i o n

o f m e t a b o l i c r e s o u r c e s t h u s , t h e s u m o f s y n a p t i c s t r e n g t h s m a y n o t e x c e e d a c e r t a i n v a l u e

w h i c h i s g o v e r n e d b y p h y s i c a l c h a r a c t e r i s t i c s o f t h e c e l l t o s u p p o r t s y n a p t i c a n d p o s t - s y n a p t i c

a c t i v i t y . T h e r e a r e s e v e r a l a r c h i t e c t u r e s t h a t h a v e u s e d t h e b a s i c p r i n c i p l e s o u t l i n e d a b o v e .

R u m e l h a r t & Z i p s e r ( 1 9 8 6 ) ( h e n c e f o r t h R & Z ) g i v e a g o o d d i s c u s s i o n o f c o m p e t i t i v e l e a r n i n g

a n d s e v e r a l e x a m p l e s . T h e r e i s o n l y s p a c e t o d i s c u s s o n e o f t h e s e h e r e .

2 . 1 L e t t e r a n d ` w o r d ' r e c o g n i t i o n

R & Z t r a i n u s i n g p a i r s o f c h a r a c t e r s , e a c h o n e b e i n g b a s e d o n a 7 b y 5 p i x e l g r i d . I n t h e r s t

s e t o f e x p e r i m e n t s t h e y u s e d t h e f o u r l e t t e r p a i r s A A A B B A B B . W i t h j u s t t w o u n i t s i n a t h e

c o m p e t i t i v e n e t , e a c h u n i t l e a r n e d t o d e t e c t e i t h e r A o r B i n a p a r t i c u l a r s e r i a l p o s i t i o n . T h u s ,

i n s o m e e x p e r i m e n t s , u n i t 1 w o u l d r e s p o n d i f t h e r e w a s a n A i n t h e r s t p o s i t i o n w h i l e u n i t 2

w o u l d r e s p o n d i f t h e r e w a s a B i n t h e r s t p o s i t i o n . A l t e r n a t i v e l y t h e t w o u n i t s c o u l d r e s p o n d

t o t h e l e t t e r i n t h e s e c o n d p o s i t i o n . N o t e t h a t t h e s e a r e , i n d e e d , t h e t w o p o s s i b l e ` n a t u r a l '

p a i r w i s e g r o u p i n g s o f t h e s e l e t t e r s t r i n g s . R & Z c a l l t h i s n e t a ` l e t t e r d e t e c t o r ' . W i t h f o u r

u n i t s e a c h n o d e c a n l e a r n t o r e s p o n d t o e a c h o f t h e f o u r p a i r s - i t i s a ` w o r d d e t e c t o r ' .

I n a n o t h e r s e t o f e x p e r i m e n t s , R & Z u s e d t h e l e t t e r p a i r s A A , A B , A C , A D , B A , B B ,

B C , B D . W h e n a n e t w i t h o n l y t w o u n i t s w a s u s e d , o n e u n i t l e a r n e d t o r e c o g n i s e t h e p a i r s

w h i c h s t a r t e d w i t h A , w h i l e t h e o t h e r l e a r n e d t o r e s p o n d t o t h o s e t h a t b e g a n w i t h B . W h e n 4

u n i t s w e r e u s e d e a c h u n i t l e a r n e d t o r e c o g n i s e t h e p a i r s t h a t e n d e d i n o n e o f t h e f o u r d i e r e n t

l e t t e r s A , B , C , D . T h i s r e p r e s e n t s t w o d i e r e n t w a y s o f c l u s t e r i n g t h e t r a i n i n g s e t . I f t h e

p a t t e r n s a r e t o b e p u t i n t o t w o g r o u p s t h e n , c l e a r l y , i t i s t h e r s t l e t t e r w h i c h c h a r a c t e r i s e s t h e

g r o u p . O n t h e o t h e r h a n d , i f t h e r e a r e t o b e f o u r c l u s t e r s , t h e f o u r v a l u e f e a t u r e d e t e r m i n e d

b y t h e s e c o n d l e t t e r i s t h e r e l e v a n t d i s t i n c t i o n .

3 K o h o n e n ' s s e l f - o r g a n i s i n g f e a t u r e m a p s

3 . 1 T o p o g r a p h i c m a p s i n t h e v i s u a l c o r t e x

I t o f t e n o c c u r s t h a t s e n s o r y i n p u t s m a y b e m a p p e d i n s u c h a w a y t h a t i t m a k e s s e n s e t o t a l k

o f o n e s t i m u l u s b e i n g ` c l o s e t o ' a n o t h e r a c c o r d i n g t o s o m e m e t r i c p r o p e r t y o f t h e s t i m u l u s .

T h e s i m p l e s t e x a m p l e o f t h i s o c c u r s w h e n t h e m e t r i c i s j u s t t h e s p a t i a l s e p a r a t i o n o f l o c a l i s e d

s o u r c e s . A s l i g h t l y m o r e a b s t r a c t e x a m p l e i s p r o v i d e d b y t h e c e l l s i n v i s u a l a r e a 1 o f t h e


6/12


m a m m a l i a n b r a i n , w h i c h a r e ` t u n e d ' t o o r i e n t a t i o n o f t h e s t i m u l u s . T h a t i s , i f a g r i d o r

g r a t i n g o f a l t e r n a t i n g l i g h t a n d d a r k l i n e s i s p r e s e n t e d t o t h e a n i m a l , t h e c e l l w i l l r e s p o n d

m o s t s t r o n g l y w h e n t h e l i n e s a r e o r i e n t e d i n a p a r t i c u l a r d i r e c t i o n a n d t h e r e s p o n s e w i l l f a l l

o a s t h e g r a t i n g i s r o t a t e d e i t h e r w a y f r o m t h i s p r e f e r r e d d i r e c t i o n . T h i s w a s e s t a b l i s h e d

i n t h e c l a s s i c w o r k o f H u b e l & W e i s e l ( 1 9 6 2 ) u s i n g m i c r o e l e c t r o d e s t u d i e s w i t h c a t s . T w o

g r a t i n g s t i m u l i a r e n o w ` c l o s e t o g e t h e r ' i f t h e i r o r i e n t a t i o n s a r e s i m i l a r . T h i s d e n e s a m e t r i c

o r m e a s u r e f o r t h e s t i m u l i .

I f w e w e r e t o t r a i n a c o m p e t i t i v e n e t w o r k o n a s e t o f g r a t i n g s t h e n e a c h c e l l ( u n i t ) w o u l d

l e a r n t o r e c o g n i s e a p a r t i c u l a r o r i e n t a t i o n . H o w e v e r t h e r e i s a n i m p o r t a n t p r o p e r t y o f t h e w a y

c e l l s a r e o r g a n i s e d i n b i o l o g i c a l n e t s w h i c h w i l l n o t b e c a p t u r e d i n o u r s c h e m e a s d e s c r i b e d

s o f a r . T h a t i s , c e l l s w h i c h a r e t u n e d t o s i m i l a r o r i e n t a t i o n s t e n d t o b e p h y s i c a l l y l o c a t e d

i n p r o x i m i t y w i t h o n e a n o t h e r . I n v i s u a l c o r t e x , c e l l s w i t h t h e s a m e o r i e n t a t i o n t u n i n g a r e

p l a c e d v e r t i c a l l y b e l o w e a c h o t h e r i n c o l u m n s p e r p e n d i c u l a r t o t h e s u r f a c e o f t h e c o r t e x . I f

r e c o r d i n g s a r e m a d e f r o m a n e l e c t r o d e w h i c h i s n o w i n s e r t e d p a r a l l e l t o t h e c o r t e x s u r f a c e

a n d g r a d u a l l y m o v e d t h r o u g h t h e t i s s u e , t h e o p t i m a l r e s p o n s e f r o m c e l l s w i l l b e o b t a i n e d a t

a s e r i e s o f o r i e n t a t i o n s t h a t v a r y , i n g e n e r a l , s m o o t h l y a c r o s s t h e c o r t e x . T h e r e a r e , h o w e v e r

o c c a s i o n a l d i s c o n t i n u i t i e s a s s h o w n i n t h e s l i d e o r i e n t t r a c k

s l i d e o f d a t a o n o r i e n t a t i o n t u n i n g

T h e o r i e n t a t i o n t u n i n g o v e r t h e s u r f a c e f o r m s a k i n d o f m a p w i t h s i m i l a r t u n i n g s b e i n g

f o u n d c l o s e t o e a c h o t h e r . T h e s e m a p s a r e c a l l e d t o p o g r a p h i c f e a t u r e m a p s . I t i s p o s s i b l e t o

t r a i n a n e t w o r k u s i n g m e t h o d s b a s e d o n a c t i v i t y c o m p e t i t i o n i n a s u c h a w a y a s t o c r e a t e

s u c h m a p s a u t o m a t i c a l l y . T h i s w a s s h o w n b y C . v o n d e r M a l s b u r g i n 1 9 7 3 s p e c i c a l l y f o r

o r i e n t a t i o n t u n i n g , b u t K o h o n e n ( 1 9 8 2 ) p o p u l a r i s e d a n d g e n e r a l i s e d t h e m e t h o d a n d i t i s i n

c o n n e c t i o n w i t h h i s n a m e t h a t t h e s e n e t s a r e u s u a l l y k n o w n . T h e b e s t e x p o s i t i o n i s g i v e n i n

h i s b o o k ( K o h o n e n , 1 9 8 4 ) . T h e s e n e t s c o n s i s t o f a l a y e r o f n o d e s e a c h o f w h i c h i s c o n n e c t e d

t o a l l t h e i n p u t s a n d w h i c h i s c o n n e c t e d t o s o m e n e i g h b o u r h o o d o f s u r r o u n d i n g n o d e s .


7/12


K o h o n e n n e i g h b o u r h o o d s

3 . 2 T h e a l g o r i t h m

A t e a c h v e c t o r p r e s e n t a t i o n t h e f o l l o w i n g s e q u e n c e o f s t e p s o c c u r s

F i n d t h e n o d e k w h o s e w e i g h t v e c t o r i s c l o s e s t t o t h e c u r r e n t i n p u t v e c t o r .

T r a i n n o d e k a n d a l l n o d e s i n s o m e n e i g h b o u r h o o d o f k

D e c r e a s e t h e l e a r n i n g r a t e s l i g h t l y

A f t e r e v e r y M c y c l e s , d e c r e a s e t h e s i z e o f t h e n e i g h b o u r h o o d

I n c o n n e c t i o n w i t h 1 ) , i t i s i m p o r t a n t t o r e a l i s e t h a t K o h o n e n p o s t u l a t e s t h a t t h i s i s

d o n e w i t h a s u p e r v i s o r y c o m p u t a t i o n a l e n g i n e a n d t h a t h i s r e s u l t s a r e n o t b a s e d o n t h e u s e

o f c o m p e t i t i v e d y n a m i c s t o n d t h e ` w i n n i n g ' n o d e . T h e j u s t i c a t i o n f o r t h i s i s t h a t i t c o u l d

h a v e b e e n d o n e b y t h e n e t i t s e l f w i t h l a t e r a l c o n n e c t i o n s . T h e u s e o f c o m p e t i t i v e d y n a m i c s

w o u l d s l o w t h i n g s d o w n c o n s i d e r a b l y , i s v e r y m u c h d e p e n d e n t o n t h e p a r a m e t e r s , a n d d o e s

n o t a l w a y s w o r k , ` c l e a n l y ' . ( r e c a l l t h e v i d e o d e m o ) . I n f a c t t h e r u l e K o h o n e n u s e s i n h i s

e x a m p l e s i s t o l o o k f o r t h e n o d e w h i c h s i m p l y h a s t h e s m a l l e s t v a l u e f o r t h e l e n g t h o f t h e

d i e r e n c e v e c t o r x ; w . T h i s a l s o a p p e a r s t o o b v i a t e t h e n e e d f o r i n p u t v e c t o r n o r m a l i s a t i o n

( a n d h e n c e f o r t h e r e s t r i c t i o n t o p o s i t i v e c o m p o n e n t s ) w h i c h w a s a p r e r e q u i s i t e w i t h t h e i n n e r

p r o d u c t a c t i v a t i o n m e a s u r e o f p r o x i m i t y . H o w e v e r , t h i s m e t h o d c a n n o t b e t h e b a s i s o f a n y

b i o l o g i c a l l y p l a u s i b l e a l g o r i t h m .

T h e k e y p o i n t i n t h i s a l g o r i t h m i s 2 ) . I t i s t h r o u g h t h i s t h a t t h e t o p o g r a p h i c m a p p i n g

a r i s e s . I t i s t h e u s e o f t r a i n i n g o v e r a n e i g h b o u r h o o d t h a t e n s u r e s t h a t n o d e s w h i c h a r e

c l o s e t o e a c h o t h e r l e a r n s i m i l a r w e i g h t v e c t o r s . D e c r e a s i n g t h e n e i g h b o u r h o o d e n s u r e s t h a t

p r o g r e s s i v e l y n e r f e a t u r e s o r d i e r e n c e s a r e e n c o d e d a n d t h e g r a d u a l l o w e r i n g o f t h e l e a r n

r a t e e n s u r e s s t a b i l i t y ( o t h e r w i s e t h e n e t m a y e x h i b i t o s c i l l a t i o n o f w e i g h t v e c t o r s b e t w e e n t w o

c l u s t e r s ) .

3 . 3 A g r a p h i c e x a m p l e

I t i s p o s s i b l e t o i l l u s t r a t e t h e s e l f - o r g a n i s a t i o n o f a K o h o n e n n e t g r a p h i c a l l y u s i n g a n e t w h e r e

t h e i n p u t s p a c e h a s j u s t t w o c o m p o n e n t s . C o n s i d e r a n e t w i t h j u s t 6 n o d e s o n a r e c t a n g u l a r

g r i d .


8/12


6 n o d e n e t o n g r i d

A n o t h e r r e p r e s e n t a t i o n o f t h i s n e t i s i n w e i g h t s p a c e . S i n c e t h e r e a r e o n l y 2 w e i g h t s w e

m a y d r a w t h i s o n t h e p a g e . I n i t i a l l y t h e w e i g h t s w i l l b e r a n d o m , s a y

r a n d o m w e i g h t s

T h e l i n e s a r e d r a w n t o c o n n e c t n o d e s w h i c h a r e p h y s i c a l l y a d j a c e n t ( r s t d i a g r a m ) .

S u p p o s e n o w t h a t t h e r e a r e 6 i n p u t v e c t o r s w h i c h m a y b e r e p r e s e n t e d i n p a t t e r n s p a c e a s

s h o w n b e l o w

i n p u t v e c t o r s f o r 6 n o d e K . n e t

I n a w e l l t r a i n e d ( o r d e r e d ) n e t t h a t h a s d e v e l o p e d a t o p o g r a p h i c m a p t h e d i a g r a m i n

w e i g h t s p a c e s h o u l d h a v e t h e s a m e t o p o l o g y a s t h a t i n p h y s i c a l s p a c e a n d w i l l r e e c t t h e

p r o p e r t i e s o f t h e t r a i n i n g s e t .

T r a i n e d w e i g h t s p a c e


9/12


T h e c a s e o f 2 - c o m p o n e n t v e c t o r s w h i c h a r e d r a w n r a n d o m l y f r o m t h e u n i t s q u a r e a n d i n

w h i c h t h e i n i t i a l w e i g h t s a r e c l o s e t o t h e c e n t r e o f t h e u n i t s q u a r e , i s d e a l t w i t h b y K o h o n e n

( 1 9 8 4 ) .

s l i d e o f k o h o n e n s r e s u l t s f o r 2 D s q u a r e

T h e w e i g h t d i a g r a m s t a r t s a s a ` c r u m p l e d b a l l ' a t t h e c e n t r e a n d e x p a n d s l i k e a s h i n g

n e t b e i n g u n r a v e l l e d . K o h o n e n d e a l s w i t h s e v e r a l o t h e r s i m i l a r e x a m p l e s .

W h e n t h e i n p u t s p a c e i s m o r e t h a n 2 - d i m e n s i o n a l , t h e h i g h e r d i m e n s i o n s h a v e t o g e t

` s q u a s h e d ' o n t o t h e g r i d . T h i s w i l l b e d o n e i n s u c h a w a y a s t o p r e s e r v e t h e m o s t i m p o r t a n t

v a r i a t i o n s i n t h e i n p u t d a t a . T h u s , i t i s o f t e n t h e c a s e t h a t t h e u n d e r l y i n g d i m e n s i o n a l i t y

o f t h e i n p u t s p a c e i s s m a l l e r t h a n t h e n u m b e r i n p u t s . T h i s i s i l l u s t r a t e d b e l o w f o r 2 - D d a t a

w h i c h h a s a n u n d e r l y i n g d i m e n s i o n a l i t y o f 1

x1

x2

d

p o i n t s o n a r c o f c i r c l e


10/12

N e u r a l N e t s 7 1 0

T h e p o i n t s l i e o n a n a r c o f a c i r c l e a n d e a c h p o i n t m a y b e s p e c i e d b y s t a t i n g h o w f a r

r o u n d t h e a r c i t i s . A m o r e c o n v i n c i n g e x a m p l e w i t h 3 D d a t a w i t h a n u n d e r l y i n g d i m e n s i o n a l t y

o f 2 i s s h o w n i n g 5 . 9 o f K o h o n e n ' s b o o k

s l i d e o f 3 d p r o j e c t i o n

T h e t o p o g r a p h i c m a p w i l l a l s o r e f e l e c t t h e u n d e r l y i n g d i s t r i b u t i o n o f t h e i n p u t v e c t o r s .

( K o h o n e n g 5 . 1 8 )

s l i d e o f ` c a c t u s ' d i s t r i b u t i o n

R e t u r n i n g t o t h e o r i g i n a l e x a m p l e o f o r i e n t a t i o n m a p s i n t h e v i s u a l s y s t e m s o m e o f

m y o w n r e c e n t w o r k h a s f o c u s s e d o n t r a i n i n g n e t s w h o s e c e l l s f o r m a m a p o f i m a g e v e l o c i t y

( G u r n e y a n d W r i g h t , 1 9 9 2 )


11/12

N e u r a l N e t s 7 1 1

4 O t h e r c o m p e t i t i v e n e t s

F u k u s h i m a ( 1 9 7 5 ) h a s d e v e l o p e d a m u l t i l a y e r e d n e t c a l l e d t h e ` n e o c o g n i t r o n ' w h i c h r e c o g n i s e s

c h a r a c t e r s a n d w h i c h i s l o o s e l y b a s e d o n e a r l y v i s u a l p r o c e s s i n g . T h e s t r u c t u r e i s q u i t e

c o m p l e x a n d , a l t h o u g h s o m e o f t h e f e a t u r e s s e e m r a t h e r a d h o c , i t i s a v e r y i m p r e s s i v e e x a m p l e

o f m o d e l l i n g a l a r g e s y s t e m w h i c h h a s m a n y s i m i l a r i t i e s w i t h i t s b i o l o g i c a l c o u n t e r p a r t .

N o a c c o u n t o f c o m p e t i t i v e l e a r n i n g w o u l d b e c o m p l e t e w i t h o u t r e f e r e n c e t o t h e w o r k

o f S t e p h e n G r o s s b e r g . H i s A d a p t i v e R e s o n a n c e T h e o r y ( A R T ) h a s b e e n t h e s u b j e c t o f a

e n o r m o u s n u m b e r o f p a p e r s . A R T c o n c e r n s t h e d e v e l o p m e n t o f n e t w o r k s i n w h i c h t h e n u m b e r

o f n o d e s r e q u i r e d f o r c l a s s i c a t i o n i s n o t a s s i g n e d a b i n i t i o b u t i s d e t e r m i n e d b y t h e n e t ' s

s e n s i t i v i t y t o d e t a i l w i t h i n t h e d a t a s e t ( g i v e n b y t h e s o - c a l l e d v i g i l a n c e p a r a m e t e r ) . T h e

n e t w o r k i s e m b e d d e d i n a c o n t r o l l o o p w h i c h i s a n i n t e g r a l p a r t o f t h e e n t i r e s y s t e m . I t w o u l d

r e q u i r e a c o m p l e t e l e c t u r e t o d o j u s t i c e t o G r o s s b e r g ' s n e t w o r k s h o w e v e r a n d i t w i l l h a v e t o

s u c e h e r e t o s i m p l y g i v e a r e f e r e n c e . T h i s i n i t s e l f i s n o t e a s y - G r o s s b e r g ' s w o r k i s o f t e n

q u i t e h a r d t o r e a d a n d a n y s i n g l e r e f e r e n c e w i l l u n d o u b t e d l y b e i n a d e q u a t e . O n e p o s s i b l e

r o u t e i s h i s 1 9 8 7 p a p e r i n C o g n i t i v e S c i e n c e ( G r o s s b e r g , 1 9 8 7 ) .


12/12

(7) Competition and Self-Organisation- Kohonen Nets

Documents

Transcript of (7) Competition and Self-Organisation- Kohonen Nets