Learning BBN

7/30/2019 Learning BBN

1/32

L e a r n i n g B a y e s i a n B e l i e f N e t w o r k s

A n a p p r o a c h b a s e d o n t h e M D L P r i n c i p l e

W a i L a m a n d F a h i e m B a c c h u s

D e p a r t m e n t o f C o m p u t e r S c i e n c e

U n i v e r s i t y o f W a t e r l o o

W a t e r l o o , O n t a r i o ,

C a n a d a , N 2 L 3 G 1

f f b a c c h u s , w l a m 1 g @ l o g o s . u w a t e r l o o . c a

T o A p p e a r i n

C o m p u t a t i o n a l I n t e l l i g e n c e , V o l 1 0 : 4 , 1 9 9 4

0


2/32

A b s t r a c t

A n e w a p p r o a c h f o r l e a r n i n g B a y e s i a n b e l i e f n e t w o r k s f r o m r a w d a t a i s p r e s e n t e d .

T h e a p p r o a c h i s b a s e d o n R i s s a n e n ' s M i n i m a l D e s c r i p t i o n L e n g t h ( M D L ) p r i n c i p l e ,

w h i c h i s p a r t i c u l a r l y w e l l s u i t e d f o r t h i s t a s k . O u r a p p r o a c h d o e s n o t r e q u i r e a n y p r i o r

a s s u m p t i o n s a b o u t t h e d i s t r i b u t i o n b e i n g l e a r n e d . I n p a r t i c u l a r , o u r m e t h o d c a n l e a r n

u n r e s t r i c t e d m u l t i p l y - c o n n e c t e d b e l i e f n e t w o r k s . F u r t h e r m o r e , u n l i k e o t h e r a p p r o a c h e s

o u r m e t h o d a l l o w s u s t o t r a d e o a c c u r a c y a n d c o m p l e x i t y i n t h e l e a r n e d m o d e l . T h i s

i s i m p o r t a n t s i n c e i f t h e l e a r n e d m o d e l i s v e r y c o m p l e x ( h i g h l y c o n n e c t e d ) i t c a n b e

c o n c e p t u a l l y a n d c o m p u t a t i o n a l l y i n t r a c t a b l e . I n s u c h a c a s e i t w o u l d b e p r e f e r a b l e t o

u s e a s i m p l e r m o d e l e v e n i f i t i s l e s s a c c u r a t e . T h e M D L p r i n c i p l e o e r s a r e a s o n e d

m e t h o d f o r m a k i n g t h i s t r a d e o . W e a l s o s h o w t h a t o u r m e t h o d g e n e r a l i z e s p r e v i o u s

a p p r o a c h e s b a s e d o n K u l l b a c k c r o s s - e n t r o p y . E x p e r i m e n t s h a v e b e e n c o n d u c t e d t o

d e m o n s t r a t e t h e f e a s i b i l i t y o f t h e a p p r o a c h .

K e y w o r d s : K n o w l e d g e A c q u i s i t i o n B a y e s N e t s U n c e r t a i n t y R e a s o n i n g .


3/32

1 I n t r o d u c t i o n

B a y e s i a n b e l i e f n e t w o r k s , a d v a n c e d b y P e a r l ( 1 9 8 6 ) , h a v e b e c o m e a n i m p o r t a n t p a r a d i g m

f o r r e p r e s e n t i n g a n d r e a s o n i n g w i t h u n c e r t a i n t y . S y s t e m s b a s e d o n B a y e s i a n n e t w o r k s h a v e

b e e n c o n s t r u c t e d i n a n u m b e r o f d i e r e n t a p p l i c a t i o n a r e a s , r a n g i n g f r o m m e d i c a l d i a g n o s i s ,

e . g . , ( B e i n l i c h e t a l . , 1 9 8 9 ) , t o r e a s o n i n g a b o u t t h e o i l m a r k e t , e . g . , ( A b r a m s o n , 1 9 9 1 ) .

D e s p i t e t h e s e s u c c e s s e s , a m a j o r o b s t a c l e t o u s i n g B a y e s i a n n e t w o r k s l i e s i n t h e d i c u l t y o f

c o n s t r u c t i n g t h e m i n c o m p l e x d o m a i n s . I t c a n b e a v e r y t i m e - c o n s u m i n g a n d e r r o r - p r o n e

t a s k t o s p e c i f y a n e t w o r k t h a t c a n s e r v e a s a u s e f u l p r o b a b i l i s t i c m o d e l o f t h e p r o b l e m

d o m a i n t h e r e i s a k n o w l e d g e e n g i n e e r i n g b o t t l e n e c k . C l e a r l y , a n y m e c h a n i s m t h a t c a n h e l p

a u t o m a t e t h i s t a s k w o u l d b e b e n e c i a l . A p r o m i s i n g a p p r o a c h t o t h i s p r o b l e m i s t o t r y t o

a u t o m a t i c a l l y c o n s t r u c t , o r l e a r n , s u c h n e t w o r k r e p r e s e n t a t i o n s f r o m r a w d a t a . I n m a n y

a r e a s r a w d a t a c a n b e p r o v i d e d f r o m a d a t a b a s e o f r e c o r d s . I f t e c h n i q u e s c a n b e c o n s t r u c t e d

f o r a u t o m a t i c a l l y l e a r n i n g B a y e s i a n n e t w o r k s f r o m d a t a , n o t o n l y w i l l t h i s h e l p a d d r e s s t h e

k n o w l e d g e e n g i n e e r i n g p r o b l e m , b u t i t w i l l a l s o f a c i l i t a t e t h e a u t o m a t i c r e n e m e n t o f t h e

r e p r e s e n t a t i o n a s n e w d a t a i s a c c u m u l a t e d .

I n t h i s p a p e r w e p r e s e n t a n e w a p p r o a c h t o l e a r n i n g B a y e s i a n n e t w o r k s . O u r m e t h o d

c a n d i s c o v e r a r b i t r a r y n e t w o r k s t r u c t u r e s f r o m r a w d a t a w i t h o u t r e l y i n g o n a n y a s s u m p -

t i o n s a b o u t t h e u n d e r l y i n g p r o b a b i l i t y d i s t r i b u t i o n t h a t g e n e r a t e d t h e d a t a . I n p a r t i c u l a r ,

t h e m e t h o d c a n l e a r n u n r e s t r i c t e d m u l t i p l y - c o n n e c t e d n e t w o r k s . M u l t i p l y - c o n n e c t e d n e t -

w o r k s a r e m o r e e x p r e s s i v e t h a n t r e e o r p o l y t r e e n e t w o r k s , a n d t h a t e x t r a e x p r e s s i v e n e s s i s

s o m e t i m e s e s s e n t i a l i f t h e n e t w o r k i s t o b e a s u c i e n t l y a c c u r a t e m o d e l o f t h e u n d e r l y i n g

d i s t r i b u t i o n .

A l t h o u g h m u l t i p l y - c o n n e c t e d n e t w o r k s a l l o w u s t o m o r e a c c u r a t e l y m o d e l t h e u n d e r l y i n g

d i s t r i b u t i o n , t h e y h a v e a n u m b e r o f d i s a d v a n t a g e s . C o m p u t a t i o n a l l y t h e y a r e m u c h m o r e

d i c u l t t o d e a l w i t h . I t i s w e l l k n o w n t h a t i n t h e w o r s t c a s e i t i s i n t r a c t a b l e t o c o m p u t e

p o s t e r i o r p r o b a b i l i t i e s i n m u l t i p l y - c o n n e c t e d B a y e s i a n n e t w o r k s t o b e p r e c i s e t h i s c o m p u t a -

t i o n i s N P - H a r d ( C o o p e r , 1 9 9 0 ) . F u r t h e r m o r e , t h e t i m e c o m p l e x i t y o f t h e k n o w n a l g o r i t h m s

i n c r e a s e s w i t h t h e d e g r e e o f c o n n e c t i v i t y o f t h e n e t w o r k . F o r l a r g e m u l t i p l y - c o n n e c t e d n e t -

w o r k s a p p r o x i m a t i o n a l g o r i t h m s a r e o f t e n u s e d , e i t h e r b a s e d o n s t o c h a s t i c s i m u l a t i o n , e . g . ,

( C h a v e z a n d C o o p e r , 1 9 9 0 C h a v e z , 1 9 9 0 D a g u m a n d C h a v e z , 1 9 9 1 F u n g a n d C h a n g ,

1 9 9 0 H e n r i o n , 1 9 8 7 P e a r l , 1 9 8 7 S h a c h t e r a n d P e o t , 1 9 9 0 ) , o r s e a r c h t h r o u g h t h e s p a c e

o f a l t e r n a t i v e i n s t a n t i a t i o n s , e . g . , ( C o o p e r , 1 9 8 4 H e n r i o n , 1 9 9 0 H e n r i o n , 1 9 9 1 P e n g a n d

R e g g i a , 1 9 8 7 a P e n g a n d R e g g i a , 1 9 8 7 b ) . I n p r a c t i c e t h e s e a l g o r i t h m s a l l o w o n e t o r e a s o n

w i t h m o r e c o m p l e x n e t w o r k s t h a n c a n b e h a n d l e d b y t h e e x a c t a l g o r i t h m s . H o w e v e r , i t h a s

r e c e n t l y b e e n s h o w n t h a t i n g e n e r a l c o m p u t i n g a p p r o x i m a t i o n s i n m u l t i p l y - c o n n e c t e d n e t -

w o r k s i s a l s o N P - h a r d ( D a g u m a n d L u b y , 1 9 9 3 ) . B e s i d e s t h e t i m e c o m p l e x i t y o f r e a s o n i n g

w i t h m u l t i p l y - c o n n e c t e d n e t w o r k s , s u c h n e t w o r k s a l s o p r e s e n t a s p a c e c o m p l e x i t y p r o b l e m .

I n p a r t i c u l a r , t h e s p a c e c o m p l e x i t y o f t h e n e t w o r k i n c r e a s e s w i t h i t s d e g r e e o f c o n n e c t i v -

i t y . B a y e s i a n n e t w o r k s w i t h m o r e c o n n e c t i o n s b e t w e e n t h e i r n o d e s r e q u i r e t h e s t o r a g e o f

m o r e p r o b a b i l i t y p a r a m e t e r s t h e n u m b e r o f p r o b a b i l i t y p a r a m e t e r s r e q u i r e d a t e a c h n o d e

2


4/32

i n c r e a s e s e x p o n e n t i a l l y w i t h t h e n u m b e r o f i t s p a r e n t s , i . e . , w i t h t h e n u m b e r o f i n c o m i n g

a r c s . H e n c e , i r r e s p e c t i v e o f t h e t y p e o f a l g o r i t h m u s e d t h e r e a r e c o m p u t a t i o n a l , b o t h t i m e

a n d s p a c e , b e n e t s i n u s i n g n e t w o r k s o f l o w c o n n e c t i v i t y .

B e s i d e s c o m p u t a t i o n a l a d v a n t a g e s , n e t w o r k s o f l o w c o n n e c t i v i t y a l s o p o s s e s s c o n c e p t u a l

a d v a n t a g e s . T h e t o p o l o g y o f a B a y e s i a n n e t w o r k e x p r e s s e s i n f o r m a t i o n a b o u t t h e u n d e r l y i n g

c a u s a l a n d p r o b a b i l i s t i c r e l a t i o n s h i p s i n t h e d o m a i n . N e t w o r k s w i t h s i m p l e r t o p o l o g i e s a r e

e a s i e r t o u n d e r s t a n d . H e n c e , w h e n w e l e a r n a n e t w o r k f r o m r a w d a t a , t h e r e i s a n a d v a n t a g e

i n c o n s t r u c t i n g s i m p l e r n e t w o r k s : t h e y a r e s i m p l e r t o u n d e r s t a n d . T h i s c a n b e p a r t i c u l a r l y

i m p o r t a n t i f w e a l s o w i s h t o e x p l a i n t h e r e s u l t s c o m p u t e d u s i n g t h e n e t w o r k .

H e n c e , w e a r e f a c e d w i t h a t r a d e o . M o r e c o m p l e x n e t w o r k s a l l o w f o r m o r e a c c u r a t e

m o d e l s , b u t a t t h e s a m e t i m e s u c h m o d e l s a r e c o m p u t a t i o n a l l y a n d c o n c e p t u a l l y m o r e d i -

c u l t t o u s e . T h e a p p r o a c h w e t a k e i s t o c o n s t r u c t B a y e s i a n n e t w o r k s t h a t b a l a n c e a c c u r a c y

a n d u s e f u l n e s s . O u r m e t h o d w i l l l e a r n a l e s s c o m p l e x n e t w o r k i f t h a t n e t w o r k i s s u c i e n t l y

a c c u r a t e , a n d a t t h e s a m e t i m e , u n l i k e s o m e p r e v i o u s m e t h o d s , i t i s s t i l l c a p a b l e o f l e a r n -

i n g a c o m p l e x n e t w o r k i f n o s i m p l e r n e t w o r k i s s u c i e n t l y a c c u r a t e . T o m a k e t h i s t r a d e o

w e u s e a w e l l - s t u d i e d f o r m a l i s m : R i s s a n e n ' s M i n i m u m D e s c r i p t i o n L e n g t h ( M D L ) P r i n c i p l e

( R i s s a n e n , 1 9 7 8 ) .

B e s i d e s t h e r e a s o n s g i v e n a b o v e , m a k i n g a t r a d e o b e t w e e n a c c u r a c y a n d u s e f u l n e s s

s e e m s t o b e p a r t i c u l a r l y i m p o r t a n t w h e n l e a r n i n g f r o m r a w d a t a . T h e r a w d a t a i s i t s e l f

o n l y a n a p p r o x i m a t e p i c t u r e o f t h e t r u e u n d e r l y i n g d i s t r i b u t i o n . I t i s h i g h l y u n l i k e l y t h a t

t h e f r e q u e n c i e s e x p r e s s e d i n t h e r a w d a t a m a t c h t h e t r u e f r e q u e n c i e s o f t h e u n d e r l y i n g

d i s t r i b u t i o n . S i n c e t h e r a w d a t a i s o n l y a s a m p l e o f t h e p o p u l a t i o n , t h e o n l y g u a r a n t e e

w e h a v e i s t h a t t h e f r e q u e n c i e s i n t h e r a w d a t a a r e p r o b a b l y c l o s e t o t h e t r u e f r e q u e n c i e s .

H e n c e , a n y m e t h o d t h a t a t t e m p t s t o u n c o v e r t h e t r u e u n d e r l y i n g d i s t r i b u t i o n c a n a t b e s t

o n l y u n c o v e r a n a p p r o x i m a t i o n t o t h e u n d e r l y i n g d i s t r i b u t i o n : t h e a p p r o x i m a t i o n t h a t i s

e x p r e s s e d i n t h e r a w d a t a . I f a l l w e c a n d o i s a p p r o x i m a t e t h e u n d e r l y i n g d i s t r i b u t i o n , t h e n

i t s e e m s o n l y r e a s o n a b l e t o p r e f e r a p p r o x i m a t i o n s t h a t a r e m o r e u s e f u l .

E x a m p l e 1 A p p r o x i m a t e l y E q u i v a l e n t N e t w o r k s ] T o b e t t e r i l l u s t r a t e t h i s p o i n t c o n s i d e r

t h e t w o n e t w o r k s i n F i g u r e 1 i n w h i c h a l l t h e n o d e s t a k e o n b i n a r y v a l u e s . I n t h e g r a p h G 1 ,

t h e n o d e C h a s t w o p a r e n t s , A a n d B , w h i l e i n G 2 , C ' s o n l y p a r e n t i s B . G 2 i s a s i m p l e r

s i n g l y - c o n n e c t e d n e t w o r k . H o w e v e r , i f w e e x a m i n e t h e c o n d i t i o n a l p r o b a b i l i t y p a r a m e t e r s

a s s o c i a t e d w i t h n o d e C i n g r a p h G 1 w e n d t h a t C ' s v a l u e d e p e n d s m a i n l y o n t h e v a l u e o f

B a n d o n l y i n a m i n o r w a y o n t h e v a l u e o f A . H e n c e , t h e d e p e n d e n c y r e l a t i o n s h i p s o f t h e

d i s t r i b u t i o n d e s c r i b e d b y G 1 a r e a l m o s t t h e s a m e a s t h o s e i n t h e d i s t r i b u t i o n d e s c r i b e d b y

G 2 t h e s e t w o B a y e s i a n n e t w o r k s c a n b e c o n s i d e r e d a s a p p r o x i m a t e l y e q u i v a l e n t s t r u c t u r e s

e v e n t h o u g h t h e y h a v e d i e r e n t t o p o l o g i e s .

B a y e s i a n n e t w o r k s a r e c o m m o n l y u s e d t o m a n a g e b e l i e f u p d a t e a s s o m e o f t h e n o d e s

b e c o m e i n s t a n t i a t e d t o p a r t i c u l a r v a l u e s . U n d e r t h i s u s a g e t w o n e t w o r k s c a n b e r e g a r d e d a s

b e i n g a p p r o x i m a t e l y e q u i v a l e n t i f t h e y e x h i b i t c l o s e r e s u l t s a f t e r b e l i e f u p d a t e . F o r e x a m p l e ,

t h e t w o n e t w o r k s i n F i g u r e 1 a r e a p p r o x i m a t e l y e q u i v a l e n t u n d e r t h i s u s a g e . S u p p o s e t h e r e

3


5/32

H

H

H

H

Hj

H

H

H

H

Hj

?

G 2

P ( b 1 a 1 ) = 0 8 P ( b 0 a 1 ) = 0 2

P ( b 1 a 0 ) = 0 1 P ( b 0 a 0 ) = 0 9

P ( b 1 a 0 ) = 0 1 P ( b 0 a 0 ) = 0 9

P ( b 1 a 1 ) = 0 8 P ( b 0 a 1 ) = 0 2

P ( a 1 ) = 0 5 P ( a 0 ) = 0 5

C

B

A

A

B

C

P ( a 1 ) = 0 5 P ( a 0 ) = 0 5

G 1

P ( c 1 a 0 b 1 ) = 0 8 P ( c 0 a 0 b 1 ) = 0 2

P ( c 1 a 0 b 0 ) = 0 2 P ( c 0 a 0 b 0 ) = 0 8

P ( c 1 a 1 b 1 ) = 0 7 P ( c 0 a 1 b 1 ) = 0 3

P ( c 1 a 1 b 0 ) = 0 1 P ( c 0 a 1 b 0 ) = 0 9

P ( c 1 b 1 ) = 0 7 5 P ( c 0 b 1 ) = 0 2 5

P ( c 1 b 0 ) = 0 1 5 P ( c 0 b 0 ) = 0 8 5

F i g u r e 1 : A p p r o x i m a t e l y E q u i v a l e n t B a y e s i a n B e l i e f N e t w o r k s

i s a n i n i t i a l e v i d e n c e s u p p o r t i n g P ( a 1 ) = 0 3 . A f t e r p e r f o r m i n g b e l i e f u p d a t e o n t h e s e t w o

n e t w o r k s , b o t h o f t h e m l e a d t o a l m o s t t h e s a m e r e s u l t : P ( b 1 ) = 0 3 1 i n b o t h n e t w o r k s ,

P ( c 1 ) = 0 3 5 6 i n G 1 , a n d P ( c 1 ) = 0 3 3 6 i n G 2 . I n t h i s c a s e t h e r e i s l i t t l e l o s s i n a c c u r a c y

m o d e l i n g t h e u n d e r l y i n g d i s t r i b u t i o n u s i n g t h e s i m p l e r n e t w o r k G 2 i n s t e a d o f t h e m o r e

c o m p l e x G 1 .

F u r t h e r m o r e , s a y t h a t w e l e a r n e d t h e p r o b a b i l i t y p a r a m e t e r s , P ( c 1 a 1 b 1 ) , , P ( c 0 a 0 b 0 ) ,

f r o m f r e q u e n c i e s t a k e n o v e r r a w d a t a w h e r e a n e r r o r o f 0 1 w a s p o s s i b l e

1

. T h e n i t i s q u i t e

p o s s i b l e t h a t , e . g . , P ( c 1 a 1 b 1 ) = P ( c 1 a 0 b 1 ) = 0 7 5 i n t h e t r u e d i s t r i b u t i o n , e v e n t h o u g h

t h i s w a s n o t t h e c a s e i n t h e r a w d a t a . T h a t i s , i t i s q u i t e p o s s i b l e t h a t G 2 i s i n f a c t a m o r e

a c c u r a t e m o d e l o f t h e u n d e r l y i n g d i s t r i b u t i o n t h a n G 1 ( a l t h o u g h i t i s n o t a m o r e a c c u r a t e

m o d e l o f t h e r a w d a t a ) . G i v e n i n a d d i t i o n t h e f a c t t h a t i t i s a s i m p l e r , a n d t h u s m o r e u s e f u l ,

m o d e l , t h e a p p r o a c h o f l e a r n i n g t h e m o s t a c c u r a t e m o d e l o f t h e r a w d a t a i s m o o t .

A s m e n t i o n e d a b o v e w e u s e t h e M D L p r i n c i p l e t o m a k e a t r a d e o b e t w e e n a c c u r a c y a n d

u s e f u l n e s s . T h e M D L p r i n c i p l e s a y s t h a t t h e b e s t m o d e l o f a c o l l e c t i o n o f d a t a i s t h e o n e t h a t

m i n i m i z e s t h e s u m o f t h e e n c o d i n g l e n g t h s o f t h e d a t a a n d t h e m o d e l i t s e l f . T h a t i s , w i t h

t h e a i d o f t h e m o d e l w e c a n r e p r e s e n t , o r e n c o d e , t h e d a t a m o r e c o m p a c t l y , b y e x p l o i t i n g

t h e p r o b a b i l i s t i c r e g u l a r i t i e s d e s c r i b e d b y t h e m o d e l . H o w e v e r , t h e m o d e l i t s e l f w i l l r e q u i r e

1

I f t h i s a m o u n t o f e r r o r i n t h e r a w d a t a s e e m s e x c e s s i v e , t h e n i t s h o u l d b e n o t e d t h a t w e c o u l d e a s i l y

a l t e r t h i s e x a m p l e t o a c c o m m o d a t e s m a l l e r e r r o r s .

4


6/32

s o m e r e p r e s e n t a t i o n . T h e M D L p r i n c i p l e s p e c i e s t h a t b o t h c o m p o n e n t s s h o u l d b e t a k e n

i n t o c o n s i d e r a t i o n . H o w e v e r , n d i n g t h e n e t w o r k ( m o d e l ) t h a t m i n i m i z e s t h e s u m o f t h e s e

t w o c o m p o n e n t s i s a c o m p u t a t i o n a l l y i n t r a c t a b l e t a s k : t h e r e a r e s i m p l y t o o m a n y n e t w o r k s t o

s e a r c h . H e n c e , o u r r e a l i z a t i o n o f t h e M D L p r i n c i p l e i s b a s e d o n a h e u r i s t i c s e a r c h a l g o r i t h m

t h a t t r i e s t o n d a n e t w o r k t h a t h a s l o w , b u t n o t n e c e s s a r i l y m i n i m u m , d e s c r i p t i o n l e n g t h .

W e h a v e c o n d u c t e d a n u m b e r o f e x p e r i m e n t s t h a t s u c c e s s f u l l y d e m o n s t r a t e t h e f e a s i b i l i t y o f

o u r m e t h o d .

I n t h e s e q u e l w e r s t d i s c u s s r e l a t e d w o r k o n l e a r n i n g B a y e s i a n N e t w o r k s . T h e n w e

d i s c u s s i n m o r e d e t a i l t h e M D L p r i n c i p l e a n d t h e m a n n e r i n w h i c h i t c a n b e a p p l i e d t o t h e

t a s k a t h a n d . A d i s c u s s i o n o f o u r h e u r i s t i c s e a r c h a l g o r i t h m f o l l o w s a l o n g w i t h a p r e s e n t a t i o n

o f t h e e x p e r i m e n t a l r e s u l t s . W e c o n c l u d e w i t h a d i s c u s s i o n o f f u t u r e w o r k .

2 R e l a t e d W o r k

T h e e a r l i e s t w o r k t h a t c a n b e v i e w e d a s l e a r n i n g n e t w o r k m o d e l s w a s t h a t o f C h o w a n d

L i u ( 1 9 6 8 ) . T h e i r a p p r o a c h w a s a b l e t o r e c o v e r s i m p l e t r e e s t r u c t u r e d b e l i e f n e t w o r k s f r o m

a d a t a b a s e o f r e c o r d s . I f t h e d a t a b a s e w a s g e n e r a t e d b y a d i s t r i b u t i o n t h a t h a d a t r e e

s t r u c t u r e , i t c o u l d b e e x a c t l y r e c o v e r e d , g i v e n s u c i e n t r a w d a t a . O t h e r w i s e t h e i r m e t h o d

g u a r a n t e e d t h a t t h e p r o b a b i l i t y d i s t r i b u t i o n o f t h e l e a r n e d t r e e n e t w o r k w a s t h e c l o s e s t o f

a l l t r e e n e t w o r k s t o t h e u n d e r l y i n g d i s t r i b u t i o n o f t h e r a w d a t a . T h e c r i t e r i o n o f \ c l o s e n e s s "

t h e y u s e d w a s t h e w e l l - k n o w n K u l l b a c k - L e i b l e r c r o s s - e n t r o p y m e a s u r e ( K u l l b a c k a n d L e i b l e r ,

1 9 5 1 ) . T h e m a i n r e s t r i c t i o n o f t h i s w o r k w a s t h a t i t c o u l d o n l y l e a r n t r e e s t r u c t u r e s . H e n c e , i f

t h e r a w d a t a w a s t h e r e s u l t o f a n o n - t r e e s t r u c t u r e d d i s t r i b u t i o n , t h e l e a r n e d s t r u c t u r e c o u l d

b e v e r y i n a c c u r a t e . I n s u b s e q u e n t w o r k R e b a n e a n d P e a r l ( 1 9 8 7 ) w e r e a b l e t o e x t e n d C h o w

a n d L i u ' s m e t h o d s t o t h e r e c o v e r y o f n e t w o r k s o f s i n g l y c o n n e c t e d n e t w o r k s ( p o l y t r e e s ) .

I f t h e u n d e r l y i n g d i s t r i b u t i o n h a d a p o l y t r e e s t r u c t u r e , i t s t o p o l o g i c a l s t r u c t u r e c o u l d b e

e x a c t l y r e c o v e r e d ( m o d u l o t h e o r i e n t a t i o n o f s o m e o f t h e a r c s ) . B u t a g a i n i f t h e r a w d a t a

c a m e f r o m a n o n - p o l y t r e e d i s t r i b u t i o n , t h e l e a r n e d s t r u c t u r e c o u l d b e v e r y i n a c c u r a t e .

I f w e h a v e t h r e e r a n d o m v a r i a b l e s , X , Y , a n d Z , w e c a n s a y t h a t X i s i n d e p e n d e n t o f

Y g i v e n Z i f f o r e v e r y v a l u e o f X , Y , Z , s a y x , y , z , w e h a v e t h a t P ( X = x Z = z ) =

P ( X = x Z = z Y = y ) . T h a t i s , t h e p r o b a b i l i t y t h a t X t a k e s o n v a l u e x g i v e n t h a t Z

t a k e s o n v a l u e z i s u n a e c t e d b y Y t a k i n g o n v a l u e y , f o r a l l v a l u e s x , y , z . W e c a n d e n o t e

t h i s i n d e p e n d e n c e r e l a t i o n s h i p b y I ( X Y Z ) . G i v e n a s e t o f s u c h i n d e p e n d e n c i e s , G e i g e r

e t a l . d e v e l o p e d a n a p p r o a c h ( 1 9 9 0 ) t h a t c a n d i s c o v e r a m i n i m a l - e d g e I - m a p . A n e t w o r k

s t r u c t u r e i s a n I - m a p o f a p r o b a b i l i t y d i s t r i b u t i o n i f e v e r y i n d e p e n d e n c e r e l a t i o n e x h i b i t e d

i n t h e n e t w o r k h o l d s a l s o i n t h e d i s t r i b u t i o n ( P e a r l , 1 9 8 8 G e i g e r a n d P e a r l , 1 9 9 0 ) . H o w e v e r ,

t h e i r a p p r o a c h i s a g a i n l i m i t e d t o p o l y t r e e s i t i s o n l y g u a r a n t e e d t o w o r k i n t h e c a s e w h e r e

t h e u n d e r l y i n g d i s t r i b u t i o n h a s a p o l y t r e e s t r u c t u r e .

A l l o f t h e a b o v e a p p r o a c h e s f a i l t o r e c o v e r t h e r i c h e r a n d m o r e r e a l i s t i c c l a s s o f m u l t i p l y -

c o n n e c t e d n e t w o r k s , w h i c h t o p o l o g i c a l l y a r e d i r e c t e d a c y c l i c g r a p h s ( d a g s ) . R e c e n t l y , S p i r t e s

5


7/32

e t a l . ( 1 9 9 0 ) h a v e d e v e l o p e d a n a l g o r i t h m t h a t c a n c o n s t r u c t m u l t i p l y - c o n n e c t e d n e t w o r k s .

A n d , m o r e r e c e n t l y , V e r m a a n d P e a r l ( 1 9 9 0 1 9 9 1 ) h a v e d e v e l o p e d w h a t t h e y c a l l a n I C -

A l g o r i t h m t h a t c a n a l s o r e c o v e r t h e s e k i n d s o f s t r u c t u r e s . H o w e v e r , b o t h a p p r o a c h e s r e q u i r e

t h a t t h e u n d e r l y i n g d i s t r i b u t i o n b e i n g l e a r n e d b e d a g - i s o m o r p h i c

2

B u t , n o t a l l d i s t r i b u t i o n s

a r e . A s a r e s u l t , b o t h o f t h e s e m e t h o d s h a v e t h e c o m m o n d r a w b a c k t h a t t h e y a r e n o t

g u a r a n t e e d t o w o r k w h e n t h e u n d e r l y i n g d i s t r i b u t i o n f a i l s t o b e d a g - i s o m o r p h i c . I n s u c h

c a s e s n o c o n c l u s i o n s c a n b e d r a w n a b o u t t h e c l o s e n e s s o f t b e t w e e n t h e l e a r n e d s t r u c t u r e

a n d t h e u n d e r l y i n g d i s t r i b u t i o n .

A l l o f t h e s e m e t h o d s s h a r e t h e c o m m o n d i s a d v a n t a g e t h a t t h e y m a k e a s s u m p t i o n s a b o u t

t h e u n d e r l y i n g d i s t r i b u t i o n . U n f o r t u n a t e l y , w e a r e h a r d l y e v e r i n a p o s i t i o n t o k n o w p r o p -

e r t i e s o f t h e u n d e r l y i n g d i s t r i b u t i o n . T h i s i s w h a t w e a r e t r y i n g t o l e a r n ! H e n c e , w e h a v e n o

a s s u r a n c e t h a t t h e s e m e t h o d s w i l l w o r k w e l l i n p r a c t i c e . T h e s e m e t h o d s m i g h t p r o d u c e v e r y

i n a c c u r a t e m o d e l s i f t h e u n d e r l y i n g d i s t r i b u t i o n f a i l s t o f a l l i n t o t h e c a t e g o r y o f d i s t r i b u t i o n s

t h e y c a n d e a l w i t h . N e v e r t h e l e s s , t h e s e a p p r o a c h e s h a v e p r o v i d e d a g r e a t d e a l o f i n f o r m a t i o n

p e r t i n e n t t o l e a r n i n g B a y e s i a n n e t w o r k s .

A n i n t e r e s t i n g a l t e r n a t e a p p r o a c h w h i c h c a n a l s o d e a l w i t h m u l t i p l y - c o n n e c t e d n e t w o r k s

i s t h a t o f C o o p e r a n d H e r s k o v i t s ( 1 9 9 1 ) . T h e i r a p p r o a c h t r i e s t o n d t h e m o s t p r o b a b l e

n e t w o r k u s i n g a B a y e s i a n a p p r o a c h . A s w i t h a l l B a y e s i a n a p p r o a c h e s , t h e y m u s t a s s u m e a

p r i o r d i s t r i b u t i o n o v e r t h e s p a c e o f a l l p o s s i b l e n e t w o r k s t r u c t u r e s . T h e y h a v e t a k e n t h i s

p r i o r t o b e u n i f o r m .

3

U n f o r t u n a t e l y , i t s e e m s t o u s t h a t t h i s i s t h e w r o n g c h o i c e . B y c h o o s i n g

t h i s p r i o r t h e i r m e t h o d w o u l d p r e f e r a m o r e a c c u r a t e n e t w o r k , e v e n i f t h a t n e t w o r k i s m u c h

m o r e c o m p l e x a n d o n l y s l i g h t l y m o r e a c c u r a t e . G i v e n t h a t w e m u s t p e r f o r m l e a r n i n g w i t h

o n l y a l i m i t e d a m o u n t o f d a t a , t h i s i n s i s t e n c e o n a c c u r a c y i s q u e s t i o n a b l e .

4

O n e w a y o f v i e w i n g t h e M D L p r i n c i p l e i s a s a B a y e s i a n a p p r o a c h i n w h i c h t h e p r i o r d i s -

t r i b u t i o n o v e r t h e m o d e l s i s i n v e r s e l y r e l a t e d t o t h e i r e n c o d i n g l e n g t h , i . e . , t h e i r c o m p l e x i t y .

H e n c e , t h e M D L p r i n c i p l e h a s a b i a s t o w a r d s l e a r n i n g m o d e l s t h a t a r e a s s i m p l e a s p o s s i b l e .

A s w e h a v e a r g u e d i n S e c t i o n 1 , t h i s s e e m s t o u s t o b e a f a r m o r e r e a s o n a b l e a p p r o a c h .

C o o p e r a n d H e r s k o v i t s f a c e t h e s a m e p r o b l e m w e d o : t h e s p a c e o f p o s s i b l e n e t w o r k

s t r u c t u r e s i s s i m p l y t o o l a r g e t o e x p l o r e e x h a u s t i v e l y . H e n c e , t h e y a l s o d e v e l o p a h e u r i s t i c

m e t h o d t h a t s e a r c h e s a c o n s t r a i n e d s e t o f s t r u c t u r e s l o o k i n g , i n t h e i r c a s e , f o r t h e o n e w i t h

h i g h e s t p o s t e r i o r p r o b a b i l i t y , a n d i n o u r c a s e f o r t h e o n e w i t h m i n i m a l d e s c r i p t i o n l e n g t h .

T h e h e u r i s t i c m e t h o d t h e y c h o o s e r e q u i r e s a u s e r s p e c i e d o r d e r i n g o f t h e v a r i a b l e s , a n d

t h e n e t w o r k t h a t t h e y l e a r n r e s p e c t s t h i s o r d e r i n g ( i . e . , t h e p a r e n t s o f a n o d e a r e a l w a y s

2

A d i s t r i b u t i o n i s d a g - i s o m o r p h i c i f t h e r e i s s o m e d a g t h a t d i s p l a y s a l l o f i t s d e p e n d e n c i e s a n d i n d e p e n -

d e n c i e s ( P e a r l , 1 9 8 8 ) .

3

C o o p e r a n d H e r s k o v i t s h a v e a l s o c o n s i d e r e d o t h e r p r i o r s . H o w e v e r , a n e s s e n t i a l d i c u l t y r e m a i n s i n

j u s t i f y i n g a n y p a r t i c u l a r c h o i c e W i t h t h e M D L p r i n c i p l e t h e r e i s a n a t u r a l j u s t i c a t i o n f o r p r e f e r r i n g l e s s

c o m p l e x n e t w o r k s .

4

I n t e r e s t i n g l y , t h e m e t h o d C o o p e r a n d H e r s k o v i t s u s e d t o c o n s t r u c t t h e i r \ u n i f o r m " p r i o r d i d n o t i n

f a c t a s s i g n e q u a l p r i o r p r o b a b i l i t y t o e v e r y n e t w o r k . R a t h e r , t h e i r p r i o r i n t r o d u c e d w h a t a p p e a r s t o b e a n

e n t i r e l y a c c i d e n t a l ( i n s o f a r a s i t w a s n e v e r p o i n t e d o u t i n t h e i r p a p e r ) b i a s f o r s i m p l e r n e t w o r k s .

6


8/32


9/32

3 . 1 E n c o d i n g t h e N e t w o r k

T o r e p r e s e n t a p a r t i c u l a r B a y e s i a n n e t w o r k , t h e f o l l o w i n g i n f o r m a t i o n i s n e c e s s a r y a n d s u f -

c i e n t :

A l i s t o f t h e p a r e n t s o f e a c h n o d e .

T h e s e t o f c o n d i t i o n a l p r o b a b i l i t i e s a s s o c i a t e d w i t h e a c h n o d e . T h e s e a r e r e q u i r e d t o

p a r a m e t e r i z e t h e n e t w o r k .

S u p p o s e t h e r e a r e n n o d e s i n t h e p r o b l e m d o m a i n . F o r a n o d e w i t h k p a r e n t s , w e n e e d

k l o g

2

( n ) b i t s t o l i s t i t s p a r e n t s . T o r e p r e s e n t t h e c o n d i t i o n a l p r o b a b i l i t i e s , t h e e n c o d i n g

l e n g t h w i l l b e t h e p r o d u c t o f t h e n u m b e r o f b i t s r e q u i r e d t o s t o r e t h e n u m e r i c a l v a l u e o f e a c h

c o n d i t i o n a l p r o b a b i l i t y a n d t h e t o t a l n u m b e r o f c o n d i t i o n a l p r o b a b i l i t i e s t h a t a r e r e q u i r e d .

I n a B a y e s i a n n e t w o r k , a c o n d i t i o n a l p r o b a b i l i t y i s n e e d e d f o r e v e r y d i s t i n c t i n s t a n t i a t i o n o f

t h e p a r e n t n o d e s a n d n o d e i t s e l f ( e x c e p t t h a t o n e o f t h e s e c o n d i t i o n a l p r o b a b i l i t i e s c a n b e

c o m p u t e d f r o m t h e o t h e r s d u e t o t h e f a c t t h a t t h e y a l l s u m t o 1 ) . F o r e x a m p l e , i f a n o d e

t h a t c a n t a k e o n 5 d i s t i n c t v a l u e s h a s 4 p a r e n t s e a c h o f w h i c h c a n t a k e o n 3 d i s t i n c t v a l u e s ,

w e w i l l n e e d 3

4

( 5 ; 1 ) c o n d i t i o n a l p r o b a b i l i t i e s . H e n c e , u n d e r t h i s s i m p l e s c h e m e t h e t o t a l

d e s c r i p t i o n l e n g t h f o r a p a r t i c u l a r n e t w o r k w i l l b e :

n

X

i = 1

k

i

l o g

2

( n ) + d ( s

i

; 1 )

Y

j 2 F

i

s

j

( 1 )

w h e r e t h e r e a r e n n o d e s a n d f o r n o d e i , k

i

i s t h e n u m b e r o f i t s p a r e n t n o d e s , s

i

i s t h e

n u m b e r o f v a l u e s i t c a n t a k e o n , a n d F

i

i s t h e s e t o f i t s p a r e n t s a n d d r e p r e s e n t s t h e n u m b e r

o f b i t s r e q u i r e d t o s t o r e a n u m e r i c a l v a l u e . F o r a p a r t i c u l a r p r o b l e m d o m a i n , n a n d d w i l l

b e c o n s t a n t s . T h i s i s n o t t h e o n l y e n c o d i n g s c h e m e p o s s i b l e , b u t i t i s s i m p l e a n d i t p e r f o r m s

w e l l i n o u r e x p e r i m e n t s .

B y l o o k i n g a t t h i s e q u a t i o n , w e s e e t h a t h i g h l y c o n n e c t e d n e t w o r k s r e q u i r e l o n g e r e n c o d -

i n g s . F i r s t , f o r m a n y n o d e s t h e l i s t o f p a r e n t s w i l l g e t l a r g e r , a n d h e n c e t h e l i s t o f c o n d i t i o n a l

p r o b a b i l i t i e s w e n e e d t o s t o r e f o r t h a t n o d e w i l l a l s o i n c r e a s e . I n a d d i t i o n , n e t w o r k s i n w h i c h

n o d e s t h a t h a v e a l a r g e r n u m b e r o f v a l u e s h a v e p a r e n t s w i t h a l a r g e n u m b e r o f v a l u e s , w i l l

r e q u i r e l o n g e r e n c o d i n g s . H e n c e , t h e M D L p r i n c i p l e w i l l t e n d t o f a v o r n e t w o r k s i n w h i c h

t h e n o d e s h a v e a s m a l l e r n u m b e r o f p a r e n t s ( i . e . , n e t w o r k s t h a t a r e l e s s c o n n e c t e d ) a n d a l s o

n e t w o r k s i n w h i c h n o d e s t a k i n g o n a l a r g e n u m b e r o f v a l u e s a r e n o t p a r e n t s o f n o d e s t h a t

a l s o t a k e o n a l a r g e n u m b e r o f v a l u e s .

A s d i s c u s s e d i n t h e i n t r o d u c t i o n , w i t h B a y e s i a n n e t w o r k s t h e d e g r e e o f c o n n e c t i v i t y i s

c l o s e l y r e l a t e d t o t h e c o m p u t a t i o n a l c o m p l e x i t y , b o t h s p a c e a n d t i m e , o f u s i n g t h e n e t w o r k .

H e n c e , o u r e n c o d i n g s c h e m e g e n e r a t e s a p r e f e r e n c e f o r m o r e e c i e n t n e t w o r k s . T h a t i s , s i n c e

t h e e n c o d i n g l e n g t h o f t h e m o d e l i s i n c l u d e d i n o u r e v a l u a t i o n o f d e s c r i p t i o n l e n g t h , w e a r e

e n f o r c i n g a p r e f e r e n c e f o r n e t w o r k s t h a t r e q u i r e t h e s t o r a g e o f f e w e r p r o b a b i l i t y p a r a m e t e r s

a n d o n w h i c h c o m p u t a t i o n i s m o r e e c i e n t . T h e e n c o d i n g l e n g t h o f t h e m o d e l i s , h o w e v e r ,

8


10/32

n o t t h e o n l y f a c t o r i n d e t e r m i n i n g t h e d e s c r i p t i o n l e n g t h w e a l s o h a v e t o c o n s i d e r t h e

e n c o d i n g l e n g t h o f t h e d a t a g i v e n t h e m o d e l .

3 . 2 E n c o d i n g t h e D a t a U s i n g t h e M o d e l

L e t u s r s t b e m o r e p r e c i s e a b o u t t h e f o r m o f t h e r a w d a t a . T h e t a s k i s t o l e a r n t h e j o i n t

d i s t r i b u t i o n o f a c o l l e c t i o n o f r a n d o m v a r i a b l e s

~

X = f X

1

: : : X

n

g . E a c h v a r i a b l e X

i

h a s a n

a s s o c i a t e d c o l l e c t i o n o f v a l u e s f x

1

i

: : : x

s

i

g t h a t i t c a n t a k e o n , w h e r e t h e n u m b e r o f v a l u e s s

w i l l i n g e n e r a l d e p e n d o n i . E v e r y d i s t i n c t c h o i c e o f v a l u e s f o r a l l t h e v a r i a b l e s i n

~

X d e n e s

a n a t o m i c e v e n t i n t h e u n d e r l y i n g j o i n t d i s t r i b u t i o n a n d i s a s s i g n e d a p a r t i c u l a r p r o b a b i l i t y

b y t h a t d i s t r i b u t i o n .

F o r e x a m p l e , w e m i g h t h a v e t h r e e r a n d o m v a r i a b l e s X

1

, X

2

, a n d X

3

, w i t h X

1

h a v i n g

f 1 2 g , X

2

h a v i n g f 1 2 3 g , a n d X

3

h a v i n g f 1 2 g a s p o s s i b l e v a l u e s . T h e r e a r e 2 3 2

d i e r e n t c o m p l e t e i n s t a n t i a t i o n s o f t h e v a r i a b l e s . E a c h o f t h e s e i s a n a t o m i c e v e n t i n t h e

u n d e r l y i n g j o i n t d i s t r i b u t i o n , a n d h a s a p a r t i c u l a r p r o b a b i l i t y o f o c c u r r i n g . F o r e x a m p l e ,

t h e e v e n t i n w h i c h f X

1

= 1 X

2

= 3 X

3

= 1 g i s o n e o f t h e s e a t o m i c e v e n t s .

W e a s s u m e t h a t t h e d a t a p o i n t s i n t h e r a w d a t a a r e a l l a t o m i c e v e n t s . T h a t i s , e a c h d a t a

p o i n t s p e c i e s a v a l u e f o r e v e r y r a n d o m v a r i a b l e i n

~

X . F u r t h e r m o r e , w e a s s u m e t h a t t h e

d a t a p o i n t s a r e t h e r e s u l t o f i n d e p e n d e n t r a n d o m t r i a l s . H e n c e , w e w o u l d e x p e c t , v i a t h e

c e n t r a l l i m i t t h e o r e m , t h a t e a c h p a r t i c u l a r i n s t a n t i a t i o n o f t h e v a r i a b l e s w o u l d e v e n t u a l l y

a p p e a r i n t h e d a t a b a s e w i t h a r e l a t i v e f r e q u e n c y a p p r o x i m a t e l y e q u a l t o i t s p r o b a b i l i t y .

T h e s e a s s u m p t i o n s a r e s t a n d a r d .

G i v e n a c o l l e c t i o n o f N d a t a p o i n t s w e w a n t t o e n c o d e , o r s t o r e , t h e d a t a a s a b i n a r y

s t r i n g . T h e r e a r e v a r i o u s w a y s i n w h i c h t h i s e n c o d i n g c a n b e d o n e , b u t h e r e w e a r e o n l y

i n t e r e s t e d i n u s i n g t h e l e n g t h o f t h e e n c o d i n g a s a m e t r i c , v i a i t e m 2 i n t h e M D L p r i n c i p l e ,

f o r c o m p a r i n g t h e m e r i t o f c a n d i d a t e B a y e s i a n N e t w o r k s . H e n c e , w e c a n l i m i t o u r a t t e n t i o n

t o c h a r a c t e r c o d e s ( C o r m e n , L e i s e r s o n a n d R i v e s t , 1 9 8 9 , p p . 3 3 7 ) . W i t h c h a r a c t e r c o d e s

e a c h a t o m i c e v e n t i s a s s i g n e d a u n i q u e b i n a r y s t r i n g . E a c h o f t h e d a t a p o i n t s , w h i c h a r e

a l l a t o m i c e v e n t s , i s c o n v e r t e d t o i t s c h a r a c t e r c o d e , a n d t h e N p o i n t s a r e r e p r e s e n t e d b y

t h e s t r i n g f o r m e d b y c o n c a t e n a t i n g t h e s e c h a r a c t e r c o d e s t o g e t h e r . F o r e x a m p l e , s a y t h a t

w e a s s i g n t h e c o d e 0 0 0 0 t o t h e e v e n t e

1 1 1

= f X

1

= 1 X

2

= 1 X

3

= 1 g a n d t h e c o d e 1 0 1 1 t o

t h e e v e n t e

2 3 2

= f X

1

= 2 X

2

= 3 X

3

= 2 g . T h e n i f t h e r a w d a t a c o n s i s t s o f t h e s e q u e n c e

o f a t o m i c e v e n t s , e

1 1 1

e

1 1 1

e

2 3 2

t h e n i t w o u l d b e e n c o d e d a s t h e b i n a r y s t r i n g 0 0 0 0 0 0 0 0 1 0 1 1

u s i n g t h e s e c h a r a c t e r c o d e s .

I t i s w e l l k n o w n t h a t f o r c h a r a c t e r c o d e s w e c a n m i n i m i z e t h e l e n g t h o f t h e n a l b i n a r y

s t r i n g b y t a k i n g i n t o a c c o u n t t h e f r e q u e n c y o f o c c u r r e n c e o f t h e d i e r e n t a t o m i c e v e n t s . I n

f a c t , t h e r e i s a n a l g o r i t h m f o r g e n e r a t i n g o p t i m a l , i . e . , m i n i m a l l e n g t h , c h a r a c t e r c o d e s . T h i s

i s H u m a n ' s a l g o r i t h m f o r g e n e r a t i n g H u m a n c o d e s ( C o r m e n , L e i s e r s o n a n d R i v e s t , 1 9 8 9 ) .

I n t u i t i v e l y , w h a t w e d o i s a s s i g n e v e n t s t h a t o c c u r m o r e f r e q u e n t l y s h o r t e r c o d e s s o t h a t t h e

t o t a l l e n g t h o f t h e s t r i n g r e p r e s e n t i n g t h e d a t a b e c o m e s s h o r t e r . F o r e x a m p l e , i f w e h a v e

1 0 0 0 d a t a p o i n t s a n d t h e 1 2 a t o m i c e v e n t s s p e c i e d a b o v e , t h e n w i t h a x e d l e n g t h c o d e

9


11/32

f o r e a c h e v e n t w e w o u l d n e e d 4 b i t s t o e n c o d e e a c h d a t a p o i n t , a n d 4 0 0 0 b i t s t o e n c o d e t h e

e n t i r e d a t a b a s e . O n t h e o t h e r h a n d , s a y t h a t e v e n t e

1 1 1

o c c u r s 5 0 0 t i m e s , e v e n t e

2 3 2

3 0 0

t i m e s , a n d a l l t h e o t h e r 1 0 e v e n t s o c c u r 2 0 t i m e s e a c h . T h e n i f w e a s s i g n t h e c o d e w o r d s 0

t o e

1 1 1

, 1 0 t o e

2 3 2

a n d t h e c o d e w o r d s 1 1 1 1 1 , 1 1 1 1 0 , 1 1 1 0 1 , 1 1 1 0 0 , 1 1 0 1 1 1 , 1 1 0 1 1 0 , 1 1 0 1 0 1 ,

1 1 0 1 0 0 , 1 1 0 0 1 , 1 1 0 0 0 , t o t h e r e m a i n i n g 1 0 e v e n t s , w e w i l l n e e d

5 0 0 + 3 0 0 2 + 6 ( 2 0 5 ) + 4 ( 2 0 6 ) = 2 1 8 0

b i t s t o e n c o d e t h e e n t i r e d a t a b a s e . T h i s i s t h e m i n i m a l n u m b e r o f b i t s r e q u i r e d u s i n g a

c h a r a c t e r c o d e .

5

H u m a n ' s a l g o r i t h m r e q u i r e s a s i n p u t t h e f r e q u e n c y o f o c c u r r e n c e o f e a c h e v e n t i n t h e

d a t a b a s e . I n f a c t , i t s o p e r a t i o n o n l y d e p e n d s o n t h e r e l a t i v e f r e q u e n c y o f o c c u r r e n c e . T h a t

i s , t h e n u m b e r s 5 0 0 , 3 0 0 , a n d 2 0 u s e d a b o v e c o u l d b e h a v e b e e n r e p l a c e d b y 1 / 2 , 3 / 1 0 , a n d

2 / 1 0 0 , w h e r e t h e t o t a l n u m b e r o f d a t a p o i n t s , 1 0 0 0 , h a s b e e n f a c t o r e d o u t . N o w s a y t h a t

w e a r e e x p e c t i n g t o a c c u m u l a t e m o r e a n d m o r e d a t a p o i n t s , a n d w e w i s h t o d e s i g n a c o d e

t h a t w i l l b e o p t i m a l i n t h e l o n g r u n a s t h e d a t a b a s e b e c o m e s l a r g e r a n d l a r g e r . S i n c e w e a r e

a s s u m i n g t h a t t h e d a t a p o i n t s a r e g e n e r a t e d b y a x e d u n d e r l y i n g p r o b a b i l i t y d i s t r i b u t i o n ,

w e k n o w t h a t i n t h e l o n g r u n t h e r e l a t i v e f r e q u e n c y o f e a c h d i e r e n t a t o m i c e v e n t i n t h e

d a t a b a s e w i l l t e n d t o i t s p r o b a b i l i t y a s d e t e r m i n e d b y t h e u n d e r l y i n g d i s t r i b u t i o n . H e n c e , w e

c o u l d u s e t h o s e p r o b a b i l i t i e s i n H u m a n ' s a l g o r i t h m t o d e s i g n a n c o d e t h a t w i l l b e o p t i m a l

i n t h e l o n g r u n .

S a y t h a t i n t h e u n d e r l y i n g d i s t r i b u t i o n e a c h a t o m i c e v e n t e

i

h a s p r o b a b i l i t y p

i

. T h e n

H u m a n ' s a l g o r i t h m , w h e n r u n u s i n g t h e s e p r o b a b i l i t i e s , w i l l a s s i g n e v e n t e

i

a c o d e w o r d

o f l e n g t h a p p r o x i m a t e l y ; l o g

2

( p

i

) ( L e l e w e r a n d H i r s c h b e r g , 1 9 8 7 ) . W h e n w e h a v e N d a t a

p o i n t s , w h e r e N i s l a r g e , w e w o u l d e x p e c t t h a t t h e r e w i l l b e N p

i

o c c u r r e n c e s o f e v e n t e

i

H e n c e , t h e l e n g t h o f t h e s t r i n g e n c o d i n g t h e d a t a b a s e w i l l b e a p p r o x i m a t e l y

; N

X

i

p

i

l o g

2

( p

i

) ( 2 )

w h e r e w e a r e s u m m i n g o v e r a l l p o s s i b l e a t o m i c e v e n t s .

O f c o u r s e w e d o n ' t h a v e t h e s e p r o b a b i l i t i e s p

i

: i f w e d i d w e c o u l d c o n s t r u c t o u r B a y e s i a n

n e t w o r k d i r e c t l y f r o m t h i s i n f o r m a t i o n . S a y i n s t e a d t h a t w e c o n s t r u c t , v i a s o m e l e a r n i n g

s c h e m e , a p a r t i c u l a r B a y e s i a n n e t w o r k f r o m t h e r a w d a t a . T h i s B a y e s i a n n e t w o r k a c t s a s a

m o d e l o f t h e u n d e r l y i n g d i s t r i b u t i o n a n d i t a l s o a s s i g n s a p r o b a b i l i t y , s a y q

i

, t o e v e r y a t o m i c

e v e n t e

i

. O f c o u r s e , i n g e n e r a l q

i

w i l l n o t b e e q u a l t o p

i

, a s t h e l e a r n i n g s c h e m e c a n n o t

g u a r a n t e e t h a t i t w i l l c o n s t r u c t a p e r f e c t l y a c c u r a t e n e t w o r k . N e v e r t h e l e s s , t h e a i m i s f o r q

i

t o b e c l o s e t o p

i

, a n d t h e c l o s e r i t i s t h e m o r e a c c u r a t e i s o u r m o d e l .

T h e c o n s t r u c t e d B a y e s i a n n e t w o r k i s i n t e n d e d a s o u r b e s t \ g u e s s " r e p r e s e n t a t i o n o f t h e

u n d e r l y i n g d i s t r i b u t i o n . H e n c e , g i v e n t h a t t h e p r o b a b i l i t i e s q

i

d e t e r m i n e d b y t h e n e t w o r k

5

T h e s e c o d e s w e r e c o m p u t e d u s i n g H u m a n ' s s i m p l e a l g o r i t h m . I f t h e n u m b e r o f a t o m i c e v e n t s i s s o m e

p o w e r o f t w o a n d a l l e v e n t s o c c u r w i t h e q u a l f r e q u e n c y t h e n H u m a n ' s a l g o r i t h m w o u l d g e n e r a t e a x e d

l e n g t h c o d e . T h i s i s o n e o f t h e f e w t i m e s w h e n a x e d l e n g t h c o d e c a n b e o p t i m a l .

1 0


12/32

a r e o u r b e s t g u e s s o f t h e t r u e v a l u e s p

i

, i t m a k e s s e n s e t o d e s i g n o u r H u m a n c o d e u s i n g

t h e s e p r o b a b i l i t i e s . T h i s m e a n s t h a t e a c h e v e n t e

i

w i l l b e a s s i g n e d a c o d e w o r d o f l e n g t h

a p p r o x i m a t e l y ; l o g

2

( q

i

) i n s t e a d o f i t s o p t i m a l v a l u e o f ; l o g

2

( p

i

) . D e s p i t e o u r u s e o f t h e

v a l u e s q

i

i n a s s i g n i n g c o d e w o r d s , t h e r a w d a t a w i l l c o n t i n u e t o b e d e t e r m i n e d b y t h e t r u e

p r o b a b i l i t i e s p

i

. T h a t i s , w e s t i l l e x p e c t t h a t f o r l a r g e N w e w i l l h a v e N p

i

o c c u r r e n c e s o f

e v e n t e

i

, a s p

i

i s t h e t r u e p r o b a b i l i t y o f e

i

o c c u r r i n g . T h e r e f o r e , w h e n w e u s e t h e l e a r n e d

B a y e s i a n n e t w o r k t o e n c o d e t h e d a t a t h e l e n g t h o f t h e s t r i n g e n c o d i n g t h e d a t a b a s e w i l l b e

a p p r o x i m a t e l y

; N

X

i

p

i

l o g

2

( q

i

) ( 3 )

w h e r e a g a i n w e a r e s u m m i n g o v e r a l l a t o m i c e v e n t s . H o w d o e s t h i s e n c o d i n g l e n g t h c o m p a r e

t o t h e e n c o d i n g l e n g t h i f w e h a d a c c e s s t o t h e t r u e p r o b a b i l i t i e s p

i

? A n o l d t h e o r e m d u e

o r i g i n a l l y t o G i b b s g i v e s u s t h e a n s w e r .

T h e o r e m 3 . 1 ( G i b b s ) L e t p

i

a n d q

i

, i = 1 : : : t , b e n o n - n e g a t i v e r e a l n u m b e r s t h a t s u m t o

1 . T h e n

;

t

X

i = 1

p

i

l o g

2

( p

i

) ;

t

X

i = 1

p

i

l o g

2

( q

i

)

w i t h e q u a l i t y h o l d i n g i f a n d o n l y i f 8 i p

i

= q

i

. I n t h e s u m m a t i o n w e t a k e 0 l o g

2

( 0 ) t o b e 0

I n o t h e r w o r d s , t h i s t h e o r e m s h o w s t h a t t h e e n c o d i n g u s i n g t h e e s t i m a t e d p r o b a b i l i t i e s q

i

w i l l b e l o n g e r t h a n t h e e n c o d i n g u s i n g t h e t r u e p r o b a b i l i t i e s p

i

. I t a l s o s a y s t h a t t h e t r u e

p r o b a b i l i t i e s a c h i e v e t h e m i n i m a l e n c o d i n g l e n g t h p o s s i b l e .

T h e M D L p r i n c i p l e s a y s t h a t w e m u s t c h o o s e a n e t w o r k t h a t m i n i m i z e s t h e s u m o f i t s

o w n e n c o d i n g l e n g t h , w h i c h w e h a v e s e e n d e p e n d s o n t h e c o m p l e x i t y o f t h e n e t w o r k , a n d t h e

e n c o d i n g l e n g t h o f t h e d a t a g i v e n t h e m o d e l , w h i c h w e h a v e s e e n d e p e n d s o n t h e c l o s e n e s s

o f t h e p r o b a b i l i t i e s q

i

d e t e r m i n e d b y t h e n e t w o r k t o t h e t r u e p r o b a b i l i t i e s p

i

, i . e . , i t d e p e n d s

o n t h e a c c u r a c y o f t h e m o d e l .

W e c a n u s e E q u a t i o n 3 t o e v a l u a t e t h e s e c o n d i t e m r e q u i r e d b y t h e M D L p r i n c i p l e , t h e

e n c o d i n g l e n g t h o f t h e d a t a g i v e n t h e m o d e l . H o w e v e r , t h e r e a r e t w o p r o b l e m s w i t h u s i n g

t h i s e q u a t i o n d i r e c t l y . F i r s t , w e d o n o t k n o w t h e v a l u e s o f p

i

. I n s o m e c a s e s , h o w e v e r , t h i s

p r o b l e m c a n b e o v e r c o m e . B y t h e l a w o f l a r g e n u m b e r s w e w o u l d e x p e c t t h a t t h e e v e n t

e

i

w i l l a p p e a r i n t h e d a t a b a s e o f N p o i n t s a p p r o x i m a t e l y N p

i

t i m e s , i f N i s l a r g e . H e n c e ,

w e c a n u s e t h e a c t u a l n u m b e r o f o c c u r r e n c e s o f e

i

d i v i d e d b y t h e n u m b e r o f d a t a p o i n t s a s

a n e s t i m a t o r f o r p

i

. T h e s e c o n d p r o b l e m , h o w e v e r , i s m o r e d i c u l t . E q u a t i o n 3 i n v o l v e s a

s u m m a t i o n o v e r a l l t h e a t o m i c e v e n t s , a n d t h e n u m b e r o f a t o m i c e v e n t s i s e x p o n e n t i a l i n t h e

n u m b e r o f v a r i a b l e s .

6

6

T h i s a l s o p o i n t s o u t t h a t w e o f t e n w i l l n o t b e a b l e t o u s e t h e r e l a t i v e f r e q u e n c y o f o c c u r r e n c e o f t h e

e v e n t e

i

a s a n e s t i m a t o r f o r i t s p r o b a b i l i t y p

i

. W i t h a n e x p o n e n t i a l n u m b e r o f a t o m i c e v e n t s e

i

s o m e o f t h e

p r o b a b i l i t i e s p

i

w i l l b e s o s m a l l t h a t o u r d a t a b a s e w i l l n o t b e a b l e t o o e r r e l i a b l e e s t i m a t e s . T h e d a t a b a s e

m i g h t o n l y b e l a r g e e n o u g h t o e s t i m a t e l o w - o r d e r m a r g i n a l s w h i c h a r e t h e u n i o n o f m a n y d i e r e n t a t o m i c

e v e n t s .

1 1


13/32

I n s t e a d o f t r y i n g t o u s e E q u a t i o n 3 d i r e c t l y w e c a n u s e G i b b s ' s t h e o r e m t o r e l a t e t h e

e n c o d i n g l e n g t h o f t h e d a t a t o a n o t h e r w e l l k n o w n m e a s u r e : K u l l b a c k - L e i b l e r c r o s s - e n t r o p y .

C r o s s - e n t r o p y i s a n i m p o r t a n t t e c h n i q u e i n p r e v i o u s w o r k o n l e a r n i n g B a y e s i a n n e t w o r k s .

D e n i t i o n 3 . 2 K u l l b a c k - L e i b l e r C r o s s - E n t r o p y ] L e t P a n d Q b e d i s t r i b u t i o n s d e n e d o v e r

t h e s a m e e v e n t s p a c e , e

1

: : : e

t

. L e t e v e n t e

i

b e a s s i g n e d p r o b a b i l i t y p

i

b y P a n d p r o b a b i l i t y

q

i

b y Q . T h e K u l l b a c k - L e i b l e r c r o s s - e n t r o p y i s a m e a s u r e o f c l o s e n e s s b e t w e e n t w o d i e r e n t

d i s t r i b u t i o n s d e n e d o v e r t h e s a m e e v e n t s p a c e . I n p a r t i c u l a r , t h e c r o s s - e n t r o p y b e t w e e n P

a n d Q , C ( P Q ) , i s g i v e n b y t h e e q u a t i o n

C ( P Q ) =

t

X

i = 1

p

i

( l o g

2

( p

i

) ; l o g

2

( q

i

) ) ( 4 )

I t f o l l o w s f r o m G i b b s ' s t h e o r e m t h a t t h i s q u a n t i t y i s a l w a y s n o n - n e g a t i v e a n d t h a t i t i s z e r o

i f a n d o n l y i f P Q , i . e . , 8 i p

i

= q

i

F r o m E q u a t i o n 2 w e k n o w t h a t t h e m i n i m a l p o s s i b l e e n c o d i n g l e n g t h o f t h e d a t a w i l l

b e ; N

P

i

p

i

l o g

2

( p

i

) . H e n c e , f r o m E q u a t i o n 3 w h e n u s i n g a m o d e l t h a t a s s i g n s p r o b a b i l i t i e s

q

i

t h e e n c o d i n g l e n g t h w i l l i n c r e a s e b y N (

P

i

p

i

( l o g

2

( p

i

) ; l o g

2

( q

i

) ) ) . T h a t i s , w e h a v e t h e

f o l l o w i n g t h e o r e m r e l a t i n g t h e e n c o d i n g l e n g t h o f t h e d a t a t o t h e c r o s s - e n t r o p y m e a s u r e .

T h e o r e m 3 . 3 T h e e n c o d i n g l e n g t h o f t h e d a t a i s a m o n o t o n i c a l l y i n c r e a s i n g f u n c t i o n o f t h e

c r o s s - e n t r o p y b e t w e e n t h e d i s t r i b u t i o n d e n e d b y t h e m o d e l a n d t h e t r u e d i s t r i b u t i o n .

T h i s t h e o r e m s h o w s t h a t i n s t e a d o f u s i n g t h e d a t a e n c o d i n g l e n g t h , E q u a t i o n 3 , t o

e v a l u a t e c a n d i d a t e m o d e l s , w e c a n e q u i v a l e n t l y u s e t h e c r o s s - e n t r o p y m e a s u r e , E q u a t i o n 4 .

F u r t h e r m o r e , t h i s c a n b e a c c o m p l i s h e d i n a c o m p u t a t i o n a l l y f e a s i b l e m a n n e r . T h a t i s , a l -

t h o u g h E q u a t i o n 4 a l s o i n v o l v e s a s u m m a t i o n o v e r a n e x p o n e n t i a l l y n u m b e r o f a t o m i c e v e n t s ,

w e c a n d e v e l o p a n a p p r o a c h t o e v a l u a t i n g c r o s s - e n t r o p y t h a t u s e s l o c a l c o m p u t a t i o n o v e r

l o w - o r d e r m a r g i n a l s . T h i s a p p r o a c h i s a n e x t e n s i o n o f p r e v i o u s w o r k d u e t o C h o w a n d L i u

( 1 9 6 8 ) .

C h o w a n d L i u ( C h o w a n d L i u , 1 9 6 8 ) d e v e l o p e d a m e t h o d f o r n d i n g a t r e e s t r u c t u r e t h a t

m i n i m i z e d t h e c r o s s - e n t r o p y , a n d t h e i r m e t h o d w a s e x t e n d e d b y R e b a n e a n d P e a r l ( 1 9 8 7 )

t o n d i n g p o l y t r e e s w i t h m i n i m a l c r o s s - e n t r o p y .

T h e o r e m 3 . 3 a l s o s h o w s t h a t i n a c e r t a i n s e n s e t h e M D L p r i n c i p l e c a n b e v i e w e d a s

a g e n e r a l i z a t i o n o f t h e p r e v i o u s w o r k o f C h o w a n d L i u ( a s w e l l a s t h a t o f R e b a n e a n d

P e a r l ( 1 9 8 7 ) ) . I f w e w e r e t o i g n o r e t h e c o m p l e x i t y ( e n c o d i n g l e n g t h ) o f t h e m o d e l a n d

w e r e t o r e s t r i c t t h e c l a s s o f m o d e l s b e i n g e x a m i n e d , t h e M D L p r i n c i p l e w o u l d d u p l i c a t e

t h e s e m e t h o d s . T h e a d v a n t a g e o f c o n s i d e r i n g b o t h t h e d a t a a n d t h e m o d e l ( i . e . , t h e s u m o f

E q u a t i o n s 1 a n d 3 ) i s t h a t w e c a n t r a d e o a c c u r a c y a n d c o m p l e x i t y w h e n l e a r n i n g a s u i t a b l e

m o d e l o f t h e u n d e r l y i n g d i s t r i b u t i o n .

1 2


14/32

4 A p p l y i n g t h e M D L P r i n c i p l e

I n t h e o r y t h e M D L p r i n c i p l e c a n b e a p p l i e d b y s i m p l y e x a m i n i n g e v e r y p o s s i b l e B a y e s i a n

n e t w o r k t h a t c a n b e c o n s t r u c t e d o v e r o u r s e t o f r a n d o m v a r i a b l e s

~

X . F o r e a c h o f t h e s e

n e t w o r k s w e c o u l d e v a l u a t e t h e e n c o d i n g l e n g t h o f t h e d a t a a n d o f t h e n e t w o r k s e a r c h i n g f o r

t h e n e t w o r k t h a t m i n i m i z e d t h e s u m o f t h e s e e n c o d i n g s .

H o w e v e r , t h i s a p p r o a c h i s i m p r a c t i c a l a s t h e r e a r e a n e x p o n e n t i a l n u m b e r o f n e t w o r k s

o v e r n v a r i a b l e s .

7

F u r t h e r m o r e , e v a l u a t i n g t h e e n c o d i n g l e n g t h , o r e q u i v a l e n t l y t h e c r o s s -

e n t r o p y , d i r e c t l y a l s o i n v o l v e s a n e x p o n e n t i a l a m o u n t o f w o r k . H e n c e , w e m u s t r e s o r t t o

a h e u r i s t i c s e a r c h t h r o u g h t h e s p a c e o f p o s s i b l e n e t w o r k s t r y i n g t o n d o n e t h a t y i e l d s a

l o w , a l b e i t n o t n e c e s s a r i l y m i n i m a l , s u m o f E q u a t i o n s 1 a n d 3 , a n d w e m u s t d e v e l o p a m o r e

e c i e n t m e t h o d f o r e v a l u a t i n g t h e c r o s s - e n t r o p y o f a c a n d i d a t e n e t w o r k .

W e a c c o m p l i s h t h e h e u r i s t i c s e a r c h b y d i v i d i n g t h e p r o b l e m i n t o t w o . T h e r e c a n b e

b e t w e e n 0 a n d n ( n ; 1 ) = 2 a r c s i n a d a g . F o r e a c h p o s s i b l e n u m b e r o f d i e r e n t a r c s w e s e a r c h

h e u r i s t i c a l l y f o r n e t w o r k s w i t h t h a t m a n y a r c s a n d l o w c r o s s - e n t r o p y . B y T h e o r e m 3 . 3 w e

k n o w t h a t t h e s e n e t w o r k s w i l l y i e l d r e l a t i v e l y l o w e n c o d i n g l e n g t h s f o r t h e d a t a . W e t h e n

e x a m i n e t h e s e d i e r e n t n e t w o r k s , w i t h d i e r e n t n u m b e r s o f a r c s , a n d n d t h e o n e t h a t

m i n i m i z e s t h e s u m o f E q u a t i o n s 1 a n d 3 . T h a t i s , f r o m t h e s e l o w c r o s s - e n t r o p y n e t w o r k s w e

s e l e c t t h e o n e t h a t i s b e s t a c c o r d i n g t o t h e M D L p r i n c i p l e .

T o p e r f o r m t h e r s t p a r t o f t h e s e a r c h , i . e . , t o n d n e t w o r k s w i t h l o w c r o s s - e n t r o p y , w e

d e v e l o p s o m e a d d i t i o n a l r e s u l t s b a s e d o n t h e w o r k o f C h o w a n d L i u ( 1 9 6 8 ) . T h e s e r e s u l t s

a l l o w u s t o d e v e l o p a m o r e e c i e n t m e t h o d f o r e v a l u a t i n g c r o s s - e n t r o p y , r a t h e r t h a n u s i n g

E q u a t i o n 4 w h i c h i n v o l v e s a s u m o v e r a n e x p o n e n t i a l n u m b e r o f i t e m s .

4 . 1 E v a l u a t i n g C r o s s - E n t r o p y

T h e u n d e r l y i n g d i s t r i b u t i o n P i s a j o i n t d i s t r i b u t i o n o v e r t h e v a r i a b l e s

~

X = f X

1

: : : X

n

g ,

a n d a n y B a y e s i a n n e t w o r k m o d e l w i l l a l s o d e n e a j o i n t d i s t r i b u t i o n Q o v e r t h e s e v a r i a b l e s .

I f t h e a t o m i c e v e n t s i n t h i s j o i n t d i s t r i b u t i o n , i . e . , e a c h d i s t i n c t i n s t a n t i a t i o n o f t h e v a r i a b l e s

X

1

: : : X

n

, a r e n u m b e r e d e

1

: : : e

t

, a n d e a c h e

i

i s a s s i g n e d p r o b a b i l i t y p

i

b y d i s t r i b u t i o n

P , a n d p r o b a b i l i t y q

i

b y Q , t h e n t h e c r o s s - e n t r o p y b e t w e e n P a n d Q b e c o m e s

C ( P Q ) =

t

X

i = 1

p

i

l o g

2

p

i

q

i

w h e r e t h e s u m e x t e n d s o v e r a l l a t o m i c e v e n t s .

T o d e v e l o p a m e t h o d f o r e v a l u a t i n g t h e c r o s s - e n t r o p y o f t h e d i s t r i b u t i o n Q s p e c i e d b y

t h e B a y e s i a n n e t w o r k t h a t a v o i d s s u m m i n g o v e r t h e e x p o n e n t i a l l y m a n y a t o m i c e v e n t s , w e

f o l l o w C h o w a n d L i u ( 1 9 6 8 ) a n d t a k e a d v a n t a g e o f t h e f a c t t h a t Q h a s a s p e c i a l f o r m . I n

7

R o b i n s o n ( 1 9 7 6 ) g i v e s a r e c u r r e n c e t h a t c a n b e u s e d t o c a l c u l a t e t h i s n u m b e r .

1 3


15/32

p a r t i c u l a r , s i n c e Q i s s p e c i e d b y a B a y e s i a n n e t w o r k i t c a n b e d e c o m p o s e d i n t o a p r o d u c t

o f l o w e r - o r d e r m a r g i n a l s .

I n a n a r b i t r a r y B a y e s i a n n e t w o r k Q (

~

X ) w i l l t a k e t h e f o r m ( P e a r l , 1 9 8 8 ) :

Q (

~

X ) = Q ( X

1

F

X

1

) Q ( X

2

F

X

2

) : : : Q ( X

n

F

X

n

)

P ( X

1

F

X

1

) P ( X

2

F

X

2

) : : : P ( X

n

F

X

n

) ( 5 )

w h e r e F

X

i

i s t h e , p o s s i b l y e m p t y , s e t o f p a r e n t s o f X

i

E v e r y v a r i a b l e X

i

c o r r e s p o n d s t o a n o d e i n o u r n e t w o r k . T h i s n o d e w i l l h a v e s o m e s e t o f

p a r e n t s , F

X

i

, d e t e r m i n e d b y t h e n e t w o r k ' s t o p o l o g y . T o p a r a m e t e r i z e t h e n e t w o r k w e n e e d

t o k n o w t h e p r o b a b i l i t y o f X

i

t a k i n g o n a v a l u e v g i v e n t h a t i t s p a r e n t s t a k e o n t h e v a l u e s

~u , f o r e v e r y p o s s i b l e v a n d ~u . A n u n b i a s e d e s t i m a t o r f o r t h i s p r o b a b i l i t y i s N

v ~u

= N

~u

, w h e r e

N

v ~u

i s t h e n u m b e r o f d a t a p o i n t s i n w h i c h X

i

h a s v a l u e v a n d i t s p a r e n t s h a v e t h e v a l u e s

~u , a n d N

~u

i s t h e n u m b e r o f d a t a p o i n t s i n w h i c h X

i

' s p a r e n t s h a v e t h e v a l u e s ~u . W e u s e

t h e s e f r e q u e n c y c o u n t s a s e s t i m a t e s f o r t h e l o w - o r d e r m a r g i n a l s Q ( X

i

F

X

i

) t h a t a p p e a r i n

Q ' s p r o d u c t d e c o m p o s i t i o n . H o w e v e r , s i n c e t h e r a w d a t a w a s g e n e r a t e d b y t h e u n d e r l y i n g

d i s t r i b u t i o n P , b y t h e l a w o f l a r g e n u m b e r s w e w o u l d e x p e c t t h a t t h e r a w d a t a f r e q u e n c y

c o u n t s w i l l b e c l o s e t o t h e l o w - o r d e r m a r g i n a l s o v e r P . T h a t i s , w e c o u l d e x p e c t N

v ~u

= N

~u

t o

b e c l o s e t o P ( X

i

= v F

X

i

= ~u ) . H e n c e , t h e v a l u e s w e u s e f o r Q ( X

i

F

X

i

) s h o u l d b e c l o s e t o

t h e v a l u e s f o r P ( X

i

F

X

i

) , a n d w e c a n m a k e t h e s u b s t i t u t i o n a b o v e .

8

N o t e , h o w e v e r , t h a t j u s t b e c a u s e t h e s e l o w - o r d e r m a r g i n a l s f o r Q a n d P a r e c l o s e d o e s n o t

m e a n t h a t t h e j o i n t p r o b a b i l i t i e s Q (

~

X ) a n d P (

~

X ) a r e a l s o c l o s e . T h a t i s , a s d i s t r i b u t i o n s ,

Q a n d P n e e d n o t b e c l o s e . I n p a r t i c u l a r , a l t h o u g h Q (

~

X ) i s e q u a l t o a p r o d u c t o f l o w - o r d e r

m a r g i n a l s i n v o l v i n g P , i t m i g h t n o t b e t h e c a s e t h a t P (

~

X ) i s a l s o e q u a l t o t h i s p r o d u c t .

Q (

~

X ) i s a n e s t i m a t e o f P (

~

X ) p r e c i s e l y b e c a u s e i t i s a s s u m i n g t h a t t h e j o i n t d i s t r i b u t i o n c a n

b e w r i t t e n a s a p r o d u c t o f l o w e r - o r d e r t e r m s , a n d t h e a c c u r a c y o f o u r e s t i m a t e w i l l d e p e n d

o n h o w w e l l w e c h o s e t h e l o w e r - o r d e r t e r m s .

C h o w a n d L i u ( 1 9 6 8 ) p r o v e d t h e f o l l o w i n g t h e o r e m :

T h e o r e m 4 . 1 ( C h o w a n d L i u ) I f t h e m u t u a l i n f o r m a t i o n b e t w e e n a n y t w o n o d e s X

i

a n d X

j

i s d e n e d a s

W ( X

i

X

j

) =

X

X

i

X

j

P ( X

i

X

j

) l o g

2

P ( X

i

X

j

)

P ( X

i

) P ( X

j

)

( 6 )

w h e r e w e a r e s u m m i n g o v e r a l l p o s s i b l e v a l u e s o f X

i

a n d X

j

, t h e n b y a s s i g n i n g t o e v e r y

a r c b e t w e e n t w o n o d e s X

i

a n d X

j

a w e i g h t e q u a l t o W ( X

i

X

j

) , c r o s s - e n t r o p y C ( P Q ) o v e r

a l l t r e e s t r u c t u r e d d i s t r i b u t i o n s Q i s m i n i m i z e d w h e n t h e s t r u c t u r e r e p r e s e n t i n g Q (

~

X ) i s a

m a x i m u m w e i g h t s p a n n i n g t r e e .

8

L o w e r - o r d e r m a r g i n a l s l i k e P ( X

i

X

j

) c a n b e e s t i m a t e d f a i r l y a c c u r a t e l y f r o m a r e a s o n a b l y s i z e d d a t a b a s e .

S u c h m a r g i n a l i n c l u d e a n e x p o n e n t i a l n u m b e r o f a t o m i c e v e n t s . H e n c e , w e w o u l d e x p e c t t h a t a s t a t i s t i c a l l y

u s e f u l s a m p l e c o u l d b e a c c u m u l a t e d f r o m a r e a s o n a b l y s i z e d d a t a b a s e .

1 4


16/32

U s i n g t h i s t h e o r e m t h e y d e v e l o p e d a n a l g o r i t h m f o r l e a r n i n g t h e b e s t t r e e m o d e l b y c o n -

s t r u c t i n g t h e m a x i m u m w e i g h t s p a n n i n g t r e e . N o t e t h a t b y u s i n g l o w c o s t l o c a l c o m p u t a t i o n

t h e y c a n e v a l u a t e t h e m u t u a l i n f o r m a t i o n w e i g h t a n d u s e i t t o n d a n e t w o r k o f m i n i m a l

c r o s s - e n t r o p y w i t h o u t e v e r c o m p u t i n g t h e a c t u a l c r o s s - e n t r o p y . A s w e p o i n t e d o u t a b o v e i t

i s v e r y e x p e n s i v e t o c o m p u t e c r o s s - e n t r o p y d i r e c t l y . H e n c e , w e w a n t t o d e a l w i t h a r b i t r a r y

B a y e s i a n n e t w o r k s u s i n g a s i m i l a r t e c h n i q u e , a n d w e a c c o m p l i s h t h i s b y e x t e n d i n g C h o w a n d

L i u ' s m e t h o d .

W e c a n e x t e n d C h o w a n d L i u ' s a p p r o a c h t o t h e g e n e r a l c a s e b y d e n i n g a n e w w e i g h t

m e a s u r e f o r a n o d e , X

i

, w i t h r e s p e c t t o a n a r b i t r a r y s e t o f p a r e n t s a s f o l l o w s :

W ( X

i

F

X

i

) =

X

X

i

F

X

i

P ( X

i

F

X

i

) l o g

2

P ( X

i

F

X

i

)

P ( X

i

) P ( F

X

i

)

( 7 )

w h e r e w e a r e s u m m i n g o v e r a l l p o s s i b l e v a l u e s t h a t X

i

a n d i t s p a r e n t s F

X

i

c a n t a k e .

9

N o t e

t h a t i f t h e n e t w o r k i s a t r e e e a c h F

X

i

w i l l e i t h e r b e e m p t y o f a s i n g l e t o n , a n d o u r f o r m u l a

w i l l r e d u c e t o t h a t o f C h o w a n d L i u ' s .

T h e f o l l o w i n g t h e o r e m h o l d s .

T h e o r e m 4 . 2 C ( P Q ) i s a m o n o t o n i c a l l y d e c r e a s i n g f u n c t i o n o f

n

X

i = 1 F

X

i

6=

W ( X

i

F

X

i

) ( 8 )

H e n c e , i t w i l l b e m i n i m i z e d i f a n d o n l y i f t h e s u m i s m a x i m i z e d .

T h e p r o o f i s g i v e n i n t h e A p p e n d i x . T h e s u m m a t i o n g i v e s t h e t o t a l w e i g h t o f t h e d i r e c t e d

a c y c l i c g r a p h a c c o r d i n g t o t h e n o d e b y n o d e w e i g h t m e a s u r e d e n e d i n E q u a t i o n 7 .

I n c o n c l u s i o n , g i v e n p r o b a b i l i t i e s c o m p u t e d f r o m t h e r a w d a t a , w e c a n c a l c u l a t e t h e

w e i g h t o f v a r i o u s c a n d i d a t e n e t w o r k s t r u c t u r e s u s i n g l o c a l c o m p u t a t i o n a t e a c h n o d e . O u r

t h e o r e m s h o w s t h a t s t r u c t u r e s w i t h g r e a t e r w e i g h t a r e c l o s e r , i n t e r m s o f c r o s s - e n t r o p y , t o t h e

u n d e r l y i n g d i s t r i b u t i o n . I f w e c a n n d a d i r e c t e d a c y c l i c g r a p h w i t h m a x i m u m t o t a l w e i g h t ,

t h e n t h e p r o b a b i l i t y d i s t r i b u t i o n o f t h i s s t r u c t u r e w i l l b e c l o s e s t t o t h e u n d e r l y i n g d i s t r i b u t i o n

o f t h e r a w d a t a w i t h r e s p e c t t o t h e c r o s s - e n t r o p y m e a s u r e . H e n c e , b y T h e o r e m 3 . 3 i t w i l l

y i e l d t h e s h o r t e s t e n c o d i n g o f t h e d a t a .

I t s h o u l d b e n o t e d t h a t w e c a n n o t s i m p l y u s e t h e e n c o d i n g l e n g t h o f t h e d a t a w i t h o u t

c o n s i d e r i n g t h e e n c o d i n g l e n g t h o f t h e n e t w o r k . I n f a c t , f o r e v e r y p r o b a b i l i t y d i s t r i b u t i o n

P , i f w e l e t

Q (

~

X ) = P ( X

1

X

2

: : : X

n

) P ( X

2

X

3

: : : X

n

) : : : P ( X

n

) ( 9 )

9

N o t e t h a t a s t h e n u m b e r o f X

i

' s p a r e n t s i n c r e a s e t h e n u m b e r o f t e r m s i n t h i s s u m m a t i o n s t i l l s u e r s

f r o m a n e x p o n e n t i a l g r o w t h . H e n c e , w h e n w e u s e t h i s m e a s u r e t o s e a r c h t h r o u g h t h e s p a c e o f c a n d i d a t e

n e t w o r k s w e a r e s t i l l l i m i t e d t o n e t w o r k s o f \ t r a c t a b l e " c o n n e c t i v i t y . N e v e r t h e l e s s , t h i s m e a s u r e i s s t i l l a

s i g n i c a n t i m p r o v e m e n t o v e r t h e d i r e c t c o m p u t a t i o n o f c r o s s - e n t r o p y , w h i c h i s e x p o n e n t i a l r e g a r d l e s s o f t h e

n e t w o r k ' s t o p o l o g y .

1 5


17/32

t h e n Q P . I n o t h e r w o r d s , i f w e c o n s t r u c t t h e m u l t i p l y - c o n n e c t e d n e t w o r k c o r r e s p o n d i n g

t o t h e s t r u c t u r e o n t h e r i g h t s i d e o f t h e a b o v e e x p r e s s i o n , t h e p r o b a b i l i t y d i s t r i b u t i o n d e n e d

b y t h i s s t r u c t u r e w i l l a b s o l u t e l y c o i n c i d e w i t h t h e u n d e r l y i n g d i s t r i b u t i o n o f t h e r a w d a t a ,

a n d h e n c e i t w i l l h a v e l o w e s t p o s s i b l e c r o s s - e n t r o p y a n d h i g h e s t p o s s i b l e w e i g h t . H o w e v e r ,

t h i s s t r u c t u r e i s a c o m p l e t e g r a p h , a n d w o r s e s t i l l , i t d o e s n o t c o n v e y a n y i n f o r m a t i o n s i n c e

i t c a n r e p r e s e n t a n y d i s t r i b u t i o n . T h i s i n d i c a t e s t h a t w h e n w e a l l o w s t r u c t u r e s o f a r b i t r a r i l y

c o m p l e x t o p o l o g y , w e c a n o b t a i n a t r i v i a l m a t c h w i t h t h e u n d e r l y i n g d i s t r i b u t i o n .

T h e M D L p r i n c i p l e , h o w e v e r , a l l o w s u s t o a v o i d t h i s d i c u l t y . I t c o n s i d e r s n o t o n l y t h e

a c c u r a c y o f t h e n e t w o r k b u t a l s o i t s c o m p l e x i t y . T h e t o t a l l y c o n n e c t e d n e t w o r k g i v e n i n

t h i s e q u a t i o n w i l l r e q u i r e a v e r y l a r g e e n c o d i n g . F o r e x a m p l e , t o e n c o d e n o d e X

1

w e w i l l

n e e d t o s t o r e a n e x p o n e n t i a l n u m b e r o f p r o b a b i l i t y p a r a m e t e r s . H e n c e , t h e r e w i l l p r o b a b l y

b e a l e s s c o m p l e x n e t w o r k w i t h a s h o r t e r e n c o d i n g t h a t i s s t i l l a b l e t o p r o d u c e a r e a s o n a b l y

s h o r t e n c o d i n g o f t h e d a t a , i . e . , t h a t i s s t i l l r e a s o n a b l y a c c u r a t e . W h e n w e e v a l u a t e t h e t o t a l

d e s c r i p t i o n l e n g t h , t h e s u m o f t h e e n c o d i n g l e n g t h s f o r t h e m o d e l a n d t h e d a t a , t h i s l e s s

c o m p l e x n e t w o r k w i l l b e p r e f e r r e d .

T h e n e x t t h e o r e m p r o v i d e s s o m e a d d i t i o n a l i n f o r m a t i o n a b o u t t h e r e l a t i o n s h i p b e t w e e n

a c c u r a c y a n d c o m p l e x i t y o f t h e n e t w o r k s .

T h e o r e m 4 . 3 L e t M

i

b e t h e m a x i m u m w e i g h t o f a l l n e t w o r k s t h a t h a v e i a r c s , t h e n

i > j ) M

i

M

j

F o r t h e p r o o f o f t h i s t h e o r e m s e e t h e A p p e n d i x . T h a t i s , w e c a n a l w a y s i n c r e a s e t h e q u a l i t y

o f t h e l e a r n e d n e t w o r k , i . e . , d e c r e a s e t h e e r r o r i n t h e s e n s e o f d e c r e a s i n g t h e c r o s s - e n t r o p y ,

b y i n c r e a s i n g t h e t o p o l o g i c a l c o m p l e x i t y , i . e . , b y l e a r n i n g n e t w o r k s w i t h m o r e a r c s . A g a i n , i t

i s o n l y t h r o u g h o u r u s e o f t h e M D L p r i n c i p l e t h a t w e a v o i d t h e d i c u l t y o f a l w a y s p r e f e r r i n g

m o r e c o m p l e x n e t w o r k s .

4 . 2 S e a r c h i n g f o r L o w C r o s s - E n t r o p y N e t w o r k s

G i v e n o u r a b i l i t y t o e v a l u a t e t h e c r o s s - e n t r o p y o f a n e t w o r k t h r o u g h a n e v a l u a t i o n o f i t s

w e i g h t , w e p r o c e e d t o d e s c r i b e a h e u r i s t i c s e a r c h r o u t i n e t h a t s e a r c h e s f o r a g o o d n e t w o r k

m o d e l .

M a n y d i e r e n t h e u r i s t i c s e a r c h p r o c e d u r e s a r e p o s s i b l e , b u t w e h a v e d e v e l o p e d o n e t h a t

i s b a s e d o n t h e n o t i o n o f e n s u r i n g t h a t w e s p e n d a n e q u a l a m o u n t o f t i m e s e a r c h i n g a m o n g

t h e s i m p l e r n e t w o r k s , i . e . , o n e s w i t h f e w e r a r c s , a s w e d o s e a r c h i n g a m o n g t h e m o r e c o m p l e x

o n e s , i . e . , o n e s w i t h m o r e a r c s . T o d o t h i s w e m a i n t a i n s e p a r a t e s e t s o f c a n d i d a t e g r a p h s ,

o n e s e t f o r e a c h p o s s i b l e n u m b e r o f a r c s , a n d w e t i m e - s h a r e t h e s e a r c h b e t w e e n t h e s e s e t s .

S a y t h a t w e a r e s e a r c h i n g f o r a n e t w o r k d e n e d o v e r t h e v a r i a b l e s

~

X = f X

1

: : : X

n

g

T h e s e v a r i a b l e s b e c o m e t h e n o d e s i n t h e n e t w o r k . F o r d i r e c t e d a c y c l i c n e t w o r k s w e c a n h a v e

b e t w e e n 0 a n d n ( n ; 1 ) = 2 a r c s b e t w e e n t h e s e n o d e s . H e n c e , w e m a i n t a i n n ( n ; 1 ) = 2 + 1

1 6


18/32

s e p a r a t e s e a r c h s e t s w h i c h w e d e n o t e a s t h e s e t s S

i

, f o r 0 i n ( n ; 1 ) = 2 . E a c h s e a r c h s e t s

S

i

c o n t a i n s c a n d i d a t e i - a r c n e t w o r k s .

1 0

B e f o r e w e s t a r t t h e s e a r c h , h o w e v e r , w e c a l c u l a t e t h e m u t u a l i n f o r m a t i o n W ( X

i

X

j

) ,

E q u a t i o n 6 , b e t w e e n e v e r y p a i r o f d i s t i n c t n o d e s X

i

, X

j

2

~

X , i 6= j . T h e s e w e i g h t s g i v e u s

a r o u g h i d e a o f t h e i n t e r d e p e n d e n c y b e t w e e n e v e r y p a i r o f n o d e s . U s i n g t h e s e w e i g h t s w e

g e n e r a t e a l i s t o f a l l p a i r s o f d i s t i n c t n o d e s , P a i r s , i n w h i c h t h e p a i r s a r e s o r t e d b y t h e i r

m u t u a l i n f o r m a t i o n w e i g h t . T h a t i s , t h e r s t p a i r o f n o d e s o n P a i r s h a s h i g h e s t m u t u a l

i n f o r m a t i o n .

W i t h i n e a c h s e a r c h s e t S

i

w e p e r f o r m b e s t - r s t s e a r c h . T h e i n d i v i d u a l e l e m e n t s o f S

i

h a v e t w o c o m p o n e n t s : a c a n d i d a t e n e t w o r k w i t h i a r c s , a n d a p a i r o f n o d e s b e t w e e n w h i c h a

n e w a r c c o u l d b e a d d e d i n t h e c a n d i d a t e n e t w o r k w i t h o u t c a u s i n g a c y c l e . T h e e l e m e n t s o f S

i

a r e s e p a r a t e d i n t o a n O p e n a n d a C l o s e d l i s t , a n d w e p e r f o r m b e s t - r s t s e a r c h u s i n g t h e s e

l i s t s . T h e e l e m e n t s o n t h e O p e n l i s t a r e o r d e r e d b y h e u r i s t i c v a l u e , w h i c h i s c a l c u l a t e d a s t h e

w e i g h t o f t h e e l e m e n t ' s n e t w o r k , c a l c u l a t e d u s i n g E q u a t i o n 8 , p l u s t h e m u t u a l i n f o r m a t i o n

w e i g h t b e t w e e n t h e e l e m e n t ' s p a i r o f n o d e s , c a l c u l a t e d u s i n g E q u a t i o n 6 . W h e n w e r u n t h e

s e a r c h p r o c e d u r e o n t h e s e t S

i

w e c h o o s e t h e e l e m e n t o n O p e n w i t h h i g h e s t h e u r i s t i c v a l u e

a n d e x p a n d i t v i a t h e f o l l o w i n g p r o c e d u r e .

1 . R e m o v e t h e e l e m e n t w i t h g r e a t e s t h e u r i s t i c v a l u e f r o m t h e S

i

' s O p e n l i s t a n d c o p y

i t o n t o t h e C l o s e d l i s t . L e t t h e e l e m e n t ' s n e t w o r k b e G

o l d

a n d t h e e l e m e n t ' s p a i r o f

n o d e s b e ( X

i

X

j

)

2 . I n v o k e t h e P D - p r o c e d u r e o n G

o l d

a n d ( X

i

X

j

) t o g e t a n e w n e t w o r k G

n e w

. T h e P D -

p r o c e d u r e , d e s c r i b e d i n d e t a i l b e l o w , a d d s a n a r c b e t w e e n t h e n o d e s X

i

a n d X

j

c r e a t i n g

a n e w n e t w o r k G

n e w

. I t d e c i d e s o n t h e d i r e c t i o n o f t h i s n e w a r c , i . e . , i f i t s h o u l d b e

X

i

) X

j

o r X

j

) X

i

, p i c k i n g t h e d i r e c t i o n t h a t m o s t i n c r e a s e s t h e n e t w o r k ' s a c c u r a c y .

I n t h e p r o c e s s i t m i g h t a l s o r e v e r s e t h e d i r e c t i o n o f o t h e r a r c s i n G

o l d

. N o t e t h a t G

n e w

i s a n e t w o r k w i t h i + 1 a r c s , s o i t m u s t b e p l a c e d i n s i d e t h e s e a r c h s e t S

i + 1

n o t b a c k

i n t o S

i

3 . I f G

n e w

i s f u l l y c o n n e c t e d , w e p l a c e a c o p y o f i t i n t o a l i s t o f n a l c a n d i d a t e n e t w o r k s ,

F i n a l

4 . N e x t w e m a k e a n e w s e a r c h e l e m e n t c o n s i s t i n g o f G

n e w

a n d t h e r s t p a i r o f n o d e s f r o m

P a i r s t h a t a p p e a r a f t e r t h e o l d p a i r ( X

i

X

j

) a n d b e t w e e n w h i c h a n a r c c o u l d b e a d d e d

w i t h o u t g e n e r a t i n g a c y c l e i n G

n e w

. T h e n , w e i n s e r t t h i s e l e m e n t i n t o t h e O p e n l i s t o f

t h e s e a r c h s e t S

i + 1

, p l a c e d i n c o r r e c t o r d e r a c c o r d i n g t o t h e h e u r i s t i c f u n c t i o n .

5 . F i n a l l y , w e m a k e a n e w s e a r c h e l e m e n t c o n s i s t i n g o f G

o l d

a n d t h e r s t p a i r o f n o d e s

f r o m P a i r s t h a t a p p e a r a f t e r t h e o l d p a i r ( X

i

X

j

) a n d b e t w e e n w h i c h a n a r c c o u l d b e

1 0

T h e s e s e a r c h s e t s a r e d y n a m i c a l l y g e n e r a t e d a s s e a r c h p r o g r e s s e s , s o s e a r c h m a y s t o p b e f o r e a l l n ( n ; 1 ) = 2

s e a r c h s e t s a r e g e n e r a t e d .

1 7


19/32

a d d e d w i t h o u t g e n e r a t i n g a c y c l e i n G

o l d

. T h i s e l e m e n t i s i n s e r t e d i n t o t h e O p e n l i s t

o f s e a r c h s e t S

i

, p l a c e d i n t h e c o r r e c t o r d e r a c c o r d i n g t o t h e h e u r i s t i c f u n c t i o n .

N o t e t h a t t h e e x p a n s i o n o f a n e l e m e n t i n S

i

g e n e r a t e s t w o n e w e l e m e n t s , o n e p l a c e d o n

t h e O p e n l i s t o f S

i

a n d t h e o t h e r p l a c e d o n t h e O p e n l i s t o f S

i + 1

. T h i s m e a n s t h a t w e c a n

s t a r t t h e s e a r c h b y c r e a t i n g j u s t t h e l i s t S

0

c o n t a i n i n g o n e e l e m e n t o n i t s O p e n l i s t : t h e

u n i q u e n e t w o r k w i t h n o a r c s a n d t h e r s t p a i r o f n o d e s o n P a i r s

E x a m p l e 3 S a y t h a t w e h a v e t h e n o d e s X

1

, X

2

, a n d X

3

, a n d s a y t h a t P a i r s i s i n t h e

o r d e r f ( X

1

X

2

) ( X

2

X

3

) ( X

1

X

3

) g . I n i t i a l l y , w e w o u l d c r e a t e t h e s e a r c h s e t S

0

c o n t a i n i n g

a s i n g l e e l e m e n t o n i t s O p e n l i s t : ( f g ( X

1

X

2

) ) , w h e r e f g i n d i c a t e s t h a t t h i s e l e m e n t ' s

n e t w o r k h a s n o a r c s .

T h i s e l e m e n t w o u l d b e e x p a n d e d w h e n w e r u n t h e s e a r c h p r o c e d u r e o n S

0

. I t w o u l d b e

r e m o v e d f r o m O p e n a n d t h e n e w e l e m e n t ( f g ( X

2

X

3

) ) w o u l d b e p l a c e d o n S

0

' s O p e n l i s t .

A l s o , t h e n e w s e a r c h s e t S

1

w o u l d b e c r e a t e d a n d t h e e l e m e n t ( f X

1

) X

2

g ( X

2

X

3

) ) w o u l d

b e p l a c e d o n i t s O p e n l i s t ( f o r n o w w e i g n o r e h o w t h e d i r e c t i o n o f t h e a r c s i s d e t e r m i n e d ,

t h e s e d e t a i l s a r e g i v e n b e l o w ) .

N o w w e h a v e t w o s e a r c h s e t s t o r u n o u r s e a r c h o n . T h e r e a r e v a r i o u s s c h e d u l e s f o r

t i m e s h a r i n g t h e s e a r c h b e t w e e n t h e s e s e t s , b u t s a y t h a t w e o n c e a g a i n s e a r c h i n s i d e S

0

. T h i s

w o u l d c o n v e r t S

0

' s O p e n l i s t t o ( ( f g ( X

1

X

3

) ) a n d t h e e l e m e n t ( f X

2

) X

3

g ( X

1

X

3

) )

w o u l d b e a d d e d t o S

1

' s O p e n l i s t . N o w s e a r c h w o u l d b e p e r f o r m e d i n S

1

. A s s u m i n g t h a t

h i g h e r h e u r i s t i c v a l u e w a s g i v e n t o t h e e l e m e n t ( f X

1

) X

2

g ( X

2

X

3

) ) , t h i s w o u l d r e s u l t i n

t h e n e w e l e m e n t ( f X

1

) X

2

g ( X

1

X

3

) ) b e i n g a d d e d t o S

1

' s O p e n l i s t . A l s o a n e w s e a r c h

s e t S

2

w o u l d b e c r e a t e d c o n t a i n i n g t h e e l e m e n t ( f X

1

) X

2

X

2

) X

3

g ( X

1

X

3

) ) . S i n c e ,

t h e n e t w o r k i n t h i s n e w e l e m e n t i s c o n n e c t e d i t w o u l d a l s o b e a d d e d t o F i n a l

T o c o n t r o l t h e s e a r c h a s a w h o l e w e a l l o c a t e a x e d a m o u n t o f r e s o u r c e s f o r s e a r c h i n g

w i t h i n e a c h s e a r c h s e t . O n c e t h o s e r e s o u r c e s h a v e b e e n c o n s u m e d i n a l l t h e s e a r c h s e t s ,

s e a r c h i s t e r m i n a t e d . A t t e r m i n a t i o n t h e r e w i l l b e s o m e c o l l e c t i o n o f c o n n e c t e d n e t w o r k s i n

F i n a l . T h e s e n e t w o r k s a r e t h e n e v a l u a t e d t o n d t h e o n e t h a t i s b e s t a c c o r d i n g t o t h e M D L

p r i n c i p l e , i . e . , t h e o n e t h a t m i n i m i z e s t h e s u m o f t h e d e s c r i p t i o n l e n g t h o f t h e m o d e l a n d

o f t h e d a t a g i v e n t h e m o d e l . S i n c e o u r h e u r i s t i c s t r i e s t o g r o w n e t w o r k s b y a d d i n g h i g h e r

w e i g h t a r c s , t h e c o m p l e t e d n e t w o r k s t h a t a r e f o u n d r s t , i . e . , t h a t a r e p l a c e d o n F i n a l

b e f o r e s e a r c h t e r m i n a t e s , t e n d t o b e o f h i g h w e i g h t . T h a t i s , t h e y t e n d t o b e f a i r l y a c c u r a t e

m o d e l s . T h e m o r e c o m p l e x n e t w o r k s w i l l g e n e r a l l y b e m o r e a c c u r a t e , a s d e m o n s t r a t e d b y

T h e o r e m 4 . 3 , b u t t h e M D L p r i n c i p l e w i l l t r a d e t h i s o a g a i n s t t h e i r c o m p l e x i t y . T h u s , o u r

s e l e c t i o n f r o m F i n a l w i l l b e t h e s i m p l e s t p o s s i b l e m o d e l o f r e a s o n a b l e a c c u r a c y .

T h e r e a r e O ( n

2

) s e a r c h s e t s , s i n c e t h e r e a r e a t m o s t n ( n ; 1 ) = 2 d i r e c t e d a r c s i n a n y

a c y c l i c n e t w o r k . F u r t h e r m o r e , t h e m o s t c o m p l e x t a s k e a c h t i m e a n e l e m e n t i s e x p a n d e d

i s t h e P D - p r o c e d u r e ( d e s c r i b e d b e l o w ) . I n p r a c t i c e c o m p l e x i t y o f t h i s p r o c e d u r e i s O ( N ) ,

w h e r e N i s t h e n u m b e r o f r a w d a t a

Learning BBN

Documents

Transcript of Learning BBN