Belief,Awareness, Limited Reasoning

7/29/2019 Belief,Awareness, Limited Reasoning

1/38

A R T I F I C I A L I N T E L L I G E N C E 3 9

Bel ie f , Awareness , and LimitedReasoning*Ronald Fagin and Joseph Y. HalpernI B M A l m a d e n R e s e a r c h C e n t e r , S a n J o s e , C A 9 5 12 0 , U . S . A .

R e c o m m e n d e d b y D a n i e l G . B o b r o wA B S T R A C TSeveral n ew logics fo r b elief and k now ledge are introduced and studied, all o f which have theprop erty that agents are not logically omn iscient. In particular, in these logics, the set o f beliefs of anagent does not necessarily contain a ll valid for m ula s. Th us, these logics are m or e suitable thantraditional logics fo r m odelling beliefs o f hu ma ns (or mach ines) with l imited reasoning capabilit ies.Ou r f irst logic is essentially an extension of L eve squ e's logic of implicit and explicit belief , whe re weextend to allow multiple agents and higher-level belie f ( i .e . , beliefs abo ut beliefs). Ou r secon d logicdeals explicitly with "aw aren ess," where, roughly speak ing, i t is necessary to be awa re of a conc eptbefore one can have beliefs abou t it . Ou r third logic gives a m ode l of "loca l reasoning," whe re anagent is viewe d as a "society o f m ind s," each with its ow n cluster of beliefs, which m ay contradicteach other.

The animal knows, o f course . But i t cer ta inly does no t know tha t i t knows.Teilhard de Chardin

1 . I n t r o d u c t i o nT h e r e h a s l o n g b e e n i n t e r e s t in b o t h p h i l o s o p h y a n d A I i n f i n d in g n a t u r a ls e m a n t i c s f o r l og i cs o f k n o w l e d g e a n d b e l i e f . T h e s t a n d a r d a p p r o a c h h a s b e e nt h e s o - c a l l e d p o s s i b l e - w o r l d s m o d e l . T h e i n t u i t iv e id e a , w h i c h g o e s b a c k t oH i n t i k k a [ 17 ] , is t h a t b e s i d e s t h e t r u e s t a t e o f a f f a i r s , t h e r e a r e a n u m b e r o fo t h e r p o s s i b l e s t a t e s o f a f fa i r s , o r p o s s i b l e w o r l d s . S o m e o f t h e s e p o s s i b l ew o r l d s m a y b e i n d i s t i n g u i s h a b l e f r o m t h e t r u e w o r l d t o a n a g e n t . A n a g e n t ist h e n s a i d t o k n o w o r b e l i e v e f a c t q~ i f q) i s t r u e i n a l l t h e w o r l d s h e t h i n k sp o s s i b l e .

* A pre l imina ry ve r s ion of thi s pape r appea red in the Proceedings of the Nin th International Join tConference on Arti f ic ia l In te ll igence (H C A I- 85 ) , Los Ang e le s , CA , 1985. Edi tor ' s no te : Thi s pape rwon the bes t pape r award for the confe rence .Artificial Intelligence 34 (1988) 39-760004-3702/88/$3.50 (~) 1988, Elsevier Sc ience P ubl ishers B.V. (No rth-H olland )


2/38

4 0 R. FAGIN AN D J.Y. HAL PE RNA s h a s b e e n f r e q u e n t l y p o i n t e d o u t i n t h e l i te r a t u r e ( s e e , f o r e x a m p l e , [ 1 8 ]) ,

p o s s ib l e -w o r l d s s e m a n t ic s f o r k n o w l e d g e a n d b e l ie f d o n o t s e e m a p p r o p r i a t ef o r m o d e l li n g h u m a n r e a s o n i n g s in c e t h e y s u f fe r f r o m t h e p r o b l e m o f w h a tH i n t i k k a c a l l s l o g i c a l o m n i s c i e n c e . I n p a r t i c u l a r , t h i s m e a n s t h a t a g e n t s a r ea s s u m e d t o b e s o i n t e l l i g e n t t h a t t h e y m u s t k n o w a l l v a l i d f o r m u l a s , a n d t h a tt h e i r k n o w l e d g e is c l o s e d u n d e r i m p l i c a ti o n , s o t h a t if a n a g e n t k n o w s p , a n dk n o w s t h a t p i m p l i e s q , t h e n t h e a g e n t m u s t a l so k n o w q .

U n f o r t u n a t e l y , in r e al li fe p e o p l e a r e c e r t a i n l y n o t o m n i s c i e n t . I n d e e d ,p o s s i b l e -w o r l d s a d v o c a t e s h a v e a l w a y s s tr e s s e d t h a t t h i s s ty l e o f s e m a n t i c sa s s u m e s a n " i d e a l " r a t i o n a l r e a s o n e r , w i t h i n f i n i t e c o m p u t a t i o n a l p o w e r s . B u tf o r m a n y a p p l i c a t i o n s , o n e w o u l d l i k e a l o g i c t h a t p r o v i d e s a m o r e r e a l i s t i cr e p r e s e n t a t i o n o f h u m a n r e a so n i n g .

V a r i o u s a t t e m p t s t o d e a l w i t h t h i s p r o b l e m h a v e b e e n p r o p o s e d i n t h el i t e r a t u r e . O n e a p p r o a c h i s e s s e n t i a l l y s y n t a c t i c : a n a g e n t ' s b e l i e f s a r e j u s td e s c r i b e d b y a s et o f f o r m u l a s , n o t n e c e s s a r i ly c l o s e d u n d e r i m p l i c a ti o n [6 , 3 2 ],o r b y t h e l o gi ca l c o n s e q u e n c e s o f a s e t o f f o r m u l a s o b t a i n e d b y u s i n g a ni n c o m p l e t e se t o f d e d u c t i o n r u l e s [2 0 ]. A n o t h e r a p p r o a c h h a s b e e n t o a u g m e n t "p o s s i b l e w o r l d s b y n o n c l a s s i c a l " i m p o s s i b l e " w o r l d s , w h e r e t h e c u s t o m a r y r u l e so f l o g ic d o n o t h o l d ( s e e , f o r e x a m p l e , [4 , 3 4 , 3 5 ] ). T h e s y n t a c ti c a p p r o a c hl ac k s t h e e l e g a n c e a n d i n t u i ti v e a p p e a l o f t h e s e m a n t i c a p p r o a c h . H o w e v e r , t h es e m a n t i c r u l e s u s e d t o a s si g n t r u t h v a l u e s t o t h e l o g i c a l c o n n e c t i v e s in th ei m p o s s i b l e - w o r l d s a p p r o a c h h a v e t e n d e d t o b e n o n i n t u i t i v e , a n d it is n o t c l e a rt o w h a t e x t e n t t h i s a p p r o a c h h a s b e e n s u c c e s s f u l i n t r u l y c a p t u r i n g o u ri n t u i t i o n s a b o u t k n o w l e d g e a n d b e l i e f .

R e c e n t l y , L e v e s q u e [ 26 ] h a s a t t e m p t e d t o g iv e a n i n tu i t iv e l y p l a u s i b les e m a n t i c a c c o u n t o f e x p l i c i t a n d i m p l i c i t b e l i e f ( w h e r e a n a g e n t ' s i m p l i c i t b e l i e f si n c l u d e t h e l o g ic a l c o n s e q u e n c e s o f h is e x p l i c it b e l i e f ) , e s s e n t i a l l y b y t a k i n gp a r t i a l w o r l d s a n d a t h r e e - v a l u e d t r u t h f u n c t i o n r a t h e r t h a n c l a s s i c a l t w o -v a l u e d l og ic . W h i l e w e h a v e a n u m b e r o f p h i l o s o p h i c a l a n d t e c h n i c a l c r it ic i sm so f L e v e s q u e ' s a p p r o a c h ( t h e s e a r e d e t a i l e d in S e c t io n 3 ) , i t s e e m s t o u s to b e i nt h e r i g h t s p i r i t .

P a r t o f t h e r e a s o n t h a t p r e v i o u s s e m a n t i c a t t e m p t s t o d e a l w i th t h e p r o b l e mo f lo g ic a l o m n i s c i e n c e h a v e f a i le d is t h a t t h e y h a v e n o t t a k e n i n t o a c c o u n t t h ef a c t t h a t i t s t e m s f r o m a n u m b e r o f d i f f e r e n t so u r c e s . A m o n g t h e s e a r e :

. ( 1) L a c k o f a w a r e n e s s: H o w c a n s o m e o n e s a y t h a t h e k n o w s o r d o e s n ' tk n o w a b o u t p i f p i s a c o n c e p t h e is c o m p l e t e l y u n a w a r e o f ? O n e c a n i m a g i n et h e p u z z l e d f r o w n o n a B a n t u t r i b e s m a n ' s f a c e w h e n a s k e d i f h e k n o w s t h a tp e r s o n a l c o m p u t e r p r i c e s a r e g o i n g do w n !" T h e a n i m a l ( i n th e q u o t a t i o n a t th eb e g i n n i n g o f t h e p a p e r ) d o e s n o t k n o w t h a t i t k n o w s e x a c t l y b e c a u s e i t is( p r e s u m a b l y ) n o t a w a r e o f its k n o w l e d g e . S i m i la r ly , a s e n t e n c e s u c h as" Y o u ' r e s o d u m b , y o u d o n ' t e v e n k n o w t h at y o u d o n ' t k n o w p ! " is p e r h a p sb e s t u n d e r s t o o d a s s a y i n g " Y o u ' r e n o t e v e n a w a r e t h a t y o u d o n ' t k n o w p " .( 2 ) P e o p l e ar e r e s o u r c e - b o u n d e d : T h e y l ac k th e c o m p u t a t i o n a l r e s o u rc e s to


3/38

BELIEF, AWA RENESS, AND LIMITED REASON ING 41d e d u c e a ll t h e l o g ic a l c o n s e q u e n c e s o f t h e i r k n o w e d g e ( w e s till d o n ' t k n o ww h e t h e r F e r m a t ' s l a st t h e o r e m is t r u e ).

( 3 ) P e o p l e d o n ' t a l w a y s k n o w t h e r e l e v a n t r u le s : A s p o i n t e d o u t b yK o n o l i g e [ 20 ], a s t u d e n t m a y n o t k n o w w h i c h v a l u e o f x s a ti sf ie s t h e e q u a t i o nx + a = b s i m p l y b e c a u s e h e d o e s n ' t k n o w t h e r u l e o f s u b t r a c t i n g e q u a lq u a n t i t i e s f r o m b o t h s i d e s .

( 4 ) P e o p l e d o n ' t f o c u s o n a l l i ss u e s s i m u l t a n e o u s l y : T h u s , w h e n w e s a y " ab e l ie v e s p , " w e m o r e p r o p e r l y m e a n t h a t in a c e rt a in f r a m e o f m i n d ( w h e n a isf o c u s s i n g o n t h e i s s u e s t h a t i n v o l v e p ) , i t is t h e c a s e t h a t a b e l i e v e s p . E v e n i f ad o e s p e r f e c t r e a s o n i n g w i t h r e s p e c t t o t h e l im i t e d n u m b e r o f is su e s o n w h i c h h eis f o c u s s i n g i n a n y g i v e n f r a m e o f m i n d , h e m a y n o t p u t h i s c o n c l u s i o n st o g e t h e r . I n d e e d , a l t h o u g h in e a c h f r a m e o f m i n d a g e n t a m a y b e c o n s i s te n t ,t h e c o n c l u s i o n s a d r a w s i n d i ff e r e n t f r a m e s o f m i n d m a y b e i n c o n s i s t e n t.I n t hi s p a p e r w e p r e s e n t a n u m b e r o f d if f e re n t a p p r o a c h e s t o m o d e l l i n g la c ko f lo g ic a l o m n i s c ie n c e . T h e s e a p p r o a c h e s c a n b e v i e w e d a s a t t e m p t i n g t om o d e l d i f f e r e n t c a u s e s f o r t h e l a c k o f o m n i s c i e n c e , a s s u g g e s e d b y t h ed i s c u ss i o n a b o v e . O u r f ir st a p p r o a c h is e s s e n t ia l ly a n e x t e n s i o n o f L e v e s q u e ' sl o g i c [2 6] t o th e m u l t i - a g e n t c a s e , w h i c h i n a d d i t i o n a v o i d s s o m e o f t h ep r o b l e m s w e s e e in L e v e s q u e ' s a p p r o a c h . T h i s a p p r o a c h is o n e t h a t a t t e m p t s t od e a l w it h a w a r e n e s s ( ( 1 ) a b o v e ) . O u r s e c o n d a p p r o a c h c o m b i n e s th e p o s si b le -w o r l d s f r a m e w o r k w i th a s y n t a c t i c awa r e n e s s f u n c t io n . T h e n o t i o n o f a w a r e n e s sw e u s e i n t hi s a p p r o a c h is o p e n t o a n u m b e r o f i n t e r p r e ta t i o n s . O n e o f t h e m ist h a t a n a g e n t i s a w a r e o f a f o r m u l a i f h e c a n c o m p u t e w h e t h e r o r n o t i t is t r u ei n a g i v e n s i t u a t i o n w i t h i n a c e r t a i n t i m e o r s p a c e b o u n d . T h i s i n t e r p r e t a t i o n o fa w a r e n e s s g iv e s u s a w a y o f c a p t u ri n g r e s o u r c e - b o u n d e d r e a s o n i n g i n o u rm o d e l . B y a d d i n g t im e i n t o t h e p i c tu r e , w e c a n e x t e n d t h e s e c o n d a p p r o a c h t oo n e t h a t c a n c a p t u re h o w k n o w l e d g e i s a c q u i r e d o v e r ti m e , p e r h a p s t h r o u g ht h e u s e o f a p a r t i c u l a r ( p o s s i b l y i n c o m p l e t e ) s e t o f d e d u c t i o n r u l es a s in [ 20 ].F i n a l l y , w e p r e s e n t a n a p p r o a c h t h a t c o u l d b e c a l l e d t h e s o c i e t y - o f - m i n d sa p p r o a c h [ 2 , 5 , 3 1 ], w h i c h a t t e m p t s t o c a p t u r e t h e t y p e o f lo c a l r e a s o n i n gd i s c u s s e d i n ( 4 ) a b o v e ( a s i m i l a r i d e a h a s b e e n i n d e p e n d e n t l y s u g g e s t e d b y an u m b e r o f a u t h o r s, i n cl u d in g L e v e s q u e [ 2 7], S t a ln a k e r [4 1], a n d Z a d r o z n y[ 4 4 ]) . T h e s e c o n d a n d t h i r d a p p r o a c h e s c a n e a s i ly b e c o m b i n e d t o g i v e as e m a n t i c s w h i c h c a p t u r e s b o t h a w a r e n e s s a n d l o c a l r e a s o n i n g .

W e d o n o t s e e a n y o f t h e s e a p p r o a c h e s a s b e i n g t h e u n i q u e " r i g h t " a p p r o a c ht o m o d e l l in g l a c k o f lo g ic a l o m n i s c ie n c e . R a t h e r o u r p h i l o s o p h y i s s o m e w h a tm o r e p r a g m a t i c . D i f f e r e n t n o t i o n s o f k n o w l e d g e a n d b e l i e f w ill b e a p p r o p r i a t ef o r d i f f e r e n t a p p l i c a ti o n s . W e b e l i e v e t h a t o n e o f t h e c o n t r i b u t i o n s o f t h isp a p e r is p ro v i d i n g t o o ls f o r c o n s t r u c ti n g r e a s o n a b l e s e m a n t i c m o d e l s o f n o t i o n so f k n o w l e d g e w i th a v a r i e ty o f p r o p e r t i e s .

T h e r e s t o f t h e p a p e r is o r g a n i z e d a s f o ll o w s . I n t h e n e x t se c t i o n w e r e v i e wt h e " c l a s s i c a l " p o s s i b l e - w o r d s m o d e l o f k n o w l e d g e a n d b e l i e f , t o s e t t h e s t a g ef o r o u r w o r k , w h i l e i n S e c t i o n 3 w e r e v i e w L e v e s q u e ' s l o g i c a n d d e t a i l o u r


4/38

4 2 R . F A G I N A N D J .Y . H A L P E R Nc r i ti c is m s o f it. I n S e c t i o n s 4 , 5 , a n d 6 w e d e s c r i b e o u r t h r e e a p p r o a c h e s t om o d e l l i n g l a c k o f l o g ic a l o m n i s c i e n c e . I n S e c t i o n 7, w e s h o w h o w w e c a ni n c o r p o r a t e t i m e i n t o t h e p i c t u r e , a l l o w i n g u s t o d e s c r i b e e v e n m o r e s i t u a t io n s .I n S e c t i o n 8 , w e g i v e d e c i s i o n p r o c e d u r e s a n d c o m p l e t e a x i o m a t i z a t i o n s f o r a llt h e l o g ic s w e i n t r o d u c e . W e c o n c l u d e i n S e c t i o n 9 w i t h s o m e d i s c u s s io n o f o u ra p p r o a c h a n d s o m e s u g g e s ti o n s f o r f u r t h e r w o r k .

2 . T h e P o s s i b le - W o r l d s M o d e lI n th i s s e c t i o n w e b r i e f l y r e v i e w p o s s i b l e - w o r l d s s e m a n t i c s f o r k n o w l e d g e a n db e l ie f . T h e i n t e r e s t e d r e a d e r is e n c o u r a g e d t o c o n s u lt r e f e r e n c e s s u c h a s [3 , 14]f o r m o r e d e t a i l s .R e c a l l t h a t t h e i n t u it i v e i d e a b e h i n d t h e p o s s i b l e - w o r l d s m o d e l i s t h a t ,b e s i d e s t h e t r u e s t a t e o f a f f a i rs , t h e r e a r e a n u m b e r o f o t h e r p o s s i b l e s t a t e s o fa f f a ir s , o r p o s s i b l e w o r l d s . I n o r d e r t o f o r m a l i z e t h i s s i tu a t i o n , w e f i rs t n e e d al a n g u a g e . W e s t ic k t o p r o p o s i t i o n a l l o gi c h e r e , s i nc e m o s t o f t h e i s s u es w e a r ei n t e r e s t e d i n d e a l i n g w i t h a l r e a d y a r i s e a t t h i s l e v e l . B e s i d e s t h e s t a n d a r dc o n n e c t i v e s s uc h a s A , - - , a n d v f r o m p r o p o s i t i o n a l l o g ic , w e a ls o n e e d s o m ew a y t o r e p r e s e n t b e li e f. W e d o t h is b y a u g m e n t i n g t h e l a n g u a g e w i t h m o d a lo p e r a t o r s L~ . . . . . L n. A f o r m u l a s u c h a s L i ~ i s r e a d " a g e n t i b e l i e v e s ~ . "

F o r m a l l y , w e s t a r t w it h a s e t o f p r i m i t i v e p r o p o s i t i o n s , a s p e c i a l f o r m u l at rue ( t h is is f o r c o n v e n i e n c e o n l y ) , a n d c l o s e o ff u n d e r n e g a t i o n , c o n j u n c t i o n ,a n d t h e m o d a l o p e r a t o r s L ~ , . . . , L , . T h u s , i f ~ a n d ~ a r e f o r m u l a s , t h e n s oa r e - ~ , ~ A ~ , a n d L i ~ , i = 1 . . . . . n . O f c o u r s e , B o o l e a n c o n n e c t i v e s s u c h a s

a n d v a r e d e f i n e d i n t e r m s o f ~ a n d A a s u s u a l ; w e t a k e f a l s e t o b e a na b b r e v i a t i o n o f - t r u e . N o t e w e a r e c o n s i d e r i n g a m u l t i - a g e n t s i t u a t i o n h e r eb e c a u s e f o r m a n y a p p l i c a ti o n s w e n e e d t o r e a s o n n o t o n l y a b o u t o u r o w nb e li e fs , b u t t h o s e o f o t h e r a g e n ts . F r o m t i m e t o t im e w e c o n s id e r k n o w l e d g er a t h e r t h a n b e l i e f ; i n t h is c a s e w e u s e K i r a t h e r t h a n L i.

K r i p k e s tr u c tu r e s [ 2 2 ] p r o v i d e a u s e f u l f o r m a l t o o l f o r g i v i n g s e m a n t i c s t o t h i sl a n g u a g e . A K r i p k e s t r u c t u r e M is a t u p l e ( S , 7r, ~ . . . . . ~ , , ) , w h e r e S i s a s e to f s tates o r p o s s i b l e w o r l d s , 7 r is an a s s i g n m e n t o f t r u t h v a l u e s t o t h e p r i m i t i v ep r o p o s i t i o n s f o r e a c h s t a t e s E S (s o t h a t ~ r( s, p ) E { t r u e , f a ls e } f o r e a c h s t a t es ) , a n d ~ , i = 1 , . . . , n , is a b i n a r y r e l a t i o n o n S w h i c h is ser ia l , t rans i t i ve , a n dE u c l i d e a n . A r e l a t i o n R i s ser ia l i f f o r e a c h s E S t h e r e i s s o m e t E S s u c h t h a t( s , t) C R ; R i s t rans i t i ve i f ( s , u ) E R w h e n e v e r ( s , t ) E R a n d ( t , u ) E R ; R i sE u c l i d e a n i f ( t, u ) ~ R w h e n e v e r ( s , t ) E R a n d ( s , u ) ~ R . I n t u i t i v e l y , ( s , t )~ i i f i n s t a t e s , a g e n t i c o n s i d e r s s t a t e t p o s s i b l e ( i . e . i f s w e r e t h e a c t u a l s t a t e o ft h e w o r l d , a g e n t i w o u l d c o n s i d e r t a p o s s ib l e s t a t e o f t h e w o r l d ) . A s w e s h a lls e e , t h e c o n d i t i o n s o n ~ i e n f o r c e c e r t a i n a x i o m s a s s o c i a t e d w i t h b e l i e f . F o re x a m p l e t h e f a c t t h a t ~ is s e r i a l m e a n s t h a t i n al l w o r l d s , a g e n t i a l w a y sc o n s i d e r s s o m e w o r l d p o s s i b l e ; f r o m t h is i t w i ll fo l l o w t h a t h e c a n n o t b e l i e v e i n


5/38

B E L I E F , A W A R E N E S S , A N D L I M I T E D R E A S O N I N G 4 3f a l s e h o o d . B y m o d i f y i n g t h e s e c o n d i t i o n s , w e c a n g e t d i f f e r e n t a x i o m s f o rb e l i e f .

W e n o w d e f i n e a r e l a t io n ~ , w h e r e M,s ~ q~i s r e a d " ~0 i s true, o r satisf ied, i ns t a t e s o f s t r u c t u r e M " :M,s ~ t rue ,M , s ~ p , w h e r e p i s a p r i m i t i v e p r o p o s i t i o n , i ff 7 r ( p , s ) = t r u e ,M,s ~ ~ q~ i f f M,s ~ q~,M , s ~ q~ O i f f M , s ~ ~p a nd M , s ~ GM , s ~ L ~ q ~ i f f M , t ~ q ~ f o r a l l t s u c h t h a t ( s , t ) E N i .

T h e l a s t c la u s e i s d e s i g n e d t o c a p t u r e t h e i n t u i t i o n t h a t a g e n t i b e l i e v e s q~e x a c t l y i f q~ i s t r u e i n a l l t h e w o r l d s t h a t i t h i n k s a r e p o s s i b l e . 1

W e s a y a f o r m u l a q~ i s valid in structure M i f M , s ~ ~ f o r a l l s t a t e s s i n M ; q~ i ssatisfiable in M i f M , s ~ ~ f o r s o m e s t a t e s i n M . W e s a y q~ i s valid i f i t is v a l i di n a l l K r i p k e s t r u c t u r e s ; q~ i s satisfiable i f i t is s a t i s f i a b l e i n s o m e K r i p k es t r u c t u r e .

T h i s n o t i o n o f b e l i e f c a n b e c o m p l e t e l y c h a r a c t e r i z e d b y t h e f o l l o w i n g s o u n da n d c omple te a x i o m s y s t e m , t r a d i t i o n a l l y c a l l e d w e a k $ 5 o r K D 4 5 ( c f . [ 3 ] ) . A l lt h e a x i o m s g i v e n b e l o w a r e v a l i d , t h e i n f e r e n c e r u l e s p r e s e r v e v a l i d i t y , a n de v e r y v a l i d f o r m u l a c a n b e p r o v e d f r o m u s i n g t h e s e a x i o m s a n d i n f e r e n c e r u le s .

A l l i n s t a n c e s o f p r o p o s i t i o n a l t a u t o l o g i e s . ( A 1 )Liq~ A Li(~o ~ t~) ~ L i ~ . ( A 2 )_ L i ( fa lse ) . ( A 3 )Li~p ~ LiLiq~ . ( A 4 )~Zi~o ~ L i ~Liq~ . ( m 5 )

( m o d u s p o n e n s ) . ( R I )4,( R 2 )L ~

( A 1 ) a n d ( R 1 ) , o f c o u r s e , a r e h o l d o v e r s f r o m p r o p o s i t i o n a l lo g ic . (A 2 ) s a y s

W e rema rk tha t for the no t ion of be l ie f we are co nsider ing here , the s t ruc ture can be s implif iedif we res t r ic t a t tent ion to the o ne-age nt case . Ins tead of a re la t ion on S, we can s imply des ignate anonempty subse t of S, which we a lso ca l l ~, to be the se t of s ta tes tha t the agent considersposs ible . We can assoc ia te with the se t ~ the b inary re la t ion consis ting of {(s , t) ls ~ S, t E ~ }. I tcan eas i ly be checked th a t this re la t io n is ser ia l , Eucl idean, an d t rans i t ive . A ll the c lauses in thedef ini t ion of ~ rema in the same, except now the las t c lause becom es M,s ~ L (we do no t need tosubscr ipt the L s ince there is only one agent) i f f M ,t ~ ~ofor a l l t E ~ .


6/38

44 R. FAGIN AND J.Y. HA LPE RNt h a t a n a g e n t ' s b e l i e fs a r e c l o s e d u n d e r i m p l i c a t i o n . ( A 3 ) s a y s t h a t a n a g e n tc a n n o t b e l i ev e in fa l s e h o o d . ( A 4 ) a n d ( A 5 ) a r e a x i o m s o f i n t r o s p e c t io n .I n t u i t i v e l y , t h e y s a y t h a t a g e n t s a r e i n t r o s p e c t i v e ; e a c h a g e n t h a s c o m p l e t ek n o w l e d g e a b o u t h i s s e t o f b e l ie f s .

T h e v a l i d i ty o f ( A 3 ) , ( A 4 ) , a n d ( A 5 ) is d u e t o t h e fa c t t h a t w e h a v e t a k e nt h e ~ i t o b e s e r i a l , t r a n s i t i v e , a n d E u c l i d e a n . I n a p r e c i s e s e n s e , ( A 3 ) f o l l o w sf r o m t h e f a c t t h a t ~ i i s s e r i a l , ( A 4 ) f r o m t h e f a c t t h a t i t i s t r a n s i t i v e , a n d ( A 5 )f r o m t h e f a c t t h a t i t is E u c l i d e a n . B y m o d i f y i n g t h e p r o p e r t i e s o f t h e ~r e l a t i o n s , w e c a n g e t n o t i o n s o f b e l i e f t h a t s a t i s fy d i f f e r e n t a x i o m s . I np a r t i c u l a r , t h e m a j o r c h a r a c t e r i s t i c t a k e n t o d i s t i n g u i s h k n o w l e d g e f r o m b e l i e fis t h a t if y o u k n o w s o m e t h i n g , t h e n i t m u s t b e t r u e ; i. e . , K ~ ~ ~ h o ld s . T h i s isa s t ro n g e r s t a t e m e n t t h a n ( A 3 ) . I f w e t a k e t h e 5 0 r e l a t io n t o b e re f l ex ive r a t h e rt h a n s e r ia l , t h e n i t t u r n s o u t t h a t w e c a p t u r e t h i s s t r o n g e r a x i o m . ( R e c a l l t h a t ar e l a t i o n R o n S i s r e f l e x i v e i f (s , s ) E S f o r a ll s E S , s o t h a t a r e f l e x i v e r e l a t i o ni s n e c e s s a r i l y s e r i a l . )

T h e c l a ss i ca l m o d a l l o g i c o f k n o w l e d g e , c a l l e d $ 5 , i s c h a r a c t e r i z e d b y t h e s e to f a x i o m s a b o v e w i t h ( A 3 ) r e p l a c e d b y K ~ q ~~ ~0 ( a n d a ll o c c u r r e n c e s o f L~r e p l a c e d b y K i ) . A s s u g g e s t e d a b o v e , th i s c a n b e c a p t u r e d b y t a k i n g ~ t o b er e f l e x i v e , t r a n s i t i v e , a n d E u c l i d e a n . I t is e a s y t o c h e c k t h a t a r e l a t i o n i sr e f l e x i v e , t r a n s i t i v e , a n d E u c l i d e a n i f f i t is r e f l e x i v e , t r a n s i t i v e , a n d s y m m e t r i c ,i . e . , a n e q u i v a l e n c e r e l a t i o n . ( S e e [ 3 , 1 4 ] f o r a s u r v e y o f t h e s e i s s u e s , a s w e l l a sa r e v i ew o f t h e s t a n d a r d t e c h n i q u e s o f m o d a l l og ic w h ic h g i ve c o m p l e t e n e s sp r o o f s . )N o t e t h a t a l t h o u g h i n K D 4 5 i t i s p o s s i b l e t o h a v e f a l s e b e l i e f s ( i . e . , i t i sp o s s i b l e t h a t L ~ a n d - q ~ a r e s i m u l t a n e o u s l y s a t i s f i e d ) , i t i s n o t p o s s i b l e t ob e l i e v e t h e n e g a t i o n o f a v a li d f o r m u l a . T h u s , i f q~ is v a l i d , t h e n w e c a n n o t h a v eL ~ - ~ . T h i s f o l l o w s d i r e c t l y f r o m o u r a s s u m p t i o n t h a t ~ is s e r ia l . F o r s o m ea p p l ic a t io n s t hi s is u n r e a s o n a b l e ( f o r e x a m p l e , t h e r e m a y b e s o m e t h e o r e m s o fm a t h e m a t i c s t h a t I b e l i e v e a re f a ls e ) ; f o r s u c h a p p l i c a t i o n s , w e w o u l d d r o p t h ea s s u m p t i o n t h a t ~ i is s e r ia l . W e c a n s i m i l ar l y d r o p t h e a s s u m p t i o n t h a t ~ ist r a n s i t i v e a n d E u c l i d e a n i n c a s e s w h e r e a x i o m s ( A 4 ) a n d ( A 5 ) a r e i n a p p r o -p r i a t e . T h e m a j o r a d v a n t a g e o f t h e p o s s i b l e - w o r l d s a p p r o a c h is i ts f l ex i b i li t y int h i s r e g a r d .H o w e v e r , t h e p o s s i b l e - w o r l d s a p p r o a c h s e e m s t o c o m m i t u s t o ( A 2 ) a n d( R 2 ) . N o m a t t e r h o w w e m o d i f y t h e ~ r e l a t i o n s , t h e f a c t t h a t w e s a y a n a g e n tk n o w s o r b e l i e v e s a f a c t e x a c t l y i f t h a t f a c t is t r u e i n a ll th e w o r l d s t h e a g e n tc o n s i d e r s p o s s i b l e s e e m s t o f o r c e u s t o t h e s i t u a t i o n w h e r e a n a g e n t k n o w s a l lt a u t o l o g i e s a n d h i s k n o w l e d g e i s c l o s e d u n d e r i m p l i c a t i o n . I n t h e r e m a i n d e r o ft h is p a p e r , w e s h o w t h a t w e c a n r e t a i n t h e b a s ic in t u i t i o n s o f t h e p o s s i b l e -w o r l d s a p p r o a c h a n d s t il l h a v e a l og i c t h a t a v o i d s t h e p r o b l e m o f lo g i ca lo m n i s c i e n c e . W e p r e s e n t o u r r e s u l ts in a K r i p k e - s t y l e f r a m e w o r k , b u t w er e m a r k t h a t w e c o u l d h a v e a l s o u s e d t h e m o d a l s t r u c t u r e s f r a m e w o r k o f [ 8, 9 ].


7/38

BELIEF, AWA RENESS, AND LIMITE D REASONING 453 . L e v e s q u e ' s L o g i c o f I m p l i c i t a n d E x p l i c i t B e l i e f

B e f o r e w e d e s c r ib e o u r m o d e l s f o r k n o w l e d g e a n d b e l i e f, w e b r ie f ly r e v i e wL e v e s q u e ' s l o g i c o f i m p l i c i t a n d e x p l ic i t b e l i e f , a n d d i sc u s s o u r c r i ti c is m s o f i t.( W e t a k e t h e l i b e rt y o f s li gh tl y c h a n g i n g L e v e s q u e ' s n o t a t i o n , t o m a k e i t m o r ec o n s i s t e n t w i t h o u r l a t e r d e v e l o p m e n t . )

T h e f o r m u l a s o f th e l a n g u a g e c o n s i d e r e d b y L e v e s q u e a r e f o r m e d i n t h eo b v i o u s w a y , u s in g tw o m o d a l o p e r a t o r s B a n d L ( s t a n d in g f o r expl ici t bel iefa n d impl ici t bel ief r e s p e c t i v e l y ; a n a g e n t ' s i m p l i c it b e l ie f s i n c lu d e a ll t h e l o g i c a lc o n s e q u e n c e s o f h is e x pl ic i t b el ie f s ). H o w e v e r , L e v e s q u e r e s tr i ct s t h e l a n g u a g es o th a t n o B o r L a p p e a r s w i t h i n t h e s c o p e o f a n o t h e r . T h u s , i f , is apropos i t iona l f o r m u l a ( d o e s n o t c o n t a i n B o r L ) , t h e n B~ a n d L~ a r e a l s of o r m u l a s . L e v e s q u e d o e s n o t a s s u m e h is lo g ic c o n t a i n s t h e f o r m u l a true. 2A s tructure for impl ici t and expl ici t bel ief is a t u p l e M = ( S , 9 , T , F ) , w h e r e Si s a s e t o f ( p r i m i t i v e ) situations, ~ is a s u b s e t o f S ( t h e s i t u a t i o n s t h a t c o u l d b et h e a c t u a l o n e s a c c o r d i n g t o w h a t i s b e l i e v e d ) , a n d T a n d F a r e f u n c t io n s f r o m

( t h e s e t o f p r i m i t i v e p r o p o s i t i o n s ) t o s u b s e t s o f S. I n t u i ti v e l y , T ( p ) c o n s i s tso f al l s i t u a t i o n s t h a t s u p p o r t t h e t r u t h o f p , w h i l e F ( p ) c o n s is t s o f a ll s i t u a t io n st h a t s u p p o r t t h e f a l s i ty o f p . W e c a n v i e w t h is a s a m o d i f i c a t i o n o f t h ep o s s i b l e -w o r l d s a p p r o a c h ( f o r t h e o n e - a g e n t c a s e ) ; i n s t e a d o f p o s s ib l e w o r l d sw e h a v e p o s s i b l e s i t u a t io n s . I t is n o t t h e c a s e t h a t a p r i m i t i v e p r o p o s i t i o n i se i t h e r t r u e o r f a ls e in a s i t u a t i o n ; i t m a y b e t r u e , f a l se , b o t h , o r n e i t h e r . I np a r t i c u l a r , w e c a n h a v e a partial si tuation s, t h a t s u p p o r t s n e i t h e r t h e t r u t h n o rf a ls i t y o f s o m e p ri m i t i v e p r o p o s i t i o n p ( so t h a t s ~ T ( p ) U F ( p ) ) a n d a nincoherent s i tuat ion t t h a t s u p p o r t s b o t h t h e t r u t h a n d f a l si ty o f s o m e p r i m i t i v ep r o p o s i t i o n q ( s o t h a t t E T ( q ) A F ( q ) ) .A comple te s i t u a t i o n ( c a l l e d a poss ib le wor ld i n [ 26 ] ) is o n e t h a t s u p p o r t se i t h e r t h e t r u t h o r f a ls i ty o f e v e r y p r i m i t i v e p r o p o s i t i o n a n d i s n o t i n c o h e r e n t( i .e . , s is a m e m b e r o f e x a c t ly o n e o f T ( p ) a n d F ( p ) f o r e a c h p r i m i t iv ep r o p o s i t i o n p ) . A c o m p l e t e s i t u a t io n s is compat ib le w i t h a s i t u a t i o n s ' i f s a n ds ' a g r e e w h e r e v e r s ' is d e f i n e d ; i .e . i f s ' E T ( p ) t h e n s E T ( p ) , a n d i f s ' ~ F ( p )t h e n s ~ F ( p ) , f o r e a c h p r i m i t i v e p r o p o s i t i o n p . L e t ~ * c o n s i s t o f a ll c o m p l e t es i t u a t io n s i n S c o m p a t i b l e w i t h s o m e s i t u a t i o n i n 9 .

W e c a n n o w d e f i n e t h e support relations ~ T a n d ~ v b e t w e e n s i tu a t io n s a n df o r m u l a s . I n t u i t i v e l y , M ,s ~ T 9 w h e n s i t u a t i o n s i n s t r u c t u r e M s u p p o r t s t h et r u t h o f 9 , w h i l e M ,s ~ v ~ w h e n s s u p p o r t s t h e f a l s it y o f ~ . T h e d e f i n it i o n i s:

M , s ~ T P , w h e r e p is a p r i m i t i v e p r o p o s i t i o n , i f f s ~ T ( p ) ,M , s ~ v P , w h e r e p is a p r i m i t i v e p r o p o s i t i o n , i ff s ~ F ( p ) ;

2 We remark that in the "classical" logic described in the previous section, we cou ld havereplaced true by p v -- p throughout, w here p is any primitive proposition. How ever, this is nottrue for L evesqu e's logic, nor for the logics we presen t in Se ctions 4 and 5.


8/38

46 R. FAGIN AN D J.Y. HAL PER NM , S ~ T - - i f f M , s ~ v ~ ,M , S ~ F - - ~ i f f M , S ~ T ~ ;M ,S ~ T q~1 ^ ~02 i f f M ,S ~ T ~pl a n d M ,S ~ T ~p2 ,M ,S ~ v ~P~ A 2 i f f M ,s ~ v ~ or M ,s ~ F ~2 ;M , S ~ T B ~ i f f M , t ~ T q ~ f o r a l l t E ~ ,M , S ~ F B q ~ i f f M , S ~ T B q ~ ;M , s ~ T L q ~ i f f M , t ~ T fo r all t ~ ~ * ,M ,s ~ v Lq~ i f f M,S ~ T Lq~ .

W e s a y t h a t t h e f o r m u l a ~p i s true, or i s satisfied, a t s i t u a t i o n s i f M , s ~ z q ~h o l d s . L e v e s q u e d e f i n e s a f o r m u l a ~p t o b e v a l i d , w r i t t e n ~ ~p, i f ~p i s t r u e a t sf o r a l l s t r u c t u r e s M - - ( S , ~ , T , F ) , a n d a l l comple te s i t u a t i o n s s E S .A s L e v e s q u e p o i n t s o u t , i t i s e a s y t o s e e t h a t w i t h t h i s s e m a n t i c s

(B~p ~ Lq~), i . e . , exp l ic i t be l ie f im pl ie s imp l ic i t be l ie f . I t i s a l so ea sy to seet h a t i m p l i c it b e l i e f i s c l o s e d u n d e r i m p l i c a t i o n a n d t h a t a ll v a l i d p r o p o s i t i o n a lf o r m u l a s a r e i m p l i c i tl y b e l i e v e d . T h u s w e h a v e

( 1 ) ~ ( L ^ L ( q ~ ~ 0 ) ) ~ L q , , a n d( 2 ) i f ~ ( w h e r e ~p i s p r o p o s i t i o n a l ) , t h e n ~ L ~p .E x p l i ci t b e l ie f d o e s n o t s e e m t o s u f f e r f r o m t h e p r o b l e m s o f lo g i ca l o m n i -

s c ie n c e . B e f o r e w e g o o n , l e t u s d is c u ss w h a t w e m e a n b y " l o g i c a l o m n i -s c i e n c e . " A n a g e n t is logically omniscient i f w h e n e v e r h e b e l i e v e s a ll o f t h ef o r m u l a s i n a s e t ,Y, a n d ,~ l o g i c a ll y i m p l i e s t h e f o r m u l a , t h e n t h e a g e n t a l s ob e l i e v e s ~p. T h e r e a r e t h r e e c a s e s o f s p e c i a l in t e r e s t : ( 1 ) w h a t w e h a v e b e e nc a l l i n g closure under implication ( n a m e l y , w h e n e v e r b o t h a n d ~p ~ ~0 a r eb e l i e v e d , t h e n ~b i s b e l i e v e d ) , ( 2 ) closure under valid implication (i f q~ ~ q, isv a l i d , a n d i f q~ i s b e l i e v e d , t h e n ~O is b e l i e v e d ) , a n d ( 3 ) b e l i e f o f v a l i d f o r m u l a s( i f q~ i s v a l i d , t h e n ~ i s b e l i e v e d ) . E x p l i c i t b e l i e f h a s n o n e o f t h e s e t h r e ep r o p e r t i e s . T h u s , e x p l i c i t b e l i e f s a r e n o t c l o s e d u n d e r i m p l i c a t i o n ( f o r e x a m p l e ,B p A B ( p ~ q ) ^ - - B q i s s a t i s f i a b l e ) , n o r u n d e r v a l i d i m p l i c a t i o n ( a l t h o u g hp ~ ( p ^ ( q v - - q ) ) i s v a l i d , B p /x - - B ( p ^ ( q v ~ q ) ) i s s a t i s f i a b l e ) , a n d v a l i df o r m u l a s a r e n o t n e c e s s a r i l y b e l i e v e d ( - B ( p v - -p ) i s s a t i s f i a b l e ) . M o r e o v e r , i ti s a l so p o s s i b l e t o e x p l i c it l y b e l i e v e s i m u l t a n e o u s l y u n s a t is f i a b l e s t a t e m e n t s( B p ^ B - p is s a ti sf ia b l e, a s , fo r t h a t m a t t e r , i s B ( p / x - p ) ) .

A c l o se r e x a m i n a t i o n o f L e v e s q u e ' s s e m a n t i c s s h o w s t h a t th e l a c k o f c l o s u reu n d e r i m p l i c a t i o n a n d t h e p o s s i b i l i ty o f b e l i e v i n g u n s a t i s fi a b l e s t a t e m e n t s b o t hs t e m f r o m t h e p r e s e n c e o f i n c o h e r e n t s i tu a t i o n s. I n d e e d , a s L e v e s q u e p o i n t sou t in [27] , whi le

Bq~ ^ B(q ~ ~ O) ~ B~bi s n o t a v a l i d f o r m u l a , i t i s e a s y t o c h e c k t h a t

B ~ /~ B ( q ~ O ) ~ B ( O v (q~ ^ ~q~))


9/38

B E L IE F , A WA R E N E S S , A N D L IMIT E D R E A S O N IN G 4 7is v a l id . T h u s , e i t h e r t h e a g e n t ' s b e l i e f s a r e c l o s e d u n d e r i m p l i c a t i o n , o r e l s es o m e s i t u a t i o n h e b e l i e v e s p o s s i b l e i s i n c o h e r e n t . ( I f al l t h e s i t u a t i o n s t h a t t h ea g e n t b e l i e v e d p o s s i b l e w e r e c o h e r e n t , t h e n q~ - q ~ w o u l d n o t h o l d in a n y o ft h e m , s o qJ w o u l d h o l d i n a ll o f t h e m a n d B~O w o u l d b e t r u e . ) S i m i l a r l y , s i n c eB ~ ^ B ( -- ~ p) =- B ( q~ /x - q 0 , i n c o n s i s t e n t b e l i e f s a r e o n l y p o s s i b l e i f e v e r y s i tu a -t i o n t h e a g e n t b e l i e v e s p o s s i b l e is i n c o h e r e n t ( s in c e ~o - - ~ m u s t b e t r u e i ne v e r y s i t u a t i o n t h e a g e n t b e l i e v e s p o s s i b l e ) . H o w e v e r , t o t h e e x t e n t t h a t ~ isv i e w e d a s th e s e t o f s i t u a t i o n s t h a t t h e a g e n t c o n s i d e r s p o s s i b l e , i t s e e m su n r e a s o n a b l e t o a l lo w i n c o h e r e n t s i tu a t io n s . I t is h a r d t o i m a g i n e a n a g e n t t h a tw o u d c o n s i d e r a n i n c o h e r e n t s i tu a t io n p o s s i b l e . A s L e v e s q u e n o t e s i n [2 7] ,t h e r e is a b ig d if f e r e n c e b e t w e e n b e l i e v in g b o t h p a n d ~ p , a n d b e l i e v in gp ^ ~ p .

O n t h e o t h e r h a n d , i n L e v e s q u e ' s lo g ic , a n a g e n t ' s l a c k o f k n o w l e d g e o f v a li df o r m u l a s i s n o t d u e t o i n c o h e r e n t s i t u a t i o n s , b u t i s r a t h e r d u e t o t h e l a c k o f" a w a r e n e s s " o n t h e p a r t o f t h e a g e n t o f s o m e p r i m i t i v e p r o p o s i t i o n s ; s im i l a rr e a s o n s h o l d f o r t h e l a c k o f c l o s u r e u n d e r v a l i d im p l i c a t i o n , L e t u s s a y t h a t a na g e n t i s aware o f a p r i m i t i v e p r o p o s i t i o n p , w h i c h w e a b b r e v i a t e A p , i fB ( p v - p ) h o l d s . T h u s A p i s t r u e i n e x a c t l y t h o s e s i t u a t io n s t h a t s u p p o r te i t h e r t h e t r u t h o r f a l s it y o f p ( t h e y m a y o f c o u r s e s u p p o r t both t h e t r u t h a n df a ls i ty o f p ) . I n t u i t i v e l y , t h is m e a n s t h a t p is s o m e h o w r e l e v a n t t o t h e s i t u a t i o na n d t h a t t h e a g e n t i s " a w a r e " o f p i n t h a t s i t u a t io n . I n t h e f o ll o w i n g d i sc u s s i o nw e u s e th e w o r d " a w a r e " b o t h i n t h e p r e c is e m a t h e m a t i c a l s e n s e j u s t d e f i n e d,a n d i n t h e m o r e u s u a l E n g li s h s e n s e. T h e r e a d e r s h o u l d b e w a r n e d , h o w e v e r ,t h a t a l t h o u g h o u r m a t h e m a t i c a l d e f i n i ti o n d o e s s e e m t o c a p t u r e s o m e o f t h ep r o p e r t i e s o f t h e E n g l is h w o r d , t h e r e a r e s e v e r a l c o n n o t a t i o n s t h a t a r ec e r t a i n l y n o t c a p t u r e d b y t h e d e f i n i ti o n . I n d e e d , i n S e c t i o n 5 w e d i s cu s s an u m b e r o f o t h e r p o s s i b l e i n t e r p r e t a t i o n s f o r th e n o t i o n o f a w a r e n e s s .

A l t h o u g h n o t e v e r y v a l i d f o r m u l a i s b e l i e v e d , i t is t h e c a s e t h a t a v a l idf o r m u l a is b e l i e v e d p r o v i d e d t h a t a n a g e n t is a w a r e o f a ll t h e p r i m i t i v ep r o p o s i t i o n s t h a t a p p e a r i n i t . I n o r d e r t o m a k e t h i s p r e c i s e , g i v e n a f o r m u l a q ~ ,l e t P r i m ( ~ ) b e t h e s e t o f p r i m i t i v e p r o p o s i t i o n s a p p e a r i n g i n ~0, a n d l e t A q~ b ea n a b b r e v i a t i o n f o r t h e c o n j u n c t i o n o f A p o v e r a l l p E P r i m ( q ~ ).Proposition 3 . 1 . I f ~o b a val id prop osi t iona l for m ula , then ~ Aq~ ~ Bq~.P r o o f . S e e A p p e n d i x . 3 [ ]

P r o p o s i t i o n 3 .1 s u g g e s ts t h a t L e v e s q u e ' s s e m a n t i c s m a y b e a p p r o p r i a t e f o rc a p t u r i n g t h e l a c k o f l o g ic a l o m n i s c i e n c e t h a t a r i s e s t h r o u g h l a c k o f a w a r e n e s s ,

3 We remark that the fo rmula ~ A q~ -- B q~ is not valid . For exam ple, if we take to be(p v u p ) v (q v ~ q) , then ~A~0 ^ Bq~ is satisfiable in a structure where ~ consists of two states,say s and t, suc h that the agent is aware of only p at s and only q at t.


10/38

4 8 R. FAGIN A ND J.Y. H ALPE RNb u t n o t f o r c a p t u r i n g t h e t y p e t h a t a r is e s d u e t o l ac k o f c o m p u t a t i o n a lr e s o u r c e s . T h e r e m a y w e l l b e a v e r y c o m p l i c a t e d f o r m u l a w h o s e t r u t h is h a r dt o f ig u r e o u t , e v e n i f y o u a r e a w a r e o f a ll t h e p r i m i t i v e p r o p o s i t i o n s t h a t a p p e a rin i t .

W e h a v e a n u m b e r o f o t h e r c r it ic i sm s , b o t h p h i l o s o p h i c a l a n d t e c h n i c a l , o fL e v e s q u e ' s l o g i c :

( 1 ) A l t h o u g h t r u t h ( i .e . t h e ~ . r e l a t i o n ) is d e f i n e d f o r a ll s i t u a t io n s , o n l yc o m p l e t e s i t u a t i o n s a r e c o n s i d e r e d w h e n c h e c k i n g f o r v a l i d i t y . T h i s m e a n s t h a tt h e r e a r e " v a l i d " f o r m u l a s q~ o f L e v e s q u e ' s l o g ic ( f o r e x a m p l e , p v - p ) s u c ht h a t M,s ~ T q~ f o r s o m e s i t u a t i o n s . W h i l e r e s t r i c t i n g t o c o m p l e t e s i t u a t i o n se n s u r e s t h a t a l l p r o p o s i t i o n a l l y v a l i d f o r m u l a s c o n t i n u e t o b e v a l i d i n L e v e s -q u e ' s l o g i c , i t s e e m s i n c o n s i s t e n t w i th t h e p h i l o s o p h y o f l o o k i n g a t s i t u a t io n s .

( 2 ) A s u s u a l w i t h n o n c l a s s ic a l w o r l d s , w h i l e t h e i n t u i ti o n s b e h i n d ~ s e e mf a ir ly c l e a r f o r p ri m i t i v e p r o p o s i t i o n s , t h e y a r e n o t s o c l e a r f o r th e p r o p o s i t i o n -a l c o n n e c t i v e s . F o r e x a m p l e , s u p p o s e t h a t t h e a g e n t is u n a w a r e o f th e p r i m i t iv ep r o p o s i t i o n p , s o t h a t n e i t h e r M,s ~v P n o r M,s ~v P h o l d . T h u s , b y t h es e m a n t i c d e f i n i t i o n s g i v e n a b o v e , M,s ~ m(P =-- P) d o e s n o t h o l d e i t h e r . Y e t w ec a n s ti ll i m a g i n e a n a g e n t t h a t i s u n a w a r e o f p b u t is a w a r e o f s o m ep r o p o s i t i o n a l t a u t o l o g i e s , i n p a r t i c u l a r o n e s l ik e p -= p . I t is i n t e r e s t i n g t o n o t et h a t i n th e c l a ss ic a l t h r e e - v a l u e d l o g ic o f L u k a s i e w i c z [ 2 8 ], ~ is u s u a l l y t a k e nt o b e a p r i m i t i v e a l o n g w i th /x a n d - , a n d t h e s e m a n t i c s is d e f i n e d s o t h a tp = - p is a t a u t o l o g y , e v e n t h o u g h p v - p is n o t . E v e n t h o u g h L e v e s q u e ' ss e m a n t i c s c o u l d b e r e d e f i n e d in t h is w a y , t h e q u e s t i o n o f m o t i v a t in g t h es e m a n t i c s o f th e c o n n e c t i v e s s ti ll r e m a i n s .

( 3 ) A s V a r d i o b s e r v e s [ 4 2 ] , a l t h o u g h a n a g e n t i n L e v e s q u e ' s m o d e l d o e s n o tk n o w a ll th e l o gi ca l c o n s e q u e n c e s o f h is b e li e f s ( i f w e u n d e r s t a n d " l o g i c a lc o n s e q u e n c e " t o m e a n " c o n s e q u e n c e o f cl as sic al p r o p o s i t i o n a l lo g i c " ) , itf o l lo w s f r o m L e v e s q u e ' s r e s u l ts [ 26 ] th a t a g e n t s i n L e v e s q u e ' s l o g ic are p e r f e c tr e a s o n e r s i n r e l e v a n c e l o g i c [ 1 ] . U n f o r t u n a t e l y , i t s e e m s n o m o r e c l e a r t h a tp e o p l e c a n d o p e r f e c t r e a s o n i n g i n r e l e v a n c e lo g i c t h a n t h a t t h e y c a n d o p e r f e c tr e a s o n i n g i n c l a s s i c a l l o g i c !

B e s i d e s th e c r it ic i sm s m e n t i o n e d a b o v e , t h e c u r r e n t p r e s e n t a t i o n o f L e v e s -q u e ' s l o gi c s u f f er s f r o m a n o t h e r s e r io u s d r a w b a c k : n a m e l y , i t d e a ls w i th o n l yd e p t h - o n e f o r m u l a s a n d w i t h o n l y o n e a g e n t . B u t a v i a b le l o gi c o f k n o w l e d g eo r b e l ie f s h o u l d b e a b le t o c a p t u r e - - w i t h i n t h e lo g ic ( ! ) - - m e t a - r e a s o n i n g a b o u to n e ' s o w n b e l i e f s a n d r e a s o n i n g a b o u t other a g e n t s ' b e l i e f s . M e t a - r e a s o n i n g i sc r u c ia l f o r p l a n n i n g a n d g o a l - d i r e c t e d b e h a v i o r , s i nc e o n e h a s t o r e a s o n a b o u tt h e k n o w l e d g e t h a t o n e h a s a n d n e e d s t o a c q u i r e . A n d a k n o w l e d g e r e p r e s e n -t a t i o n u t i l i t y t h a t d o e s n o t h a v e c e r t a i n i n f o r m a t i o n m a y n e e d t o r e a s o n a b o u tw h e r e t h a t i n f o r m a t i o n is l o c a t e d , a n d t h u s a b o u t t h e k n o w l e d g e o f o t h e rs y s t e m s . S u c h r e a s o n i n g c a n q u i c k l y g e t q u i t e c o m p l i c a t e d , a n d it is n o ti m m e d i a t e l y o b v i o u s h o w t o e x t e n d L e v e s q u e ' s m o d e l t o d e a l w i t h i t .I n th e n e x t t h r e e s e c t i o n s w e p r e s e n t t h r e e o t h e r a p p r o a c h e s t o d e a l i n g w i t ht h e p r o b l e m o f lo g i ca l o m n i s c i e n c e , e a c h o f w h i c h a t t e m p t s t o s o lv e a s p e c t s o ft h e p r o b l e m . A l l o f t h e m d e a l w i th t h e m u l t i -a g e n t c a s e a n d n e s t e d b e l ie f s .


11/38

BELIEF, AW ARENESS, AND LIMITED REASONING 494 . A L o g i c o f A w a r e n e s s

T h e f i rs t l o g ic w e c o n s i d e r , a l o g i c t o r e a s o n a b o u t a w a r e n e s s , is e s s e n t ia l l y a ne x t e n s i o n o f L e v e s q u e ' s l og i c. I t a l lo w s m u l t ip l e a g e n t s a n d n e s t e d b e l i e f s , b o t hi m p l ic i t a n d e x p l ic i t , w h i l e sti ll m a i n t a i n i n g m a n y o f th e p r o p e r t i e s o f L e v e s -q u e ' s l o g i c ; in p a r t i c u l a r , i t i s s ti ll t h e c a s e t h a t e x p l i c i t b e l i e f i m p l i e s i m p l i c i tb e l i e f . H o w e v e r , w e d i s p e n s e w i t h b o t h p a r t i a l a n d i n c o h e r e n t s i t u a t i o n s .F o r m a l l y , w e p r o c e e d a s f o l l o w s . S i n c e w e w i s h t o d e a l w i t h t h e m u l t i - a g e n tc a s e, w e h a v e o p e r a t o r s B 1 , . . . , B ,, , L 1 , . . . , L n . W e a l lo w a r b i t r a ry n e st in go f t h e B i a n d L j in f o r m u l a s . A K r i p k e s t ru c t u re f o r a w a r e n e s s i s a t up l eM = ( S , ~-, ~ 1 , . - - , ~ n , ~ . . . . . ~ n ) , w h e r e , as i n t h e " c la s s i c a l" p o s s i b le -w o r l d s m o d e l , S i s a s e t o f s ta tes , 7r i s a t r u t h a s s i g n m e n t t o t h e p r i m i t i v ep r o p o s i t i o n s f o r e a c h s t a t e s E S , a n d ~3 is a s e r ia l , t r a n s i t i v e , E u c l i d e a nr e l a t i o n o n S fo r i = 1 . . . . . n . W e a g a i n a s s u m e t h a t t h e r e is a s p e c ia l f o r m u l at rue . T h e n e w f e a t u r e h e r e i s ~ i w h i c h i s a f u n c t i o n t h a t a s s o c i a t e s w i t h e a c hs t a t e s a s e t o f p r i m i t i v e p r o p o s i t i o n s . I n t u i t i v e l y , ~ i ( s ) c o n s i s t s o f t h e p r i m i t i v ep r o p o s i t i o n s o f w h i c h a g e n t i is a w a r e a t s ta t e s .

N o t e t h a t a s t a t e c o r r e s p o n d s t o a c o m p l e t e s i t u a t i o n o r p o s s i b l e w o r l d .T h e r e a r e n o p a r t i a l st a te s . H o w e v e r , w e g e t s o m e o f t h e e f f e c ts o f t a k i n gp a r t i a l s ta t e s b y d e f i n i n g s u p p o r t r e l a t i o n s ~ a n d ~ r e l a t i v e t o e a c h s e t 1/* o fp r i m i t i v e p r o p o s i t i o n s . I n t u it i v e l y , t h e e f f e c t o f ~ a n d ~ is t o r e s t r ic t e v e r ys t a te t o a p a r ti a l s it u a t io n w h e r e o n l y th e p r i m i t iv e p r o p o s i t i o n s in ~ a r ed e f in e d . T h e a w a r e n e s s f u n c t i o n s c o m e i n to p l a y w h e n w e c o n s i d e r t h es e m a n t i c s o f a f o r m u l a s u c h a s B i ~ . A s t a te s s u p p o r t s t h e t r u t h o f B i ~ r e l a t iv et o ~ i f a ll t h e s t a t e s a g e n t i c o n s i d e r s p o s s i b l e i n s s u p p o r t t h e t r u t h o f ~vr e l a t iv e to ~ A ~ i ( s ) , i . e . , ~ f u r t h e r r e s t r ic t e d t o t h e s e t o f p r i m i t iv e p r o p o s i -t i o n s o f w h i c h i is a w a r e i n s t a t e s. W e d e f i n e t h e s e t o f w o r l d s t h a t a g e n t ic o n s i d e r s p o s s i b l e i n s t a t e s v i a t h e ~ i r e l a t i o n , j u s t a s i n t h e c l a s s i c a l l o g i c o fb e l ie f . W e a l s o d e fi n e a s t a n d a r d t w o - v a l u e d t r u t h r e l a t i o n ~ . W e d e f i n e B i ~ t ob e t r u e i n s t a t e s ( i . e . , M , s ~ B i ~ ) e x a c t l y if s s u p p o r t s t h e t r u t h o f B i ~ r e l a t iv eto ~ i ( s ) . I m p l i c it b e l i e f d i f fe r s f r o m e x p l i c i t b e l i e f in t h a t f o r i m p l i c i t b e l i e f w ed o n o t t a k e t h e a w a r e n e s s f u n c t i o n i n t o a c c o u n t ; a ll t h a t is r e l e v a n t is t h e s e t o fp o s s i b l e w o r l d s .

W e n o w f o r m a l l y d e f in e t h e s u p p o r t r e la t io n s ~ a n d ~ ' , a n d t h e t w o -v a l u e d n o t i o n o f t r u th ~ :

M , s ~ T t ru e ,M ,s ~ ~v t r u e ,M , s ~ t r u e ;M , s ~ v P , w h e r e p is a p r i m i ti v e p r o p o s i t i o n ,

i ff 7 r(s , p ) = t r u e a n d p @ ~ ,M , s ~ p , w h e r e p is a p r i m i ti v e p r o p o s i t i o n ,i f f ~ - (s , p ) = f a l s e a n d p E ~ ,M , s ~ p , w h e r e p i s a p r i m i t i v e p r o p o s i t i o n ,

i f f 7 r ( s, p ) = t r u e ;


12/38

50 R. FAGIN AN D J.Y. H ALP ERNM ,s ~ v - 9 i f fM , s ~ F ~ i f fM , s ~ - 9 i f fIFM , S ~ T 9~ A g eM,s ~ ~ q~, A ~2m , s ~ 91 A 92

qtM , S ~ T B i 9 i ffM ,s ~ FBi~ i f fM,s ~ B~9 i f f

M ,s ~ T L i9 i f f

M , , 9 ,M , s ~ 9 ; aFi f f M ,s ~ T q h an d M ,s ~ T 92 ,

i f f M ,s ~ ~v qh o r M ,s ~ ~ q~2 ,i f f M,s ~ 9~ a n d M ,s ~ q)2 ;

M ,t ~,~n,~,(s) q~ fo r al l t suc h th a t (s, t ) E ~ ,M,t ~fn,~(.~)q~ f o r s o m e t s u c h th a t ( s, t ) E N i ,M ,s ~ B~9, w h er e is t h e s e t o f a l l p r i m i t i v e

p r o p o s i t i o n s ;M , t ~ T ~ f o r a l l t s u ch t h a t ( s , t ) E ~ i ,M , s ~ v L , q ~ i f f M , t ~ v g f o r s o m e t s u c h t ha t ( s , t ) E N , ,M , s ~ L ~ 9 i f f M , t ~ g f o r a l l t s u c h t h a t ( s , t ) E N i .

A g a i n , w e s ay t h a t 9 i s v a l i d if M,s ~ q~f o r a l l s t r u c t u r e s M an d a ll s t a t e s s in M .W e n o t e a n u m b e r o f p r o p e r t i e s o f t h is d e f in i t io n .

Propos i t ion 4 .1 .(1) ~ is complete , i . e ., for e ach M ,s ,9 , e ither M ,s ~ ~ or M ,s ~ ~ 9 .lit(2) (a) I f ~ C_ ~ ' and i f M ,s ~ x q~, then M ,s ~T ' 9 .(b ) If ~ C ~ ' an d i f M ,s ~ ~v" 9, then M ,s ~ ~' 9. q~(3) (a) For each set ~ o f primitive proposit ions, i f M,s ~ x 9 then M,s ~ 9.(b ) For each set ~ o f primitive proposit ions, i f M ,s ~ ~ 9 then M ,s ~ ~ 9 .( 4 ) B , 9 t 9 .

P r o o f . P a r t ( 1 ) i s i m m e d i a t e f r o m t h e d e f i n i ti o n s in c e M , s ~ 9 i f f M,s ~ 9 .T h e p r o o f f o r p a r t s ( 2 ) a n d ( 3 ) p r o c e e d s b y a s t ra i g h t f o r w a r d i n d u c t i o n o n th es t r u c t u r e o f 9 . P a r t ( 4 ) f o l l o w s ea s i l y f r o m 3 (a ) . [ ]

Th u s w e s ee t h a t , j u s t a s in Le v e s q u e ' s l o g i c , ex p l i c i t b e l i e f i mp l i e s i mp l i c itb e li ef . A s w e m e n t i o n e d a b o v e , o u r l og ic s h ar e s a n u m b e r o f o t h e r p r o p e r t ie sw i t h L e v e s q u e ' s . A s b e f o r e , a g e n t i i m p l i c it ly b e l ie v e s a l l v a l id f o r m u l a s a n d a llt h e l o g i ca l co n s eq u en ces o f h i s b e l i e f s . N o t a l l v a l i d f o r mu l a s a r e n eces s a r i l yex p l i c i t l y b e l i ev ed ; i n p a r t i cu l a r , - B i ( p v - p ) i s s t i l l sa t i s f i ab l e . Nei ther a rea n a g e n t ' s e x p l i c i t b e l i e f s c l o s e d u n d e r v a l i d i m p l i c a t i o n s ; f o r e x a m p l e ,Bip A --B~(p A ( q V - - q ) ) i s s a t is f i ab le . I n d ee d , a l l o f t h e ax i o m s o f Le v es -q u e ' s l o g i c a r e s ti ll s o u n d i n o u r s y s t e m . ( A c o m p l e t e a x i o m a t i z a t i o n f o r o u rs y s t em i s p r e s e n t e d in S e c t io n 8 .) H o w e v e r , b e c a u s e w e d o n o t h a v e i n c o h e r e n ts i t u a ti o n s , o u r n o t i o n o f e x p li c it b e l ie f d i f fe r s f r o m L e v e s q u e ' s i n t h a t ( a) f o r


13/38

BELIEF, AWARENESS, AND LIMITED REASON ING 51

u s , a n a g e n t ' s s e t o f e x p l i c i t b e l i e f s i s c l o s e d u n d e r i m p l i c a t i o n , a n d ( b ) i n o u rs y s t e m , a n a g e n t c a n n o t h o l d i n c o n s i s t e n t b e l i e f s ; t h u s , a f o r m u l a s u c h a sB i( p ^ - p ) i s n o t s a t i s f i a b l e .U n l i k e L e v e s q u e ' s l o g i c , o u r l o g i c a l l o w s n e s t e d b e l i e f s . A s e x p e c t e d ,( n e s t e d ) i m p l i c it b e l i e fs s a ti s f y a ll t h e a x i o m s o f w e a k $ 5 d e s c r i b e d i n S e c t i o n2 . W e a l s o h a v e ~ (BiLiq~ ~ BiqQ , s o t h a t a g e n t i e x p l i c i t l y b e l i e v e s t h a t h ei m p l i c i t l y b e l i e v e s ~0 e x a c t l y i f h e e x p l i c i t l y b e l i e v e s q~. T h u s , o u r s e m a n t i c se x t e n d s t o n e s t e d f o r m u l a s i n a r e a s o n a b l e w a y .

T h e c a r e f u l r e a d e r w i ll h a v e a l s o n o t i c e d o n e m o r e d i f f e r e n c e b e t w e e n o u rl og i c a n d L e v e s q u e ' s : n a m e l y , t h e t r e a t m e n t o f ~ v* f o r fo r m u l a s o f t h e f o r mBgq~ a n d L ~ 0 . F o r L e v e s q u e , M,s ~v B~o i f f M ,s ~ Bq~, s o t h a t a s i t u a t i o ns u p p o r t s t h e f a ls i ty o f e x p l i c it b e l i e f e x a c t l y if i t d o e s n o t s u p p o r t i t s t r u t h . F o r,/.,u s , M , s ~ v B ~ i f f M ,t I = ~ n ~ ( ~ ) q ~ f o r s o m e t s u c h t h a t ( s , t ) E ~ . T h u s , f o r u s ,a s i t u a t i o n s u p p o r t s t h e f a l s it y o f Bi~ i f f t h e r e is a s i tu a t i o n t h a t a g e n t i b e l ie v e sp o s s i b l e t h a t s u p p o r t s t h e f a l s i ty o f ~ . E s s e n t i a l l y t h is m e a n s t h a t t h e a g e n t h a st o h a v e p o s i t i v e e v i d e n c e s u p p o r t i n g t h e f a l si ty o f B i ~ , r a t h e r t h a n j u s t n oe v i d e n c e t o s u p p o r t t h e t r u t h o f B ~ . I t t u r n s o u t t h a t th i s c h a n g e h a s n o e f f e c to n t h e v a l i d d e p t h - o n e f o r m u l a s ( w h i c h i s w h y w e d i d n o t m e n t i o n i t a b o v e ) ,b u t d o e s a f f e c t n e s t e d f o r m u l a s . I f w e h a d e x t e n d e d L e v e s q u e ' s s e m a n t i c s f o rM ,s hE B~ i n t h e o b v i o u s w a y , t h e n i t w o u l d t u r n o u t t h a t a f o r m u l a s u c h a sB i ( B j p v ~ B j p ) w o u l d b e v a l i d . O u r f o r m u l a t i o n a l l o w s a f o r m u l a s u c h a s- - B i ( B j p v - B j p ) t o b e s a t is f i ab l e ( f o r e x a m p l e , i f i is n o t a w a r e o f p ) .H o w e v e r , s i n c e it is n o t p o s s i b l e f o r a s i t u a t i o n t o s u p p o r t t h e f a l s it y o f p v ~ pi n o u r f o r m u l a t i o n ( a l t h o u g h i t can f a i l t o s u p p o r t i t s t r u t h ) , i t m u s t b e t h e c a s et h a t f o r a ll se t s q t o f p r i m i t i v e p r o p o s i t i o n s , M , s ~ ' ~ B ~ ( p v - - p ) . T h u s i tf o l l o w s t h a t ~ B j - - B ~ ( p v ~ p ) i s a v a l i d f o r m u l a i n o u r l o g i c o f a w a r e n e s s .I n t u i t i v e l y , t h i s s a y s t h a t n o a g e n t c a n h a v e p o s i t i v e e v i d e n c e t h a t a n a g e n t i sn o t a w a r e o f p . W h i l e c e r ta i n l y t hi s m a y b e a n u n r e a s o n a b l e p r o p e r t y f o r s o m ea p p l i c a ti o n s , i t m i g h t b e q u i t e r e a s o n a b l e f o r o t h e r s . W e r e m a r k t h a t t h e l o g ico f g e n e r a l a w a r e n e s s p r e s e n t e d i n t h e n e x t s e c t i o n d o e s n o t h a v e t h is p r o p e r t y . 4

W h a t a b o u t t h e r e l a ti o n s h ip b e t w e e n b e l i e f a n d a w a r e n e s s? S u p p o s e w ea g a i n d e f i n e A i p t o b e a n a b b r e v i a t i o n f o r Bi( p v ~p ) . N o t e t h a t M , s ~ A i pi f f p E ~ / i( s ). A g a i n l e t A ~q~ b e a n a b b r e v i a t i o n f o r t h e c o n j u n c t i o n o f A ~ pt a k e n o v e r a l l t h e p r i m i t i v e p r o p o s i t i o n s p t h a t a p p e a r i n ~0. T h e n i t is e a s y t os e e t h a t t h e a n a l o g u e t o P r o p o s i t i o n 3 .1 h o l d s : i f ~o i s a v a li d p r o p o s i t i o n a lf o r m u l a , t h e n ~ A~q~ ~ B i q ~ . ( T h e p r o o f is s t r a i g h t fo r w a r d . T h e k e y s t e p is t os h o w , b y i n d u c t i o n o n t h e s t r u c t u r e o f ~0, t h a t i f a ll th e p r i m i t i v e p r o p o s i t i o n s i n

4 Lakemey er [24] has recently pre sented ano ther extension to Levesque's logic which deals withnest ed beliefs. He has two types of possibility relations, ~ and 5 , to deal with positive beliefs andnegative beliefs. Lakemeyer' s logic can be extended to deal with multiple agents in such a way that- - B i - - B , ( p v ~ p ) is not valid.


14/38

52 R. FAGIN AND J .Y. HALPERN

t h e p r o p o s i t i o n a l f o r m u l a q~ a p p e a r i n q t, t h e n M , s ~ q~ i f f M , s ~ q~ i f fqtM , s ~ z q~. T h e r e s u l t e a s i l y f o l l o w s . )T h e r e i s a c t u a l l y a m u c h d e e p e r r e l a t io n s h i p b e t w e e n a w a r e n e s s , i m p l i c i tb e l i e f , a n d e x p l i c i t b e li e f . F o r e x a m p l e , i t i s n o t h a r d t o s h o w t h a t

B i( p v q)= - [ ( A i p A L i p ) v ( A M ^ L i q ) v ( A i p A A i q A L i ( p v q ) ) ]a n d t h a t

b BiBjp =~( A i p / x L i ( A j p A L / p ) ) .N o t e t h a t i n b o t h t h e s e c a s e s w e w e r e a b l e t o c a p t u r e e x p l ic i t b e l i e f u s i n g ac o m b i n a t i o n o f i m p l ic i t b e l i e f a n d a w a r e n e s s . T h i s c a n a l w a y s b e d o n e . I n f a c t

w e h a v e :Propos i t ion 4 . 2 . G i v e n a f o r m u l a O , w e c a n e f f e c ti v e ly f i n d a f o r m u l a ~b* s u c ht h a t ~ b = - ~b* a n d B i o c c u r s i n g ,* o n l y i n t h e c o n t e x t B i ( p v - p ) , w h e r e p i s ap r i m i t i v e p r o p o s i t i o n .P r o o f . S e e A p p e n d i x . [ ]

5 . A L o g ic o f G e n e r a l A w a r e n e s sT h e l o g i c d e f i n e d i n t h e p r e v i o u s s e c t i o n l im i t s a w a r e n e s s t o p r im i t i v e p r o p o s i -t io n s . T h i s p r e v e n t s it f r o m c a p t u r i n g g e n e r a l r e s o u r c e - b o u n d e d r e a s o n i n g . W en o w p r e s e n t a l o g i c t h a t g i v e s u s m o r e f i n e - g r a i n e d c o n t r o l o v e r a n a g e n t ' se x p l i c i t b e l i e f . I n p a r t i c u l a r , i n t h i s l o g i c a n a g e n t ' s e x p l i c i t b e l i e f is n o t c l o s e du n d e r i m p l i c a t io n . T h e m a i n f e a t u r e o f t h is l o g ic i s a n ( e s s e n t i a l l y s y n t a c t ic )a w a r e n e s s o p e r a t o r . T h u s , in a d d i t i o n t o t h e m o d a l o p e r a t o r s B i a n d L i o f t h ep r e v i o u s l o g i c , w e a l s o h a v e a m o d a l o p e r a t o r A i f o r e a c h a g e n t i . W e c a n g i v et h e f o r m u l a A i ~ a n u m b e r o f i n t e r p r e t a t io n s : " i is a w a r e o f , ~ ," " i is a b l e t of ig u r e o u t th e t ru t h o f ~ , " o r e v e n ( w h e n r e a s o n i n g a b o u t k n o w l e d g e b a s e s ) " ii s a b l e t o c o m p u t e t h e t r u t h o f ~ w i t h i n t i m e T . "

A K r i p k e s t r u c tu r e f o r g e n e r a l a w a r e n e s s i s a t u p l e M = ( S , 7 r, ~ . . . . . ~ , , ,~ . . . . . ~ n ) , w h e r e , a s b e f o r e , S i s a s e t o f s t a t e s , ~ - (s , ) is a t r u t h a s s i g n m e n tf o r e a c h s t a t e s E S , a n d ' ~ i is a s e r i a l , t r a n s i t i v e , E u c l i d e a n r e l a t i o n o n S f o re a c h a g e n t i . 5 H o w e v e r , w e n o w t a k e ~ i ( s ) t o b e a n a r b i t r a r y s e t o f f o r m u l a s( n o t j u s t p r i m i t i v e f o r m u l a s ) . W e d o n o t ( y e t ) p l a c e a n y r e s tr i c t io n s o n ~ l i ( s ) .

Ag ain, to capture knowledge ra ther than be l ie f, w e would take .~ , to be an equiva lence re la t ionon S .


15/38

BELIEF, AWAR ENESS, AND LIMITED REASONING 53I n p a r t i c u l a r , i t is p o s s i b l e f o r b o t h q~ a n d ~ p t o b e i n ~/~ (s ) ( s o t h a t t h e s e t o ff o r m u l a s a n a g e n t i s a w a r e o f c a n b e i n c o n s i s t e n t ) , f o r o n l y o n e o f ~p a n d ~ p t ob e i n ~ /~ (s ), o r f o r n e i t h e r o n e o f ~p a n d ~ q~ t o b e i n ~ /~ (s ). I t is a l s o p o s s i b l e ,fo r e x am pl e , t h a t q~ ~b i s in sgi(s b ut ~0 q~ i s no t i n ~ /~( s) . T h e fo rm ul as i n~ / i ( s ) a r e t h o s e t h a t t h e a g e n t i s " a w a r e o f , " n o t n e c e s s a r i l y t h o s e h e b e l i e v e s .

W e h a v e n o t y e t d i sc u s se d e x a c t l y w h a t " a w a r e n e s s " r e a ll y is , a n d i n d e e d ,w e d o n o t i n t e n d t o d o s o h e r e a t a l l ! T h e p r e c i s e i n t e r p r e t a t i o n w e g i v e t o t h en o t i o n o f a w a r e n e s s w i ll d e p e n d o n t h e i n t e n d e d a p p l i c a ti o n o f t h e l og i c. B yp l a c i n g v a r i o u s r e s t r i c t i o n s o n t h e a w a r e n e s s f u n c t i o n , w e c a n c a p t u r e an u m b e r o f i n t e r e s t i n g d i s ti n c t n o t i o n s . W e d i sc u ss s o m e i n t e r e s t i n g r e s t ri c t io n sb e l o w .

T h i s lo g i c d o e s n o t h a v e s u p p o r t r e l a t i o n s , j u s t a s t a n d a r d t w o - v a l u e d t r u t hr e l a t i o n ~ , d e f i n e d i n d u c t i v e l y a s f o ll o w s :

M , s ~ t r ue ,M , s ~ p , w h e r e p is a p r i m i t i v e p r o p o s i t i o n , i ff 7 r( s, p ) = t r u e ,M , s ~ - i f f M,s [ ~ ,M , s ~ % ^q~2 i f f M,s ~ q~l a n d M ,s ~ ~p2 ,M , s ~ A i q ~ i f f ~ p E M ~ ( s ) ,M , s ~ L , q ~ i f f M , t ~ q ~ f o r a ll t s u c h t h a t ( s , t ) E ~ i ,M, s ~ B gq~ i f f ~ p ~ / / ( s ) a n d M , t ~ p f o r a l l t s u c h t h a t ( s , t ) E ~ i .N o t e t h a t i n th i s l o g i c , a g e n t i e x p l i c i t ly b e l i e v e s ~ i f f ( 1 ) a g e n t i i m p l i c i t l y

b e l i e v e s q~ ( i . e . , ~p i s t r u e i n a ll t h e w o r l d s h e c o n s i d e r s p o s s i b l e ) a n d ( 2 ) a g e n t iis a w a r e o f q~; t h u s B i ~ -= L iq ~ A i ~ p . Y o u c a n n o t h a v e e x p l i c i t b e l i e f s a b o u tf o r m u l a s y o u a r e n o t a w a r e o f ! I f w e a s s u m e t h a t a g e n t s a r e a w a r e o f al lf o r m u l a s , t h e n e x p l i ci t b e l i e f r e d u c e s t o i m p l ic i t b e l ie f .

I t is e a s y t o s e e t h a t L i a c t s li k e t h e c l a s s ic a l b e l i e f o p e r a t o r . O f c o u r s e , B ~d o e s n o t . J u s t a s f o r o u r p r e v i o u s l o g i c , a g e n t s s ti ll d o n o t e x p l i c i tl y b e l i e v e a l lv a l i d f o r m u l a s ; f o r e x a m p l e , - - B i( p v - - p ) i s s a t i s f i a b l e b e c a u s e t h e a g e n tm i g h t n o t b e a w a r e o f t h e f o r m u l a p v - p . H o w e v e r , u n l ik e th e p r e v i o u s l og ic ,a n a g e n t ' s e x p l i c i t b e l i e fs a r e n o t n e c e s s a r i l y c lo s e d u n d e r i m p l i c a t io n ; B~p ^B ~ ( p : f f q ) ^ - B ~ q is s a ti s f ia b l e , s i n c e i m i g h t n o t b e a w a r e o f q . S i n c ea w a r e n e s s is e s s e n t ia l ly a s y n t a c t ic o p e r a t o r , t h i s a p p r o a c h d o e s s u f f e r f r o m a l lt h e s h o r t c o m i n g s o f t h e s y n t a ct ic a p p r o a c h m e n t i o n e d b y L e v e s q u e [ 2 6]. F o re x a m p l e , t h e r e i s n o r e a s o n t o s u p p o s e t h a t Bi(q~ to)=-Bi(to ^ ~o), s i n c eA ~(q ~ to ) m i g h t h o l d w i t h o u t A ~ ( to ^ q~) h o l d i n g . B u t i n f a c t , p e o p l e d o notn e c e s s a r i l y i d e n t i f y f o r m u l a s s u c h a s t o ^ q~ a n d ~p tO. O r d e r o f p r e s e n t a t i o nd o e s se e m t o m a t te r . A n d a c o m p u t e r p r o g r a m t h at c an d e t e r m i n e w h e t h e rq~ tO f o l l o w s f r o m s o m e i n i ti a l p r e m i s e s i n t i m e r m i g h t n o t b e a b l e t od e t e r m i n e w h e t h e r tO ~p f o l l o w s f r o m t h o s e p r e m i s e s i n ti m e ~-.

U p t o n o w w e h a v e p l a c e d n o r e s t ri c ti o n s o n t h e s e t o f f o r m u l a s t h a t a na g e n t m a y b e a w a r e o f . O n c e w e h a v e a c o n c r e t e i n t e r p r e t a t io n i n m i n d , w e


16/38

5 4 R. FAGIN AND J.Y. HALPERNm a y w e ll w a n t t o a d d s o m e r e s tr i c ti o n s t o t he a w a r e n e s s f u n c t io n t o c a p t u r ec e r t a in p r o p e r t i e s o f " a w a r e n e s s . " B e c a u s e o f t h e c le a n s e p a r a t i o n i n o u rf r a m e w o r k b e t w e e n b e l i e f ( c a p t u r e d b y t h e b in a r y re l a t io n ~ i ) a n d a w a r e n e s s( c a p t u r e d b y t h e s y n t a c t i c f u n c t i o n s M i ), t h is is q u it e e a s y t o d o . S o m e t y p i c a lr e s t r i c t i o n s w e m a y w a n t t o a d d t o ~ /~ i n c l u d e :

( 1 ) I f o r d e r o f p r e s e n t a t i o n o f c o n j u n c t s i s i r r e l e v a n t , w e c o u l d h a v e9~ q ' E ~ / i ( s ) i f f ~b ~ E , ff~( s) . S im i l a r ly , w e co u ld d e c i d e th a t an ag en t i sa w a r e o f a f o r m u l a i f f h e i s a w a r e o f it s n e g a t i o n , s o th a t q ~ E M ~ ( s ) i ff

( 2 ) A w a r e n e s s c o u l d b e c l o s e d u n d e r s u b f o r m u l a s ; i . e . , i f q~ E ~ ff~ (s) a n d ~b i sa s u b f o r m u l a o f ~ , t h e n ~b E ~ /~ (s ). N o t e t h a t t h i s m a k e s s e n s e i f w e a r er e a s o n i n g a b o u t a k n o w l e d g e b a s e t h a t w il l n e v e r c o m p u t e t h e t r u th o f af o r m u l a u n l e ss i t h a s c o m p u t e d t h e t r u t h o f al l i ts s u b f o r m u l a s . B u t i t is a l s oe a s y t o im a g i n e a p r o g r a m t h a t k n o w s t h a t ~0 v - ~ is t r u e w i t h o u t n e e d i n g t oc o m p u t e t h e t r u t h o f q~. P e r h a p s a m o r e r e a s o n a b l e r e s t r i c ti o n i s s i m p l y t ore qu ir e th a t i f ~0 /x ~b E ~ q i(s) th e n b o th ~p, ~b E sC~(s).6

( 3 ) A g e n t i m i g h t o n l y b e a w a r e o f a c e r t a i n s u b s e t o f t h e p r i m i t i v ep r o p o s i t i o n s , s a y qz. I n t h i s c a s e w e c o u l d t a k e ~ /~ (s) t o c o n s i s t o f e x a c t l y t h o s ef o r m u l a s w h i c h o n l y m e n t i o n p r i m i t i v e p r o p o s i t i o n s t h a t a p p e a r i n ~ . T h i s t y p eo f a w a r e n e s s f u n c t i o n g i v e s a lo g ic in s o m e w h a t t h e s a m e s p ir it a s L e v e s q u e ' sl o gi c o r t h e l o gi c o f a w a r e n e s s p r e s e n t e d i n S e c t io n 4 , b u t t h e r e a r e s o m ec r u c i al d i f fe r e n c e s . F o r e x a m p l e , i n t h e a w a r e n e s s l o g ic , t h e f o r m u l aBiq) ~ B i ( ~ V ~ ) i s v a l i d , w h e t h e r o r n o t i i s a w a r e o f ~b; b u t t h is f o r m u l a i s n o tv a l id i n t h e l o g ic w e h a v e j u s t d e s c r i b e d .

( 4 ) W e c a n a l l o w a w a r e n e s s o f a g e n t s a s w e l l a s p r i m i t i v e p r o p o s i t i o n s , s o ,f o r e x a m p l e , a g e n t j m i g h t n o t b e a w a r e o f a n y f o r m u l a t h a t m e n t i o n e d a g e n t i.

( 5 ) A s e l f -r e f l e c ti v e a g e n t w il l b e a w a r e o f w h a t h e i s a w a r e o f . S e m a n t i c a l -l y , t h i s m e a n s t h a t i f ~0 ~ M i ( s ) , t h e n A ~ o E M i ( s ) . T h i s c o r r e s p o n d s t o t h ea x i o m A ~ ~ A i A i #.

( 6 ) S i m i l a r ly , a n a g e n t m i g h t k n o w w h a t f o r m u l a s h e is a w a r e o f . S e m a n t i -c a l ly , t h is m e a n s t h a t i f ( s , t ) E ~ t h e n ~ ( s ) = ~ ( t ) . T h i s c o r r e s p o n d s t o t h ea x i o m s A i ~ ~ L iA ~pa n d - A ~ ~ L ~ - A ~q~. T h i s r e s t r i c t i o n s e e m s p a r t i c u l a r l ya p p r o p r i a t e w h e n a w a r e n e s s is g e n e r a t e d b y a s u b s e t o f p r i m i ti v e p r o p o s i t io n so r a s u b s e t o f a g e n t s , a s d is c u s s e d a b o v e .

( 7 ) T h e e l e m e n t s o f ~ /i (s ) c o u ld b e e x a c t l y t h o s e f o r m u l a s s u c h t h a t a g e n t ic a n d e t e r m i n e in s o m e s p e c if ie d t i m e o r s p a c e b o u n d w h e t h e r o r n o t t h e yf o l lo w f r o m h is i n f o r m a t i o n in s t a te s . ( S e e t h e e x a m p l e a t t h e e n d o f t h iss e c ti o n f o r a w o r k e d - o u t e x a m p l e u s in g t hi s n o t i o n o f a w a r e n e s s . ) T h i s t y p e o f" a w a r e n e s s " s h o u l d e n a b l e u s t o p r o v i d e a n a b s t r a c t m o d e l fo r t h e n o t io n s o f

As was pointed out to us by Peter van Emde Boas, without this latter restriction the"pragmatically paradoxical" formula Bi( p A --B~p) ("agent i believes both that p is true and thathe doesn't believe it") is satisfiable in the logic (at a state s where p A - - B , pE . ~ l , ( s) , bu tp ~ '~ , (s) ) .


17/38

BELIEF, AWARENESS, AND LIMITE D REAS ONI NG 55

p o l y n o m i a l - t i m e k n o w l e d g e u s e d i n [ 3 3 ] . I t m i g h t a l s o p r o v i d e a t o o l f o rf o r m a l i z i n g t h e r e c e n t a d v a n c e s i n c r y p t o g r a p h y t h e o r y . H e r e t h e p r o b l e m is i nm a k i n g s e n s e o u t o f w h a t i t m e a n s t h a t a n a d v e r s a r y d o e s n o t k n o w h o w t or e a d a m e s s a g e w h i c h i s e n c o d e d u s in g a p u b l ic - k e y c r y p t o s y s t e m ( c f.[ 10 , 3 0 , 3 6 ] ) . S u c h a s y s t e m i s c o m p l e t e l y i n s e c u r e f r o m a n i n f o r m a t i o n -t h e o r e t i c p o i n t o f v i ew , b u t i s d e e m e d t o b e d i ff ic u lt t o b r e a k i n a r e a s o n a b l ea m o u n t o f t im e f o r c o m p l e x i t y - th e o r e t i c r e as o n s .

W e n o w t u r n t o e x a m i n i n g t h e p r o p e r t i e s o f b e l i e f i n t hi s l og ic . F ir s t o b s e r v et h a t s i n c e t h e s e m a n t i c s o f i m p l i c i t b e l i e f ( L i ) is id e n t i c a l i n t h e l o g ic o f g e n e r a la w a r e n e s s a n d i n t h e c l a s si c al p o s s i b l e - w o r l d s m o d e l d i s c u s s e d i n S e c t i o n 2 , it isc l e a r t h a t t h e c l a s s i c a l a x i o m s s t i l l h o l d . I n d e e d , u s i n g s t a n d a r d t e c h n i q u e s o fm o d a l l o gi c, i t is e a s y to s h o w t h a t w e c a n o b t a i n a c o m p l e t e a x i o m a t i z a t i o n o ft h e l o g ic o f g e n e r a l a w a r e n e s s s i m p l y b y a d d i n g t h e a x i o m B iq~ -= L ~ ^ A ~q~ t ot h e a x i o m s o f K D 4 5 d i s c u s s e d i n S e c t i o n 2 ( c f . S e c t i o n 8 ) . H o w e v e r , t h e s ea x i o m s d o n o t g i v e u s m u c h i n s ig h t i n t o t h e p r o p e r t i e s o f e x p l ic i t b e l i e f . I n f a c t ,d e s p i t e t h e s y n t a c ti c n a t u r e o f th e a w a r e n e s s o p e r a t o r , e x p li c it b e l i e f r e t a in sm a n y o f th e s a m e p r o p e r t i e s a s im p l i c i t b e l i e f , o n c e w e r e l a t i v iz e t o a w a r e n e s s .F o r e x a m p l e , c o r r e s p o n d i n g t o t h e a x i o m L~q~ L i( q~ ~ $ ) ~ L g t0 w e h a v e :

BF A B i(q~ ~ ~b) A A ~ $ ~ B i $ .T h u s , i f y o u e x p l i c i t l y b e l i e v e q~ a n d q~ ~ ~ , t h e n y o u w i l l e x p l i c i t l y b e l i e v ep r o v i d e d y o u a r e a w a r e o f O . S i m i l a r l y , c o r r e s p o n d i n g t o t h e i n f e r e n c e r u l et h a t l e ts u s i n f e r L i ~ i f w e h a v e a l r e a d y i n f e r r e d q~ w e h a v e :

F r o m ~0 i n f e r A g q~ ~ B i ~ .A g a i n , a n a g e n t m u s t b e a w a r e o f th e r e l e v a n t f o r m u l a b e f o r e h e ex p l ic i tl yb e l i e v e s i t .

F u r t h e r i n si g h t in t o t h e r e l a t io n s h i p b e t w e e n a w a r e n e s s a n d e x p li c it b e l i e f isp r o v i d e d b y c o n s i d e r i n g t h e i n t r o s p e c t i o n a x i o m s L ~ L ~ L ~ o a n d- - L ~ q ~ L i - - L ~ q ~ . H e r e t h e m o s t i n t e r e s t i n g s i t u a ti o n a r i se s i f w e a s s u m e( s , t ) E ~ i m p l ie s M i(s ) = M i ( t ) , s o t h a t a n a g e n t k n o w s w h a t f o r m u l a s h e i sa w a r e o f . I n t h is c a s e , t h e c o r r e s p o n d i n g p r o p e r t i e s o f ex p l ic i t b e l i e f b e c o m e :

Biq9 A A i B i g ~ B i B i ~a n d~ B i t p A A i ( - - B i ~ ) ~ B i ~ B i ~

A g a i n , n o t e t h a t a n a g e n t m u s t b e a w a r e o f t h e r e l e v a n t f o r m u l a b e f o r e h ee x p l i c i tl y b e l i e v e s i t. T h e f ir s t o f t h e s e t w o a x i o m s s h o w s h o w , a s i n t h e q u o t ef r o m d e C h a r d i n , a n a n i m a l m a y k n o w , b u t n o t k n o w t h a t it k n o w s , w h i l e t h es e c o n d i n d i c a t e s h o w a n a g e n t m a y b e " s o d u m b t h a t h e d o e s n ' t e v e n k n o w, ,7t h a t h e d o e s n ' t k n o w ~ .

7 Of course , we can const ruct analogo us axioms even if we do not assume that an agent kn owswhat formulas he is aware of, although they are not quite as elegant (cf. [21]).


18/38


19/38

BELIEF, AW ARENESS, AND LIM ITED REASONING 57W e c l o s e t hi s s e c t io n w i t h a b r i e f e x a m p l e o f a n a p p l i c a t i o n o f t h is m o d e l .

U p t o n ow , w e h a v e t a k e n a n " i n t e r n a l " v i e w o f a w a r e n e s s , k n o w l e d g e , a n db e li e f. T h a t is , w e h a v e s p o k e n o f a n a g e n t k n o w i n g t h e f o r m u l a s h e is a w a r eo f a n d h a v i n g b e l i e f s a b o u t h is b e l ie f s . T h i s c o r r e s p o n d s t o t h e c l a ss i ca l v ie w o fa re f l e c t iv e a g e n t r e a s o n i n g a b o u t h is k n o w l e d g e a n d b e l i e f. R e c e n t l y i t h a sb e e n a r g u e d t h a t a u s e fu l w a y o f a n a l y z in g d i s t r ib u t e d s y s t e m s a n d m a c h i n e s i sb y a s c r i b in g k n o w l e d g e t o th e p r o c e s s e s o r c o m p o n e n t s ( cf . [1 3, 3 7 ]) . T h e i d e ah e r e i s t h a t w e v i e w e a c h p r o c e s s i n t h e s y s t e m a s b e i n g i n s o m e l o c a l s t a te ; t h es y s t e m a s a w h o l e i s i n a g l o b a l s t a t e . L e t u s u s e s ( i ) t o d e n o t e p r o c e s s i ' s l o c a ls t a t e i n g l o b a l s t a t e s . P r o c e s s i i s s a i d t o k n o w ~ i n g l o b a l s t a t e s i f q~ i s t ru e ina l l g l o b a l s t a t e s s ' w h e r e s ( i ) = s ' ( i ) . T h e g l o b a l s t a t e s o f t h e s y s t e m c o r r e s -p o n d t o t h e p o s s i b l e w o r l d s i n a K r i p k e s t r u c t u r e . I f w e d e f i n e ~ i s o t h a t( s , s ' ) E ~ i i f f s ( i ) - - s ' ( i ) , t h e n i t is e a s y t o s e e t h a t t h is d e f i n it i o n m a k e s ~ gi n t o a n e q u i v a l e n c e r e l a t i o n o n t h e g l o b a l s t a t e s . O u r d e f i n i ti o n o f k n o w l e d g ei n d i s t r i b u t e d s y s t e m s t h e n c o r r e s p o n d s p r e c i s e l y t o th e d e f i n it i o n o f k n o w l e d g ei n K r i p k e s t r u c t u r e s . T h u s , t h i s i n f o r m a t i o n - b a s e d n o t i o n s a t i s f i e s a l l t h ea x i o m s o f $ 5 , t h e c l a s s ic a l l o gi c o f k n o w l e d g e .

W e c a n a u g m e n t t h i s p i c t u re w i t h a w a r e n e s s b y a s su m i n g t h a t e a c h p r o c e s s isr u n n i n g s o m e a l g o r i th m t o fi g ur e o u t w h a t i t k n o w s . W e a s s u m e t h a t e a c hp r o c e s s ' l o c a l s t a t e i n c l u d e s s o m e i n f o r m a t i o n ( p e r h a p s e n c o d e d a s a s e t o ff o r m u l a s , a l t h o u g h w e d o n o t n e e d t o a s s u m e th i s) . T h e f o r m u l a s t h a t i i sa w a r e o f in g l o b a l s t a t e s ( i . e . , M i (s ) ) a r e p r e c i s e l y th o s e f o r m u l a s f o r w h i c h ic a n d e t e r m i n e , u s in g it s a l g o r i t h m , w h e t h e r o r n o t t h e y fo l lo w f r o m t h e f a c tt h a t i t s l o c a l s t a t e i s s ( i ) . I n g e n e r a l , i ' s a l g o ri t h m w i ll b e r e s o u r c e b o u n d e d , s ot h a t ~ /~ (s ) w i l l n o t i n c l u d e a l l f o r m u l a s . M i ( s ) c l e a r l y d e p e n d s o n l y o n s ( i ) , s ot h a t i f ( s , t ) E ~ i ( i . e . , s ( i ) = t ( i ) ) , t h e n w e m u s t h a v e ~ g i ( s ) = ~ g i ( t ) . I n t u i t i v e -l y , w e w o u l d n o w l i k e t o s a y t h a t B~q~ i s t r u e i n s t a t e s if t h e a l g o r i t h m t h a tp r o c e s s o r i is r u n n i n g w o u l d s a y t h a t q~ i s t r u e i n s t a t e s . H o w e v e r , f o r t h i si n t e r p r e t a t i o n t o b e a p p r o p r i a t e , w e m u s t a s s u m e t h a t th e a l g o r i th m i s c o r r e c t :i f t h e a l g o r i t h m s a y s t h a t i s t r u e i n g l o b a l s t a t e s , t h e n ~ m u s t b e ac o n s e q u e n c e o f t h e i n f o r m a t i o n c o n t a i n e d in t he l o c al s ta t e s ( i ) , a n d h e n c e t r u eo f a ll g l o b a l s t a t e s w h e r e i h a s t h e s a m e l o c a l s t a t e . I n p a r t i c u l a r , L i(q ~ ) m u s th o ld . N o t e w e d o n o t n e e d t o m a k e a n y f u r t h e r a s s u m p t i o n s o n h o w th ea l g o r i t h m o p e r a t e s . W e c o u l d i m a g i n e t h a t t h e i n f o r m a t i o n i n l o c a l s t a t e s ( i ) ise n c o d e d a s a se t o f f o r m u l a s a n d t h e a l g o r i th m a p p l ie s s o m e d e d u c t i v ep r o c e d u r e t o th e s e f o r m u l a s . A l t e r n a t i v e l y , w e c o u l d i m a g i n e t h a t t h e al -g o r i t h m h a s i n f o r m a t i o n a b o u t t h e s e t o f p o s s i bl e g l o ba l st a t e s a n d d o e s s o m e" s e m a n t i c " r e a s o n i n g a b o u t t h e s e t o f g l o b a l st a t e s t w h e r e s ( i ) = t ( i ) . U s i n gt h is f r a m e w o r k , w e n o w h a v e a w a y o f a s c r i b i n g e x pl ic i t a s w e l l as im p l i c i tk n o w l e d g e t o p r o c e s se s . T h i s m i g h t b e u s e fu l in a n a l yz i n g s y s te m s w h e r e w ew a n t t o v i e w th e a c t i o n s o f p r o c e s s e s a s d e p e n d i n g o n c e r t a i n e x p l ic i t k n o w -l e d g e ( c f. t h e k n o w l e d g e - b a s e d p r o t o c o l s d i s c u s s e d i n [ 12 ] ).


20/38

5 8 R . F A G I N A N D J .Y . H A L P E R N6 . A L o g ic o f L o c a l R e a s o n i n g

A l t h o u g h t h e l o g i c o f g e n e r a l a w a r e n e s s is q u i t e f l e x i b l e , it s ti ll h a s t h ep r o p e r t y t h a t a n a g e n t c a n n o t h o l d i n c o n s i s t e n t b e l i e fs . I n th i s s e c ti o n w ep r e s e n t a l o g ic i n w h i c h a g e n t s c a n h o l d i n c o n s i s t e n t b e l ie f s th a t d o e s n o t m a k eu s e o f in c o h e r e n t s i tu a t io n s .

O u r k e y o b s e r v a t i o n is t h a t o n e r e a s o n t h a t p e o p l e h o l d i n c o n s i s te n t b e l i e f sis t h a t b e l i e f s t e n d t o c o m e i n n o n - i n t e r a c t i n g c l u s t e r s . W e c a n a l m o s t v i e w a na g e n t a s a s o c i e t y o f m i n d s , e a c h w i t h i t s o w n s e t ( o r c lus ter ) o f b e l i e fs , w h i c hm a y c o n t r a d i c t e a c h o t h e r .

T h i s p h e n o m e n o n s e e m s t o o c c u r e v e n i n s c ie n c e . T h e p h y s i c i s t E u g e n eW i g n e r [4 3] n o t e d t h a t t h e t w o g r e a t t h e o r i e s p h y s i c i s t s r e a s o n w i t h a r e th et h e o r y o f q u a n t u m p h e n o m e n a a n d t h e t h e o r y o f r e la t i v i t y . H o w e v e r ( cf . [ 3 5 ,p . 1 6 6 ]) , W i g n e r t h o u g h t t h a t t h e tw o t h e o r i e s m i g h t w e ll b e in c o m p a t i b l e !

I n o u r p r e v i o u s l o g i cs , g i v e n a s t a t e s , w e v i e w e d { t I ( s , t ) ~ ~ i } a s t h e s e t o fs t a t e s t h a t a g e n t i t h o u g h t p o s s i b l e i n s t a t e s. I n o u r n e x t l o g i c , t h e r e is n o tn e c e s s a r i l y o n e s e t o f s t a t e s t h a t a n a g e n t t h i n k s p o s s i b l e , b u t r a t h e r a n u m b e ro f s e t s , e a c h o n e c o r r e s p o n d i n g t o a d i f f e r e n t c l u s t e r o f b e li e f s . A l t e r n a t i v e l y ,a s d i s c u s s e d i n t h e i n t r o d u c t i o n , w e c a n v i e w th e s e s e t s a s r e p r e s e n t i n g t h ew o r l d s t h e a g e n t t h i n k s a r e p o s s i b l e in a g i v e n f r a m e o f m i n d , w h e n h e isf o c u s s i n g o n a c e r t a i n s e t o f is s u e s .

M o r e f o r m a l l y , a K r i p k e s t ru c t u re f o r l o c a l re a s o n i n g i s a t u p l e M - - ( S , ~ -,~ . . . . . cn ) w h e r e S i s a s e t o f s ta te s , z r ( s , . ) i s a t r u t h a s s i g n m e n t t o th ep r i m i t i v e p r o p o s i t i o n s f o r e a c h s t a t e s ~ S a n d Y i ( s) i s a n o n e m p t y s e t o fn o n e m p t y s u b s e t s o f

Belief,Awareness, Limited Reasoning

Documents

Transcript of Belief,Awareness, Limited Reasoning