1-s2.0-S1042814305800172-main

download 1-s2.0-S1042814305800172-main

of 18

Transcript of 1-s2.0-S1042814305800172-main

  • 8/11/2019 1-s2.0-S1042814305800172-main

    1/18

    Knowledge Ac quisition

    (1990) 2 , 241-257

    p h i lo s o p h i c a l b a s is f o r k n o w l e d g e a c q u i s i ti o n

    P. CoMP roNt

    Department of Co mp uter Science, Universi ty o f N ew South Wales, Sydne y, 2033

    Austral ia, and Dep artme nt o f Bioche mistry, St . Vincent s H ospital , Syd ney , 2010

    Australia

    R

    JANSEN

    CS IRO D ivision of In format ion Technology, P O B ox 1599 Macquarie Centre,

    Sydn ey 2113, Austral ia

    (Received 4 October 1989 and accepted in revised for m 12 Jun e 1990)

    K n o w l e d g e a c q u is i ti o n f o r e x p e r t s y s t e m s is a p u r e l y p r a c t ic a l p r o b l e m t o b e s o l v e d

    b y e x p e r im e n t , i n d e p e n d e n t o f p h i lo s o p h y . H o w e v e r t h e e x p e r i m e n t s o n e c h o o s e s to

    c onduc t wi l l be i n f l ue nc e d by one ' s i mpl i c i t o r e xp l i c i t ph i l osophy of knowl e dge ,

    p a r ti c u la r ly i f t h is p h i l o s o p h y i s t a k e n a s a x i o m a t i c r a t h e r t h a n a s a n h y p o t h e s i s . W e

    a r g u e t h a t p r a c t i c a l e x p e r i e n c e o f k n o w l e d g e e n g i n e e r i n g , p a r t i c u l a r l y i n t h e l o n g

    t e r m m a i n t e n a n c e o f e x p e r t s y s t e m s , su g g e s ts t h a t k n o w l e d g e d o e s n o t n e c e s sa r i ly

    h a v e a r i g o ro u s s t r u c t u r e b u i l t u p f r o m p r i m i t iv e c o n c e p t s a n d t h e i r r e l a ti o n s h ip s .

    T h e k n o w l e d g e e n g i n e e r f i n d s t h a t t h e e x p e r t ' s k n o w l e d g e i s n o t s o m u c h r e c a l l e d ,

    b u t t o a g r e a t e r o r le s s e r d e g r e e m a d e u p b y t h e e x p e r t a s t h e o c c a s io n d e m a n d s .

    T h e k n o w l e d g e t h e e x p e r t p r o v i d e s v a r i e s w i t h t h e c o n t e x t a n d g e t s it s v a l id i ty f r o m

    i t s a b i l i t y t o e xp l a i n da t a a nd j us t i fy t he e xpe r t ' s j udge me nt

    in the context.

    W e a r g u e

    t ha t t he phys i c a l symbol hypot he s i s wi t h i t s i mpl i c a t i on t ha t some unde r l y i ng

    k n o w l e d g e s t r u c t u r e c a n b e f o u n d i s a m i s l e a d i n g p h i l o s o p h i c a l u n d e r p i n n i n g f o r

    k n o w l e d g e a c q u i si ti o n a n d r e p r e s e n t a t io n . W e s u g g e s t t h a t t h e i n s i g h t h y p o t h e s i s

    of Lon e rga n (1958) b e t t e r e xp l a i ns t he f l e x ib i li ty a nd re l a t iv i t y o f kno wl e d ge t ha t t he

    k n o w l e d g e e n g i n e e r e x p e r i e n c e s a n d m a y p r o v i d e a m o r e s u i t a b l e p h i l o s o p h i c a l

    e n v i r o n m e n t f o r d e v e l o p i n g k n o w l e d g e a c q u i s i t i o n a n d r e p r e s e n t a t i o n t o o l s . W e

    o u t l in e t h e f e a t u r e s d e s ir a b l e i n t o o ls b a s e d o n t h is p h i l o s o p h y a n d t h e p r o g r e s s w e

    h a v e m a d e t o w a r d s d e v e l o p i n g s u c h t o o ls .

    n t roduc t ion

    W e w i s h t o c o n s i d e r t h e p h i l o s o p h i c a l q u e s t i o n s o f t h e t r u t h v a l u e o f k n o w l e d g e .

    T h i s is n o t a q u e s t i o n r e g a r d i n g t h e t r u t h o f a p a rt i cu l a r p i e c e o f k n o w l e d g e o r a

    q u e s t i o n r e g a rd i n g t h e a b i li ty o f an e x p e r t b u t a q u e s t i o n a b o u t k n o w l e d g e i n

    g e n e r a l. I n w h a t w a y i s k n o w l e d g e r e a ll y a r e p r e s e n t a t io n o f r e al it y h o w g o o d a

    r e p r e s e n t a t io n i s i t h o w g o o d a r e p r e s e n t a t io n c a n i t b e . T h e s e a r e o b v i o u s l y t im e

    h o n o u r e d q u e s t i o n s i n p h i l o s o p h y a n d w e d o n o t p r e s u m e t o s u g g e s t n e w a n s w e r s

    b u t w e d o s u g g e s t t h at a c o n s i d e ra t i o n o f e p i s t e m o l o g y m a y b e i m p o r t an t f o r

    d e v e l o p i n g a p p r o p r i a t e k n o w l e d g e a c q u i s i t io n t o o l s f o r o b v i o u s l y i f y o u a r e tr y in g

    t o a c q u i r e s o m e t h i n g y o u r t h e o r y o n w h a t y o u a r e a c q u i r i n g w i l l i n f l u e n c e y o u r

    m e t h o d s . N o r d o w e s u g g e s t t h a t t h e p r o b l e m s w e w i l l i d e n t i f y a r e u n k n o w n t o t h e

    a r t i f i c i a l i n t e l l i gence communi ty , i n f ac t t he r e a r e many p rac t i c a l a t t emp t s t o dea l

    t Address for reprints: Department of C omputer Scienc e, Sch oo l of Electrical Engineering and

    Computer Science, University of N ew South W ales, Sydney 2033 Australia .

    241

    1042-8143/90/030241 + 18503.00/0 (~ 1990 Academ ic Pre ss Limited

  • 8/11/2019 1-s2.0-S1042814305800172-main

    2/18

    4

    P COMPTON AND R JANSEN

    w i th v a r io u s a s p e c t s o f th e s e p r o b l e m s . W e s u g g e st h o w e v e r a b e t t e r e p i s t e m o l o g y

    m a y a l l o w b e t t e r s o l u t io n s t o b e d e v e l o p e d .

    T h e r e h a s b e e n s o m e c o n s i d er a t io n o f e p i s te m o l o g y in r e c e n t y e a r s b y w o r k e r s

    s u c h a s t h e D r e y f u s b r o t h e r s ( 1 9 88 ) w h o a t t a c k t h e w h o l e a r ti fi ci al i n t e ll i g en c e ( A I )

    v e n t u r e , o r o t h e r s s u c h a s W i n o g r a d a n d F l o r e s ( 1 9 8 7 ) w h o s u g g e s t t h a t A I ' s r e a l

    a c h i e v e m e n t s w i l l b e s o m e w h a t d i f f e r e n t f r o m t h e a c h i e v e m e n t o f m a c h i n e

    in t e ll i gence . Th e l ine o f the D rey fus a t t a ck i s t ha t s i nce a r ti fi c ia l i n t e l li gence m akes

    i n c o r r ec t a s s u m p t i o n s a b o u t t h e n a t u r e o f k n o w l e d g e i t c a n n o t s u c c e e d . O n e

    r e s p o n se o f t h e A I c o m m u n i t y is t h a t s i n ce A I d o e s w o r k a n d w e c a n b u i l d e x p e r t

    s y s t e m s , t h e n t h e p h i l o s o p h y m u s t b e c o r r e c t . O u r a i m h e r e i s t o a v o i d t h i s

    p o l a r iz a t i o n b y f o c u s in g o n a r e p l a c e m e n t o r m o d i f i c a t io n r a t h e r t h a n a r e j e c t i o n o f

    w h a t w e p e r c e i v e a s th e c u r r e n t A I p h i l o s o p h y o f k n o w l e d g e .

    T h e p r e v a i l i n g e p i s t e m o l o g y i s t h e p h y s i c a l s y m b o l h y p o t h e s i s o f N e w e l l a n d

    S i m o n ( 1 9 8 1 ) . E s s e n t i a l l y t h i s h y p o t h e s i s c o n s i d e r s t h a t k n o w l e d g e c o n s i s t s o f

    s y m b o l s o f r e a l it y a n d r e l at i o n s h ip s b e t w e e n t h e s e s y m b o l s a n d t h a t i n t el li g e n c e i s

    t h e a p p r o p r i a t e l o gi c al m a n i p u l a t io n o f th e s y m b o l s a n d t h e i r r e la t i o n s . A l t h o u g h

    N e w e l l a n d S i m o n d e v e l o p e d t h e s e i d e a s i n t h e 1 9 5 0 s a s a b a s i s f o r A I , t h e y h a v e a

    l o n g a n d t i m e h o n o u r e d p h i l o s o p h i c a l a n c e s t r y , t h r o u g h t h e e a r l y W i t t g e n s t e i n ,

    b a c k t h r o u g h D e s c a r t e s t o P l a t o w i t h h i s a r c h e t y p e s .

    A I r e s e a r c h t h e n i s b a s e d o n t h e a s s u m p t i o n t h a t o n e s h o u l d b e a b l e t o o b t a i n i n

    s o m e w a y , f u n d a m e n t a l a t o m s o f k n o w l e d g e a n d t h e l og ic al r el a ti o n sh i p s b e t w e e n

    t h e s e a t o m s , a n d f r o m t h e s e r e - a s s e m b l e k n o w l e d g e ; i t h a s a n e s s e n t i a l l y r e d u c -

    t io n i st s t r a te g y . T h e e x t e n s i o n o f t h e p h y s i c a l s y m b o l h y p o t h e s i s is t h e k n o w l e d g e

    p r i n c i p le ; t h a t i s , th e s u c c e s s o f a n e x p e r t s y s t e m d o e s n o t d e p e n d o n t h e

    s o p h i s ti c a ti o n o f i ts in f e r e n c in g o r r e a s o n i n g s t r a t e g y , b u t o n t h e a m o u n t o f

    i n f o r m a t i o n i t c o n t a i n s o n h o w s y m b o l s a r e i n t e r r e l a t e d ; t h a t i s t h e a m o u n t o f

    k n o w l e d g e i t c o n t a i n s . ( F e i g e n b a u m , 1 9 7 7 ). T h e f u ll e s t e x p r e s s i o n o f t h is i s t h e

    k n o w l e d g e is a ll t h e r e i s h y p o t h e s i s ( L e n a t & F e i g e n b a u m , 1 9 8 8 ); t h a t is , t h e r e

    a r e n o c o n t r o l o r i n f e re n c i n g s t r a te g i e s t h a t c a n n o t t h e m s e l v e s b e c o n t a i n e d i n

    k n o w l e d g e . L e n a t ( 1 9 8 8 ) w o u l d s u g g e s t t h a t t h e C Y C p r o j e c t , a i m e d a t c a p t u r in g

    m u c h o f c o m m o n s e n s e , o r c o n s e n s u s r ea l it y , i n a k n o w l e d g e b a s e i s p r o c e e d i n g

    f a s t e r a n d f a s t e r b e c a u s e a f a ir n u m b e r o f t h e p r i m i t i v e s o u t o f w h i c h m o r e c o m p l e x

    k n o w l e d g e is b u i l t h a v e n o w b e e n c a p t u r e d . L e n a t w o u l d i m p l y t h a t t h e i n c r e as i n g

    s u c c e ss o f t h e C Y C p r o j e c t i s a v e r i fi c a ti o n o f t h e u n d e r l y in g p h i l o s o p h y .

    B e c a u s e t h e p h y s i c a l s y m b o l h y p o t h e s i s w o r k s s o w e l l i t h a s b e c o m e n o t o n e

    p h i l o s o p h y a m o n g s t o t h e r s b u t a n a b s o l u t e v i e w p o i n t f o r A I w o r k e r s . T h u s t h e

    c o n v e n t i o n a l e x p l a n a t i o n o f t h e d i f f ic u l ty i n a c q u i r in g k n o w l e d g e i s t h a t e x p e r t s

    d o n ' t c o m m u n i c a t e t h e u n d e r l y i n g k n o w l e d g e v e r y w e l l ; e . g . a s W a t e r m a n p u t i t :

    t h e p i e c e s o f b a s i c k n o w l e d g e a r e a s s u m e d a n d c o m b i n e d s o q u i c k l y t h a t i t i s

    d i f f icu l t for h im the expert) t o d e s c r i b e t h e p r o c e s s ( W a t e r m a n , 1 9 8 6 ). W i t h t h is

    t y p e o f p e r c e p ti o n , t h e p r o b l e m s i n k n o w l e d g e a c q u i si ti o n b e c o m e , a s w e h a v e s e e n

    o v e r r e c e n t y e a rs : h o w d o w e r e al ly g e t to t h e b o t t o m o f t h e e x p e r t 's k n o w l e d g e a n d

    h o w d o w e r e a l l y g e t d o w n t o t h e b a s i c b i t s a n d t h e i r r e l a t i o n s h i p s , w h i c h c a n t h e n

    b e r e b u i l t i n t o a p o w e r f u l k n o w l e d g e b a s e ? M a n y s o p h i s t i c a t e d t e c h n i q u e s , e . g .

    A Q U I N A S ( B o o s e & B r a d s h a w 19 87 ) ha v e b e e n d e v e l o p e d a n d s o m e o f th e s e ar e

    a v ai la b le c o m m e r c ia l ly e .g . N E X T R A f ro m N e u r o n D a t a ( R a p p a p o r t & G a i n e s ,

    1 98 8) w h i c h f a c il it a te g e t t i n g t o t h e b o t t o m o f k n o w l e d g e , a n d t h e s e h a v e

    c o n t r i b u t e d a n d w i l l c o n t r i b u t e g r e a t l y t o e x p e r t s y s t e m d e v e l o p m e n t .

  • 8/11/2019 1-s2.0-S1042814305800172-main

    3/18

    A PHILOSOPHICAL BASIS FOR KA

    243

    H o w e v e r t h e r e a r e c l e ar l y s o m e p r o b l e m s . S h a w ( 1 9 8 8 ) n o t e s t h a t c o n t r a r y t o t h e

    e x p e c t a t i o n o f a k n o w l e d g e e n g i n e e r , d i f f e r e n t e x p e r t s n o t o n l y t a l k a b o u t a c o m m o n

    t o p i c o f e x p e r t is e i n q u i t e d i f f e r e n t t e r m s , b u t a r e q u i t e h a p p y t o d i s a g r e e o n

    t e r m i n o l o g y , w i t h o u t n e c e s s a r i l y m a k i n g t h i s e x p l i c i t . T h e y u s e t h e s a m e t e r m i n o l -

    o g y in c o n c e p t u a l l y d i f f e re n t w a y s a n d w o u l d a p p e a r t o h a v e d i f f er e n t k n o w l e d g e

    s tr u c tu r e~ . A l t h o u g h t h e s e f i n d in g s c a n o f c o u r s e b e m a d e t o f i t w i t h t h e p h y s i c a l

    s y m b o l h y p o t h e s i s , t h e y a t l e a st r a is e t h e q u e s t i o n o f w h e t h e r t h e r e m a y b e a b e t t e r

    p h i lo s o p h y o f k n o w l e d g e t h a n o n e w h e r e b y k n o w l e d g e i s m a d e u p f r o m s o m e s o r t

    o f a b s o l u t e p r im i t i v e e l e m e n t s . W i t tg e n s t e i n , i n h is l a t e r y e a r s , g a v e u p l o g i c a l

    a t o m i s m p r e c i s e l y b e c a u s e o f t h i s s o r t o f f a i l u r e t o f i n d t h e p r i m i t i v e c o n c e p t s o n

    wh ich know ledge i s bu i l t (Wi t t gen s t e in , 1953 ) .

    A d i f fe r e n t t y p e o f q u e s t i o n i s: w h a t h a p p e n e d t o a ll t h e p r o t o t y p e e x p e r t s y s t e m ?

    C l e a rl y t h e r e h a v e b e e n f a r m o r e s y s te m s p r o t o t y p e d t h a n d e v e l o p e d . T h e p h a s e o f

    p r o t o ty p i n g a n e x p e r t s y s t e m is t h e h o p e f u l p h a s e . Y o u h a v e g o t 9 0 o f t h e

    k n o w l e d g e i n t o t h e s y s t e m , a n d y o u a r e c o n f id e n t t h a t i f o n l y y o u p e r s e v e r e , y o u

    w i l l o v e r c o m e t h e p r o b l e m s a n d t h e s y s t e m ' s k n o w l e d g e w i l l b e c o m e c o m p l e t e .

    G e n e r a l ly t h e r e a r e n o f u r t h e r r e p o r t s b e y o n d t h e p r o t o t y p e s t ag e , b u t w h e r e t h e r e

    a r e , a d i f f er e n t s t o r y e m e r g e s . M c N a m a r a , L e e a n d T e h ( 1 9 8 8) h a v e s t a r t e d a g a i n

    w i t h a n e w d e s i g n t o b u i l d a n e x p e r t s y s t e m w h i c h t h e y w e r e c o n f i d e n t w a s c l o s e t o

    c o m p l e t i o n in 1 9 87 ( L o c k L e e , T e h & C a m p i n i n i , 1 9 8 7 ). A f t e r f o u r y e a r s i n r o u t i n e

    u s e , k n o w l e d g e a d d i t i o n t o X C O N / R 1 s t i l l i n v o l v e d f o u r f u l l t i m e k n o w l e d g e

    e n g i n e e r s , a l t h o u g h t h is w a s a t l e a s t p a r tl y b e c a u s e t h e d o m a i n i t se l f w a s e x p a n d i n g

    w i th n e w c o m p u t e r h a r d w a r e t o b e c o n f ig u r e d (B a c h a n t & M a c D e r m o t t 1 9 84 ).

    M o r e r e ce n tl y a re - im p l e m e n t a ti o n o f X C O N / R 1 h a s b e e n c o m m e n c e d i n a n

    a t t e m p t t o m a k e it m o r e m a i n t a i n a b l e ( S o l o w a y , B a c h a n t & J e n s e n , 1 9 8 7 ).

    G A R V A N - E S 1 h a s d o u b l e d i n s iz e s in c e 1 98 4 w h e n i t w a s p u t i n to r o u t i n e u s e

    a l th o u g h t h e k n o w l e d g e d o m a i n h a s n o t e x p a n d e d a n d t h e sy s t e m w a s 9 6 c o r r e ct

    N

    n

    4 0 -

    3 0 -

    2 0 -

    10-

    K n o w l e d g e b a se g r o w t h

    0 , i | | | i

    6 12 1~8 24 3 36 42 48

    M o n t h s s i n c e ~ rl tr o d u c e d t n t o r o u t i n e u s e

    FIGURE 1. T he growth of GA RV AN- ESI since its introduction into routine use in mid 1984. The Y-axis

    gives the num ber of characters in the rule ba se and is best used to indicate the relative change in size of

    the knowledge base. The data points represe nt some copies of the rule base that were kept. Maintenance

    was carried out more regularly than these data points suggest. The curve was drawn by eye for illustrative

    purposes.

  • 8/11/2019 1-s2.0-S1042814305800172-main

    4/18

    244 P COMPTON AND R JANSEN

    w h e n d e p l o y e d ( F i g u r e 1 ) . ( H o r n , C o m p t o n , L a z a r u s & Q u i n l a n , 1 9 8 5 ; C o m p t o n ,

    H o r n , Q u i n l a n & L a z a r u s , 1 9 8 9 ). W e w i ll a r g u e b e l o w t h a t s u c h p r o b l e m s a r e n o t

    t h e b r i t tl e n e s s , o r u l t i m a t e s t u p i d i ty , o f e x p e r t s y s t e m s b e c a u s e o f t h e i r l a c k o f

    c o m m o n s e n s e ( t h a t L e n a t w o u l d fix w i t h C Y C ) , b u t p r o b l e m s r e l a te d t o w h a t

    k n o w l e d g e i s .

    W e c a n a l s o n o te t h a t t h e a p p a r e n t i n c r e as e d d e p l o y m e n t o f e x p e r t s y s te m s a t

    p r e s e n t i s s o m e w h a t m i s le a d i n g a s a n i n d i c a t o r o f im p r o v e m e n t i n e x p e r t s y s t e m

    b u i ld i n g. T h e r e s e e m s t o b e a f a ir l y m a j o r s h i f t in t h e t y p e o f e x p e r t s y s t e m s b e i n g

    b u i l t . I n t h e p a s t m e d i c a l d i a g n o s i s w a s t h e e x p e r t s y s t e m p a r a d i g m , w h e r e a s n o w

    t h e f o c u s i s o n a r e a s s u c h a s fi n a n c e a n d p r o c e s s c o n t r o l . T h e s e a r e q u i t e d i f f e re n t

    t y p e s o f p r o b l e m s w i t h q u i t e d i ff e r e n t r e q u i r e m e n t s f o r e x p e r t is e . I n m e d i c i n e t h e

    s t ar ti n g p o i n t i s t h a t e a c h i n d i v i d u a l p a t ie n t s h o u l d h a v e t h e v e r y b e s t c a r e a n d

    d i a g no s is a v a i l a b le . I n p r a c t i c e w e t h e n s t e p b a c k f r o m t h is g o a l b e c a u s e o f c o s t ,

    h u m a n f r a il ty , o r g a n i z a ti o n a l p r o b l e m s a n d s o o n . A n e x p e r t s y s t e m i n t h is

    e n v i r o n m e n t m u s t b e t r u l y e x p e r t , t h a t i s i t m u s t m a k e n o m i s t a k e s th a t c o u l d b e

    p i c k e d u p b y a h u m a n . S c h w a r t z , P a t i l a n d S z o l o r i ti s ( 1 98 7 ) o n b e h a l f o f t h e m e d i c a l

    A I c o m m u n i t y h a v e g i v e n u p t h i s g o a l u n t i l l a r g e a d v a n c e s i n t e c h n o l o g y a r e m a d e .

    By con t r a s t , i n a r ea s such a s f i nance i t i s su f f ic i en t t ha t t he e r ro r s an exp e r t sy s t em

    ( o r a n e x p e r t ) m a k e s a r e o u t w e i g h e d b y i t s s u c c e s s e s , a c c o r d i n g t o t h e r e l e v a n t

    p r o f it c r i te r i o n . A n y i m p r o v e m e n t a b o v e t h is m i n i m u m i s p u r e p r o f i t .

    W e w o u l d s u g g e s t t h a t m a t e r i al f o r p h i l o s o p h i c a l r e f l e c ti o n i s l e ss o b v i o u s in t h e s e

    e r r o r t o l e r a n t s y s t e m s t h a n in s y s t e m s w h e r e t o t a l e x p e r t i s e i s d e m a n d e d . W e w i ll

    c o n s i d e r h e r e o n e a t t e m p t t o p e r f e c t a n e x p e r t s y s t e m .

    h e m a i n t e n a n c e e x p e r i e n c e

    G A R V A N - E S 1 i s a s m a l l m e d i c a l e x p e r t s y s t e m w h i c h c o n s i s t s o f 9 6 r u l e s w h i c h

    p r o v i d e s i m p l e r e d u c t i o n o f n u m e r i c a n d s t ri n g d a t a t o c l as s e s a n d 6 5 0 p r o d u c t i o n

    r u l e s ( w i t h o u t d i s j u n c t i o n s ) c o m p r i s i n g t h e k n o w l e d g e ( H o r n e t a L 1985). I ts

    k n o w l e d g e is e n t i r e l y h e u ri s ti c a n d i n c l u d e s n o d e e p k n o w l e d g e o f th e d o m a i n . T h e

    s y s t e m is u s e d t o p r o v i d e c li ni ca l i n t e r p r e t a t io n s o f d a t a f o r r e p o r t s f r o m a

    l a b o r a t o r y w h i c h m e a s u r e s t h y r o i d h o r m o n e l e v e ls . I t is f o r w a r d c h a i n i n g o n l y a s al l

    t h e d a t a i s a v a i l a b l e p r i o r t o r u n n i n g t h e e x p e r t s y s t e m d u r i n g r e p o r t g e n e r a t i o n .

    Th e sys t em i s a heu r i s ti c c la s s i fi c a t ion sys t em (C lancey , 1985) and cho ose s f r om

    b e t w e e n 6 0 d i f f e r e n t i n t e r p r e t a t i o n s a n d p r o v i d e s a b o u t 6 , 0 0 0 i n t e r p r e t a t i o n s p e r

    y e a r . T h e s y s t e m h a s b e e n i n r o u t i n e u s e s i n c e m i d 1 9 8 4 a n d w a s i d e n t i f i e d b y

    B u c h a n a n ( 1 98 6 ) a s o n e o f t h e f ir st f o u r m e d i c a l e x p e r t s y s t e m s t o r e a c h r o u t i n e u s e .

    M o s t i m p o r t a n t l y i t h a s b e e n c o n t i n u o u s l y m a i n t a i n e d s i n c e i t s i n t r o d u c t i o n

    ( C o m p t o n , H o r n , Q u i n l a n & L a z a r us , 1 9 88 ). M a i n t e n a n c e is m a d e p o s s i b le b e c a u s e

    e a c h r e p o r t i s s u e d b y t h e s y s t e m i s c h e c k e d a n d s i g n e d b y a h u m a n e x p e r t o r

    r e f e r r e d t o t h e k n o w l e d g e e n g i n e e r i f t h e c l in i ca l i n t e r p r e t a ti o n i s u n s a t i s fa c t o r y .

    A l t h o u g h 9 6 % p e r c e n t o f th e r e p o r t s w e r e a c c e p t a b l e t o e x p e r ts w h e n t h e s y s t e m

    w a s i n t r o d u c e d i n t o r o u t i n e u s e , t h e k n o w l e d g e b a s e h a s m o r e t h a n d o u b l e d i n s i z e

    o v e r t h e f o u r y e a r s ( F i g u r e 1 ) , w i t h a c c e p t a n c e o f t h e r e p o r t s n o w a p p a r e n t l y 9 9 - 7 %

    ( s e e C o m p t o n e t a l 1989 and C om pto n & J ans en , 1988 fo r t he s i gn i f ic ance o f t h i s

    f igure) .

    C o m p t o n

    e t a l

    ( 1 98 9 ) p r o v i d e a n e x a m p l e o f a n i n d iv i d u a l r u le t h a t h a s i n c r e a s e d

    f o u r f o l d i n s i z e d u r i n g m a i n t e n a n c e a n d t h e r e a r e m a n y e x a m p l e s o f r u l e s s p l i t t i n g

  • 8/11/2019 1-s2.0-S1042814305800172-main

    5/18

    A PHILOSOPHIC AL B ASIS FOR KA

    245

    i n t o t h r e e o r f o u r d i f f e r e n t r u l e s a s t h e s y s t e m k n o w l e d g e w a s r e f i n e d . T h e r e a r e

    a l s o e x a m p l e s , a l b e i t v e r y f e w , o f l a t e r e x p e r t s d e c i d i n g t h a t t h e k n o w l e d g e

    c o n t a i n e d i n s o m e e a r l y r u l e s w a s c o m p l e t e l y s p u r i o u s .

    T h e m o s t i m p o r t a n t r e s o u r c e f o r k n o w l e d g e m a i n t e n a n c e i s a d a t a b a s e o f

    c o r n e r s t o n e c a s e s . T h e s e a r e c a s e s w h i c h a t s o m e s t a g e h a v e r e q u i r e d a c h a n g e i n

    t h e s y s t e m ' s k n o w l e d g e . E v e r y t i m e t h e s y s t e m ' s k n o w J e d g e i s c h a n g e d t h e

    i n t e r p r e t a t i o n s f o r a l l t h e c o r n e r s t o n e c a s e s a r e c h e c k e d t o s e e t h a t t h e a d d i t i o n s t o

    t h e s y s t e m ' s k n o w l e d g e h a v e b e e n i n c r e m e n t a l a n d h a v e n o t c o r r u p t e d t h e

    k n o w l e d g e .

    A b a s ic e x p e r ie n c e o f m a i n ta i n in g G A R V A N - E S 1 , ( a n d a ll k n o w l e d g e e n g in e e r -

    i n g ? ) i s t h a t t h e k n o w l e d g e o n e a c q u i r e s f r o m t h e e x p e r t h a s t o b e e x t e n s i v e l y

    m a n i p u l a t e d s o th a t i t c a n b e a d d e d t o t h e k n o w l e d g e b a s e w i t h o u t c o r r u p t i n g t h e

    k n o w l e d g e a l r e a d y c o n t a i n e d . T h e d i ff ic u lt y o f d o i n g t h is is e x a c e r b a t e d d u r i n g t h e

    m a i n t e n a n c e p h a s e n o t o n l y b e c a u s e t h e k n o w l e d g e b a s e i s b e c o m i n g m o r e

    c o m p l e x , b u t b e c a u s e t h e e x p e r t a n d k n o w l e d g e e n g i n e e r a r e n o l o n g e r c l o s e l y

    f a m i l i a r w i t h t h e k n o w l e d g e c o m m u n i c a t e d d u r i n g t h e p r o t o t y p e p h a s e ; i n f a c t

    d i f f e r e n t e x p e r t s a n d k n o w l e d g e e n g i n e e r s m a y b e i n v o l v e d , a s h a s h a p p e n e d w i t h

    G A R V A N - E S 1 . E x p e r t s w i ll s ti ll u n f a il in g l y g i v e i n t e r p r e t a t i o n s a n d g o o d r e a s o n s

    f o r t h e i n t e r p r e t a ti o n s f o r e v e r y s e t o f d a t a p r e s e n t e d t o t h e m , b u t t h e y a r e n o

    l o n g e r a t a l l f a m i l i a r w i t h t h e k n o w l e d g e s t r u c t u r e t o w h i c h t h i s k n o w l e d g e i s t o b e

    a d d e d . S h a w ( 1 9 8 8 ) i l l u s t r a t e s t h a t e x p e r t s h a v e d i f f e r e n t k n o w l e d g e s t r u c t u r e s

    c o n c e r n i n g t h e s a m e d o m a i n . W e w i l l a r g u e b e l o w t h a t e v e n t h e k n o w l e d g e

    p r o v i d e d b y a s i n g l e e x p e r t c h a n g e s a s t h e c o n t e x t i n w h i c h t h i s k n o w l e d g e i s

    r e q u i r e d c h a n g e s .

    F i g u r e 2 s u m m a r i z e s t h e m a i n t e n a n c e e x p e r i e n c e . T h e e x p e r t p r o v i d e s w h a t

    a p p e a r t o b e v e r y si m p l e c le a r r u le s , h o w e v e r w h e n t h e s e a r e a d d e d t o t h e s y s t e m

    t h e y s u b s u m e a n d c o n f l i c t w i t h p r e e x i s t i n g r u l e s a n d m u s t b e e x t e n s i v e l y m a n i p u -

    xpert system

    E x p e r t k n o w l e d g e

    ~ k kt ~

    F IG U R E 2 T h i s i l l u s tr a t e s t h e l a r g e d i f f e r e n c e b e t w e e n e x p e r t k n o w l e d g e a s e x p r e s s e d b y t h e e x p e r t a n d

    a s c o n t a i n e d i n a n e x p e r t s y s te m T h e d i a g r a m s u g ge s ts h o w r u l e s a s e x p r e ss e d b y e x p e r t s m u s t b e

    m a n i p u l a t e d a n d c h a n g e d t o e n s u r e t h a t t h e y d o n o t o v e r l a p w i t h o t h e r r u l e s T h e p h y s ic a l s y m b o l

    h y p o t h e si s w o ul d h o l d t h a t t h e s t r u c t u r e o n t h e l e f t i s s o m e s o r t o f a m a p o f k n o w l e d g e o f a d o m a i n

  • 8/11/2019 1-s2.0-S1042814305800172-main

    6/18

    246 P COMPTON AND R JANSEN

    l a t e d b e f o r e t h e y c a n b e a d d e d t o t h e k n o w l e d g e b a s e . T h i s i s n o t j u s t a p r o b l e m

    b e c a u s e t h e s t r u c t u r e o f a k n o w l e d g e b a s e i s in f l u e n c e d b y th e i n f e r e n c e s t r a t e g y

    u s e d o n it ( B y l a n d e r & C h a n d r a s e k a r a n , 1 9 8 6 ); t h e p r o b l e m i s i n th e k n o w l e d g e

    p r o v i d e d b y t h e e x p e r ts . F u r t h e r , t h e p r o b l e m c a n n o t b e r e s o l v e d b y t o o l s w h ic h

    c h e c k k n o w l e d g e b a s e s f o r s u b s u m p t i o n e t c . ( S u w a , S c o t t & S h o r t l i f f e , 1 9 8 4 )

    because ru l e s wh ich have no l og i ca l ove r l ap may s t i l l be s a t i s f i ed by a s i ng l e da t a

    prof i le .

    O u r p r e v i o u s s t u d y ( C o m p t o n

    e t a L

    1 9 8 9 ) p r o v i d e s a d e t a i l e d e x a m p l e o f

    m a i n t e n a n c e . T h i s e x a m p l e i l l u s t r a t e d t h a t i n t h e m a i n t e n a n c e p h a s e t h e c o n t e x t

    i n fl u e nc e s th e r u l e s th a t t h e e x p e r t p r o v i d e s , a v e r y n o n c o n t r o v e r s i a l p r o p o s i t i o n .

    F o r e x a m p l e i f a s e t o f d a t a w a s g iv e n i n t e r p r e t a t i o n B b y t h e e x p e r t s y s t e m w h e n i t

    s h o u l d h a v e b e e n g i v e n i n t e r p r e t a t i o n A , t h e n t h e r u l e s t h e e x p e r t p r o v i d e s t o

    c o r r e c t l y r e a c h i n t e r p r e t a t i o n A w i l l d i f f e r f r o m t h o s e w h e n t h e e x p e r t s y s t e m h a d

    g i v en i n t e rp r e t a t i o n C r a t h e r t h a n A . N o o n e w o u l d d i s p u t e t h a t t h i s w i ll o c c u r , t h a t

    t h e c o n t e x t i n w h i c h q u e s t i o n s a r e a s k e d w i l l i n f l u e n c e t h e a n s w e r s . H o w e v e r t h e

    p h y s i c a l s y m b o l h y p o t h e s i s i n f a c t s u g g e s t s t h a t s o m e t h i n g d i f f e r e n t s h o u l d o c c u r ,

    t h a t w e s h o u l d b e a b l e t o o b t a i n f r o m e x p e r t s t h e p r i m i t iv e s a n d s t r u c t u r e o f th e i r

    k n o w l e d g e ; t h a t w e s h o u l d b e a b l e t o o b t a i n a r u l e t o r e a c h c o n c l u s i o n A i n s t e a d o f

    a g r o u p o f m o r e r e l a t i v e ru l e s w h i c h c o n c l u d e A r a t h e r t h a n B , a n d A r a t h e r t h a n C

    e t c . T h e p h y s i c a l s y m b o l h y p o t h e s i s s u g g e s ts t h a t t h e r e s h o u l d b e u n d e r l y i n g r u le s

    t h a t p r o v i d e a m o r e a b s o l u t e f o u n d a t i o n f o r t h e k n o w l e d g e , r u l e s t o r e a c h A r a t h e r

    t h a n n o t A , i . e . c o n t e x t f r e e r u l e s . I t h a s b e e n h a r d e r t h a n e x p e c t e d t o f i n d s u c h

    f o u n d a t i o n s , h e n c e t h e n e w k n o w l e d g e a c q u i s i t i o n t o o l s ( N E X T R A e t c . ) a i m e d

    p r e c i se l y a t b r o a d e n i n g t h e c o n t e x t t o e n a b l e t h e e x p e r t t o s e e a ll t h e b i ts a n d p i e c e s

    o f k n o w l e d g e t h e y p r o v i d e , s o th a t t h e s t r u c t u r e c a n b e f o u n d . T h e s e d o w o r k ,

    s t r u c t u r e s c a n b e f o u n d , b u t t h e y a p p e a r t o d i f f e r f r o m e x p e r t t o e x p e r t ( S h a w

    1988).

    T h e e x p e r i e n c e w i t h G A R V A N - E S 1 s u g g e st s , r a t h e r t h a n a r ri v in g a t th e u l t im a t e

    s t r u c t u r e , t h e k n o w l e d g e a c q u i s i t i o n p r o c e s s g o e s o n a n d o n , a l b e i t m o r e s l o w l y ;

    e v e n t h e r u l e c h a n g e s i n t r o d u c e d d u r i n g t h e m a i n t e n a n c e e x a m p l e a l l u d e d t o a b o v e

    a n d d e s c r i b e d p r e v i o u s l y ( C o m p t o n e t a l 1 9 8 9 ) h a v e r e q u i r e d f u r t h e r c h a n g e s

    i n t r o d u c e d d u r i n g t h e w r i ti n g o f t h is m a n u s c r i p t . T h e r u l e b a s e h a s d o u b l e d i n s iz e

    i n t ry i n g t o g o f r o m a n a c c u r a c y o f 9 6 t o a n a c c u r a c y o f 9 9 . 7 ( p r o b a b l y n o t a s

    h i g h a s t h i s i n f a c t , C o m p t o n e t a l 1 9 8 9 ) . W h e n o n e e x a m i n e s t h e c o m p o s i t i o n o f

    G A R V A N - E S I ' s d a t a b a s e o f c o r n e r s t o n e c a s e s, a s a r e co r d o f t h e g r o w t h o f t h e

    s y s t e m , o n e f i n d s t h a t r u l e s f o r e v e n t h e s i m p l e s t a n d m o s t c l e a r i n t e r p r e t a t i o n s a r e

    n o t f u l ly c o r r e c t w h e n t h e y w e r e f ir st e n t e r e d , a n d i t w a s n e c e s s a r y f o r t h e r u l es t o

    m i s i n t e r p re t c a s e s a n d f ai l t o i n t e r p r e t c a s e s m a n y t i m e s b e f o r e t h e y b e c a m e r e l ia b l e

    ( C o m p t o n e t a l 1 9 8 9 ) . E x p e r t s h o w e v e r h a v e l i t t l e t r o u b l e i n i n t e r p r e t i n g t h e s e

    c a s e s a n d p r o v i d i n g n e w r u l e s ; w h i c h t h e y w i l l t h e n e n d l e s s l y c h a n g e w h e n p r o v i d e d

    w i t h o t h e r c a s e s. I t s h o u l d b e n o t e d t h a t t h e d o m a i n o f i n t e r p r e t a t i o n o f th y r o i d

    r e p o r t s i s a s i m p l e d o m a i n i n m e d i c i n e w h e r e y o u w o u l d e x p e c t i t t o b e e a s y t o g e t

    c o m p l e t e k n o w l e d g e .

    philosophy of knowledge

    T h i s m a i n t e n a n c e e x p e r i e n c e s u g g e s t s t h a t k n o w l e d g e i s n o t s o m e t i m e s , b u t a l w a y s

    g i v e n i n c o n t e x t a n d s o c a n o n l y b e r e l i e d o n t o b e t r u e i n t h a t c o n t e x t . T h e b e s t

  • 8/11/2019 1-s2.0-S1042814305800172-main

    7/18

    PHILOSOPHIC L B SIS FOR K 247

    p h i lo s o p h i c al f o u n d a t i o n f o r th i s s e e m s t o b e t h e p h i l o s o p h y o f K a r l P o p p e r . P o p p e r

    ( 1 9 6 3 ) s u g g e s t s t h a t w e c a n n e v e r p r o v e a h y p o t h e s i s , w e c a n o n l y d i s p r o v e

    h y p o t h e s e s . O b v i o u s l y w e c a n n o t d i s p r o v e a ll a l t e r n a t e h y p o t h e s e s , w e m a y n o t

    e v e n b e a b l e t o fo r m u l a t e a l l t h e a l t e r n a t iv e s . W h a t w e c a n o n l y d o i s t o d i s p r o v e

    t h e l i m i t e d n u m b e r o f

    l i k e l y

    a l t e rna t i ve s . We sugges t t ha t t h i s exp l a in s t he

    p h e n o m e n o n i n k n o w l e d g e a c q u is i ti o n t h a t k n o w l e d g e , t h e r u l e s fo r r ea c h in g s o m e

    c o n c l u s i o n , a l w a y s s e e m t o b e c o n t e x t d e p e n d e n t . W h a t t h e e x p e r t i s d o i n g i s

    i d e n t i f y i n g f e a t u r e s i n t h e d a t a t h a t e n a b l e o n e t o c o n c l u d e t h a t a c e r t a i n

    in t e rp r e t a t i on / s

    p r e f e r a b l e t o t h e s m a l l s e t o f o t h e r l i k e l y i n t e r p r e t a t i o n s

    a n d o f

    c o u r s e t h e l i k e ly a lt e r n a ti v e s d e p e n d o n t h e c o n t e x t . T h i s i s q u i t e d i f f e r e n t f r o m

    r e p o r t in g o n h o w o n e r e a c h e d a g iv e c o n c l u s i o n . T h e s e a r e n o t n o v e l s u g g e s t io n s . I t

    is w e ll e s ta b l i s h e d i n m e d i c i n e f o r e x a m p l e , t h a t c li n ic i an s u s e h y p o t h e t i c o - d e d u c t i v e

    m e t h o d s , t h a t t h e y a t t e m p t t o d i s t in g u i sh b e t w e e n a s m a l l s e t o f h y p o t h e s e s ( G r i n e r ,

    M a y e w i s k i , M u s h l i n & G r e e n l a n d , 1 9 8 1) . I n e a r l ie r s t u d i e s w e h a v e s u g g e s t e d t h a t it

    i s p r e c i s e l y t h e h y p o t h e t i c o - d e d u c t i v e a p p r o a c h w h i c h a l l o w s c l i n i c i a n s t o d e a l w i t h

    t h e e r r o r s t h a t o c c u r in la b o r a t o r y d a t a . ( C o m p t o n , S t u a r t & L a z a r u s , 1 9 8 6) .

    W e w o u l d s u g g e s t t h a t t h e k n o w l e d g e t h a t e x p e r t s p r o v i d e i s e s s e n t i a l l y a

    j u s ti f ic a t i o n o f w h y t h e y a r e r i g ht n o t t h e r e a s o n s w h y t h e y r e a c h e d t h i s r i g h t

    c o n c lu s io n .

    T h i s p h e n o m e n o n i s f a m i l ia r a l s o i n a r g u m e n t s . A r g u m e n t s a r e a l w a y s

    a b o u t s h o w i n g h o w w e a r e c o r r e c t i n t e r m s t h a t w i l l c o n v i n c e t h e o t h e r p e r s o n . N o

    o n e i s e v e r w r o n g b u t t h e c o n t e x t i n w h i c h o n e i s r ig h t c h a n g e s d u r i n g t h e a r g u m e n t

    S i m i l a r l y w h e n a n e x p e r t i s e x p l a i n i n g s o m e t h i n g , h i s / h e r e x p l a n a t i o n v a r i e s

    d e p e n d i n g o n w h e t h e r h e / s h e i s e x p l ai n in g i t to a l a y p e r s o n , a n o v i c e o r a p e e r . I f

    t h e e x p e r t w a s e x p la i n in g , g i v in g t h e " r e a l " r e a s o n s , r a t h e r t h a n j u s ti f y in g , t h e y

    w o u l d p r o v i d e th e m o s t d e ta i l t o t h e l a y p e rs o n , w h o k n o w s n o t h i n g a b o u t t h e a r e a

    a n d t h e l e a s t t o a p e e r , w h o k n o w s a l o t a b o u t t h e a r e a . I n f a c t t h e r e v e r s e h a p p e n s ,

    t h e l a y p e r s o n g e t s t h e m o s t s u p e r f i c i a l e x p l a n a t i o n , b e c a u s e g e n e r a l l y i t r e q u i r e s

    v e r y l i t t l e t o j u s t i f y t h a t t h e e x p e r t ' s h y p o t h e s i s i s b e t t e r t h a n t h e n a i v e h y p o t h e s e s

    o f t h e l a y p e r s o n , w h i l e t h e f e l l o w e x p e r t , p r e c i s e l y b e c a u s e h e i s a n e x p e r t , w i ll

    r e q u i r e m o r e r i g o r i n t h e j u s t if i c at i o n . I t h a s b e e n e a s y t o w i t n e s s th i s p h e n o m e n o n

    w i th G A R V A N - E S 1 . I f t h e k n o w l e d g e e n g i n e e r t a k e s a d i ff ic u lt c a s e to t w o e x p e r t s

    i ndependen t l y , he w i l l ge t two f a i r l y s imp le , bu t some t imes s l i gh t l y d i f f e r en t r u l e s ,

    a l th o u g h e a c h w i ll a p p a r e n t l y p e r f o r m e q u a l l y w e l l i n t h e e x p e r t s y s t e m . I f t h e

    k n o w l e d g e e n g i n e e r t h e n b r i n g s t h e e x p e r t s t o g e t h e r a n d a s k s w h i c h r u l e i s r i g h t , a

    v e r y c o m p l e x d i c u s s i o n i s l i a b l e t o e n s u e , a s t h e e x p e r t s ( p o l i t e l y ) a t t e m p t t o p r o v e

    t o e a c h o t h e r t h a t t h e i r r u le i s b e t t e r , n o r m a l l y r e s o lv i n g t h e q u e s t i o n , b y a g r e e i n g

    t h a t t h e i r r u l e s a p p l y i n d i f f e r e n t c o n t e x t s a n d a r e c o m p l e m e n t a r y .

    I t s e e m s t o u s t h a t t h e p r o p o s i t i o n t h a t t h e k n o w l e d g e w e c o m m u n i c a t e i s a

    j u s t i f i c a t i o n i n a c o n t e x t , n o t h o w w e r e a c h e d o u r c o n c l u s i o n , i s u n i v e r s a l l y t r u e o f

    a ll kno wle dge . P op pe r , a l t ho ugh h i s i dea s a r e ma in ly app l i ed t o s c i en t i fi c know l -

    e d g e , a p p l ie d t h e m t o a ll k n o w l e d g e ( P o p p e r , 1 9 6 3) . A b a b y m a k e s h y p o t h e s e s

    a b o u t t h e w o r l d , w h i c h a r e t h e n t e s t e d a g a i n s t e x p e r i e n c e a n d n e w h y p o t h e s e s

    c o n s t r u c t e d , o r t h e o l d o n e s m o d i f i e d , i f t h e h y p o t h e s e s a r e s e e n t o f a il . T h i s w o u l d

    s e e m t o f i t c l o s e l y w i t h P i a g e t ' s o b s e r v a t i o n s o f d e v e l o p m e n t i n e a r l y c h i l d h o o d .

    ( P i a g e t, 1 9 2 9) . T h e r e h a v e o f c o u r s e b e e n a d d i t i o n s t o P o p p e r ' s f a ls i fi c at io n

    h y p o t h e s i s . K u h n h a s d r a w n a t t e n t i o n t o p a r a d i g m s h i f t s i n s c i e n c e , w h e r e

    i n v e st ig a t io n s h i f ts t o n e w t y p e s o f h y p o t h e s e s f o r o t h e r r e a s o n s t h a n t h e f a ls if ic a ti o n

  • 8/11/2019 1-s2.0-S1042814305800172-main

    8/18

    48 P COMPTON AND R JANSEN

    o f e a rl i e r h y p o t h e s e s ( K u h n , 1 9 6 2) . L a k a t o s ( 1 9 7 8) p o i n t s o u t h o w f a ls if ic a ti o n o f

    h y p o t h e s e s m a y r e s u l t i n r i d er s b e i n g a d d e d t o a l l o w t h e m a j o r h y p o t h e s i s t o

    c o n t in u e , a l th o u g h i t b e c o m e s v e r y u n w i e ld y . A n e x a m p l e w o u l d b e P t o l e m y s

    a d d i t io n o f e p i c y c le s , w h e n i t w a s f o u n d t h a t p l a n e t a r y o r b i t s w e r e n o t c i rc u l a r, i n

    o r d e r t o m a i n t a in t h e p r i m a c y o f ci rc u la r m o t i o n . T h e s e d e v e l o p m e n t s d o n o t

    d i s a g re e w i th t h e e s s e n t ia l p r o p o s i t i o n o f i n t e r e s t h e r e , t h a t t h e k n o w l e d g e w e

    c o m m u n i c a t e t o e a c h o t h e r i s a j u s ti f ic a t io n o f a j u d g e m e n t e x p r e s s e d i n a s pe c if ic

    c o n t e x t . T h e y w i ll b e c o n s i d e r e d b r i e fl y la t e r .

    T h i s v i e w p o i n t h a s a n u m b e r o f c o n s e q u e n c e s . I f a ll k n o w l e d g e i s o n l y t r u e i n a

    c o n t e x t , t h e n a l l k n o w l e d g e i s r e l a t iv e , i t o n l y e x i s ts i n r e la t i o n t o o t h e r k n o w l e d g e ,

    t h e r e i s n o a b s o l u t e u n d e r l y i n g k n o w l e d g e o n w h i c h t h e r e s t o f k n o w l e d g e i s b u i l t .

    W e c a n n o t e t h a t A I d o e s a t t e m p t t o d e a l w i t h t h e p r o b l e m s t h a t f l o w f r o m t h i s. F o r

    e x a m p l e , c i rc u m s c r i p t i o n ( M c C a r t h y , 1 98 0) i s a n a t t e m p t t o d e a l w i t h t h e e x c e p t i o n s

    t o c o m m o n s e n s e b e l i e f s , t h a t a l w a y s o c c u r ; b u t t h e y a r e s e e n a s o n l y e x c e p t i o n s ,

    r a t h e r t h a n a s in d i c a t o r s o f t h e f u n d a m e n t a l r e l a ti v i ty o f al l k n o w l e d g e .

    H o w t h e n c a n k n o w l e d g e b e i n a n y s e n s e t r u e , o u r o r i g i n a l q u e s t i o n ? B e f o r e

    a t t e m p t i n g t o a n s w e r t h i s w e m u s t c o n s i d e r t h e m o s t c o m m o n r e s p o n s e t o s u c h

    s u g g e s t i o n s ; t h a t i s , t h a t u n d e r l y i n g p r i m i t i v e k n o w l e d g e i s m a d e u p f r o m s e n s e

    d a t a . O n t h e c o n t r a r y , i t i s c l e a r t h a t w h a t w e p e r c e i v e d e p e n d s o n t h e c o n t e x t i n

    w h i c h t h e p e r c e p t i o n t a k e s p l a c e . T h e r e a r e w e l l k n o w n e x a m p l e s s u c h a s w h e n o n e

    w e a r s g l a s s e s w h i c h i n v e r t t h e v i e w s e e n . A f t e r a w h i l e t h e i n v e r s i o n i s c o r r e c t e d

    a n d t h e w o r I d is s e e n t h e r ig h t w a y u p ( S t r a t t o n , 1 8 9 7 ). A s m a l l m o d e l o f a d i s t o r t e d

    t r a p e z o i d a l s h a p e d r o o m c a n b e b u i l t , b u t w i t h v ie w i n g a p e r t u r e s w i t h t h e

    a p p r o p r i at e e y e p i e c e s so th a t t h e r o o m a p p e a r s o f a p p r o p r i a t e p r o p o r t i o n s w h e n

    v i e w e d t h r o u g h t h e e y e p i e c e s ; th e m o d e l t a b l e , w i n d o w s d o o r s e t c . a ll h a v e t h e i r

    d i s t o rt i o n c o r r e c t e d . I f o n e is a s k e d t o t o u c h v a r i o u s p a r t s o f t h e m o d e l w i t h a s ti c k

    p o k e d i n f r o m a b o v e , i t is d i ff ic u lt b e c a u s e o n e h a s a m i s le a d i n g v i e w o f t h e r o o m . I f

    o n e p e r s e v e r e s a n d l e a r n s t o t o u c h t h e d i f f e r e n t o b j e c t s e a si l y , t h e t r u e d i s t o r t e d

    s h a p e o f t h e r o o m is

    seen

    a l t hough one i s s t i l l l ook ing t h rough t he co r r ec t i ng

    e y e p i e c e . ( A m e s , 1 9 51 , d e s c r ib e d b y B a t e s o n , 1 97 9) C l e a r ly o n e s e x p e c t a t i o n

    d e t e r m i n e s w h a t o n e s e e s , i . e . o n e s i n t e l le c t u a l c o n t e x t d e t e r m i n e s t h e s o - c a l le d

    p r i m e d a t a o f s e n s e . T h e o g i c o f P e r c e p t io n b y R o c k ( 1 9 8 3 ) i s e n t i r e l y d e v o t e d t o

    d e m o n s t r a t in g i n a f o r m a l w a y t h a t t h e m i n d d e t e r m i n e s w h a t o n e i s a b l e t o

    p e r c e i v e . C o l o u r p e r c e p t i o n p r o v i d e s a n o t h e r i n t e r e st i n g e x a m p l e o f t h e s a m e

    p h e n o m e n o n . T h e r e a r e a n u m b e r o f t ri b a l g r o u p s t h r o u g h o u t t h e w o r l d w h o

    p e r c e i v e f e w e r c o l o u r s t h a n W e s t e r n m a n ( T r e i t e l, 1 9 8 4) . T h i s is n o t d u e t o a n y

    i m p a i r m e n t o f v is u a l a p p a r a t u s ; T a y l o r ( 1 9 8 4 ) r e c o r d s h o w a s a c h e m i s t r y t e a c h e r i n

    N i g e r ia , h e f o u n d i t v e r y d if fi cu lt t o t e a c h t h e u s e o f l i tm u s p a p e r , b e c a u s e s t u d e n t s

    s a w r e d a n d b l u e l i t m u s p a p e r a s t h e s a m e c o l o u r s . H o w e v e r a f t e r m u c h p r a c t i s e ,

    t h e y w e r e a b l e t o d i s ti n gu i sh t h e t w o , t h a t i s t h e y w e r e a b l e t o s e e r e d a n d b l u e a s

    d i f f e r e n t c o l o u r s . M c L u h a n a n d P a r k e r ( 1 9 6 8 ) n o t e t h a t p e r s p e c t i v e , t h e v a n i s h i n g

    v i ewpo in t , was i n t roduced i n to a r t a t a spec i f i c s t age o f h i s t o ry . Ar t p r i o r t o t h i s

    t i m e s h o w e d g r e a t t e c h n i c a l s k i l l b u t n o p e r s p e c t i v e . T h e r e w a s t h e n a s u d d e n

    c h a n g e t o u s e o f p e r s p e c ti v e . S i n c e t h e a r ti s ts s u r e l y h a d t h e a b i l i ty t o p a i n t

    p e r s p e c t i v e , b u t d i d n t , p e r h a p s t h e y d i d n t see t h ings i n pe r spec t i ve t i l l pe r spec t i ve

    w a s d is c o v e r e d o r c r e a t e d . I n f a c t, M c L u h a n a n d P a r k e r s c o m m e n t s a r e m u c h

    s t r o n g e r a n d t h e y w o u l d a r g u e t h a t t h e r e h a s b e e n a c o n t i n u i n g c h a n g e i n o u r

    p e r c e p t i o n o f s p a c e a n d t im e .

  • 8/11/2019 1-s2.0-S1042814305800172-main

    9/18

    PHILOSO PItlC L B SIS FOR K

    249

    S e n s e d a t a t h e n c a n n o t b e v i e w e d a s p r o v i d i n g t h e p r i m i t i v e s o u t o f w h i c h o t h e r

    k n o w l e d g e i s b u i l t , b e c a u s e t h e s e n s e d a t a a v a i l a b l e t o u s i s d e t e r m i n e d b y o u r

    m i n d , b y t h e k n o w l e d g e w e h a v e a n d t h e c o n t e x t th a t t h i s p r o v i d e s f o r p e r c e p t i o n .

    I t i s p o s s i b l e t o a r g u e t h a t t h e c h e m i c a l c h a n g e s r e s u l t i n g f r o m p e r c e p t i o n m a y b e

    a c c u m u l a t e d a n d r e c o r d e d b e l o w c o n s c i o u s n e s s . S u c h d a t a m a y e x i s t b u t i s c l e a r ly

    i r re l e v a n t i f w e a r e s e e k i n g f o r t h e e x p e r t ' s k n o w l e d g e , t h a t i s w h a t t h e e x p e r t i s

    c o n s c i o u s o f a n d c a n r e a s o n a b o u t . W e c a n a ls o n o t e t h a t a n a p p e a l t o c h e m i c a l

    s t o r a g e o f i n f o rm a t i o n a s p r o v i d i n g t h e p r i m i t iv e s o f k n o w l e d g e i s c o n t r a d i c t o r y i n

    t h a t i t is b a s e d o n i d e a s o f c h e m i c a l s t o r a g e , w h i c h i s i t se l f p a r t o f k n o w l e d g e .

    A l t h o u g h w e h a v e n o t u s e d t h e i r a r g u m e n t s t o s u p p o r t o u r p o s i t i o n w e c a n a l s o

    n o t e t h e s i m i la r it y o f t h is v i e w p o i n t t o s o m e m o d e r n p h y s i c s, w h e r e t h e w o r l d t h a t i s

    d i s c o v e re d t h ro u g h e x p e r i m e n t , i s d e t e r m i n e d b y t h e k n o w l e d g e w e a l r e a d y h a v e .

    T h e c o n c r e t e r e a l n e s s o f s p a c e a n d t i m e t h a t c o m m o n s e n s e su g g e s t s , a r e o u r

    c r e a t io n t o e x p r e s s o u r e x p e r i e n c e , r a t h e r t h a n s o m e a b s o l u t e o f re a l i ty i n i t se l f

    ( s e e d ' E s p a g n a t , 1 98 3, f o r a r e s t r a i n e d e x p o s i t i o n o f t h e s e i d e a s ) .

    T h e p i c tu r e o f k n o w l e d g e t h a t h a s e m e r g e d t h e n i s o n e w h e r e k n o w l e d g e o n l y h as

    m e a n i n g i n r e l a ti o n t o o t h e r k n o w l e d g e . A n y s e t o f a p p a r e n t p r i m i t iv e s t h a t o n e

    m a y f in d , o n l y h a v e t h e i r m e a n i n g i n re l a ti o n t o o t h e r k n o w l e d g e . I t is i n t e re s t in g t o

    n o t e t h a t t h e n e w k n o w l e d g e e l i c i t a t i o n t e c h n i q u e s , b a s e d o n p s y c h o l o g i c a l r a t h e r

    t h a n p h i l o so p h i c a l th e o r y , t r e a t k n o w l e d g e i n t h is w a y a n d a t t e m p t t o e x p l o r e

    k n o w l e d g e i n te r m s o f re l a t io n s h i p s . B u t w e a r e n o t b a c k t o a v e r s i o n o f t h e p h y s i ca l

    s y m b o l h y p o t h e s is w h e r e b y t h e s e t o f r e la t io n s h ip s o f t h e w h o l e k n o w l e d g e s t r u c tu r e

    p r o v i d e t h e f o u n d a t io n f o r k n o w l e d g e . O n t h e c o n t r ar y o u r a r g u m e n t h a s b e e n t h a t

    a n y k n o w l e d g e s t r u c t u r e t h a t i s e l i c i t e d i s i t s e l f a l w a y s p r o v i d e d i n a c o n t e x t a n d

    c a n n o t b e g u a r a n t e e d n o t t o c h a n g e w h e n t h e c o n t e x t c h a n g e s , a n d w e n o t e a g a i n

    S h a w ' s (1 9 8 8 ) o b s e r v a t i o n o f t h e d i f f e r e n t k n o w l e d g e s t r u c t u r e s e x p e r t s h a v e o f t h e

    same r ea l i t y .

    W h a t t h e n is k n o w l e d g e , h o w c a n w e c o m m u n i c a t e k n o w l e d g e i f i t i s a ll re l a t iv e ,

    w h a t c a n i t m e a n t o j u d g e t h a t s o m e t h i n g i s t r u e ? T h e m o s t s a t i s f a c t o r y t h e o r y

    s e e m s t o b e t h a t o f L o n e r g a n ( 1 9 58 ) w h o i n s o m e 9 0 0 p a g e s d e s c r i b e s t h e c o n c e p t o f

    i n s igh t , and i t s r o l e i n t he d i f f e r en t k inds o f knowledge . Es sen t i a l l y t he ac t o f i n s igh t

    is o u r a c t o f r e c o g n i t io n t h a t s o m e t h i n g d o e s m a k e s e n s e . T h e p h y s i c a l s y m b o l

    h y p o t h e s i s v i e w p o i n t s e e s o n l y k n o w l e d g e . I n s i g h t i s t h e a c t w h e r e b y w e p e r c e i v e

    tha t t h i s knowledge makes s ense o f r e a l i t y , exp re s se s some in t e l l i g ib i l i t y i n r ea l i t y .

    L o n e r g a n s p e c if ic a ll y c h o s e t h e w o r d " i n s i g h t " t o e x p r e s s t h e e x c i t e m e n t , t h e f la s h

    o f d i sc o v e ry . A r c h i m e d e s " E u r e k a " w a s b e c a u s e h e d i s c o v e r e d a t h e o r y t ha t m a d e

    sense of real i ty

    O n c e t h e t h e o r y w a s e x p r e s s e d , o n e c o u l d e x a m i n e i t s l o g i c a l

    s t r u c t u re , a n d e x p r e s s i t in t e r m s o f p h y s i ca l s y m b o l s , r e l a t i o n s h ip s a n d l o g ic , b u t

    f ir st o f a ll a t h e o r y h a d t o b e c r e a t e d a n d t h e s o u n d n e s s o f it s s e m a n t i c s a s w e l l a s i ts

    l o g i c r e c o g n i z e d i n t h e a c t o f i n s i g h t . S o m e o f t h e e a r l i e r d i s c u s s i o n m a y h a v e

    s e e m e d t o a l i g n u s w i t h K a n t , a n d w i t h h i s m o r e i d e a l i s t f o l l o w e r s ; t h a t k n o w l e d g e

    a n d s e n s a t i o n a r e s o m e t h i n g i n t e r n a l w i t h a t e n u o u s o r n o n - e x i s t e n t c o n n e c t i o n t o

    r e a li ty . L o n e r g a n ' s a p p r o a c h i s d e s c e n d e d f r o m t h e r e a l is m o f t h e S c h o la s t ic s , a

    r e a li s m d i v o r c e d f r o m t h e e s s e n t i a l ly n a i v e r e a l is m o f r a ti o n a l is m . W e a r e d i r e c t ly

    and on to log i caUy in t ouch w i th r ea l i t y i n in s igh t , bu t ou r exp re s s ion o f t h i s i s

    i n t r i n s i c a l l y d i f f e r e n t f r o m r e a l i t y ; k n o w l e d g e a n d p e r c e p t i o n n e v e r c o n t a i n w h a t i s

    k n o w n . W e n e v e r f u ll y g r a s p a n d e x p r e s s a n d c o n t a i n i n o u r k n o w l e d g e t h e

    i n t e l l i g i b i l i t y o f r e a l i t y , w h i c h o f c o u r s e l e a d s b a c k t o P o p p e r ' s h y p o t h e s i s .

  • 8/11/2019 1-s2.0-S1042814305800172-main

    10/18

    250 P COMPTON ND R JANSEN

    K n o w l e d g e n e v e r e x p r e s s e s r e a l i t y b u t w e p r o g r e s s i n k n o w l e d g e , t h r o u g h d i s p r o v -

    i n g h y p o t h e s e s i n t h e u n e n d i n g s e a r c h t o e x p r e s s i n s i g h t t r u l y . W e u s e o u r

    knowledge t o t r y and exp re s s i n s igh t , bu t i t i s a l so pa r t o f t he i n s igh t p roces s ,

    b e c a u s e t h e b u i l d in g o f t h e k n o w l e d g e i s p a r t o f th e p r o c e s s o f se e i n g t h e

    in te l l ig ib i l i ty in re a l i ty .

    C o m m u n i c a t i o n o f k n o w l e d g e c a n t h e n h a v e a t w o f o l d f u n c t i o n . W e c a n u s e it a s

    a ju s t if i c at i o n , t o s h o w t h a t o u t o f t h e a l t e r n a t i v e h y p o t h e s e s , o u r s i s t h e b e s t . O r w e

    c a n u s e i t t o t r y a n d c o n v e y in s ig h t , t o e n a b l e t h e o t h e r p e r s o n t o r e c o g n i z e , e v e n

    p a r t ia l ly a n d d i f f e re n t l y , th e i n t e ll ig i b il it y w e h a v e s e e n . A s w e k n o w t h e w o r s t k i n d

    o f c o n v e r s a t i o n s a r e w h e r e p e o p l e a r e t r y i n g t o s h o w e a c h o t h e r t h e y a r e r i g ht a n d

    t h e b e s t k i n d a r e w h e r e t h e y a r e g e n u i n e l y t r y i n g t o s e e a n d e n a b l e e a c h o t h e r t o s e e

    t h e i r r e s p e c t i v e i n s i g h t s . I n s i g h t c a n o f c o u r s e o f t e n b e e x p r e s s e d v e r y b a d l y a n d

    r i g o r o u s d e b a t e , s c i e n t i f i c o r o t h e r w i s e , i s n e c e s s a r y t o s e e w h e t h e r t h e h y p o t h e s i s

    u s e d t o e x p r e s s th e i n si g h t is w r o n g o n s o m e o t h e r g r o u n d . T h i s d o e s n o t m e a n t h e

    i n si g ht i s w r o n g , b u t t h e e x p r e s s i o n o f t h e i n si g h t is c o n t r a d i c t e d b y t h e k n o w l e d g e

    w h i c h e x p r e s s e s o t h e r i n s ig h ts . E v e n i f t h e w a y t h e n e w i n s ig h t is e x p r e s s e d s e e m s

    p e r f e c t , it i s b y d e f in i ti o n a n h y p o t h e s i s t o b e e v e n t u a l l y s u p p l a n t e d b y a l e s s

    w r o n g o r p e r h a p s m o r e i n t e re s t in g h y p o t h e s i s .

    W e d o t h e n b u i ld u p a b o d y o f k n o w l e d g e , a k n o w l e d g e s tr u c tu r e . T h e t r o u b le

    w i t h t hi s s t ru c t u r e , i s t h a t i t d o e s n o t g e t i ts v a l u e b e c a u s e i t is a s s e m b l e d f r o m m o r e

    p r i m i t i v e , m o r e t r u e , e l e m e n t s . I t g e t s i t s v a l u e b e c a u s e t h e v a r i o u s h y p o t h e s e s t h a t

    e x p r e s s t h e v a r i o u s i n s ig h t s d o n ' t c o n f li c t, t h e y a r e c o n s i s t e n t a n d c o h e r e n t . B u t t h e y

    a r e o n l y c o n s i st e n t a n d c o h e r e n t , a s fa r d o w n a s th e y h a v e b e e n c h e c k e d , a n d t h e y

    h a v e o n l y b e e n c h e c k e d a s fa r a s d e m a n d e d b y t h e i n t e ra c t io n o f t h e v a r io u s

    h y p o t h e s e s , a n d t h e i n s i g h t s t h e y e x p r e s s . A s t h e s e c h a n g e a n d d e v e l o p t h e

    k n o w l e d g e s t r u c tu r e c h a n g e s . T h e r e i s n o d o u b t t h a t t h e r e i s a k n o w l e d g e s t r u c t u r e ,

    b u t i t g e t s it s v a l id i t y f r o m t h e c o n s i s t e n c y a n d c o h e r e n c e o f t h e s t r u c t u r e , n o t f r o m

    t h e e l e m e n t s t h a t m a k e i t u p . T h e s t r u c t u r e o f c o u r s e a l s o g e t s i ts v a l i d it y , f r o m h o w

    w e l l i t e x p r e s s e s i n s ig h t a n d r e t a in s c o n t a c t w i t h i n si g h t. I f th e e x p r e s s e d k n o w l e d g e

    i s t a k e n a s th e t r u t h , d i s c o n n e c t e d f r o m i n si g h t, t h e b o d y o f k n o w l e d g e r a p i d l y

    b e c o m e s c o r r u p t . T h e w e i r d a b b e r a t i o n s t h a t a r i se i n p h i l o s o p h i e s , r e l ig i o n s,

    c iv il iz a t ions i f t he y lo se t he i r g round ing i n s igh t s a t t e s t t o t h i s ph en om en on .

    W e c a n a l s o n o t e t h a t i n s i g h t i s n o t s o m e t h i n g t h a t h a p p e n s a u t o m a t i c a l l y a n d

    u n i fo r m l y . A n e x p e r t c a n p r o b a b l y b e d e f i n ed a s s o m e o n e w h o s e t e c hn i ca l

    k n o w l e d g e c a n n o t b e f a u l t e d a n d w h o s e d e c i s i o n s w i l l m e e t w i t h t h e a p p r o v a l o f h i s

    p e e r g ro u p a n d t h o s e w h o w o u l d s e e k h is o p i n io n . B u t t h e r e a r e al so e x p e r t s in

    e v e r y d is c ip l in e w h o a r e l a t e ra l t h i n k e r s , w h o a r e a b l e t o p r o p o s e s o l u t i o n s f o r

    c o m p l e t e l y n o v e l s i tu a t i o n s. A t t h e o t h e r e n d o f t h e s c a le a r e t h o s e w h o h a v e n o

    i n s i g h t a n d a t t e m p t t o a p p l y t e x t b o o k r e a s o n i n g w i t h d i s a s t r o u s r e s u l t s . L o n e r g a n

    t r ea t s i n de t a i l t he f ac to r s i nvo lved i n i n s igh t .

    m plicat ions for expert sy stem s and k now ledge acquisi tion

    A n y s y s t em t h a t a t t em p t s t o r e ac h t h e f u n d a m e n t a l s o f k n o w l e d g e o n w h i c h a ll th e

    o t h e r k n o w l e d g e c a n b e b u i l t , e v e n i n a s p e c i fi c a r e a , w i ll n o t w o r k , o r w i ll w o r k b y

    g o o d f o r t u n e r a t h e r t h a n d e s ig n . T h e d e s i g n p r i n c ip l e o f th e v a s t b o d y o f e x p e r t

  • 8/11/2019 1-s2.0-S1042814305800172-main

    11/18

    PHILOSOPHIC L B SIS FOR K

    251

    s y s t e m s t h a t y o u s h o u l d t r y t o g e t t h e g e n e r a l r u l e s , a n d t h a t t h e k n o w l e d g e s h o u l d

    b e s e p a r a t e d f r o m c o n t e x t a n d g e n e r a l i z e d , i s p h i l o s o p h i c a ll y u n s o u n d .

    E x p e r t s w i l l a l w a y s g i v e k n o w l e d g e i n c o n t e x t , w i t h r u l e s t h a t c o n f l i c t , s u b s u m e ,

    o v e r la p e t c . I f y o u p u s h t h e m , t h e y ca n e x p r e s s a b o d y o f k n o w l e d g e t h a t i s m o r e

    c o m p l e t e , c o n s i s te n t a n d c o h e r e n t . B u t y o u h a v e t o p u s h t h e m ; t h e y a r e n o t d i g g in g

    o u t s o m e u n d e r l y i n g k n o w l e d g e s t r u c t u r e , t h e y a r e c o n s t r u c t i n g s o m e t h i n g , m a k i n g

    s o m e t h i n g u p t o s a ti s fy t h e k n o w l e d g e e n g i n e e r i n g d e m a n d . H e n c e S h a w ' s f in d i ng

    t h a t t h e k n o w l e d g e s t r u c t u r e s t h a t e x p e r t s m a d e u p d i f f e r e d ; a n d s h e f u r t h e r n o t e s

    t h a t t h e e x p e r t s w e r e h a p p y t o l i v e w i t h t h e s e d i f f e r e n c e s a n d d i d n ' t s e e i t a s a

    m a t t e r o f c o n c e r n ( S h a w , 1 9 8 8 ) .

    I t is n o t s u r p ri s in g t h a t C Y C i s s t a rt in g t o a s s e m b l e u s e f u l p r i m i t i v e s , a n d t h a t

    a n a l o g y i s a n i n c r e a s i n g l y p o w e r f u l t o o l i n i t s r e p e t o i r e ; w e d o a l l c o m m u n i c a t e , s o

    w e m u s t h a v e so m e t h i n g i n c o m m o n ( L e n a t , 1 9 88 ). B u t o u r c o m m u n i c a t io n is b a s e d

    o n b e i n g a b l e c o n s t a n t l y t o r e v i s e t h e l a n g u a g e w e u s e t o e x p r e s s i n si g ht s. I f C Y C

    b e c o m e s a m o n o l i t h , w h a t w i l l h a p p e n w i t h p a r a d i g m s h i f t s ? K u h n ( 1 9 6 2 ) h a s n o t e d

    h o w s c ie n ti fi c h y p o t h e s e s o f i n t e r e s t c h a n g e f o r o t h e r r e a s o n s t h a n j u s t f a l si fi c at io n .

    S o c a n c o m m o n s e n s e ; n e w i n s ig h t s a r e a lw a y s p o s s i b l e , a n d c a n c h a n g e t h e w h o l e

    e m p h a s i s o n w h a t a r e t h e i m p o r t a n t a r e a s t o b e m a d e c o n s i s t e n t a n d c o h e r e n t i n

    k n o w l e d g e . T h e f u n c t i o n o f t h e a r t i s t ( a n d s t i l l t h e s c i e n t i s t ? ) , i s t o o p e n u p n e w

    ins igh t s , t o f i nd new w ays o f v i ew ing r ea l i ty .

    W e w o u l d s u g g e s t t h e n , t h a t i t i s f u n d a m e n t a l t o t h e e x p e r t s y s t e m e n t e r p r i s e ,

    t h a t k n o w l e d g e N O T b e g e n e r a l iz e d w h e n i t i s a c q u i r e d . I t i s f u n d a m e n t a l t o t r y a n d

    a l s o r e c o r d t h e c o n t e x t i n w h i c h t h e k n o w l e d g e i s a c q u i r e d , f o r i t i s i n t h e c o n t e x t

    t ha t i t s t i l l ha s i t s c l o se s t l i nk w i th i n s igh t , and t he r e fo r e t he mos t va l i d i t y . The

    k n o w l e d g e c a n a l w a y s b e g e n e r a l i z e d l a t e r . I n d u c t i v e l e a r n i n g m e t h o d s s u c h a s I D 3

    ( Q u i n l a n , C o m t o n , H o r n & L a z a r u s , 1 98 7) p r o v i d e e x a m p l e s o f g e n e r a li z in g f r o m

    t h e h i g hl y c o n t e x t b a s e d k n o w l e d g e o f i n d i v id u a l c a s e s. W e a r e p r o p o s i n g h e r e t h a t

    e v e n w h e r e k n o w l e d g e i s e l i c i t e d f r o m e x p e r t s , i t s h o u l d b e r e c o r d e d i n c o n t e x t .

    O n e a t t e m p t a t d o i n g t hi s i s d e s c r i b e d i n A p p e n d i x A a n d C o m p t o n & J a n s e n

    ( 19 8 8) . C o n t e x t o f c o u r s e c a n n o t b e f u ll y r e c o r d e d f o r w e c a n n o t k n o w e v e r y th i n g

    t h a t m a k e s u p t h e c o n t e x t , p r e c i s e l y b e c a u s e i t i s t h e c o n t e x t .

    T h e s e c o n d p o i n t i s t h a t s i n c e t h e k n o w l e d g e b a s e w i l l h a v e t o c h a n g e i t m u s t b e

    d e s i g n e d f o r c h a n g e . O n e s h o u l d b e a b l e t o i n v e s ti g a t e a n d i n t e r r o g a t e t h e

    k n o w l e d g e f r o m a n y v i e w p o i n t t h a t is d e s i r e d a n d c h a n g e a n y a s p e c t o f t h e

    k n o w l e d g e w i t h o u t c o r r u p t in g t h e w h o l e , o r a t l e a s t b e a b l e t o c o n t r o l t h e c h a n g e s

    f u ll y . A p p e n d i x 2 a n d J a n s e n a n d C o m p t o n ( 1 9 8 8 a a n d b ; 1 9 8 9 a a n d b ) d e s c r i b e o u r

    p r o g r e s s t o w a r d s t h i s g o a l . T h e e s s e n c e o f o u r a p p r o a c h i s t o u s e d a t a b a s e

    t e c h n o lo g y , so th a t k n o w l e d g e , e . g . r u le s , c an b e b r o k e n d o w n i n to c o m p o n e n t

    pa r t s and s t o r ed i n r e l a t i ona l f o rm, w i th a l l t he f ac i l i t i e s f o r ma in t enance t ha t t h i s

    i m p l i e s . I n o n e s e n s e t h e g o a l i s m a i n t e n a n c e , b u t m a i n t e n a n c e i s n o t a n e x t r a , a

    p r o b l e m t h a t h a s t o b e d e a l t w i t h ; it is j u s t a n i n s t a n c e o f t h e f u n d a m e n t a l l y f l u id

    n a t u r e o f k n o w l e d g e .

    T h e u n d e r ly i n g p r o b l e m i s t h a t c o m p u t e r s a r e m a c h i n e s t h a t m a n i p u l a t e s y m b o l s .

    T h e p h y s i c a l s y m b o l h y p o t h e s i s i s p e r f e c t f o r d e s c r i b i n g c o m p u t e r i n t e l l i g e n c e .

    C o m p u t e r s d e m a n d a r e d u ct io n i s t a p p r o a c h , w h e r e t h e w h o l e , t h e b o d y o f

    k n o w l e d g e i s a s s e m b l e d f r o m t h e p a r t s . U n f o r t u n a t e l y , h u m a n k n o w l e d g e i s n 't

    m a d e u p o f s u c h p r i m i ti v e s . I t m a y l o o k l i k e i t o n s o m e o c c a s i o n s , b u t e s s e n t ia l l y i t

  • 8/11/2019 1-s2.0-S1042814305800172-main

    12/18

    5 P. COMPTON AND R. JANSEN

    is m a d e u p a s o c c a s i o n d e m a n d s , a n d o n l y w i th i n t h e c o n t e x t in w h i c h k n o w l e d g e is

    p r o v i d e d , w h e r e i n si g ht is at w o r k , c a n i t r e a ll y b e g u a r a n t e e d t o h a v e a n y

    c o n s i st e n c y a n d c o h e r e n c e .

    T h i s d o e s n o t m e a n c o m p u t e r s s h o u l d n o t b e u s e d f o r s t o ri n g k n o w l e d g e . O n t he

    c o n t r a r y w e s u g g e s t th a t t h e y w il l b e m a j o r t o o l s f o r d e v e l o p i n g c o n s i st e n t

    k n o w l e d g e b a se s . A n d p e r h a p s o n e o f th e m a j o r r o l e s i n th e a r e a o f k n o w l e d g e a n d

    i n te l li g e n c e , w ill n o t b e t o p r o v i d e e x p e r t i s e , b u t t o e n a b l e h u m a n s t o e x a m i n e h o w

    a n e w e x p r e s s io n o f a n e w i n si g ht r e la t e s t o th e t o t a l i ty o f w h a t i s k n o w n . W e s e e

    t h a t p e r h a p s t h e m o s t p o w e r f u l r o le f o r t h e c o m p u t e r i n it s p r e s e n t t e c h n o l o g i c a l

    f o r m i s a s a n h y p o t h e s i s t e s t e r r a t h e r t h a n t h e d i s p e n s e r o f in t e ll ig e n c e . W e d o n o t

    q u e s t io n , h o w e v e r t h a t e x p e r t sy s te m s c a n a n d d o w o r k a n d h a v e a n i m p o r t a n t

    f u t u r e a n d w e h o p e t h a t o u r w o r k is s o m e c o n t r i b u t i o n t o t hi s fu t u r e . B u t w e s u g g es t

    a g a in t h a t w h a t e v e r t h e f in a l f o r m a n d u s e o f c o m p u t e r k n o w l e d g e b a s e s , w e w ill

    m a k e m o r e p r o g r e s s i f w e d o n ' t a s s u m e t h a t t h e k n o w l e d g e t h a t i s g o i n g in t o th e

    c o m p u t e r h a s c o m e f r o m a c o m p u t e r l ik e t hi n g.

    T h i s p ap e r w as t h e r e s u l t o f a co l l ab o r a t i v e p r o j ec t b e t w een t h e G a r v an I n s t i t u t e o f

    M ed i ca l R es ea r ch an d t h e C S I R O D i v is i o n o f I n f o r m a t i o n T ech n o l o g y w h i l e t h e f irs t au th o r

    was a t the Garvan Ins t i tu te . We wish to thank our co l l eagues in bo th ins t i tu t ions fo r the i r

    s u p p o r t , p a r t icu l a r ly L es L aza r u s o f t h e G a r v an ( n o w o f t h e D ep a r t m en t o f B i o ch em i s t r y , S t.

    V i n cen t 's H o s p i t a l S y d n ey ) an d B o b C o l o m b o f th e C S I R O . W e a l so w is h t o t h an k K i m H o r n

    an d R o s s Q u i n l an , w i t h o u t w h o m t h e r e w o u l d n ' t b e a G A R V A N - E S 1 t o b a s e t hi s s t u d y o n ,

    an d t h e G a r v an s t a f f w h o p r o v i d ed en d o c r i n e ex p e r t i s e o v e r t h e y ea r s .

    eferences

    AMES

    A. JR . (1951) . V isua l percep t ion and the ro ta t ing t r apezo ida l w indow.

    Psychological

    Monographs, 65(324) , who le i s sue .

    BACHANT J . M cDERMOTr , J . (1984). R1 r ev i s i ted : four year s in the t r enc hes .

    The AI

    Magazine, Fal l , 21-32 .

    BATESON, G . (1979).

    M ind and Nature: a Necessary Unity.

    L o n d o n : W i ld w o o d H o u s e .

    BOOSE J. H. 8~- BRADSHAW J. M.

    (1987). Ex per t i s e t r ans fer and co m plex prob lems : us ing

    A Q U I N A S a s a k n o w l ed g e acq u i s i t i o n w o r k b en ch f o r k n o w l ed g e - b as ed s y s t em s .

    International Journal o f Man -M ach ine Studies, 26,

    3 - 2 8 .

    BUCttANAN B. (1986) . Exper t sys tems : work ing sys tems and the r esearch l i t e r a ture , Expert

    Systems, 3 , 3 2 - 5 1 .

    BYLANDER T . &

    CHANDRASEKARAN

    B. (1986) . Ge ner ic t asks fo r know ledge-based

    reasoning : the f igh t l eve l o f abs t r ac t ion for know ledge acqui s i tion .

    Proceedings o f the

    Know ledge-Based Systems Workshop, Banff,

    p p . 7 . 0 - 7 . 1 3 .

    CLANCEY

    W . J . (1985) . He ur is t ic class i f icat ion.

    Artificial Intelligence,

    2 7 , 2 8 9 - 3 5 0 .

    COMPTON P . , H O R N , K . , QUINLAN R . & LAZARUS L. (1989) . Main ta in ing an exper t

    sys tem. In J . R . Quin lan , Ed . Applications of Expert Systems Vol . 12 , pp . 366-385 .

    L o n d o n : A d d i s o n W es l ey .

    COMZrON, P . & JANSEN, R . (1988). Kn ow ledge i s con tex t : a s t r a t egy for e xp er t sys tem

    m ai n t en an ce .

    AI 88 : Proceedings o f the Second Au stralian Conference in Artificial

    Intelligence, A delaide, pp. 283-297 .

    COMZrON, P. J . , STUART, M. C. & LAZARUS, L. (1986) . E rro r in lab ora tory re fere nc e limits

    as shown in a co l l abora t ive qua l i ty as surance program.

    Clinical Ch emistry,

    3 2 , 8 4 5 - 9 .

    D'EsPAGNAT, B. (1983).

    In Search of Reality.

    N ew Y o r k : S p r i n g e r- V e r lag .

    DOLK, D . R . & Km scK , R . A . I I . (1987). A re la t iona l in form at ion r esou rce d ic t ionary

    sys tem.

    Comm unicat ions of the AC M , 30,

    p p . 4 8 - 6 1 .

    DREV~-OS, H . L. & D REVFtJS, S. E . (1988). M akin g a m ind versu s mod el l ing the brain:

    ar ti ficial intel l igenc e bac k at a bra nch po int . Daedalus, U 7 ( W i n t e r ) , 1 5 - 4 3 .

  • 8/11/2019 1-s2.0-S1042814305800172-main

    13/18

    A PHILOSOPHICALBASIS FOR KA 53

    FEIGENBAUM, E. A . (1977) . T he ar t o f art if icial intel l igenc e: them es a nd case s tudies in

    knowledge engineer ing .

    Proceedings o f the F ifth International Joint Conference on

    Artificial Intelligence,

    pp. 1014-1029 .

    GRINER, P. F. , MAYEWSKI, R. J . , MUSHLIN, A . I . GREENLAND, P. (1981) . Se lect ion an d

    in te rpre ta t ion of d iagnos t i c t es t s and procedures .

    Annals of Internal Med icine,

    944,

    5 3 5 - 9 2 .

    HORN, K . ,

    COMPTON P. J. LAZARUS

    L .

    OUINLAN

    J . R . (1985). An exp er t sys tem for

    the in te rp re ta t ion o f thyro id as says in a c l in ica l l abo ra tory .

    Aastralian Computer Journa_l,

    17, 7 -11 .

    JANSEN, R . COMPTON, P . (1988a) . The kno wledg e d ic t ionary , a r e la t iona l too l fo r the

    m a i n t en an ce o f ex p e r t s y s t em s .

    Proceedings o f the International C onference on Fifth

    Generation Computer Systems, Tokyo,

    pp. 1159-1167.

    JANSEN, R . COMPTON, P . (1988b) . The kn owledg e d ic t ionary : an appl ica t ion of sof tware

    en g i n ee r in g t e ch n i q u es t o t h e d e s ig n an d m a i n t en an ce o f ex p e r t s y s tem s . Proceedings o f

    the A AA I 88 , Workshop on the Integration o f Knowledge Acquistion and Performance

    Systems.

    JANSEN, R . COMr 'roN, P . (1989a) . Th e know ledge d ic t ionary : a da ta d ic t ionary app roach

    t o t h e m a i n t en an ce o f ex p e r t s y st em .

    Know ledge Based Systetns,

    1, 14-26 .

    JANSEN, R . COMPTON, P . (1989b ) . Th e know ledge d ic t ionary : s to r ing d i f fe ren t know ledge

    represen ta t ions . Proceedings o f the Third European Workshop on Know ledge Acquisition

    for Knowledge-Based Systems Paris, pp. 448-461 .

    KurtN, T. S. (1962) . The structure of scientific revohaions. C h i cag o : U n i v e r s it y o f C h i cag o

    Press .

    LAKA'rOS, I. (1978).

    Philosophical Papers o f hnre Lakatos.

    J . WORRALL G. CURRm, Eds .

    C am b r i d g e : C am b r i d g e U n i v e r s i t y P re s s.

    LENAT, D . B . FEtGENBAUM, E . A . (1988). On the th resholds o f know ledge .

    Proceedings o f

    the Fourth Australian Conference on A pplications o f E xpert Systems, p p . 3 1 - 5 6 .

    LENAT, D . B . (1988). W hen wi ll mac hine l earn? Proceedings o f the International Conference

    on Fifth Generation Computer Systems, Tokyo,

    pp. 1239-1245 .

    L o c k LEE, L . G . , TEH, K . CAMPININI, R . (1987). An e xpe r t op era tor gu idanc e sys tem for

    an i ron ore s in te r p lan t .

    Proceedings o f the Third Australian Conference on A pplications

    o f Expert Systems,

    p p . 6 1 - 8 5 .

    LONERGAN, B. J . (1958).

    Insight.

    L o n d o n : D a r t o n , L o n g m a n a n d T o d d .

    MCCARTHY, J . (1980). C i rcumscr ip t ion- - -a fo rm of n on m on oto nic r easoning . Artificial

    Intelligence, 13, pp . 27-39 .

    McLUH AN, M . PARKER, H . (1968) . Throug h the Vanishing Point: Spa ce in Poe try and

    Painting.

    N e w Y o r k : H a r p e r a n d R o w .

    MCNAMARA, A . R . , LOCK LEE, L . G . TEt l , K . C . (198 8) . E xpe r ience s in deve lop ing an

    in te l l igen t opera tor gu idance sys tem.

    A1 88: Proceedings of the Second Australian

    Conference in Artificial Intelligence, Adelaide, p p . 3 3 - 4 0 .

    NEWELL, A . SIMON, H . (1981). C om pute r s c ience as em pi r i ca l enqui ry : symbols and

    search . In J . HAUGELAND, Ed . Mind Design. C am b r i d g e , M A : M I T P r e s s .

    PZAG Er, J. (1929).

    The C hild s Conception o f the World.

    L o n d o n : R o u t l e d g e a n d K e g a n P a u l .

    POPPER, K. R. (1963).

    Conjectures and Refutations.

    L o n d o n : R o u t l e d g e a n d K e g a n P a u l.

    QUlrqLAN, J . R . , COMWrON, P. J . , HO RN, K. A . LAZARUS, L. (1987). Indu ct ive know ledg e

    acquis i tion : a case s tudy . In J . R . QUINLAN, Ed .

    Applications of Expert Systems.

    L o n d o n : A d d i s o n W es l ey . p p . 1 5 9 - 7 3 .

    RAPPAPORT, A . T . GAUqES, B . R . (1988). In tegra t ing kno wledg e acqui s i tion and

    p e r f o r m an ce s y s t em s .

    A1 88: Proceedings o f the Second Australian Conference in

    Artificial Intelligence, A delaide, pp. 313-336 .

    RocK, I . (1983) . The Logic of Perception. C am b r i d g e , M A : M I T P r e s s .

    SCHWARTZ, W. B . , PANE, R . S . S zo L ov rn s , P . (1987) . Ar t if i c ia l In te l l igence in med ic ine :

    w h e r e d o w e s t an d . New England Journal of Medicine, 3 1 6 , 6 8 5 - 8 .

    SHAW, M. L . G . (1988) . V al ida t ion in a k now ledge acqui s t ion sys tem wi th mul t ip le exper t s .

    Proceedings of the International Conference on Fifth Generation Computer Systems,

    Toyko,

    pp. 1259-1266 .

  • 8/11/2019 1-s2.0-S1042814305800172-main

    14/18

    254

    P. COMFTON AND R. JANSEN

    8OLOWAY E. BACIIANT

    J. &

    JEblSEN

    K. (1987). Assessing the maintainability of

    XCON-in-RIME: coping with the problems of a VERY large rule-base. Proceedings o f

    A A A I 8 Z pp. 824-829. Seattle.

    STRATrON, G. (1897). Vision without inversion of the retinal image. Psychological Reviews

    4, 341-60, 463-81. (Referred to by KAUFMAN, L. (1979).

    Perception: the World

    Transformed. New York: Oxford University Press.)

    SUWA, M. SCOTt, A. C. & StlORTLIFFE E. H. (1984). Completeness and consistency in a

    rule-based system. In B. G. BUCHANAN & E. H., SHORTLXFFE,Eds. Rule-based Expert

    Systems pp. 159-70. Reading, MA: Addison Wesley.

    TAYLOR, D. A. H. (1984). (letter) Nature 309(10), 108.

    TRErmL, J. (1984). (letter) Nature 308(12), 580.

    WATERMAN, D. A. (1986). A Guide to Expert Systems. Reading, MA Addison Wesley.

    WINOGRAD, T. & FLORES, F. (1987). Understanding Computers and Cognition: a New

    Foundation fo r Design. Reading, MA: Addison Wesley.

    WrrrGENSTEIN, L. (1953). Philosopical Investigations. Oxford: Blackwell.

    Appendix 1 Ripp le down rules

    We have proposed elsewhere (Compton & Jansen, 1988) a simple structure aimed at

    capturing, at least partially, the context in which knowledge is obtained from an

    expert. Maintenance incidents with GARVAN-ES1 always occur because the expert

    system misinterprets or fails to interpret a case. The context in which a new rule is

    obtained from an expert always includes the information that there was no

    interpretation made or a specific interpretation was wrongly selected by the expert

    system. In the case of the wrong interpretation, we use as the context the specific

    rule that gave the wrong interpretation. So the new rule that the expert provides

    only becomes a candidate to fire if the rule that previously fired incorrectly is again

    satisfied. We do this by including a LAST_FIRED(rule number) in the premise of

    the new rule, which must be satisfied as well as the other conditions.

    All rules in this system include this LAST_FIRED(rule number) condition, but

    rules which are not added as corrections have LAST_FIRED(0) indicating that they

    are the initial candidates to fire when the data is first presented to the system. The

    rules are only passed through once, from the oldest to the newest, and of course

    once one of the LAST_FIRED(0) rules has fired none of the other LAST_

    FIRED(0) rules is eligible as now a specific rule has fired. Each rule added is put at

    the end of the list of rules. When an error occurs because the system has failed to

    make an interpretation, the new rule becomes a new LAST-FIRED(0) rule. The

    implicit context when such a rule is obtained from an expert and added is that none

    of the knowledge in the system covers this case. The rule obtained from the expert

    will almost certainly subsume or overlap other rules in the knowledge base: this is

    the standard experience of knowledge engineering. With ripple down rules however,

    the rule can be as general as the expert likes, because it will only be tested after all

    the other knowledge in the knowledge base has been considered, exactly the

    situation in which it was acquired from the expert. The structure of ripple down

    rules can be described in a number of ways. Figure 3 shows one description of the

    knowledge structure.

    This system means that rules can be entered into an expert system exactly as

  • 8/11/2019 1-s2.0-S1042814305800172-main

    15/18

    A P f t l L O S O P H I C A L B A S I S F O R / C A

    2 5 5

    ~ " i P r i o r t y . . . . . . . . . . - ' -

    o

    E

    1

    E

    1

    1

    C

    O l d e r r u l e s N e w e r r u l e s ~ ~

    F IG U RE 3 . T h i s i s a s i m p l i fi e d t r e e r e p r e s e n t a t i o n o f t i p p l e d o w n r u l e s . T h e t w o b l a c k e l l i p s e s a t t h e t o p

    o f th e t r e e a r e t w o L A S T _ F I R E D ( 0 ) r u l e s, s o t h e p r e c o n d i t i o n f o r e i t h e r o f t h e s e r u le s t o fi re is t h a t n o

    o t h e r r u l e h a s f i r e d . T h e r u l e o n t h e l e f t , t h e e a r l i e r r u l e is c o n s i d e r e d f i r st . I f i t d o e s n t f i r e , t h e n e x t

    o l d e st L A S T _ F I R E D ( 0 ) r u le i s c o n s i d e r ed . I f a L A S T _ F I R E D ( 0 ) r u le d o e s f i re , t h e n o n l y th e r u l es

    c o n n e c t e d t o i t o n t h e n e x t l e v e l a r e c a n d i d a t e s t o f i re . A g a i n t h e s e a r e c o n s i d e r e d , o n e b y o n e , l e f t to

    t i g h t, t h e o l d e s t t o t h e n e w e s t a d d e d . E a c h o f t h e s e h a s b e e n a d d e d b e c a u s e t h e p a r e n t m i s i n t e r p r e t e d a

    c a s e , b u t n o f u r t h e r ru l e w a s a b l e to f ir e . E a c h i n c lu d e s t h e L A S T _ F I R E D ( p a r e n t ) c o n d i t i o n . O n c e o n e

    o f t h e s e d a u g h t e r r u l e s i s a d d e d t h e n o n l y t h e r u l e s c o n n e c t e d t o i t a r e c a n d i d a t e s t o f i re .

    p r o v i d e d b y t h e e x p e r t a n d t h e g r o w t h o f th e s y s t e m ' s k n o w l e d g e r e c o r d s t h e w a y in

    w h i c h k n o w l e d g e w a s a c q u i r e d f r o m t h e e x p e r t . T h i s i s i n c o m p l e t e c o n t r a s t t o

    c o n v e n t i o n a l e x p e r t s y s t e m s , w h e r e t h e a i m i s t o g e n e r a l i z e , a n d e v e r y r u l e ( a t t h e

    s a m e l e v e l ) h a s a n e q u a l o p p o r t u n i t y t o f i r e . H o w e v e r , t h e r e s u l t o f g e n e r a l i z a t i o n ,

    is n o t c l e a r g e n e r a l r u l e s , b u t r u l e s t h a t b e c o m e h i g h ly s p e c if ic a n d o p a q u e i n t ry i n g

    t o c o p e w i t h t h e i n t e r r e l a t i o n s i n k n o w l e d g e i n a g e n e r a l w a y .

    I n o u r p r e v i o u s s t u d y w e d e s c r i b e d t h e i n c r e m e n t a l t e s t i n g o f , a n d a d d i t i o n t o a

    s e t o f r ip p l e d o w n r u l e s o f r e p la c e G A R V A N - E S 1 , u s in g a l ar g e d a t a b a s e o f

    a r c h i v e d c a s e s . T h i s e v a l u a t i o n s t i l l i s n o t c o m p l e t e b u t t h e e s s e n t i a l b e h a v i o u r o f

    such ru les i s c lear .

    T h e m a j o r f e a t u re o f r i pp l e d o w n r u l e s is t h a t t h e y c a n b e a d d e d t o a k n o w l e d g e

    b a s e f a r f a s t e r t h a n c o n v e n t i o n a l r u l e s , s i n c e t h e r u l e s a r e a d d e d a s t h e y a r e w i t h o u t

    m o d i f ic a t io n . S e c o n d l y , s i n c e t h e y a r e u s e d o n l y in c o n t e x t t h e y h a v e f a r l e ss im p a c t

    i n c o r r u p t i n g t h e k n o w l e d g e b a s e . ( W e n o t e a g a i n t h i s i s n o t a p r o b l e m t h a t c a n b e

    r e s o l v e d w i t h t o o l s t h a t c h e c k f o r s u b s u m p t i o n a u t o m a t i c a l l y e t c . ( S u w a , S c o t t

    S h o r t l i f f e , 1 9 8 4 ) , b e c a u s e o f t e n t h e o v e r l a p b e t w e e n r u l e s , i s n o t i n t h e r u l e s t h e m -

    se lve s , bu t i n t he pa t i en t da t a p ro f i l e s ; t he da t a f r om a s i ng l e pa t i en t may we l l s a t i s fy

    a n u m b e r o f r u le s t h a t d o n ' t o v e r l a p ) . I n a d d i n g 5 3 4 r u l e s t o t h e r i p p l e d o w n r u l e

    k n o w l e d g e b a s e , i n o n l y 31 c a s e s d i d a n e x t r a r u l e h a v e t o b e a d d e d b e c a u s e t h e f i rs t r u l e

    a d d e d h a d c h a n g e d t h e p e r f o r m a n c e o f th e k n o w l e d g e b a s e . T h i s i s


1 s2.0-s0198971512001093-main

1 s2.0-s0198971512001093-main

1 s2.0-0264837795000259-main

1 s2.0-0264837795000259-main

1 s2.0-s2211285516301124-main

1 s2.0-s2211285516301124-main

1 s2.0-s0377221710001219-main

1 s2.0-s0377221710001219-main

1 s2.0-s1000936113001039-main

1 s2.0-s1000936113001039-main

1 s2.0-s0924013608002355-main

1 s2.0-s0924013608002355-main

1 s2.0-s0360319911028886-main

1 s2.0-s0360319911028886-main

1 s2.0-s0045790610000182-main

1 s2.0-s0045790610000182-main

1 s2.0-s0168192396023830-main

1 s2.0-s0168192396023830-main

1 s2.0-s0211563805734131-main

1 s2.0-s0211563805734131-main

1 s2.0-s0092867412007623-main

1 s2.0-s0092867412007623-main

1 s2.0-s1751616107000021-main

1 s2.0-s1751616107000021-main

1 s2.0-s1574035804702117-main

1 s2.0-s1574035804702117-main

1 s2.0-s0378381216301169-main

1 s2.0-s0378381216301169-main

1 s2.0-s0016003213003104-main

1 s2.0-s0016003213003104-main

1 s2.0-s0165237015304125-main

1 s2.0-s0165237015304125-main

1 s2.0-s0048733309000262-main

1 s2.0-s0048733309000262-main

1 s2.0-s0140366405003464-main

1 s2.0-s0140366405003464-main

1 s2.0-s0376738800824503-main

1 s2.0-s0376738800824503-main

1 s2.0-s1687857414000171-main

1 s2.0-s1687857414000171-main