intrinsic in silicon, entwined with physics

8/9/2019 intrinsic in silicon, entwined with physics

1/16

T o a p p e a r : P r o c . 1 s t I n t . C o n f . o n E v o l v a b l e S y s t e m s ( I C E S 9 6 ) . S p r i n g e r L N C S .

A n e v o l v e d c i r c u i t ,

i n t r i n s i c i n s i l i c o n ,

e n t w i n e d w i t h p h y s i c s .

A d r i a n T h o m p s o n

?

C O G S , U n i v e r s i t y o f S u s s e x , B r i g h t o n , B N 1 9 Q H , U K

A b s t r a c t . ` I n t r i n s i c ' H a r d w a r e E v o l u t i o n i s t h e u s e o f a r t i c i a l e v o l u -

t i o n | s u c h a s a G e n e t i c A l g o r i t h m | t o d e s i g n a n e l e c t r o n i c c i r c u i t

a u t o m a t i c a l l y , w h e r e e a c h t n e s s e v a l u a t i o n i s t h e m e a s u r e m e n t o f a c i r -

c u i t ' s p e r f o r m a n c e w h e n p h y s i c a l l y i n s t a n t i a t e d i n a r e a l r e c o n g u r a b l e

V L S I c h i p . T h i s p a p e r m a k e s a d e t a i l e d c a s e - s t u d y o f t h e r s t s u c h a p p l i -

c a t i o n o f e v o l u t i o n d i r e c t l y t o t h e c o n g u r a t i o n o f a F i e l d P r o g r a m m a b l e

G a t e A r r a y ( F P G A ) . E v o l u t i o n i s a l l o w e d t o e x p l o r e b e y o n d t h e s c o p e o f

c o n v e n t i o n a l d e s i g n m e t h o d s , r e s u l t i n g i n a h i g h l y e c i e n t c i r c u i t w i t h

a r i c h e r s t r u c t u r e a n d d y n a m i c s a n d a g r e a t e r r e s p e c t f o r t h e n a t u r a l

p r o p e r t i e s o f t h e i m p l e m e n t a t i o n m e d i u m t h a n i s u s u a l . T h e a p p l i c a t i o n

i s a s i m p l e , b u t n o t t o y , p r o b l e m : a t o n e - d i s c r i m i n a t i o n t a s k . P r a c t i c a l

d e t a i l s a r e c o n s i d e r e d t h r o u g h o u t .

1 I n t r o d u c t i o n

T h i s p a p e r d e s c r i b e s a c a s e - s t u d y i n i n t r i n s i c h a r d w a r e e v o l u t i o n : t h e u s e o f

a r t i c i a l e v o l u t i o n | s u c h a s a G e n e t i c A l g o r i t h m | t o d e s i g n a c i r c u i t a u t o -

m a t i c a l l y , w h e r e e a c h t n e s s e v a l u a t i o n i s t h e m e a s u r e m e n t o f a c i r c u i t ' s p e r -

f o r m a n c e w h e n p h y s i c a l l y i n s t a n t i a t e d i n a r e a l r e c o n g u r a b l e V L S I c h i p . T h e

t e r m ` i n t r i n s i c ' i s u s e d s i m p l y t o i n d i c a t e t h a t t h e c i r c u i t s a r e a l w a y s t r i e d o u t

` f o r r e a l ' r a t h e r t h a n i n s i m u l a t i o n 1 ] . H o w e v e r , m y d i c t i o n a r y a l s o g i v e s t h e f o l -

l o w i n g m e a n i n g s t o t h e w o r d : g e n u i n e , i n h e r e n t , b e l o n g i n g t o t h e p o i n t a t i s s u e .

I s u g g e s t t h a t t h e p o i n t a t i s s u e w i t h i n t r i n s i c h a r d w a r e e v o l u t i o n i s t o a l l o w t h e

g e n u i n e i n h e r e n t p h y s i c a l b e h a v i o u r o f t h e s i l i c o n b e u s e d f r e e l y , r a t h e r t h a n j u s t

u s i n g h a r d w a r e a s a f a s t i m p l e m e n t a t i o n o f a n i d e a l i s e d s i m u l a t i o n o r d e s i g n e r ' s

m o d e l . I a i m t o s h o w t h i s t h r o u g h a n e x a m p l e .

T h e f o l l o w i n g s e c t i o n s c o n s i d e r t h e r s t e v e r 1 3 ] i n t r i n s i c a l l y e v o l v e d F P G A

c o n g u r a t i o n i n g r e a t d e t a i l | t h e r e a r e i n t e r e s t i n g i s s u e s a t e v e r y t u r n . T h e

r e s u l t s s p e a k f o r t h e m s e l v e s , s o I w i l l s a v e u n t i l l a t e r t h e u n d e r l y i n g t h e o r y w h i c h

m o t i v a t e d t h e r a t h e r u n c o n v e n t i o n a l a p p r o a c h t a k e n . T h e n , i n a n e x t e n d e d d i s -

c u s s i o n s e c t i o n , t h e s e i d e a s w i l l b e p o r t r a y e d i n t h e l i g h t o f t h e e x p e r i m e n t a l

r e s u l t s t h a t d e m o n s t r a t e t h e i r s i g n i c a n c e .

?

E m a i l : a d r i a n t h @ c o g s . s u s x . a c . u k

W W W : h t t p : / / w w w . c o g s . s u s x . a c . u k / u s e r s / a d r i a n t h /


2/16

2 T h e E v o l v a b l e H a r d w a r e

T h e X i l i n x X C 6 2 1 6 1 5 ] F i e l d P r o g r a m m a b l e G a t e A r r a y ( F P G A ) 1 1 ] i s a r e -

c o n g u r a b l e V L S I c h i p p a r t i c u l a r l y s u i t a b l e f o r e v o l u t i o n a r y w o r k . I t w i l l s o o n

b e c o m m e r c i a l l y a v a i l a b l e | t h e w o r k r e p o r t e d h e r e w a s c a r r i e d o u t o n a -

t e s t v e r s i o n . A s i m p l i e d r e p r e s e n t a t i o n o f t h e d e v i c e i s s h o w n i n F i g . 1 . I t h a s

E

F

S

ES

EN

N

FS

W

N

F

W

W F

S EN W

E

NS

W

SN

E

W

F

N

E

S

W

Out

In

F i g . 1 . A s i m p l i e d v i e w o f t h e X C 6 2 1 6 F P G A . O n l y t h o s e f e a t u r e s u s e d i n t h e e x -

p e r i m e n t a r e s h o w n . T o p : A 1 0 1 0 c o r n e r o f t h e 6 4 6 4 a r r a y o f c e l l s ; B e l o w : t h e

i n t e r n a l s o f a n i n d i v i d u a l c e l l , s h o w i n g t h e f u n c t i o n u n i t a t i t s c e n t r e . T h e s y m b o l

r e p r e s e n t s a m u l t i p l e x e r | w h i c h o f i t s f o u r i n p u t s i s c o n n e c t e d t o t h e o u t p u t ( v i a a n

i n v e r s i o n ) i s c o n t r o l l e d b y t h e c o n g u r a t i o n m e m o r y . S i m i l a r m u l t i p l e x e r s a r e u s e d t o

i m p l e m e n t t h e u s e r - c o n g u r a b l e f u n c t i o n F .


3/16

a n a r r a y o f 6 4 6 4 r e c o n g u r a b l e c e l l s , e a c h o f w h i c h i s c o n n e c t e d t o i t s f o u r

n e i g h b o u r s : N o r t h , E a s t , W e s t a n d S o u t h ( N E W S ) a s s h o w n . T h e r e i s a l s o a

h i e r a r c h i c a l a r r a n g e m e n t o f w i r e s s p a n n i n g 4 , 1 6 a n d 6 4 c e l l s , b u t t h e s e w e r e n o t

u s e d i n t h i s e x p e r i m e n t . E a c h c e l l c o n t a i n s a f u n c t i o n u n i t t h a t c a n b e c o n g u r e d

t o p e r f o r m a n y b o o l e a n f u n c t i o n o f t w o i n p u t s , o r m u l t i p l e x e r f u n c t i o n s o f t h r e e

i n p u t s . E a c h o f a f u n c t i o n u n i t ' s t h r e e i n p u t s ( n o t a l l o f w h i c h a r e n e c e s s a r i l y

u s e d ) c a n b e c o n g u r e d t o b e s o u r c e d b y a n y o f t h e f o u r N E W S n e i g h b o u r s .

T h e o u t p u t o f a c e l l i n e a c h o f t h e N E W S d i r e c t i o n s c a n b e c o n g u r e d t o b e

d r i v e n e i t h e r b y t h e o u t p u t F o f i t s f u n c t i o n u n i t , o r b y t h e s i g n a l a r r i v i n g a t

o n e o f t h e o t h e r N E W S f a c e s . T h i s a l l o w s a c e l l t o c o n n e c t s o m e o f i t s N E W S

n e i g h b o u r s d i r e c t l y t o g e t h e r a t t h e s a m e t i m e a s p e r f o r m i n g a f u n c t i o n ; a c e l l

c a n ` r o u t e a c r o s s i t s e l f ' i n s o m e d i r e c t i o n s w h i l e g i v i n g t h e o u t p u t o f f u n c t i o n F

i n o t h e r s . T h e c e l l s a r e c o n g u r e d i n d e p e n d e n t l y ( t h e y d o n o t a l l p e r f o r m t h e

s a m e f u n c t i o n ) , s o e v e n u s i n g o n l y t h e n e a r e s t - n e i g h b o u r l i n k s a v e r y l a r g e r a n g e

o f p o s s i b l e c i r c u i t s c a n b e i m p l e m e n t e d .

A r o u n d t h e p e r i p h e r y o f t h e a r r a y o f c e l l s a r e I n p u t / O u t p u t B l o c k s ( I O B s )

a n d p a d s t h a t i n t e r f a c e t h e s i g n a l s a t t h e e d g e o f t h e a r r a y t o t h e p i n s o f t h e

c h i p . T h i s i s d o n e i n a m o r e c o m p l e x a n d e x i b l e w a y t h a n s h o w n i n t h e g u r e ;

a l l t h a t i s i m p o r t a n t h e r e i s t h a t t h e c h i p w a s c o n g u r e d w i t h a s i n g l e i n p u t a n d

a s i n g l e o u t p u t a s s h o w n . T h e c h o i c e o f i n p u t a n d o u t p u t p o s i t i o n s w a s m a d e

b e f o r e t h e e x p e r i m e n t s t a r t e d , a n d t h e n k e p t x e d . T h e u n u s e d I O B s s i m p l y

a p p e a r e d a s i n p u t s o f a c o n s t a n t v a l u e . O n l y a 1 0 1 0 c o r n e r o f t h e c h i p w a s

u s e d , a n d t h e u n u s e d c e l l s w e r e a l s o c o n g u r e d j u s t t o p r o d u c e a c o n s t a n t v a l u e .

T h e r e a r e n u m e r o u s o t h e r f e a t u r e s o f t h e d e v i c e t h a t w e r e n o t u s e d , a n d h a v e

n o t b e e n m e n t i o n e d .

A t a n y t i m e , t h e c o n g u r a t i o n o f t h e c h i p i s d e t e r m i n e d b y t h e b i t s h e l d

i n a n o n - c h i p m e m o r y , w h i c h c a n b e w r i t t e n f r o m s o f t w a r e r u n n i n g o n a h o s t

c o m p u t e r . N o c o n g u r a t i o n o f t h e c e l l s c a n c a u s e t h e d e v i c e t o b e d a m a g e d | i t

i s i m p o s s i b l e t o c o n n e c t t w o o u t p u t s t o g e t h e r , f o r i n s t a n c e , b e c a u s e a l l i n t e r n a l

c o n n e c t i o n s a r e u n i - d i r e c t i o n a l . S o a n e v o l u t i o n a r y a l g o r i t h m c a n b e a l l o w e d

t o m a n i p u l a t e t h e c o n g u r a t i o n o f t h e r e a l c h i p w i t h o u t t h e n e e d f o r l e g a l i t y

c o n s t r a i n t s o r c h e c k i n g . H e r e , w e d i r e c t l y e n c o d e t h e c o n g u r a t i o n b i t s f o r t h e

1 0 1 0 c o r n e r | d e t e r m i n i n g h o w t h e f o u r o u t p u t s o f e a c h c e l l a r e d e r i v e d

a n d w h a t f u n c t i o n i s p e r f o r m e d b y e a c h f u n c t i o n u n i t | o n t o a l i n e a r b i t - s t r i n g

g e n o t y p e o f l e n g t h 1 8 0 0 b i t s . T h i s w a s d o n e i n a r a s t e r f a s h i o n , r e a d i n g c e l l -

b y - c e l l f r o m l e f t t o r i g h t a l o n g e a c h r o w , a n d t a k i n g t h e r o w s f r o m b o t t o m t o

t o p .

3 T h e E x p e r i m e n t

T h e t a s k w a s t o e v o l v e a c i r c u i t | a c o n g u r a t i o n o f t h e 1 0 1 0 c o r n e r o f t h e

F P G A | t o d i s c r i m i n a t e b e t w e e n s q u a r e w a v e s o f 1 k H z a n d 1 0 k H z p r e s e n t e d a t

t h e i n p u t . I d e a l l y , t h e o u t p u t s h o u l d g o t o + 5 V a s s o o n a s o n e o f t h e f r e q u e n c i e s

i s p r e s e n t , a n d 0 V f o r t h e o t h e r o n e . T h e t a s k w a s i n t e n d e d a s a r s t s t e p i n t o

t h e d o m a i n s o f p a t t e r n r e c o g n i t i o n a n d s i g n a l p r o c e s s i n g , r a t h e r t h a n b e i n g a n


4/16

a p p l i c a t i o n i n i t s e l f . O n e c o u l d i m a g i n e , h o w e v e r , s u c h a c i r c u i t b e i n g u s e d t o

d e m o d u l a t e f r e q u e n c y - m o d u l a t e d b i n a r y d a t a r e c e i v e d o v e r a t e l e p h o n e l i n e .

I t m i g h t b e t h o u g h t t h a t t h i s t a s k i s t r i v i a l l y e a s y . S o i t w o u l d b e , i f t h e

c i r c u i t h a d a c c e s s t o a c l o c k o r e x t e r n a l r e s o u r c e s s u c h a s R C t i m e - c o n s t a n t s b y

w h i c h t h e p e r i o d o f t h e i n p u t c o u l d b e t i m e d o r l t e r e d . I t h a d n o t . E v o l u t i o n w a s

r e q u i r e d t o p r o d u c e a c o n g u r a t i o n o f t h e a r r a y o f 1 0 0 l o g i c c e l l s t o d i s c r i m i n a t e

b e t w e e n i n p u t p e r i o d s v e o r d e r s o f m a g n i t u d e l o n g e r t h a n t h e i n p u t ) o u t p u t

p r o p a g a t i o n t i m e o f e a c h c e l l ( w h i c h i s j u s t a f e w n a n o s e c o n d s ) . N o c l o c k , a n d

n o o - c h i p c o m p o n e n t s c o u l d b e u s e d : a c o n t i n u o u s - t i m e r e c u r r e n t a r r a n g e m e n t

o f t h e 1 0 0 c e l l s h a d t o b e f o u n d w h i c h c o u l d p e r f o r m t h e t a s k e n t i r e l y o n - c h i p .

M a n y p e o p l e t h o u g h t t h i s w o u l d n o t b e p o s s i b l e .

T h e e v o l u t i o n a r y a l g o r i t h m w a s b a s i c a l l y a c o n v e n t i o n a l g e n e r a t i o n a l G e n e t i c

A l g o r i t h m ( G A ) 3 ] . T h e p o p u l a t i o n o f s i z e 5 0 w a s i n i t i a l i s e d b y g e n e r a t i n g f t y

r a n d o m s t r i n g s o f 1 8 0 0 b i t s e a c h . A f t e r e v a l u a t i o n o f e a c h i n d i v i d u a l o n t h e r e a l

F P G A , t h e n e x t g e n e r a t i o n w a s f o r m e d b y r s t c o p y i n g o v e r t h e s i n g l e t t e s t

i n d i v i d u a l u n c h a n g e d ( e l i t i s m ) ; t h e r e m a i n i n g 4 9 m e m b e r s w e r e d e r i v e d f r o m

p a r e n t s c h o s e n t h r o u g h l i n e a r r a n k - b a s e d s e l e c t i o n , i n w h i c h t h e t t e s t i n d i v i d -

u a l o f t h e c u r r e n t g e n e r a t i o n h a d a n e x p e c t a t i o n o f t w i c e a s m a n y o s p r i n g a s

t h e m e d i a n - r a n k e d i n d i v i d u a l . T h e p r o b a b i l i t y o f s i n g l e - p o i n t c r o s s o v e r w a s 0 . 7 ,

a n d t h e p e r - b i t m u t a t i o n p r o b a b i l i t y w a s s e t s u c h t h a t t h e e x p e c t e d n u m b e r o f

m u t a t i o n s p e r g e n o t y p e w a s 2 . 7 . T h i s m u t a t i o n r a t e w a s a r r i v e d a t i n a c c o r d a n c e

w i t h t h e S p e c i e s A d a p t a t i o n G e n e t i c A l g o r i t h m ( S A G A ) t h e o r y o f H a r v e y 4 ] ,

a l o n g w i t h a l i t t l e e x p e r i m e n t a t i o n .

T h e G A w a s r u n o n a n o r m a l d e s k t o p P C i n t e r f a c e d t o s o m e s i m p l e i n -

h o u s e e l e c t r o n i c s

2

a s s h o w n i n F i g . 2 . T o e v a l u a t e t h e t n e s s o f a n i n d i v i d u a l ,

t h e h a r d w a r e - r e s e t s i g n a l o f t h e F P G A w a s r s t m o m e n t a r i l y a s s e r t e d t o m a k e

c e r t a i n t h a t a n y i n t e r n a l c o n d i t i o n s a r i s i n g f r o m p r e v i o u s e v a l u a t i o n s w e r e r e -

m o v e d . T h e n t h e 1 8 0 0 b i t s o f t h e g e n o t y p e w e r e u s e d t o c o n g u r e t h e 1 0 1 0

c o r n e r o f t h e F P G A a s d e s c r i b e d i n t h e p r e v i o u s s e c t i o n , a n d t h e F P G A w a s

e n a b l e d . A t t h i s s t a g e , t h e r e n o w e x i s t s o n t h e c h i p a g e n e t i c a l l y s p e c i e d c i r c u i t

b e h a v i n g i n r e a l - t i m e a c c o r d i n g t o s e m i c o n d u c t o r p h y s i c s .

2

T e c h n i c a l E l e c t r o n i c s N o t e s : T h e F P G A a n d i t s i n t e r f a c e t o t h e P C , t h e t o n e

g e n e r a t o r , a n d t h e a n a l o g u e i n t e g r a t o r a l l r e s i d e c o m f o r t a b l y o n a s i n g l e f u l l - l e n g t h

c a r d p l u g g i n g i n t o t h e A T ( I S A ) B u s o f t h e P C . T h e a n a l o g u e i n t e g r a t o r w a s o f

t h e b a s i c o p - a m p / r e s i s t o r / c a p a c i t o r t y p e , w i t h a M O S F E T t o r e s e t i t t o z e r o 7 ] . A

M C 6 8 H C 1 1 A 0 m i c r o - c o n t r o l l e r o p e r a t e d t h i s r e s e t s i g n a l ( a n d t h a t o f t h e F P G A ) ,

a n d p e r f o r m e d 8 - b i t A / D c o n v e r s i o n o n t h e i n t e g r a t o r o u t p u t . A n a l a c c u r a c y o f

1 6 b i t s i n t h e i n t e g r a t o r r e a d i n g w a s o b t a i n e d b y s u m m i n g ( i n s o f t w a r e ) t h e r e s u l t o f

i n t e g r a t i o n o v e r 2 5 6 s u b - i n t e r v a l s , w i t h a n A / D c o n v e r s i o n f o l l o w e d b y a r e s e t t i n g o f

t h e a n a l o g u e i n t e g r a t o r p e r f o r m e d a f t e r e a c h s u b - i n t e r v a l . T h e s a m e m i c r o - c o n t r o l l e r

w a s r e s p o n s i b l e f o r t h e g e n e r a t i o n o f t h e t o n e .

L o c a t i o n s i n t h e c o n g u r a t i o n m e m o r y o f t h e F P G A a n d i n t h e d u a l - p o r t R A M

u s e d b y t h e t h e m i c r o - c o n t r o l l e r c o u l d b e r e a d a n d w r i t t e n b y t h e P C v i a s o m e

r e g i s t e r s m a p p e d i n t o t h e A T - B u s I / O s p a c e . T h e X C 6 2 1 6 r e q u i r e s s o m e s m a l l b u t

n o n - t r i v i a l c i r c u i t r y t o a l l o w t h i s | s c h e m a t i c s a r e a v a i l a b l e f r o m t h e a u t h o r .


5/16

configurationPCDesktop

XC6216 FPGA

Output

Tonegenerator

Analogueintegrator(to oscilloscope)

F i g . 2 . T h e e x p e r i m e n t a l a r r a n g e m e n t .

T h e t n e s s o f t h i s p h y s i c a l l y i n s t a n t i a t e d c i r c u i t w a s t h e n a u t o m a t i c a l l y e v a l -

u a t e d a s f o l l o w s . T h e t o n e g e n e r a t o r d r o v e t h e c i r c u i t ' s i n p u t w i t h v e 5 0 0 m s

b u r s t s o f t h e 1 k H z s q u a r e - w a v e , a n d v e o f t h e 1 0 k H z w a v e . T h e s e t e n t e s t t o n e s

w e r e s h u e d i n t o a r a n d o m o r d e r , w h i c h w a s c h a n g e d e v e r y t i m e . T h e r e w a s n o

g a p b e t w e e n t h e t e s t t o n e s . T h e a n a l o g u e i n t e g r a t o r w a s r e s e t t o z e r o a t t h e

b e g i n n i n g o f e a c h t e s t t o n e , a n d t h e n i t i n t e g r a t e d t h e v o l t a g e o f t h e c i r c u i t ' s

o u t p u t p i n o v e r t h e 5 0 0 m s d u r a t i o n o f t h e t o n e . L e t t h e i n t e g r a t o r r e a d i n g a t t h e

e n d o f t e s t t o n e n u m b e r t b e d e n o t e d i

t

( t = 1 , 2 , . . . 1 0 ) . L e t S

1

b e t h e s e t o f v e

1 k H z t e s t t o n e s , a n d S

1 0

t h e s e t o f v e 1 0 k H z t e s t t o n e s . T h e n t h e i n d i v i d u a l ' s

t n e s s w a s c a l c u l a t e d a s :

t n e s s =

1

1 0

k

1

X

t 2 S

1

i

t

!

?

k

2

X

t 2 S

1 0

i

t

!

w h e r e

k

1

= 1 = 3 0 7 3 0 7 4 6

k

2

= 1 = 3 0 5 2 7 9 7 3

( 1 )

T h i s t n e s s f u n c t i o n d e m a n d s t h e m a x i m i s i n g o f t h e d i e r e n c e b e t w e e n t h e

a v e r a g e o u t p u t v o l t a g e w h e n a 1 k H z i n p u t i s p r e s e n t a n d t h e a v e r a g e o u t p u t

v o l t a g e w h e n t h e 1 0 k H z i n p u t i s p r e s e n t . T h e c a l i b r a t i o n c o n s t a n t s k

1

a n d k

2

w e r e e m p i r i c a l l y d e t e r m i n e d , s u c h t h a t c i r c u i t s s i m p l y c o n n e c t i n g t h e i r o u t p u t

d i r e c t l y t o t h e i n p u t w o u l d r e c e i v e z e r o t n e s s . O t h e r w i s e , w i t h k

1

= k

2

= 1 0

s m a l l f r e q u e n c y - s e n s i t i v e e e c t s i n t h e i n t e g r a t i o n o f t h e s q u a r e - w a v e s w e r e f o u n d

t o m a k e t h e s e u s e l e s s c i r c u i t s a n i n e s c a p a b l e l o c a l o p t i m u m .

I t i s i m p o r t a n t t h a t t h e e v a l u a t i o n m e t h o d | h e r e e m b o d i e d i n t h e a n a l o g u e

i n t e g r a t o r a n d t h e t n e s s f u n c t i o n E q n . 1 | f a c i l i t a t e s a n e v o l u t i o n a r y p a t h w a y

o f v e r y s m a l l i n c r e m e n t a l i m p r o v e m e n t s . E a r l i e r e x p e r i m e n t s , w h e r e t h e e v a l u -

a t i o n m e t h o d o n l y p a i d a t t e n t i o n t o w h e t h e r t h e o u t p u t v o l t a g e w a s a b o v e o r

b e l o w t h e l o g i c t h r e s h o l d , m e t w i t h f a i l u r e . I t s h o u l d b e r e c o g n i s e d t h a t t o e v o l v e

n o n - t r i v i a l b e h a v i o u r s , t h e d e v e l o p m e n t o f a n a p p r o p r i a t e e v a l u a t i o n t e c h n i q u e

c a n a l s o b e a n o n - t r i v i a l t a s k .


6/16

4 R e s u l t s

T h r o u g h o u t t h e e x p e r i m e n t , a n o s c i l l o s c o p e w a s d i r e c t l y a t t a c h e d t o t h e o u t p u t

p i n o f t h e F P G A ( s e e F i g . 2 ) , s o t h a t t h e b e h a v i o u r o f t h e e v o l v i n g c i r c u i t s

c o u l d b e v i s u a l l y i n s p e c t e d . F i g . 3 s h o w s p h o t o g r a p h s o f t h e o s c i l l o s c o p e s c r e e n ,

i l l u s t r a t i n g t h e i m p r o v i n g b e h a v i o u r o f t h e b e s t i n d i v i d u a l i n t h e p o p u l a t i o n a t

v a r i o u s t i m e s o v e r t h e c o u r s e o f e v o l u t i o n .

T h e i n d i v i d u a l i n t h e i n i t i a l r a n d o m p o p u l a t i o n o f 5 0 t h a t h a p p e n e d t o g e t

t h e h i g h e s t s c o r e p r o d u c e d a c o n s t a n t + 5 V o u t p u t a t a l l t i m e s , i r r e s p e c t i v e o f

t h e i n p u t . I t r e c e i v e d a t n e s s o f s l i g h t l y a b o v e z e r o j u s t b e c a u s e o f n o i s e . T h u s ,

t h e r e w a s n o i n d i v i d u a l i n t h e i n i t i a l p o p u l a t i o n t h a t d e m o n s t r a t e d a n y a b i l i t y

w h a t s o e v e r t o p e r f o r m t h e t a s k .

A f t e r 2 2 0 g e n e r a t i o n s , t h e b e s t c i r c u i t w a s b a s i c a l l y c o p y i n g t h e i n p u t t o t h e

o u t p u t . H o w e v e r , o n w h a t w o u l d h a v e b e e n t h e h i g h p a r t o f t h e s q u a r e w a v e , a

h i g h f r e q u e n c y c o m p o n e n t w a s a l s o p r e s e n t , v i s i b l e a s a b l u r r e d t h i c k e n i n g o f t h e

l i n e i n t h e p h o t o g r a p h . T h i s h i g h - f r e q u e n c y c o m p o n e n t e x c e e d s t h e m a x i m u m

r a t e a t w h i c h t h e F P G A c a n m a k e l o g i c t r a n s i t i o n s , s o t h e o u t p u t m a k e s s m a l l

o s c i l l a t i o n s a b o u t a v o l t a g e s l i g h t l y b e l o w t h e n o r m a l l o g i c - h i g h o u t p u t v o l t a g e

f o r t h e h i g h p a r t o f t h e s q u a r e w a v e . A f t e r a n o t h e r 1 0 0 g e n e r a t i o n s , t h e b e h a v i o u r

w a s m u c h t h e s a m e , w i t h t h e a d d i t i o n o f o c c a s i o n a l g l i t c h e s t o 0 V w h e n t h e

o u t p u t w o u l d o t h e r w i s e h a v e b e e n h i g h .

O n c e 6 5 0 g e n e r a t i o n s h a d e l a p s e d , d e n i t e p r o g r e s s h a d b e e n m a d e . F o r t h e

1 k H z i n p u t , t h e o u t p u t s t a y e d h i g h ( w i t h a s m a l l c o m p o n e n t o f t h e i n p u t w a v e

s t i l l p r e s e n t ) o n l y o c c a s i o n a l l y p u l s i n g t o a l o w v o l t a g e . F o r t h e 1 0 k H z i n p u t ,

t h e i n p u t w a s s t i l l b a s i c a l l y b e i n g c o p i e d t o t h e o u t p u t . B y g e n e r a t i o n 1 1 0 0 , t h i s

b e h a v i o u r h a d b e e n r e n e d , s o t h a t t h e o u t p u t s t a y e d a l m o s t p e r f e c t l y a t + 5 V

o n l y w h e n t h e 1 k H z i n p u t w a s p r e s e n t .

B y g e n e r a t i o n 1 4 0 0 , t h e n e a t b e h a v i o u r f o r t h e 1 k H z i n p u t h a d b e e n a b a n -

d o n e d , b u t n o w t h e o u t p u t w a s m o s t l y h i g h f o r t h e 1 k H z i n p u t , a n d m o s t l y

l o w f o r t h e 1 0 k H z i n p u t . . . w i t h v e r y s t r a n g e l o o k i n g w a v e f o r m s . T h i s b e h a v i o u r

w a s t h e n g r a d u a l l y i m p r o v e d . N o t i c e t h e w a v e f o r m s a t g e n e r a t i o n 2 5 5 0 | t h e y

w o u l d s e e m u t t e r l y a b s u r d t o a d i g i t a l d e s i g n e r . E v e n t h o u g h t h i s i s a d i g i t a l

F P G A , a n d w e a r e e v o l v i n g a r e c u r r e n t n e t w o r k o f l o g i c g a t e s , t h e g a t e s a r e

n o t b e i n g u s e d t o ` d o ' l o g i c . L o g i c g a t e s a r e i n f a c t h i g h - g a i n a r r a n g e m e n t s o f a

f e w t r a n s i s t o r s , s o t h a t t h e t r a n s i s t o r s a r e u s u a l l y s a t u r a t e d | c o r r e s p o n d i n g t o

l o g i c 0 a n d 1 . E v o l u t i o n d o e s n o t ` k n o w ' t h a t t h i s w a s t h e i n t e n t i o n o f t h e d e -

s i g n e r s o f t h e F P G A , s o j u s t u s e s w h a t e v e r b e h a v i o u r t h e s e h i g h - g a i n g r o u p s o f

t r a n s i s t o r s h a p p e n t o e x h i b i t w h e n c o n n e c t e d i n a r b i t r a r y w a y s ( m a n y o f w h i c h

a d i g i t a l d e s i g n e r m u s t a v o i d i n o r d e r t o m a k e d i g i t a l l o g i c a v a l i d m o d e l o f t h e

s y s t e m ' s b e h a v i o u r ) . T h i s i s n o t a d i g i t a l s y s t e m , b u t a c o n t i n u o u s - t i m e , c o n t i n -

u o u s v a l u e d d y n a m i c a l s y s t e m m a d e f r o m a r e c u r r e n t a r r a n g e m e n t o f h i g h - g a i n

g r o u p s o f t r a n s i s t o r s | h e n c e t h e u n u s u a l w a v e f o r m s .


7/16

3500

2800

2

550

1400

2100

1100

650

320

220

0

IN

10kHz1kHz

F i g . 3 . P h o t o g r a p h s o f t h e o s c i l l o s c o p e s c r e e n . T o p : t h e 1 k H z a n d 1 0 k H z i n p u t w a v e -

f o r m s . B e l o w : t h e c o r r e s p o n d i n g o u t p u t o f t h e b e s t i n d i v i d u a l i n t h e p o p u l a t i o n a f t e r

t h e n u m b e r o f g e n e r a t i o n s m a r k e d d o w n t h e s i d e .


8/16

B y g e n e r a t i o n 2 8 0 0 , t h e o n l y d e f e c t i n t h e b e h a v i o u r w a s r a p i d g l i t c h i n g

p r e s e n t o n t h e o u t p u t f o r t h e 1 0 k H z i n p u t . H e r e , t h e o u t p u t p o l a r i t y h a s c h a n g e d

o v e r : i t i s n o w l o w f o r t h e 1 k H z i n p u t a n d h i g h f o r 1 0 k H z . T h i s c h a n g e w o u l d h a v e

n o i m p a c t o n t n e s s b e c a u s e o f t h e a b s o l u t e v a l u e s i g n s i n t h e t n e s s f u n c t i o n

( E q n . 1 ) ; i n g e n e r a l i t i s a g o o d i d e a t o a l l o w e v o l u t i o n t o s o l v e t h e p r o b l e m i n

a s m a n y w a y s a s p o s s i b l e | t h e m o r e s o l u t i o n s t h e r e a r e , t h e e a s i e r t h e y a r e t o

n d .

I n t h e n a l p h o t o g r a p h a t g e n e r a t i o n 3 5 0 0 , w e s e e t h e p e r f e c t d e s i r e d b e -

h a v i o u r . I n f a c t , t h e r e w e r e i n f r e q u e n t u n w a n t e d s p i k e s i n t h e o u t p u t ( n o t v i s i -

b l e i n t h e p h o t o ) ; t h e s e w e r e n a l l y e l i m i n a t e d a t a r o u n d g e n e r a t i o n 4 1 0 0 . T h e

G A w a s r u n f o r a f u r t h e r 1 0 0 0 g e n e r a t i o n s w i t h o u t a n y o b s e r v a b l e c h a n g e i n

t h e b e h a v i o u r o f t h e b e s t i n d i v i d u a l . T h e n a l c i r c u i t ( w h i c h I w i l l a r b i t r a r i l y

t a k e t o b e t h e b e s t i n d i v i d u a l o f g e n e r a t i o n 5 0 0 0 ) a p p e a r s t o b e p e r f e c t w h e n

o b s e r v e d b y e y e o n t h e o s c i l l o s c o p e . I f t h e i n p u t i s c h a n g e d f r o m 1 k H z t o 1 0 k H z

( o r v i c e - v e r s a ) , t h e n t h e o u t p u t c h a n g e s c l e a n l y b e t w e e n a s t e a d y + 5 V a n d a

s t e a d y 0 V w i t h o u t a n y p e r c e p t i b l e d e l a y .

G r a p h s o f m a x i m u m a n d m e a n t n e s s , a n d o f g e n e t i c c o n v e r g e n c e , a r e g i v e n

i n F i g . 4 . T h e s e g r a p h s s u g g e s t t h a t s o m e i n t e r e s t i n g p o p u l a t i o n d y n a m i c s t o o k

p l a c e , e s p e c i a l l y a t a r o u n d g e n e r a t i o n 2 6 6 0 . T h e e x p e r i m e n t i s a n a l y s e d i n d e p t h

f r o m a n e v o l u t i o n - t h e o r e t i c p e r s p e c t i v e i n a c o m p a n i o n p a p e r 5 ] , s o I w i l l n o t

d w e l l o n i t h e r e . C r u c i a l t o a n y a t t e m p t t o u n d e r s t a n d t h e e v o l u t i o n a r y p r o c e s s

w h i c h t o o k p l a c e i s t h e o b s e r v a t i o n t h a t t h e p o p u l a t i o n h a d f o r m e d a g e n e t i c a l l y

c o n v e r g e d ` s p e c i e s ' b e f o r e t n e s s b e g a n t o i n c r e a s e : t h i s i s c o n t r a r y t o c o n v e n -

t i o n a l G A t h i n k i n g , b u t a t t h e h e a r t o f H a r v e y ' s S p e c i e s A d a p t a t i o n G e n e t i c

A l g o r i t h m ( S A G A ) 4 ] c o n c e p t u a l f r a m e w o r k .

( a )

0 1000 2000 3000 4000 5000

2.00

1.80

1.60

1.40

1.20

1.00

0.80

0.60

0.40

0.20

0.00

Fitness

Generations( b )

0

Generations

900

800

700

600

500

400

300

200

100

0

Hamming Distance

1000 2000 3000 4000 5000

F i g . 4 . ( a ) M a x i m u m a n d m e a n t n e s s e s o f t h e p o p u l a t i o n a t e a c h g e n e r a t i o n .

( b ) G e n e t i c c o n v e r g e n c e , m e a s u r e d a s t h e m e a n H a m m i n g d i s t a n c e b e t w e e n t h e g e n o -

t y p e s o f p a i r s o f i n d i v i d u a l s , a v e r a g e d o v e r a l l p o s s i b l e p a i r s .


9/16

T h e e n t i r e e x p e r i m e n t t o o k 2 { 3 w e e k s . T h i s t i m e w a s d o m i n a t e d b y t h e v e

s e c o n d s t a k e n t o e v a l u a t e e a c h i n d i v i d u a l , w i t h a s m a l l c o n t r i b u t i o n f r o m t h e

p r o c e s s o f c a l c u l a t i n g a n d s a v i n g d a t a t o a i d l a t e r a n a l y s i s . T h e t i m e s t a k e n f o r

t h e a p p l i c a t i o n o f s e l e c t i o n , t h e g e n e t i c o p e r a t o r s , a n d t o c o n g u r e t h e F P G A

w e r e a l l n e g l i g i b l e i n c o m p a r i s o n . I t i s n o t k n o w n w h e t h e r t h e e x p e r i m e n t w o u l d

h a v e s u c c e e d e d i f t h e i n d i v i d u a l s h a d b e e n e v a l u a t e d f o r s h o r t e r p e r i o d s o f t i m e

| t n e s s e v a l u a t i o n s s h o u l d b e j u s t a c c u r a t e e n o u g h t h a t t h e s m a l l i n c r e m e n -

t a l i m p r o v e m e n t s i n p e r f o r m a n c e t h a t f a c i l i t a t e e v o l u t i o n a r e n o t s w a m p e d b y

n o i s e . A n e x c i t i n g a s p e c t o f h a r d w a r e e v o l u t i o n i s t h a t v e r y h i g h - s p e e d t a s k s

c a n b e t a c k l e d , f o r i n s t a n c e i n t h e p a t t e r n r e c o g n i t i o n o r s i g n a l p r o c e s s i n g d o -

m a i n s , w h e r e t n e s s e v a l u a t i o n | a n d h e n c e e v o l u t i o n | c a n b e v e r y r a p i d .

T h e r e c o g n i t i o n o f a u d i o t o n e s , a s i n t h i s e x p e r i m e n t , i s a l o n g d u r a t i o n t a s k i n

c o m p a r i s o n t o m a n y o f t h e s e , b e c a u s e i t i s r e a s o n a b l e t o e x p e c t t h a t t h e i n d i v i d -

u a l s w i l l n e e d t o b e e v a l u a t e d f o r m a n y p e r i o d s o f t h e ( s l o w ) i n p u t w a v e f o r m s ,

e s p e c i a l l y i n t h e e a r l y s t a g e s o f e v o l u t i o n . T h e a u t h o r w a s e n g a g e d i n a d i e r e n t

p r o j e c t w h i l e t h e e x p e r i m e n t w a s r u n n i n g , s o i t c o n s u m e d n o h u m a n t i m e .

5 A n a l y s i s

T h e n a l c i r c u i t i s s h o w n i n F i g . 5 ; o b s e r v e t h e m a n y f e e d b a c k p a t h s . T h e l a c k

o f m o d u l a r i t y i n t h e t o p o l o g y i s u n s u r p r i s i n g , b e c a u s e t h e r e w a s n o b i a s i n t h e

g e n e t i c e n c o d i n g s c h e m e i n f a v o u r o f t h i s .

P a r t s o f t h e c i r c u i t t h a t c o u l d n o t p o s s i b l y a e c t t h e o u t p u t c a n b e p r u n e d

a w a y . T h i s w a s d o n e b y t r a c i n g a l l p o s s i b l e p a t h s t h r o u g h t h e c i r c u i t ( b y w a y

o f w i r e s a n d f u n c t i o n u n i t s ) t h a t e v e n t u a l l y c o n n e c t t o t h e o u t p u t . I n d o i n g s o ,

i t w a s a s s u m e d t h a t a l l o f a f u n c t i o n u n i t ' s i n p u t s c o u l d a e c t t h e f u n c t i o n u n i t

o u t p u t , e v e n w h e n t h e a c t u a l f u n c t i o n p e r f o r m e d m e a n t t h a t t h i s s h o u l d n o t

t h e o r e t i c a l l y b e t h e c a s e . T h i s a s s u m p t i o n w a s m a d e b e c a u s e i t i s n o t k n o w n

e x a c t l y h o w f u n c t i o n u n i t s c o n n e c t e d i n c o n t i n u o u s - t i m e f e e d b a c k l o o p s a c t u a l l y

d o b e h a v e . I n F i g . 6 , c e l l s a n d w i r e s a r e o n l y d r a w n i f t h e r e i s a c o n n e c t e d p a t h

b y w h i c h t h e y c o u l d p o s s i b l y a e c t t h e o u t p u t , w h i c h l e a v e s o n l y a b o u t h a l f o f

t h e m .

T o a s c e r t a i n f u l l y w h i c h p a r t s w e r e a c t u a l l y c o n t r i b u t i n g t o t h e b e h a v i o u r ,

a s e a r c h w a s c o n d u c t e d t o n d t h e l a r g e s t s e t o f c e l l s t h a t c o u l d h a v e t h e i r

f u n c t i o n u n i t o u t p u t s s i m u l t a n e o u s l y c l a m p e d t o c o n s t a n t v a l u e s ( 0 o r 1 ) w i t h o u t

a e c t i n g t h e b e h a v i o u r . T o c l a m p a c e l l , t h e c o n g u r a t i o n w a s a l t e r e d s o t h a t

t h e f u n c t i o n o u t p u t o f t h a t c e l l w a s s o u r c e d b y t h e i p - o p i n s i d e i t s f u n c t i o n

u n i t ( a f e a t u r e o f t h e c h i p w h i c h h a s n o t b e e n m e n t i o n e d u n t i l n o w , a n d w h i c h

w a s n o t u s e d d u r i n g e v o l u t i o n ) : t h e c o n t e n t s o f t h e s e i p - o p s c a n b e w r i t t e n

b y t h e P C a n d c a n b e p r o t e c t e d a g a i n s t a n y f u r t h e r c h a n g e s . A p r o g r a m w a s

w r i t t e n t o r a n d o m l y s e l e c t a c e l l , c l a m p i t t o a r a n d o m v a l u e , p e r f o r m a t n e s s

e v a l u a t i o n , a n d t o r e t u r n t h e c e l l t o i t s u n - c l a m p e d c o n g u r a t i o n i f p e r f o r m a n c e

w a s d e g r a d e d , o t h e r w i s e t o l e a v e t h e c l a m p i n p l a c e . T h i s p r o c e d u r e w a s i t e r a t e d ,

g r a d u a l l y b u i l d i n g u p a m a x i m a l s e t o f c e l l s t h a t c a n b e c l a m p e d w i t h o u t a l t e r i n g

t n e s s .


10/16

In

Out

F i g . 5 . T h e n a l e v o l v e d c i r c u i t . T h e 1 0 1 0 a r r a y o f c e l l s i s s h o w n , a l o n g w i t h a l l

c o n n e c t i o n s t h a t e v e n t u a l l y c o n n e c t a n o u t p u t t o a n i n p u t . C o n n e c t i o n s d r i v e n b y a

c e l l ' s f u n c t i o n o u t p u t a r e r e p r e s e n t e d b y a r r o w s o r i g i n a t i n g f r o m t h e c e l l b o u n d a r y .

C o n n e c t i o n s i n t o a c e l l w h i c h a r e s e l e c t e d a s i n p u t s t o i t s f u n c t i o n u n i t h a v e a s m a l l

s q u a r e d r a w n o n t h e m . T h e a c t u a l s e t t i n g o f e a c h f u n c t i o n u n i t i s n o t i n d i c a t e d i n t h i s

d i a g r a m .

I n t h e a b o v e a u t o m a t i c s e a r c h p r o c e d u r e , t h e t n e s s e v a l u a t i o n s w e r e m o r e

r i g o r o u s ( l o n g e r ) t h a n t h o s e c a r r i e d o u t d u r i n g e v o l u t i o n , s o t h a t v e r y s m a l l

d e t e r i o r a t i o n s i n t n e s s w o u l d b e d e t e c t e d ( r e m e m b e r t h e r e i s a l w a y s s o m e n o i s e

d u r i n g t h e e v a l u a t i o n s ) . H o w e v e r , t h e r e w a s s t i l l a p r o b l e m : c l a m p i n g s o m e o f

t h e c e l l s i n t h e e x t r e m e t o p - l e f t c o r n e r p r o d u c e d s u c h a t i n y d e c r e m e n t i n t n e s s

t h a t t h e e v a l u a t i o n s d i d n o t d e t e c t i t , b u t y e t b y t h e t i m e a l l o f t h e s e c e l l s

o f s m a l l i n u e n c e h a d b e e n c l a m p e d , t h e e e c t o n t n e s s w a s q u i t e n o t i c e a b l e .

I n t h e s e c a s e s m a n u a l i n t e r v e n t i o n w a s u s e d ( i n f o r m e d b y s e v e r a l r u n s o f t h e

a u t o m a t i c m e t h o d ) , w i t h e v a l u a t i o n s h a p p e n i n g b y w a t c h i n g t h e o s c i l l o s c o p e

s c r e e n f o r s e v e r a l m i n u t e s t o c h e c k f o r a n y i n f r e q u e n t s p i k e s t h a t m i g h t h a v e

b e e n c a u s e d b y t h e n e w l y i n t r o d u c e d c l a m p .

F i g . 7 s h o w s t h e f u n c t i o n a l p a r t o f t h e c i r c u i t t h a t r e m a i n s w h e n t h e l a r g e s t

p o s s i b l e s e t o f c e l l s h a s b e e n c l a m p e d w i t h o u t a e c t i n g t h e b e h a v i o u r . T h e c e l l s

s h a d e d g r a y c a n n o t b e c l a m p e d w i t h o u t d e g r a d i n g p e r f o r m a n c e , e v e n t h o u g h

t h e r e i s n o c o n n e c t e d p a t h b y w h i c h t h e y c o u l d i n u e n c e t h e o u t p u t | t h e y w e r e

n o t p r e s e n t o n t h e p r u n e d d i a g r a m o f F i g . 6 . T h e y m u s t b e i n u e n c i n g t h e r e s t o f

t h e c i r c u i t b y s o m e m e a n s o t h e r t h a n t h e n o r m a l c e l l - t o - c e l l w i r e s : t h i s p r o b a b l y

t a k e s t h e f o r m o f a v e r y l o c a l i s e d i n t e r a c t i o n w i t h i m m e d i a t e l y n e i g h b o u r i n g


11/16

Out

In

F i g . 6 . T h e p r u n e d c i r c u i t d i a g r a m : c e l l s a n d w i r e s a r e o n l y d r a w n i f t h e r e i s a c o n -

n e c t e d p a t h t h r o u g h w h i c h t h e y c o u l d p o s s i b l y a e c t t h e o u t p u t .

In

Out

F i g . 7 . T h e f u n c t i o n a l p a r t o f t h e c i r c u i t . C e l l s n o t d r a w n h e r e c a n b e c l a m p e d t o

c o n s t a n t v a l u e s w i t h o u t a e c t i n g t h e c i r c u i t ' s b e h a v i o u r | s e e m a i n t e x t .


12/16

c o m p o n e n t s . P o s s i b l e m e c h a n i s m s i n c l u d e i n t e r a c t i o n t h r o u g h t h e p o w e r - s u p p l y

w i r i n g , o r e l e c t r o m a g n e t i c c o u p l i n g . C l a m p i n g o n e o f t h e g r a y c e l l s i n t h e t o p -

l e f t c o r n e r h a s o n l y a s m a l l i m p a c t o n b e h a v i o u r , i n t r o d u c i n g e i t h e r u n w a n t e d

p u l s e s i n t o t h e o u t p u t , o r a s m a l l t i m e d e l a y b e f o r e t h e o u t p u t c h a n g e s s t a t e

w h e n t h e i n p u t f r e q u e n c y i s c h a n g e d . H o w e v e r , c l a m p i n g t h e f u n c t i o n u n i t o f

t h e b o t t o m - r i g h t g r a y c e l l , w h i c h a l s o h a s t w o a c t i v e c o n n e c t i o n s r o u t e d t h r o u g h

i t , d e g r a d e s o p e r a t i o n s e v e r e l y e v e n t h o u g h t h a t f u n c t i o n o u t p u t i s n o t s e l e c t e d

a s a n i n p u t t o a n y o f t h e N E W S n e i g h b o u r s : i t d o e s n ' t g o a n y w h e r e .

T h i s c i r c u i t i s d i s c r i m i n a t i n g b e t w e e n i n p u t s o f p e r i o d 1 m s a n d 0 . 1 m s u s i n g

o n l y 3 2 c e l l s , e a c h w i t h a p r o p a g a t i o n d e l a y o f l e s s t h a n 5 n s , a n d w i t h n o o - c h i p

c o m p o n e n t s w h a t s o e v e r : a s u r p r i s i n g f e a t . E v o l u t i o n h a s b e e n f r e e t o e x p l o r e

t h e f u l l r e p e r t o i r e o f b e h a v i o u r s a v a i l a b l e f r o m t h e s i l i c o n r e s o u r c e s p r o v i d e d ,

e v e n b e i n g a b l e t o e x p l o i t t h e s u b t l e i n t e r a c t i o n s b e t w e e n a d j a c e n t c o m p o n e n t s

t h a t a r e n o t d i r e c t l y c o n n e c t e d . T h e i n p u t / o u t p u t b e h a v i o u r o f t h e c i r c u i t i s a

d i g i t a l o n e , b e c a u s e t h a t i s w h a t m a x i m i s i n g t h e t n e s s f u n c t i o n r e q u i r e d , b u t

t h e c o m p l e x a n a l o g u e w a v e f o r m s s e e n a t t h e o u t p u t d u r i n g t h e i n t e r m e d i a t e

s t a g e s o f e v o l u t i o n b e t r a y t h e r i c h c o n t i n u o u s - t i m e c o n t i n u o u s - v a l u e d y n a m i c s

t h a t a r e l i k e l y t o b e i n t e r n a l l y p r e s e n t .

I n 1 2 ] i t w a s s h o w n t h a t i n G A s l i k e t h e o n e u s e d h e r e , t h e r e c a n b e a

t e n d e n c y f o r c i r c u i t s t o e v o l v e t o b e r e l a t i v e l y u n a e c t e d b y g e n e t i c m u t a t i o n s ,

o n a v e r a g e . ( T h i s e e c t w a s r s t n o t i c e d i n a d i e r e n t c o n t e x t 2 , 8 ] , a n d o n l y

o c c u r s s i g n i c a n t l y i n e n g i n e e r i n g G A s u n d e r p a r t i c u l a r | b u t c o m m o n | c o n -

d i t i o n s . ) D e p e n d i n g o n t h e g e n e t i c e n c o d i n g s c h e m e , t h i s c a n h a v e a v a r i e t y o f

c o n s e q u e n c e s f o r t h e p h e n o t y p e , i n c l u d i n g g r a c e f u l d e g r a d a t i o n i n t h e p r e s e n c e

o f c e r t a i n h a r d w a r e f a u l t s . F o r o u r c i r c u i t e v o l v e d h e r e , h o w e v e r , i n c r e a s i n g t h e

p r o p o r t i o n o f t h e p o s s i b l e m u t a t i o n s t h a t d o n o t r e d u c e t n e s s m a y r e s u l t i n

d e c r e a s i n g t h e n u m b e r o f c e l l s i m p l i c a t e d i n g e n e r a t i n g t h e b e h a v i o u r . S o i t m a y

b e n o a c c i d e n t t h a t t h e f u n c t i o n a l c o r e o f c e l l s s e e n i n F i g . 7 i s s m a l l .

S o f a r , w e h a v e o n l y c o n s i d e r e d t h e r e s p o n s e o f t h e c i r c u i t t o t h e t w o f r e q u e n -

c i e s i t w a s e v o l v e d t o d i s c r i m i n a t e . H o w d o e s i t b e h a v e w h e n o t h e r f r e q u e n c i e s

o f s q u a r e w a v e a r e a p p l i e d t o t h e i n p u t ? F i g . 8 s h o w s t h e a v e r a g e o u t p u t v o l t -

a g e ( m e a s u r e d u s i n g t h e a n a l o g u e i n t e g r a t o r o v e r a p e r i o d o f 5 s e c o n d s ) f o r

i n p u t f r e q u e n c i e s f r o m 3 1 . 2 5 k H z t o 0 . 6 2 5 k H z . W h e n t h e c a s e t e m p e r a t u r e o f t h e

F P G A i s 3 1 2

C ( a s i t w a s , 5

C , d u r i n g e v o l u t i o n ) , t h e n f o r i n p u t f r e q u e n c i e s

4 . 5 k H z t h e o u t p u t s t a y s a t a s t e a d y + 5 V , a n d f o r f r e q u e n c i e s 1 . 6 k H z a t

a s t e a d y 0 V . T h u s , t h e t e s t f r e q u e n c i e s ( m a r k e d F 1 a n d F 2 i n t h e g u r e ) a r e

c o r r e c t l y d i s c r i m i n a t e d w i t h a c o n s i d e r a b l e m a r g i n f o r e r r o r . A s t h e f r e q u e n c y i s

r e d u c e d f r o m 4 . 5 k H z , t h e o u t p u t b e g i n s t o r a p i d l y p u l s e l o w f o r a s m a l l f r a c t i o n

o f t h e t i m e ; a s t h e f r e q u e n c y i s r e d u c e d f u r t h e r t h e o u t p u t s p e n d s m o r e t i m e a t

0 V a n d l e s s t i m e a t + 5 V , u n t i l n a l l y r e s t i n g a t a s t e a d y 0 V a s t h e f r e q u e n c y

r e a c h e s 1 . 6 k H z . T h e s e p r o p e r t i e s m i g h t b e c o n s i d e r e d ` g e n e r a l i s a t i o n . '

F i g . 8 a l s o s h o w s t h e c i r c u i t ' s b e h a v i o u r w h e n h o t o r c o l d . T h e h i g h t e m p e r a -

t u r e w a s a c h i e v e d b y p l a c i n g a 6 0 W l i g h t - b u l b n e a r t h e c h i p , t h e l o w t e m p e r a t u r e

b y o p e n i n g a l l o f t h e l a b o r a t o r y w i n d o w s o n a c o o l b r e e z y e v e n i n g . V a r y i n g t h e

t e m p e r a t u r e m o v e s t h e f r e q u e n c y r e s p o n s e c u r v e t o t h e l e f t o r r i g h t , s o o n c e


13/16


14/16

T h e c o r e p r i n c i p l e t h a t t h e s e i d e a s a p p r o a c h i s t o l o o k f o r a n e c i e n t c o m -

p o s i t i o n o f e l e c t r o n i c c o m p o n e n t s s e l e c t e d f r o m a s e t o f p h y s i c a l ( n o t a b s t r a c t )

r e s o u r c e s , s u c h t h a t t h e i r c o u p l e d n a t u r a l b e h a v i o u r s c o l l e c t i v e l y g i v e r i s e t o t h e

r e q u i r e d o v e r a l l s y s t e m b e h a v i o u r . I n t h i s p a p e r , w e h a v e s e e n e v o l u t i o n d o e x -

a c t l y t h a t . A ` p r i m o r d i a l s o u p ' o f r e c o n g u r a b l e e l e c t r o n i c c o m p o n e n t s h a s b e e n

m a n i p u l a t e d a c c o r d i n g t o t h e o v e r a l l b e h a v i o u r i t e x h i b i t s , a n d o n n o o t h e r c r i t e -

r i o n , w i t h n o c o n s t r a i n t s i m p o s e d u p o n t h e s t r u c t u r e o r i t s d y n a m i c a l b e h a v i o u r

o t h e r t h a n t h o s e i n h e r e n t i n t h e r e s o u r c e s p r o v i d e d .

F o r a h u m a n t o d e s i g n s u c h a s y s t e m o n p a p e r w o u l d r e q u i r e t h e s e t o f c o u -

p l e d d i e r e n t i a l e q u a t i o n s d e s c r i b i n g t h e d e t a i l e d e l e c t r o n i c a n d e l e c t r o m a g n e t i c

i n t e r a c t i o n s o f e v e r y p i e c e o f m e t a l , o x i d e , d o p e d s i l i c o n , e t c . , i n t h e s y s t e m t o b e

c o n s i d e r e d a t a l l s t a g e s o f t h e d e s i g n p r o c e s s . B e c a u s e t h i s i s n o t p r a c t i c a l , t h e

s t r u c t u r e a n d d y n a m i c a l b e h a v i o u r o f t h e s y s t e m m u s t b e c o n s t r a i n e d t o m a k e

d e s i g n t r a c t a b l e . T h e b a s i c s t r a t e g y i s t o : ( 1 ) B r e a k t h e s y s t e m i n t o s m a l l e r

p a r t s t h a t c a n b e u n d e r s t o o d i n d i v i d u a l l y . ( 2 ) R e s t r i c t t h e i n t e r a c t i o n s b e t w e e n

t h e s e p a r t s s o t h a t c a n b e u n d e r s t o o d . ( 3 ) A p p l y 1 a n d 2 h i e r a r c h i c a l l y , a l l o w i n g

d e s i g n a t i n c r e a s i n g l e v e l s o f a b s t r a c t i o n .

T h u s , c o n v e n t i o n a l d e s i g n a l w a y s r e q u i r e s c o n s t r a i n t s t o b e a p p l i e d t o t h e

c i r c u i t ' s s p a t i a l s t r u c t u r e a n d / o r d y n a m i c a l b e h a v i o u r . E v o l u t i o n , w o r k i n g b y

u d g i n g t h e e e c t s o f v a r i a t i o n s a p p l i e d t o t h e r e a l p h y s i c a l h a r d w a r e d o e s n o t

T h a t i s w h y t h e c i r c u i t w a s e v o l v e d w i t h o u t t h e e n f o r c e m e n t o f a n y s p a t i a l

s t r u c t u r e , s u c h a s l i m i t a t i o n s u p o n r e c u r r e n t c o n n e c t i o n s , o r t h e i m p o s i t i o n o f

m o d u l a r i t y , a n d w i t h o u t d y n a m i c a l c o n s t r a i n t s s u c h a s a s y n c h r o n i s i n g c l o c k o r

h a n d s h a k i n g b e t w e e n m o d u l e s .

3

T h i s s e t s f r e e a l l o f t h e d e t a i l e d p r o p e r t i e s o f

t h e c o m p o n e n t s t o b e u s e d i n d e v e l o p i n g t h e r e q u i r e d o v e r a l l b e h a v i o u r . I t i s

r e a s o n a b l e t o c l a i m t h a t t h e e v o l v e d c i r c u i t c o n s e q u e n t l y u s e s s i g n i c a n t l y l e s s

s i l i c o n a r e a t h a n w o u l d b e r e q u i r e d b y a h u m a n d e s i g n e r f a c e d w i t h t h e s a m e

p r o b l e m , b u t s u c h a s s e r t i o n s a r e a l w a y s o p e n t o a t t a c k f r o m g e n i u s d e s i g n e r s .

T h e o u t s t a n d i n g p r o b l e m w i t h a l l o w i n g e v o l u t i o n a f r e e h a n d t o e x p l o i t t h e

r e s o u r c e s i s t h a t t h e e v o l v i n g c i r c u i t s c a n b e c o m e t a i l o r e d t o o s p e c i c a l l y t o t h e

e x a c t c o n d i t i o n s p r e v a i l i n g d u r i n g e v o l u t i o n . F o r i n s t a n c e , o u r e x a m p l e c i r c u i t

w a s s h o w n t o b e u s i n g s u b t l e i n t e r a c t i o n s b e t w e e n a d j a c e n t c o m p o n e n t s o n t h e

s i l i c o n ; s u r e l y i f t h i s e v o l v e d c o n g u r a t i o n w e r e u s e d w i t h a n o t h e r , n o m i n a l l y

i d e n t i c a l , F P G A c h i p t h e n i t w o u l d n o l o n g e r w o r k ? E v e r y c h i p h a s s l i g h t l y

d i e r e n t p r o p a g a t i o n d e l a y s , c a p a c i t a n c e s , e t c . , a n d t h e c i r c u i t c o u l d h a v e c o m e

c r u c i a l l y t o r e l y o n t h o s e o f t h e p a r t i c u l a r c h i p o n w h i c h i t w a s e v o l v e d . T o

i n v e s t i g a t e t h i s q u e s t i o n , t h e n a l p o p u l a t i o n a t g e n e r a t i o n 5 0 0 0 w a s u s e d t o

c o n g u r e a c o m p l e t e l y d i e r e n t 1 0 1 0 r e g i o n o f t h e s a m e F P G A c h i p ( F i g . 9 ) .

W h e n u s e d t o c o n g u r e t h i s n e w r e g i o n , t h e i n d i v i d u a l i n t h e p o p u l a t i o n

t h a t w a s t t e s t a t t h e o l d p o s i t i o n d e t e r i o r a t e d b y 7 % . H o w e v e r , t h e r e w a s

a n o t h e r i n d i v i d u a l i n t h e p o p u l a t i o n w h i c h , a t t h e n e w p o s i t i o n , w a s w i t h i n 0 . 1 %

o f p e r f e c t t n e s s . E v o l u t i o n w a s a l l o w e d t o c o n t i n u e a t t h e n e w p o s i t i o n , a n d

a f t e r o n l y 1 0 0 g e n e r a t i o n s h a d r e c o v e r e d p e r f e c t p e r f o r m a n c e . W h e n t h i s n e w

3

S e e 1 4 , 1 3 ] f o r a n e x p a n s i o n o f t h i s a r g u m e n t a n d e a r l i e r e x p e r i m e n t s s p e c i c a l l y

d e s i g n e d t o e x p l o r e t h e f e a s i b i l i t y o f s u c h u n c o n s t r a i n e d e v o l u t i o n .


15/16

configurationPCDesktop

XC6216 FPGA

Output

Tonegenerator

Analogueintegrator(to oscilloscope)

F i g . 9 . M o v i n g t h e c i r c u i t t o a d i e r e n t r e g i o n o f t h e F P G A .

p o p u l a t i o n w a s m o v e d b a c k t o t h e o r i g i n a l r e g i o n o f s i l i c o n , a g a i n t h e t r a n s f e r

r e d u c e d t h e t n e s s o f t h e i n d i v i d u a l t h a t u s e d t o b e t t e s t , b u t t h e r e w a s a n o t h e r

i n d i v i d u a l i n t h e p o p u l a t i o n t h a t b e h a v e d p e r f e c t l y t h e r e .

R e c a l l t h a t t h e c i r c u i t w o r k s p e r f e c t l y o v e r t h e 1 0

C r a n g e o f t e m p e r a t u r e s

t o w h i c h t h e p o p u l a t i o n w a s e x p o s e d d u r i n g e v o l u t i o n . T h i s , t o g e t h e r w i t h t h e

e a s e w i t h w h i c h e v o l u t i o n w a s o b s e r v e d t o a d a p t t h e c i r c u i t t o w o r k o n a n e w

r e g i o n o f s i l i c o n , s u g g e s t s a u n i e d s o l u t i o n t o t h e p r o b l e m o f e v o l v i n g c i r c u i t s

w i t h e n g i n e e r i n g t o l e r a n c e s . T h e p l a n i s t o h a v e 1 0 n o m i n a l l y i d e n t i c a l F P G A

c h i p s , s e l e c t e d f r o m s e p a r a t e b a t c h e s ( s o a s t o b e a s d i e r e n t f r o m e a c h - o t h e r

a s p o s s i b l e ) , h e l d a t d i e r e n t t e m p e r a t u r e s u s i n g P e l t i e r - e e c t h e a t p u m p s , a n d

w i t h a r a n g e o f p e r m i s s i b l e p o w e r - s u p p l y v o l t a g e s . T o e v a l u a t e a n i n d i v i d u a l ' s

t n e s s , i t w i l l b e t e s t e d o n e a c h o f t h e F P G A s a n d g i v e n a s c o r e a c c o r d i n g

t o i t s a b i l i t y t o p e r f o r m u n d e r a l l o f t h e s e c o n d i t i o n s . T h i s w i l l n o t s l o w d o w n

e v o l u t i o n b e c a u s e t h e F P G A s c a n o p e r a t e i n p a r a l l e l . T h e h o p e i s t h a t e v o l u t i o n

w i l l p r o d u c e a c o n g u r a t i o n t h a t w o r k s a t a n y p e r m i s s i b l e t e m p e r a t u r e a n d

p o w e r - s u p p l y v o l t a g e a n d f o r a n y F P G A o f t h a t t y p e . S u c c e s s i s n o t c e r t a i n ,

b e c a u s e i t w i l l n o t b e p o s s i b l e t o e x p o s e t h e e v o l v i n g c i r c u i t s t o e v e r y p o s s i b l e

c o m b i n a t i o n o f c o n d i t i o n s , b u t t h e r e i s g o o d r e a s o n t o t h i n k t h a t i t c a n b e m a d e

e a s i e r f o r e v o l u t i o n t o g e n e r a l i s e t h a n t o s p e c i a l i s e . I f t h e u n c o n s t r a i n e d e c i e n t

e v o l u t i o n a r y e x p l o i t a t i o n o f r e s o u r c e s c a n b e m a d e a n e n g i n e e r i n g p r a c t i c a l i t y ,

t h e p a y - o s w i l l b e g r e a t .

7 C o n c l u s i o n

W h e n a n e v o l u t i o n a r y t n e s s e v a l u a t i o n i s t h e j u d g i n g o f t h e p h y s i c a l b e h a v i o u r

o f a r e c o n g u r a b l e e l e c t r o n i c d e v i c e , e v o l u t i o n c a n b e a l l o w e d t o e x p l o r e t h e

w h o l e s p a c e o f p o s s i b l e c o n g u r a t i o n s . M u c h o f t h i s s p a c e i s b e y o n d t h e s c o p e o f

c o n v e n t i o n a l d e s i g n m e t h o d s , s o c o n c e p t s o f w h a t e l e c t r o n i c c i r c u i t s c a n l o o k l i k e

n e e d t o b e b r o a d e n e d . T h e b e n e t o f s u c h a s t e p i s t h a t e v o l u t i o n c a n t h e n u t i l i s e


16/16

t h e a v a i l a b l e r e s o u r c e s m o r e e c i e n t l y , w i t h r i c h e r c i r c u i t s t r u c t u r e , d y n a m i c a l

b e h a v i o u r , a n d r e s p e c t f o r t h e n a t u r a l p h y s i c a l b e h a v i o u r o f t h e m e d i u m . T h i s

h a s b e e n d e m o n s t r a t e d b y a s i m p l e , b u t n o t t o y , e x p e r i m e n t | t h e r s t d i r e c t

` i n t r i n s i c ' e v o l u t i o n o f a n F P G A c o n g u r a t i o n .

A c k n o w l e d g e m e n t s : T h i s w o r k w a s f u n d e d b y t h e S c h o o l o f C o g n i t i v e & C o m p u t -

i n g S c i e n c e s . S p e c i a l t h a n k s t o t h e X i l i n x D e v e l o p m e n t C o r p o r a t i o n , J o h n G r a y , P h i l

H u s b a n d s , D a v e C l i , I n m a n H a r v e y , G i l e s M a y l e y a n d T o n y H i r s t .

R e f e r e n c e s

1 . H . d e G a r i s . G r o w i n g a n a r t i c i a l b r a i n w i t h a m i l l i o n n e u r a l n e t m o d u l e s i n s i d e a

t r i l l i o n c e l l c e l l u l a r a u t o m a t o n m a c h i n e . I n P r o c . 4 t h I n t . S y m p . o n M i c r o M a c h i n e

a n d H u m a n S c i e n c e , p p 2 1 1 { 2 1 4 , 1 9 9 3 .

2 . M . E i g e n . N e w c o n c e p t s f o r d e a l i n g w i t h t h e e v o l u t i o n o f n u c l e i c a c i d s . I n C o l d

S p r i n g H a r b o r S y m p o s i a o n Q u a n t i t a t i v e B i o l o g y , v o l . L I I , 1 9 8 7 .

3 . D . E . G o l d b e r g . G e n e t i c A l g o r i t h m s i n S e a r c h , O p t i m i s a t i o n & M a c h i n e L e a r n i n g

A d d i s o n W e s l e y , 1 9 8 9 .

4 . I . H a r v e y . S p e c i e s A d a p t a t i o n G e n e t i c A l g o r i t h m s : A b a s i s f o r a c o n t i n u i n g S A G A .

I n F . J . V a r e l a a n d P B o u r g i n e , e d s , T o w a r d s a P r a c t i c e o f A u t o n o m o u s S y s t e m s :

P r o c . 1 s t E u r . C o n f . o n A r t i c i a l L i f e , p p 3 4 6 { 3 5 4 . M I T P r e s s , 1 9 9 2 .

5 . I . H a r v e y a n d A . T h o m p s o n . T h r o u g h t h e l a b y r i n t h e v o l u t i o n n d s a w a y : A s i l i c o n

r i d g e . I n t h i s v o l u m e : P r o c . 1 s t I n t . C o n f . o n E v o l v a b l e S y s t e m s : F r o m B i o l o g y t o

H a r d w a r e 1 9 9 6 ( I C E S 9 6 ) , S p r i n g e r - V e r l a g L N C S .

6 . O . H o l l a n d . G r e y W a l t e r : t h e p i o n e e r o f r e a l a r t i c i a l l i f e . I n A L i f e V : P r o c . 5 t h

I n t . W o r k s h o p S y n t h e s i s a n d S i m u l a t i o n o f L i v i n g S y s t e m s . M I T P r e s s , 1 9 9 6 .

7 . P . H o r o w i t z a n d W . H i l l . T h e A r t o f E l e c t r o n i c s . C a m b r i d g e U n i v e r s i t y P r e s s , 2 n d

e d i t i o n , 1 9 8 9 .

8 . M . A . H u y n e n a n d P . H o g e w e g . P a t t e r n g e n e r a t i o n i n m o l e c u l a r e v o l u t i o n : E x -

p l o i t a t i o n o f t h e v a r i a t i o n i n R N A l a n d s c a p e s . J . M o l . E v o l . , 3 9 : 7 1 { 7 9 , 1 9 9 4 .

9 . C . A . M e a d . A n a l o g V L S I a n d N e u r a l S y s t e m s . A d d i s o n W e s l e y , 1 9 8 9 .

1 0 . A . F . M u r r a y . A n a l o g u e n e u r a l V L S I : I s s u e s , t r e n d s a n d p u l s e s . A r t i c i a l N e u r a l

N e t w o r k s , 2 : 3 5 { 4 3 , 1 9 9 2 .

1 1 . J . V . O l d e l d a n d R . C . D o r f . F i e l d P r o g r a m m a b l e G a t e A r r a y s : R e c o n g u r a b l e l o g i c

f o r r a p i d p r o t o t y p i n g a n d i m p l e m e n t a t i o n o f d i g i t a l s y s t e m s . W i l e y , 1 9 9 5 .

1 2 . A . T h o m p s o n . E v o l u t i o n a r y t e c h n i q u e s f o r f a u l t t o l e r a n c e . I n P r o c . U K A C C I n t .

C o n f . o n C o n t r o l 1 9 9 6 ( C O N T R O L ' 9 6 ) , p p 6 9 3 { 6 9 8 . I E E C o n f e r e n c e P u b l i c a t i o n

N o . 4 2 7 , 1 9 9 6 .

1 3 . A . T h o m p s o n . S i l i c o n e v o l u t i o n . I n J . R . K o z a e t a l . , e d s , P r o c . o f G e n e t i c P r o -

g r a m m i n g 1 9 9 6 ( G P 9 6 ) , p p 4 4 4 { 4 5 2 . M I T P r e s s , 1 9 9 6 .

1 4 . A . T h o m p s o n , I . H a r v e y & P . H u s b a n d s . U n c o n s t r a i n e d e v o l u t i o n a n d h a r d c o n -

s e q u e n c e s . I n E . S a n c h e z & M . T o m a s s i n i , e d s , T o w a r d s E v o l v a b l e H a r d w a r e : T h e

e v o l u t i o n a r y e n g i n e e r i n g a p p r o a c h , p p 1 3 6 { 1 6 5 . S p r i n g e r - V e r l a g L N C S 1 0 6 2 , 1 9 9 6 .

1 5 . X i l i n x , I n c . X C 6 2 0 0 A d v a n c e d p r o d u c t s p e c i c a t i o n V 1 . 0 , 7 / 9 6 . I n T h e P r o -

g r a m m a b l e L o g i c D a t a B o o k . 1 9 9 6 . S e e h t t p : / / w w w . x i l i n x . c o m .

T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L

A

T

E

X m a c r o p a c k a g e w i t h L L N C S s t y l e

intrinsic in silicon, entwined with physics

Documents

Transcript of intrinsic in silicon, entwined with physics