Approximate Entropy for Testing Randomness.pdf

5/19/2018 Approximate Entropy for Testing Randomness.pdf

1/16

A p p r o x i m a t e E n t r o p y f o r T e s t i n g R a n d o m n e s s

A n d r e w L . R u k h i n

A b s t r a c t

I n t h i s p a p e r a n e w c o n c e p t o f a p p r o x i m a t e e n t r o p y i s m o d i e d

a n d a p p l i e d t o t h e p r o b l e m o f t e s t i n g f o r r a n d o m n e s s a s t r i n g o f b i -

n a r y b i t s . T h i s c o n c e p t h a s b e e n i n t r o d u c e d i n a s e r i e s o f p a p e r s

b y S . P i n c u s a n d c o - a u t h o r s . T h e c o r r e s p o n d i n g s t a t i s t i c i s d e s i g n e d

t o m e a s u r e t h e d e g r e e o f r a n d o m n e s s o f o b s e r v e d s e q u e n c e s . I t i s

b a s e d o n i n c r e m e n t a l c o n t r a s t s o f e m p i r i c a l e n t r o p i e s b a s e d o n t h e

f r e q u e n c i e s o f d i e r e n t p a t t e r n s i n t h e s e q u e n c e . S e q u e n c e s w i t h l a r g e

a p p r o x i m a t e e n t r o p y m u s t h a v e s u b s t a n t i a l u c t u a t i o n o r i r r e g u l a r i t y .

A l t e r n a t i v e l y , s m a l l v a l u e s o f t h i s c h a r a c t e r i s t i c i m p l y s t r o n g r e g u l a r -

i t y , o r l a c k o f r a n d o m n e s s , i n a s e q u e n c e . P i n c u s a n d K a l m a n ( 1 9 9 7 )

e v a l u a t e d a p p r o x i m a t e e n t r o p i e s f o r b i n a r y a n d d e c i m a l e x p a n s i o n s o f

e ; ;

p

2 a n d

p

3 w i t h t h e s u r p r i s i n g c o n c l u s i o n t h a t t h e e x p a n s i o n o f

p

3 d e m o n s t r a t e d m u c h m o r e i r r e g u l a r i t y t h a n t h a t o f .

T r a c t a b l e s m a l l s a m p l e d i s t r i b u t i o n s a r e h a r d l y a v a i l a b l e , a n d t e s t -

i n g r a n d o m n e s s i s b a s e d , a s a r u l e , o n f a i r l y l o n g s t r i n g s . T h e r e f o r e , t o

h a v e r i g o r o u s s t a t i s t i c a l t e s t s o f r a n d o m e s s b a s e d o n t h i s a p p r o x i m a t e

e n t r o p y s t a t i s t i c , o n e n e e d s t h e l i m i t i n g d i s t r i b u t i o n o f t h i s c h a r a c t e r -

i s t i c u n d e r t h e r a n d o m n e s s a s s u m p t i o n . U n t i l n o w t h i s d i s t r i b u t i o n

r e m a i n e d u n k n o w n a n d w a s t h o u g h t t o b e d i c u l t t o o b t a i n .

T h e k e y s t e p l e a d i n g t o t h e l i m i t i n g d i s t r i b u t i o n o f a p p r o x i m a t e

e n t r o p y i s a m o d i c a t i o n o f i t s d e n i t i o n b a s e d o n t h e f r e q u e n c i e s o f

d i e r e n t p a t t e r n s i n t h e a u g m e n t e d o r c i r c u l a r v e r s i o n o f t h e o r i g i n a l

s e q u e n c e . I n S e c t i o n 2 i t i s s h o w n t h a t t h e a p p r o x i m a t e e n t r o p y a s

w e l l a s i t s m o d i e d v e r s i o n c o n v e r g e s i n d i s t r i b u t i o n t o a

2

- r a n d o m

v a r i a b l e w h e n t h e l e n g t h o f a t e m p l a t e , m , i s x e d . A s i m i l a r r e s u l t

w h e n m i n c r e a s e s t o i n n i t y i s o b t a i n e d i n S e c t i o n 3 . I n t h i s s i t u a t i o n

t h e l i m i t i n g d i s t r i b u t i o n i s n o r m a l w i t h t h e p a r a m e t e r s o f t h i s l a w

d e t e r m i n e d f r o m P o i s s o n a p p r o x i m a t i o n . T h e s e f a c t s p r o v i d e t h e b a s i s

f o r s t a t i s t i c a l t e s t s o f r a n d o m n e s s v i a t h e a p p r o x i m a t e e n t r o p y . I n

1


2/16

p a r t i c u l a r , t a i l p r o b a b i l i t i e s f o r t h e a p p r o x i m a t e e n t r o p y t e s t c a n b e

e v a l u a t e d . A g r a p h o f t h e s e v a l u e s f o r b i n a r y e x p a n s i o n s o f e ; a n d

p

3 i l l u s t r a t e s t h e u s e o f t h i s c o n c e p t .

K e y w o r d s : D e c o m p o s a b l e S t a t i s t i c s , E n t r o p y , I n f o r m a t i o n D i v e r g e n c e , M u l t i -

n o m i a l D i s t r i b u t i o n , P o i s s o n D i s t r i b u t i o n ,

2

- d i s t r i b u t i o n .

A n d r e w L . R u k h i n i s a P r o f e s s o r i n t h e D e p a r t m e n t o f M a t h e m a t i c s a n d

S t a t i s t i c s a t U n i v e r s i t y o f M a r y l a n d a t B a l t i m o r e C o u n t y , B a l t i m o r e , M D ,

2 1 2 5 0 . H e a l s o h a s a f a c u l t y a p p o i n t m e n t i n t h e S t a t i s t i c a l E n g i n e e r i n g D i -

v i s i o n a t t h e N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h n o l o g y , G a i t h e r s b u r g ,

M D 2 0 8 9 9 - 0 0 0 1 . T h i s w o r k h a s b e e n m o t i v a t e d b y a j o i n t p r o j e c t w i t h t h e

C o m p u t e r S e c u r i t y D i v i s i o n o f t h e N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h -

n o l o g y .

1 I n t r o d u c t i o n : A p p r o x i m a t e E n t r o p i e s

I n t h i s p a p e r I a p p l y a n e w c o n c e p t o f a p p r o x i m a t e e n t r o p y a n d i t s m o d i -

c a t i o n t o t h e p r o b l e m o f t e s t i n g f o r r a n d o m n e s s a s t r i n g o f b i n a r y b i t s . T h i s

p r o b l e m g a i n e d i m p o r t a n c e w i t h t h e w i d e u s e o f p u b l i c k e y c r y p t o g r a p h y

a n d t h e n e e d f o r g o o d s e c u r e e n c r y p t i o n a l g o r i t h m s . A l l s u c h a l g o r i t h m s a r e

b a s e d o n a g e n e r a t o r o f ( p s e u d o ) r a n d o m n u m b e r s ; t h e t e s t i n g o f s u c h g e n -

e r a t o r s f o r r a n d o m n e s s b e c a m e c r u c i a l f o r c o m m u n i c a t i o n s i n d u s t r y w h e r e

d i g i t a l s i g n a t u r e s a n d k e y m a n a g e m e n t a r e v i t a l f o r i n f o r m a t i o n p r o c e s s i n g .

T o m e a s u r e t h e d e g r e e o f r a n d o m n e s s o f o b s e r v e d s e q u e n c e s P i n c u s a n d

S i n g e r ( 1 9 9 6 ) s u g g e s t e d t o u s e a g e n e r a l c h a r a c t e r i s t i c , t h e s o - c a l l e d a p p r o x -

i m a t e e n t r o p y . A c t u a l l y t h i s a p p r o a c h i s p u r s u e d i n a s e r i e s o f p a p e r s b y S .

P i n c u s a n d c o - a u t h o r s ( P i n c u s ( 1 9 9 1 ) , P i n c u s a n d H u a n g ( 1 9 9 2 ) , P i n c u s a n d

K a l m a n ( 1 9 9 7 ) ) . I t i s b a s e d o n t h e l i k e l i h o o d t h a t t e m p l a t e s i n t h e s e q u e n c e

t h a t a r e s i m i l a r w i l l r e m a i n s i m i l a r o n n e x t i n c r e m e n t a l c o m p a r i s o n s .

T o x t h e i d e a s d e n o t e b y

1

; : : : ;

n

, a s e q u e n c e o f i . i . d . r a n d o m v a r i a b l e s

e a c h t a k i n g v a l u e s i n t h e n i t e s e t f 1 ; : : : ; s g . F o r Y

i

( m ) = (

i

; : : : ;

i + m ? 1

) ,

1 i n ? m + 1 , l e t

C

m

i

=

1

n + 1 ? m

# f j : 1 j n ? m + 1 ; Y

j

( m ) = Y

i

( m ) g

2


3/16

a n d

( m )

=

1

n + 1 ? m

n + 1 ? m

X

i = 1

l o g C

m

i

:

O b s e r v e t h a t C

m

i

i s t h e r e l a t i v e f r e q u e n c y o f o c c u r r e n c e s o f t h e t e m p l a t e

Y

i

( m ) i n t h e s e q u e n c e , a n d ?

( m )

i s t h e e n t r o p y o f t h e e m p i r i c a l d i s t r i b u t i o n

a r i s i n g o n t h e o b s e r v e d s u b s e t o f t h e s e t o f a l l s

m

p o s s i b l e p a t t e r n s o f l e n g t h

m :

T h e a p p r o x i m a t e e n t r o p y A p E n o f o r d e r m ; m 1 i s d e n e d a s

A p E n ( m ) =

( m )

?

( m + 1 )

w i t h A p E n ( 0 ) = ?

( 1 )

: \ A p E n ( m ) m e a s u r e s t h e l o g a r i t h m i c f r e q u e n c y w i t h

w h i c h b l o c k s o f l e n g t h m t h a t a r e c l o s e t o g e t h e r r e m a i n c l o s e t o g e t h e r f o r

b l o c k s a u g m e n t e d b y o n e p o s i t i o n . T h u s , s m a l l v a l u e s o f A p E n ( m ) i m p l y

s t r o n g r e g u l a r i t y , o r p e r s i s t e n c e , i n a s e q u e n c e . A l t e r n a t i v e l y , l a r g e v a l u e s

o f A p E n ( m ) i m p l y s u b s t a n t i a l u c t u a t i o n , o r i r r e g u l a r i t y . . " ( P i n c u s a n d

S i n g e r , 1 9 9 6 , p 2 0 8 3 ) .

P i n c u s a n d S i n g e r ( 1 9 9 6 ) d e n e d a s e q u e n c e t o b e m - i r r e g u l a r ( m - r a n d o m )

i f i t s a p p r o x i m a t e e n t r o p y A p E n ( m ) t a k e s t h e l a r g e s t p o s s i b l e v a l u e . P i n c u s

a n d K a l m a n ( 1 9 9 7 ) e v a l u a t e d q u a n t i t i e s A p E n ( m ) ; m = 0 ; 1 ; 2 f o r b i n a r y

a n d d e c i m a l e x p a n s i o n s o f e ; ;

p

2 a n d

p

3 w i t h t h e s u r p r i s i n g c o n c l u s i o n

t h a t t h e e x p a n s i o n o f

p

3 d e m o n s t r a t e d m u c h m o r e i r r e g u l a r i t y t h a n t h a t o f

.

S i n c e

?

( m )

i s t h e e n t r o p y o f t h e e m p i r i c a l d i s t r i b u t i o n w h i c h u n d e r t h e

r a n d o m n e s s a s s u m p t i o n m u s t b e a l m o s t u n i f o r m , o n e s h o u l d e x p e c t t h a t f o r

x e d m ;

( m )

? m l o g s a n d A p E n ( m ) =

( m )

?

( m + 1 )

! l o g s ; i n d e e d t h i s

f a c t f o l l o w s f r o m T h e o r e m 2 i n P i n c u s ( 1 9 9 1 ) . A s f a r a s t h e l i m i t i n g b e h a v i o r

o f A p E n ( m ) ? l o g s , P i n c u s a n d H u a n g ( 1 9 9 2 ) , p 3 0 7 2 , i n d i c a t e t h a t \ a n a l y t i c

p r o o f s o f a s y m p t o t i c n o r m a l i t y a n d e s p e c i a l l y e x p l i c i t v a r i a n c e e s t i m a t e s f o r

A p E n a p p e a r t o b e e x t r e m e l y d i c u l t " .

T h e k e y s t e p l e a d i n g t o t h e l i m i t i n g d i s t r i b u t i o n o f a p p r o x i m a t e e n t r o p y

i s a m o d i c a t i o n o f i t s d e n i t i o n . I n t r o d u c e t h e m o d i e d v e r s i o n o f t h e

e m p i r i c a l d i s t r i b u t i o n e n t r o p y ?

( m )

a s

~

( m )

=

X

i

1

i

m

i

1

i

m

l o g

i

1

i

m

: ( 1 )

H e r e

i

1

i

m

= !

i

1

i

m

= n d e n o t e s t h e r e l a t i v e f r e q u e n c y o f t h e p a t t e r n

( i

1

; ; i

m

) i n t h e a u g m e n t e d ( o r c i r c u l a r ) v e r s i o n o f t h e o r i g i n a l s t r i n g ,

3


4/16

i . e . i n t h e s t r i n g (

1

; : : : ;

n

;

1

; : : : ;

m ? 1

) . U n d e r t h i s d e n i t i o n !

i

1

i

m

=

P

k

!

i

1

i

m

k

, s o t h a t f o r a n y m ;

P

i

1

i

m

i

1

i

m

= n :

D e n e t h e m o d i e d a p p r o x i m a t e e n t r o p y a s

g

A p E n ( m ) =

~

( m )

?

~

( m + 1 )

: ( 2 )

A d e n i t e a d v a n t a g e o f

g

A p E n ( m ) i s t h a t b y J e n s e n ' s i n e q u a l i t y , l o g s

g

A p E n ( m ) f o r a n y m , w h e r e a s i t i s p o s s i b l e t h a t l o g s < A p E n ( m ) ( a l b e i t

t h e p r o b a b i l i t y o f t h i s t e n d s t o z e r o a s n i n c r e a s e s . ) T h e r e f o r e t h e l a r g e s t

p o s s i b l e v a l u e o f

g

A p E n ( m ) i s m e r e l y l o g s . T h e m a x i m a l l y r a n d o m s e q u e n c e s

u n d e r t h i s d e n i t i o n h a v e t h e r e l a t i v e f r e q u e n c i e s o f a l l p a t t e r n s ( i n a c i r c u l a r

v e r s i o n o f t h e s e q u e n c e ) o f a g i v e n l e n g t h a r e a s c l o s e t o t h e c o m m o n v a l u e n

? 1

a s p o s s i b l e . F o r e x a m p l e , i n a d d i t i o n t o m a x i m a l l y r a n d o m b i n a r y s t r i n g s

f r o m t h e p o i n t o f v i e w o f A p E n ( 1 ) 1 ; 1 ; 0 ; 0 ; 1 , 1 ; 0 ; 0 ; 1 ; 1 , 0 ; 0 ; 1 ; 1 ; 0 , a n d

0 ; 1 ; 1 ; 0 ; 0 m e n t i o n e d b y P i n c u s a n d S i n g e r ( 1 9 9 6 ) p 2 0 8 4 , o n e s h o u l d a d d

t w o s e q u e n c e s 1 ; 0 ; 0 ; 0 ; 1 , 0 ; 1 ; 1 ; 1 ; 0 , w h i c h a r e r a n d o m f r o m t h e p o i n t o f

v i e w o f

g

A p E n ( 1 ) .

O n t h e o t h e r h a n d A p E n ( m ) a n d

g

A p E n ( m ) c a n n o t d i e r m u c h i f n i s

l a r g e . I n d e e d f o r Y

i

( m ) = ( i

1

; : : : ; i

m

) , p u t

0

i

1

i

m

= C

m

i

, s o t h a t

( m )

=

X

i

1

i

m

0

i

1

i

m

l o g

0

i

1

i

m

:

T h e n w i t h !

0

i

1

i

m

= ( n ? m + 1 )

0

i

1

i

m

X

i

1

i

m

!

0

i

1

i

m

= n ? m + 1 ;

a n d !

i

1

i

m

? !

0

i

1

i

m

m ? 1 . I t f o l l o w s t h a t

i

1

i

m

?

0

i

1

i

m

m ? 1

n ? m + 1

; ( 3 )

w h i c h s u g g e s t s t h a t f o r a x e d m , P i n c u s ' a p p r o x i m a t e e n t r o p y a n d

g

A p E n ( m )

m u s t b e c l o s e w h e n n i s l a r g e .

I n t h e n e x t S e c t i o n I d e r i v e t h e l i m i t i n g d i s t r i b u t i o n o f n l o g s ?

g

A p E n ( m ) ]

w h e n n ! 1 a n d m i s x e d . I t i s a l s o p r o v e n t h a t n A p E n ( m ) ?

g

A p E n ( m ) ] =

O

P

( n

? 1

) ; s o t h a t t h e l i m i t i n g d i s t r i b u t i o n s o f P i n c u s ' a p p r o x i m a t e e n t r o p y

4


5/16

a n d o f

g

A p E n ( m ) c o i n c i d e . S e c t i o n 3 c o n t a i n s a s i m i l a r r e s u l t w h e n m !

1 . T h e s e f a c t s p r o v i d e t h e b a s i s f o r s t a t i s t i c a l t e s t s o f r a n d o m n e s s v i a t h e

a p p r o x i m a t e e n t r o p y .

I n p a r t i c u l a r , i n S e c t i o n 4 t h e t a i l p r o b a b i l i t i e s f o r t h e a p p r o x i m a t e e n -

t r o p y t e s t a r e e v a l u a t e d a n d p l o t t e d f o r b i n a r y e x p a n s i o n s o f e ; a n d

p

3 .

2 A s y m p t o t i c B e h a v i o r o f A p p r o x i m a t e E n -

t r o p y : F i x e d m.

I t i s s h o w n h e r e t h a t t h e l i m i t i n g d i s t r i b u t i o n o f 2 n l o g s

?

g

A p E n ( m ) ] a s w e l l

a s o f 2 n l o g s ? A p E n ( m ) ] i s t h a t o f a

2

- r a n d o m v a r i a b l e w i t h ( s ? 1 ) s

m

d e g r e e s o f f r e e d o m .

P r o p o s i t i o n 1 F o r x e d m a s n ! 1 o n e h a s t h e f o l l o w i n g c o n v e r g e n c e i n

d i s t r i b u t i o n

2 n

h

l o g s ?

g

A p E n ( m )

i

!

2

( s

m + 1

? s

m

) :

A l s o

n A p E n ( m ) ?

g

A p E n ( m ) ] = O

P

1

n

; ( 4 )

s o t h a t

2 n l o g s ? A p E n ( m ) ] !

2

( s

m + 1

? s

m

) :

P r o o f L e t u s s t a r t w i t h t h e l i m i t t h e o r e m f o r

g

A p E n ( m ) . P u t

Z

i

1

i

m

=

p

n

i

1

i

m

?

1

s

m

:

T h e n t h e v e c t o r f o r m e d b y Z

i

1

i

m

h a s a s y m p t o t i c m u l t i v a r i a t e n o r m a l d i s -

t r i b u t i o n w i t h z e r o m e a n a n d t h e c o v a r i a n c e m a t r i x o f t h e f o r m

m

=

1

s

m

I

m

?

1

s

2 m

e

m

e

T

m

:

H e r e I

m

d e n o t e s t h e s

m

s

m

i d e n t i t y m a t r i x a n d e

T

m

= ( 1 ; : : : ; 1 ) i s a s

m

-

d i m e n s i o n a l v e c t o r . S i n c e w i t h p r o b a b i l i t y o n e ,

P

Z

i

1

i

m

= 0 , ( 1 ) s h o w s

t h a t

~

( m )

= ?

X

i

1

i

m

"

1

s

m

+

Z

i

1

i

m

p

n

#

h

? m l o g s +

s

m

Z

i

1

i

m

p

n

?

s

2 m

Z

2

i

1

i

m

2 n

+ O

P

1

n

3 = 2

i

5


6/16

? m l o g s +

s

m

2 n

X

i

1

i

m

Z

2

i

1

i

m

:

U s i n g a s i m i l a r n o t a t i o n f o r p a t t e r n s o f l e n g t h m + 1 , l e t

i

1

i

m

i

m + 1

b e t h e

r e l a t i v e f r e q u e n c i e s , a n d l e t Z

i

1

i

m

i

m + 1

d e n o t e t h e c o r r e s p o n d i n g d i e r e n c e s

b e t w e e n e m p i r i c a l a n d t h e o r e t i c a l p r o b a b i l i t i e s . T h e n

Z

i

1

i

m

=

s

X

k = 1

Z

i

1

i

m

k

a n d

~

( m + 1 )

? ( m + 1 ) l o g s +

s

m + 1

2 n

X

i

1

i

m

i

m + 1

Z

2

i

1

i

m

i

m + 1

:

T h u s

~

( m )

?

~

( m + 1 )

l o g s ?

s

m

2 n

2

4

X

i

1

i

m

X

k

Z

i

1

i

m

k

!

2

? s

X

i

1

i

m

i

m + 1

Z

2

i

1

i

m

i

m + 1

3

5

= l o g s ?

s

m

2 n

Z

T

Q Z

w i t h t h e s

m + 1

s

m + 1

b l o c k - d i a g o n a l m a t r i x Q f o r m e d b y f o r m e d b y s

m

b l o c k s

Q

0

o f s i z e s s ,

Q

0

= s I

1

? e

1

e

T

1

;

a n d s

m + 1

- d i m e n s i o n a l n o r m a l v e c t o r Z . T h e d i s t r i b u t i o n o f t h e q u a d r a t i c

f o r m Z

T

Q Z i s t h a t o f

P

l

i

1

i

m

i

m + 1

W

2

i

1

i

m

i

m + 1

w i t h i n d e p e n d e n t s t a n d a r d

n o r m a l v a r i a b l e s W

i

1

i

m

i

m + 1

a n d l

i

1

i

m

i

m + 1

d e n o t i n g t h e e i g e n v a l u e s o f t h e

m a t r i x

1 = 2

Q

1 = 2

.

I t i s e a s y t o c h e c k t h a t

1 = 2

m + 1

=

1

s

( m + 1 ) = 2

I

m + 1

?

1

s

3 ( m + 1 ) = 2

e

m + 1

e

T

m + 1

;

a n d

1 = 2

m + 1

Q

1 = 2

m + 1

=

1

s

m + 1

Q :

T h e e v a l u a t i o n o f t h e d e t e r m i n a n t , d e t

h

1 = 2

m + 1

Q

1 = 2

m + 1

? l I

m + 1

i

, s h o w s t h e

n e e d e d e i g e n v a l u e s a r e e q u a l t o s w i t h m u l t i p l i c i t y ( s ? 1 ) s

m

a n d 0 w i t h

m u l t i p l i c i t y s

m

. T h e r e f o r e

~

( m )

?

~

( m + 1 )

l o g s ?

1

2 n

2

( ( s ? 1 ) s

m

)

6


7/16

a n d

n

h

l o g s ?

g

A p E n ( m )

i

1

2

2

( s

m + 1

? s

m

) :

T h e e s t i m a t e ( 3 ) s h o w s t h a t i f Z

0

i

1

i

m

=

p

n

h

0

i

1

i

m

? s

? m

i

t h e n

j Z

0

i

1

i

m

? Z

i

1

i

m

j ( m ? 1 )

p

n = ( n ? m + 1 ) a n d

~

( m )

?

( m )

s

m

2 n

X

i

1

i

m

Z

2

i

1

i

m

?

X

i

1

i

m

Z

0 2

i

1

i

m

s

2 m

( m

?1 )

2

2 ( n ? m + 1 )

2

:

T h u s ( 4 ) f o l l o w s a n d t h e P r o p o s i t i o n 1 i s p r o v e n . 2

F o r t h e o b s e r v e d v a l u e A p E n ( m ) , o n e h a s t o d e n e

2

( o b s ) a s

2

( o b s )

= 2 n j l o g s ? A p E n ( m ) j , w h e r e a s , a s h a s b e e n n o t i c e d , t h e d i e r e n c e l o g s ?

g

A p E n ( m ) i s a l w a y s p o s i t i v e . T h e r e p o r t e d P - v a l u e ( t a i l p r o b a b i l i t y ) i s

P

n

( m ) = 1 ? P

2

m ? 1

;

2

( o b s ) = 2

w i t h P d e n o t i n g t h e i n c o m p l e t e g a m m a - f u n c t i o n . T h e n u l l h y p o t h e s i s o f

r a n d o m n e s s i s r e j e c t e d f o r l a r g e v a l u e s o f

2

( o b s ) .

T h e a s y m p t o t i c d i s t r i b u t i o n o f t h e s t a t i s t i c s 2 n

h

l o g s ?

g

A p E n ( m )

i

a n d

2 n l o g s ? A p E n ( m ) ] , e v a l u a t e d u n d e r t h e a l t e r n a t i v e o f t h e f o r m

i

1

i

m

i

m + 1

=

s

? m ? 1

+ n

? 1 = 2

i

1

i

m

i

m + 1

, w i t h

T

e = 0 , i s a n o n c e n t r a l

2

- d i s t r i b u t i o n w i t h

s

m + 1

? s

m

d e g r e e s o f f r e e d o m a n d t h e n o n c e n t r a l i t y p a r a m e t e r

T

= s

m + 1

.

T h i s f a c t a l l o w s f o r a n a p p r o x i m a t e p o w e r f u n c t i o n o f t h e c o r r e s p o n d i n g t e s t

o f r a n d o m n e s s .

3 A s y m p t o t i c B e h a v i o r o f A p p r o x i m a t e E n -

t r o p y : L a r g e m .

I n t h i s s e c t i o n I c o n s i d e r t h e s i t u a t i o n w h e n b o t h n a n d m t e n d t o i n n i t y

s o t h a t

n

s

m + 1

! > 0 : ( 5 )

( A c t u a l l y t h i s c o n d i t i o n c a n b e r e l a x e d t o m i n

n

n

s

m + 1

> 0 . O b s e r v e t h a t

t h e n u m e r i c a l e v a l u a t i o n o f A p E n ( m ) a n d

g

A p E n ( m ) f o r s u c h v a l u e s o f m i s

f e a s i b l e ; f o r e x a m p l e , t h e v a l u e s s = 2 ; n = 1 0

5

; m = 1 7 w i t h = 0 : 3 8 1 4 7 : :

h a v e b e e n t r i e d . )

7


8/16

T o i n v e s t i g a t e t h i s c a s e l e t u s w r i t e t h e f o r m u l a f o r t h e m o d i e d a p p r o x -

i m a t e e n t r o p y i n t h e f o l l o w i n g f o r m

g

A p E n ( m ) =

X

i

1

i

m

i

1

i

m

l o g

i

1

i

m

?

X

i

1

i

m

i

m + 1

i

1

i

m

i

m + 1

l o g

i

1

i

m

i

m + 1

=

1

n

X

i

1

i

m

h

!

i

1

i

m

1

l o g

!

i

1

i

m

1

P

k

!

i

1

i

m

k

!

+ + !

i

1

i

m

s

l o g

!

i

1

i

m

s

P

k

!

i

1

i

m

k

!

i

=

1

n

X

i

1

i

m

f ( !

i

1

i

m

1

; : : : ; !

i

1

i

m

s

) ( 6 )

w i t h f ( u

1

; : : : ; u

s

) d e n o t i n g t h e e n t r o p y o f t h e p r o b a b i l i t y d i s t r i b u t i o n d e n e d

b y p r o b a b i l i t i e s u

k

=

P

u

j

; k = 1 ; : : : ; s ,

f ( u

1

; : : : ; u

s

) = ? u

1

l o g

u

1

P

j

u

j

!

? ? u

s

l o g

u

s

P

j

u

j

!

:

N o t e t h a t o u r f u n c t i o n f h a s a s p e c i a l f o r m , n a m e l y , f ( u

1

; : : : ; u

s

) =

P

j

( u

j

) ?

(

P

j

u

j

) w i t h ( u ) = ? u l o g u .

A s i m i l a r r e p r e s e n t a t i o n w i t h n r e p l a c e d b y n ? m + 1 a l s o h o l d s f o r

A p E n ( m ) . I n d e e d i n t h e n o t a t i o n o f S e c t i o n 2 , !

0

i

1

i

m

?

P

k

!

0

i

1

i

m

k

1

a n d t h e r e e x i s t s n o m o r e t h a n o n e m - t u p l e i

1

; : : : ; i

m

f o r w h i c h !

0

i

1

i

m

6=

P

!

0

i

1

i

m

k

. T h e r e f o r e

X

i

1

i

m

!

0

i

1

i

m

l o g

!

0

i

1

i

m

n ? m + 1

?

X

i

1

i

m

i

m + 1

!

0

i

1

i

m

i

m + 1

l o g

!

0

i

1

i

m

i

m + 1

n ? m + 1

m a x

0 x n ? m + 1

( x + 1 ) l o g ( x + 1 ) ? x l o g x ] + l o g ( n ? m + 1 )

2 l o g n ;

s o t h a t

A p E n ( m ) =

1

n

?m + 1

X

i

1

i

m

h

!

0

i

1

i

m

1

l o g

!

0

i

1

i

m

1

P

k

!

0

i

1

i

m

k

!

+

+ !

0

i

1

i

m

s

l o g

!

0

i

1

i

m

s

P

k

!

0

i

1

i

m

k

!

i

+ O

P

l o g n

n

!

:

T h u s A p E n a l s o a d m i t s t h e r e p r e s e n t a t i o n ( 6 ) , a n d t h e l i m i t i n g d i s t r i b u t i o n

o f b o t h

g

A p E n a n d A p E n i s t h a t o f t h i s d e c o m p o s a b l e s t a t i s t i c . S u m s o f

8


9/16

t h i s f o r m ( w i t h f u n c t i o n s f o f o n l y o n e a r g u m e n t ) h a v e b e e n e x t e n s i v e l y

s t u d i e d . S e e H o l s t ( 1 9 7 2 ) , M o r r i s ( 1 9 7 5 ) a n d M e d v e d e v ( 1 9 7 7 ) . A l t h o u g h

o u r s i t u a t i o n w i t h f d e p e n d i n g o n s f r e q u e n c i e s !

i

1

i

m

1

; : : : ; !

i

1

i

m

s

d o e s

n o t f o l l o w d i r e c t l y f r o m t h e s e r e s u l t s , t h e s p e c i a l f o r m o f t h i s f u n c t i o n l e a d s

t o t h e f o l l o w i n g P r o p o s i t i o n 2 w h i c h c a n b e d e r i v e d f r o m H o l s t ( 1 9 7 2 ) a f t e r

s o m e m o d i c a t i o n s .

L e t

i

1

i

m

1

; : : : ;

i

1

i

m

s

d e n o t e s i n d e p e n d e n t P o i s s o n r a n d o m v a r i a b l e s

w i t h p a r a m e t e r . I t i s a l s o c o n v e n i e n t t o w r i t e

1

; : : : ;

s

o r

1

( ) ; : : : ;

s

( )

f o r a s - t u p l e o f s u c h r a n d o m v a r i a b l e s . P u t

n

=

1

n

X

i

1

i

m

E f (

i

1

i

m

1

; : : : ;

i

1

i

m

s

) =

s

m

n

E f (

1

; : : : ;

s

)

=

1

s

E f (

1

; : : : ;

s

) ;

a n d

=

C o v ( f (

1

; : : : ;

s

) ;

1

+ +

s

)

V a r (

1

+ +

s

)

=

1

s

C o v ( f (

1

; : : : ;

s

) ;

1

+

+

s

) :

W i t h

g ( u

1

; : : : ; u

s

) = f ( u

1

; : : : ; u

s

) ? E f (

1

; : : : ;

s

) ?

1

+ +

s

? s ] ;

o n e h a s

V a r g (

1

; : : : ;

s

) = V a r f (

1

; : : : ;

s

) ? s

2

;

s o t h a t t h e s u m s

U

n

=

X

i

1

i

m

g (

i

1

i

m

1

; : : : ;

i

1

i

m

s

)

a n d

V

n

=

1

p

n

X

i

1

i

m

i

1

i

m

1

+ +

i

1

i

m

s

? s ]

a r e u n c o r r e l a t e d , E U

n

V

n

= 0 . L e t

2

n

=

X

i

1

i

m

V a r g (

i

1

i

m

1

; : : : ;

i

1

i

m

s

) = s

m

V a r g (

1

; : : : ;

s

) ;

9


10/1

t h e n t h e j o i n t a s y m p t o t i c d i s t r i b u t i o n o f U

n

=

n

a n d V

n

i s n o r m a l w i t h z e r o

m e a n a n d t h e i d e n t i t y c o v a r i a n c e m a t r i x . T h e c o n d i t i o n a l d i s t r i b u t i o n o f

U

n

= n g i v e n V

n

= 0 c o i n c i d e s w i t h t h e d i s t r i b u t i o n o f

g

A p E n ( m ) ?

n

, s i n c e

t h e c o n d i t i o n a l d i s t r i b u t i o n o f (

i

1

i

m

1

; : : : ;

i

1

i

m

s

) g i v e n t h a t

P

i

1

i

m

1

+

+

i

1

i

m

s

] = n i s m u l t i n o m i a l .

T h e r e f o r e t h e f o l l o w i n g r e s u l t c o n c e r n i n g t h e c o n v e r g e n c e o f n

g

A p E n ( m ) ?

n

] =

n

a n d o f ( n ? m + 1 ) A p E n ( m ) ?

n

] =

n

t o a s t a n d a r d n o r m a l d i s t r i -

b u t i o n i s n o t s u r p r i s i n g .

P r o p o s i t i o n 2 U n d e r c o n d i t i o n ( 5 ) f o r n ! 1

P

0

@

n

g

A p E n ( m ) ?

n

n

x

1

A

! ( x )

a n d

P

n

A p E n ( m ) ?

n

n

x

!

! ( x )

S k e t c h o f t h e P r o o f T h e a r g u m e n t a b o v e c a n b e m a d e r i g o r o u s b y e x a m i -

n a t i o n o f t h e c h a r a c t e r i s t i c f u n c t i o n o f

g

A p E n ( m ) a s i n L e m m a s 2 . 1 , 2 . 2 , A 1 ,

A 2 a n d A 3 o f H o l s t ( 1 9 7 2 ) . W i t h N = s

m + 1

a s i n L e m m a 2 . 1 t h e r e

A

N

( z ) =

1

X

n = 0

E

n

2

4

Y

i

1

i

m

x

f (

i

1

i

m

1

; : : : ;

i

1

i

m

s

)

i

1

i

m

3

5

( N z )

n

e

? N z

n !

=

Y

i

1

i

m

X

j

1

: : : j

s

z

j

1

+ + j

s

e

? z

j

1

! j

s

!

x

f (

i

1

i

m

1

( z ) ; : : : ;

i

1

i

m

s

( z ) )

i

1

i

m

:

A s i m i l a r r e p r e s e n t a t i o n f o r t h e c h a r a c t e r i s t i c f u n c t i o n ' ( t )

= E e x p f i t

P

i

1

i

m

f (

i

1

i

m

1

; : : : ;

i

1

i

m

s

) g a s i n L e m m a 2 . 2 f o l l o w s ; t h e o n l y

d i e r e n c e i s t h a t t h e o r d i n a r y s u m i n t h e r i g h t - h a n d s i d e i s r e p l a c e d b y t h e

m u l t i p l e s u m

e

? s e

i

X

j

1

: : : j

s

( e

i

)

j

1

+ + j

s

j

1

! j

s

!

h

e

i t ( j

1

) + + ( j

s

) ] ? i t ( j

1

+ : : : + j

s

)

? 1

i

:

T h e s a m e e s t i m a t e s a s i n L e m m a s A 1 a n d A 2 h o l d f o r t h e c o r r e s p o n d i n g

f u n c t i o n . T h e c o n v e r g e n c e r e s u l t i n L e m m a A 2 a l s o h o l d s b y a n a l y s i s o f

T a y l o r ' s e x p a n s i o n . 2

1 0


11/1

F o r e x a m p l e , w h e n s = 2 , o n e h a s t o e v a l u a t e

( ) = E

1

( ) l o g

1

( ) = e

?

1

X

k = 1

k

l o g ( k + 1 )

k !

;

a n d t h e n

n

=

( 2 ) ? 2 ( )

2

:

S i m i l a r l y w i t h

( ) = E

1

( ) l o g

1

( )

1

( ) ? ] ;

o n e h a s

=

( 2 ) ? 2 ( )

2

:

A l s o i f

2

( ) = V a r (

1

( ) l o g

1

( ) ) ;

a n d

( ) = C o v (

1

( ) +

2

( ) ] l o g

1

( ) +

2

( ) ] ;

1

( ) l o g

1

( ) )

= e

? 2

1

X

k = 1

k

l o g ( k + 1 )

k !

k

? ( 2 ) ( ) ;

w h e r e

k

=

k

X

j = 1

( j + 1 ) l o g ( j + 1 )

k + 1

j + 1

!

;

t h e n

V a r f (

1

;

2

) =

2

( 2 ) + 2

2

( ) ? 4 ( ) :

T h u s

2

n

= s

m

"

2

( 2 ) + 2

2

( )

?4 ( )

?

( 2 ) ? 2 ( ) ]

2

2

#

:

M o r e g e n e r a l l y , t h e a s y m p t o t i c d i s t r i b u t i o n o f t h e s u m

S =

1

n

X

i

1

i

m

f ( !

i

1

i

m

1

; : : : ; !

i

1

i

m

s

)

w h e n f ( u

1

; : : : ; u

s

) =

P

j

( u

j

) ? (

P

j

u

j

) c a n b e s h o w n t o b e n o r m a l u n d e r

m i l d r e g u l a r i t y c o n d i t i o n s o n f u n c t i o n .

1 1


12/1

T h e a s y m p t o t i c p o w e r o f t h i s t e s t s t a t i s t i c S u n d e r t h e a l t e r n a t i v e

i

1

i

m

i s d e t e r m i n e d b y t h e r a t i o R = l i m E

S ?

n

] =

n

, w h o s e a b s o l u t e v a l u e i s t o

b e m a x i m i z e d t o h a v e t h e o p t i m a l P i t m a n e c i e n c y .

U n d e r t h e a l t e r n a t i v e o f t h e f o r m

i

1

i

m

i

m + 1

= s

? m ? 1

+ n

? 1 = 4

i

1

i

m

i

m + 1

w i t h

i

1

i

m

=

Z

i

1

+ i

2

= s + + ( i

m

+ 1 ) s

? m

i

1

+ i

2

= s + + i

m

s

? m

q ( u ) d u

s u c h t h a t

R

1

0

q ( u ) d u = 0 ,

R =

Z

1

0

q

2

( u ) d u

E

P

i

(

i

) ? (

P

i

i

) ] (

P

i

i

? s )

2

?

P

i

i

]

V a r

1 = 2

P

i

(

i

) ? (

P

i

i

) ?

P

i

i

]

:

T h i s f o r m u l a s c a n b e u s e d t o s h o w t h a t t h e r e i s n o o p t i m a l s t a t i s t i c S .

T h i s i s t o b e c o n t r a s t e d w i t h a s y m p t o t i c o p t i m a l i t y o f

2

- t e s t i n t h e c l a s s

o f d e c o m p o s a b l e s t a t i s t i c s w i t h f u n c t i o n f d e p e n d i n g o n l y o n o n e a r g u m e n t

( s e e H o l s t , 1 9 7 2 , I v c h e n k o a n d M e d v e d e v , 1 9 7 8 , 1 9 8 0 ) .

E s s e n t i a l l y t h e s a m e c o n c l u s i o n s a b o u t t h e p o w e r o f t h e a p p r o x i m a t e

e n t r o p y t e s t a s a b o u t

2

- t e s t ( K a l l e n b e r g e t a l , 1 9 8 5 ) c a n b e m a d e .

4 E x a m p l e s

H e r e a r e t w o s t r i n g s o f 2 0 b i n a r y b i t s w h i c h h a v e b e e n s u g g e s t e d b y C h a i t i n

( 1 9 7 5 )

( A ) 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

( B ) 0 1 1 0 1 1 0 0 1 1 0 1 1 1 1 0 0 0 1 0

F o r a n o n - r a n d o m l y l o o k i n g s e q u e n c e ( A ) ; A p E n ( 0 ) = ?

( 1 )

= ?

~

( 1 )

=

l o g 2 , w h i c h i s t h e l a r g e s t p o s s i b l e v a l u e f o r A p E n . S i n c e t h e r e a r e o n l y t w o

o c c u r r i n g p a t t e r n s o f l e n g t h 2 , n a m e l y ( 0 ; 1 ) a n d ( 1 ; 0 ) w i t h f r e q u e n c i e s 1 0

a n d 9 r e s p e c t i v e l y ,

( 2 )

=

1

1 9

1 0 l o g

1 0

1 9

+ 9 l o g

9

1 9

= ? 0 : 6 9 1 8 : : :

T h u s

A p E n ( 1 ) = 0 : 0 0 1 4 : : :

w i t h

2

( o b s ) = 4 0 l o g 2 ? A p E n ( 1 ) ] = 2 7 : 6 6 9 9 : : :

1 2


13/1

F o r t h e m o d i e d e n t r o p y

~

( 2 )

=

1

2 0

1 0 l o g

1 0

2 0

+ 1 0 l o g

1 0

2 0

= ? l o g 2 ;

w i t h

g

A p E n ( 1 ) = 0 a n d

2

( o b s ) = 4 0 l o g 2 = 2 7 : 7 2 5 8 : : : T h u s f r o m t h e p o i n t

o f v i e w o f

g

A p E n ( 1 ) , t h e s e q u e n c e ( A ) i s c o m p l e t e l y n o n - r a n d o m .

T h i s i s t o b e c o n t r a s t e d w i t h t h e v a l u e s o f t h e a p p r o x i m a t e e n t r o p y f o r

t h e s t r i n g ( B ) .

( 1 )

=

~

( 1 )

=

1

2 0

9 l o g

9

2 0

+ 1 1 l o g

1 1

2 0

= ? 0 : 6 8 8 1 : :

T h e r e a r e 5 p a t t e r n s ( 1 ; 0 ) , 6 p a t t e r n s ( 1 ; 1 ) , 5 p a t t e r n s ( 0 ; 1 ) , a n d 3 p a t t e r n s

( 0 ; 0 ) i n t h i s s t r i n g , s o t h a t

( 2 )

=

1

1 9

5 l o g

5

1 9

+ 6 l o g

6

1 9

+ 5 l o g

5

1 9

+ 3 l o g

3

1 9

= ? 1 : 3 5 8 1 : :

a n d

A p E n ( 1 ) = 0 : 6 6 9 9 : : :

w i t h

2

( o b s ) = 4 0 l o g 2 ? A p E n ( 1 ) ] = 0 : 9 2 9 9 : O n e a l s o h a s

~

( 2 )

=

1

2 0

5 l o g

5

2 0

+ 6 l o g

6

2 0

+ 5 l o g

5

2 0

+ 4 l o g

4

2 0

= ? 1 : 3 7 6 2 : :

a s t h e r e a r e 5 c o p i e s o f ( 1 ; 0 ) , 6 c o p i e s o f ( 1 ; 1 ) , 5 c o p i e s o f ( 0 ; 1 ) , a n d 4 c o p i e s

o f ( 0 ; 0 ) i n t h e a u g m e n t e d v e r s i o n o f t h i s s t r i n g , T h u s

g

A p E n ( 1 ) = 0 : 6 8 8 1 : : ,

w h i c h i s c l o s e r t o t h e m a x i m u m v a l u e 0 : 6 9 3 1 : : t h a n P i n c u s ' e n t r o p y , a n d

2

( o b s ) = 4 0 l o g 2 ?

g

A p E n ( 1 ) ] = 0 : 2 0 2 4 : : i s s m a l l e r .

T h u s f r o m t h e p o i n t o f v i e w o f a p p r o x i m a t e e n t r o p i e s A p E n ( 1 ) a n d

g

A p E n ( 1 ) t h e s e q u e n c e ( A ) d o e s n o t l o o k r a n d o m a t a l l , b u t t h e s t r i n g ( B )

d o e s a n d e v e n m o r e s o f o r t h e m o d i e d e n t r o p y

g

A p E n ( 1 ) . T h e s t r i n g s ( A )

a n d ( B ) a r e a l s o e x a m i n e d i n P i n c u s a n d K a l m a n ( 1 9 9 7 ) p 3 5 1 4 , w i t h a

n u m e r i c a l m i s t a k e .

1 3


14/1

0 50 100 150 200 250 300 350 4000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

F i g u r e 1 C o n s e c u t i v e P - v a l u e s f o r b i n a r y e x p a n s i o n s o f

p

3 ( b r o k e n l i n e ) ,

( d o t t e d l i n e ) a n d e ( s o l i d l i n e ) w h e n m = 1 .

I n F i g u r e 1 t h e P - v a l u e s P

n

( 1 ) f r o m S e c t i o n 2 a r e p l o t t e d a g a i n s t t h e r s t

d i g i t s o f b i n a r y e x p a n s i o n s o f

p

3 . a n d e . A c c o r d i n g t o t h i s d a t a , P - v a l u e s

c o r r e s p o n d i n g t o

p

3 a r e m u c h s m a l l e r t h a n t h o s e o f e a n d . T h e s i t u a t i o n ,

h o w e v e r , i s r e v e r s e f o r m = 7 . w h e n t h e d i g i t s o f a n d

p

3 l o o k m u c h m o r e

r a n d o m t h a n t h e s e o f o f e x p a n s i o n o f e ( F i g u r e 2 ) .

1 4


15/1

0 100 200 300 400 500 600 700 800 9000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

F i g u r e 2 C o n s e c u t i v e P - v a l u e s f o r b i n a r y e x p a n s i o n s o f

p

3 ( b r o k e n l i n e ) ,

( d o t t e d l i n e ) a n d e ( s o l i d l i n e ) w h e n m = 7 .

T h e p r o c e d u r e s b a s e d o n r a n d o m e s s t e s t v i a a p p r o x i m a t e e n t r o p y f o r m

n o w a p a r t o f a b a t t e r y o f e m p i r i c a l t e s t s f o r r a n d o m n e s s d e v e l o p e d a t t h e

C o m p u t e r S e c u r i t y D i v i s i o n o f t h e N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h -

n o l o g y . T h e y a r e b e i n g u s e d f o r i n v e s t i g a t i o n o f v a r i o u s e x i s t i n g r a n d o m

n u m b e r s g e n e r a t o r s , s u c h a s D a t a E n c r y p t i o n A l g o r i t h m , S e c u r e H a s h A l g o -

r i t h m , D i g i t a l S i g n a t u r e A l g o r i t h m a n d B l u m , B l u m a n d S h u b g e n e r a t o r .

R e f e r e n c e s

1 ] C h a i t i n , G . ( 1 9 7 5 ) , \ R a n d o m n e s s a n d m a t h e m a t i c a l p r o o f , " S c i e n t i c

A m e r i c a n , 2 3 2 , p p 4 7 { 5 2 .

1 5


16/1

2 ] H o l s t , L . ( 1 9 7 2 ) , \ A s y m p t o t i c n o r m a l i t y a n d e c i e n c y f o r c e r t a i n

g o o d n e s - o f - t t e s t s " , B i o m e t r i k a , 5 9 , p p 1 3 7 { 1 4 5 .

3 ] I v c h e n k o , G . , a n d M e d v e d e v , Y u . I . ( 1 9 7 8 ) , \ S e p a r a b l e s t a t i s t i c s a n d

h y p o t h e s e s t e s t i n g . T h e c a s e o f s m a l l s a m p l e s , " T h e o r y o f P r o b a b i l i t y

a n d I t s A p p l i c a t i o n s , 2 3 , p p 7 6 4 { 7 7 5 .

4 ] I v c h e n k o , G . , a n d M e d v e d e v , Y u . I . ( 1 9 7 8 ) , \ D e c o m p o s a b l e s t a t i s t i c s

a n d h y p o t h e s i s t e s t i n g f o r g r o u p e d d a t a , " T h e o r y o f P r o b a b i l i t y a n d I t s

A p p l i c a t i o n s , 2 5 , p p 5 4 0 { 5 5 1 .

5 ] K a l l e n b e r g , W . C . M . , O o s t e r h o , J . , a n d S c h r i v e r , B . F . ( 1 9 8 5 ) , \ T h e

n u m b e r o f c l a s s e s i n c h i - s q u a r e d g o o d n e s s - o f - t t e s t s , " J o u r n a l o f t h e

A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n , 8 0 , p p 9 5 9 { 9 6 8 .

6 ] M e d v e d e v , Y u . I . ( 1 9 7 7 ) , \ S e p a r a b l e s t a t s i t i c s i n a p o l y n o m i a l s c h e m e .

I , " T h e o r y o f P r o b a b i l i t y a n d I t s A p p l i c a t i o n s , 2 2 , p p 1 { 1 5 .

7 ] M o r r i s , C . ( 1 9 7 5 ) , \ C e n t r a l l i m i t t h e o r e m f o r m u l t i n o m i a l s u m s , " A n n a l s

o f S t a t i s t i c s , 3 , p p 1 6 5 { 1 8 8 .

8 ] P i n c u s , S . ( 1 9 9 1 ) , \ A p p r o x i m a t e e n t r o p y a s a m e a s u r e o f s y s t e m c o m -

p l e x i t y , " P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e s o f t h e U S A ,

8 8 , p p 2 2 9 7 { 2 3 0 1 .

9 ] P i n c u s , S . , a n d H u a n g , W . - M . ( 1 9 9 2 ) , \ A p p r o x i m a t e e n t r o p y , s t a t i s t i c a l

p r o p e r t i e s a n d a p p l i c a t i o n s , " C o m m u n i c a t i o n s i n S t a t i s t i c s , P a r t A -

T h e o r y a n d M e t h o d s , 2 1 , p p 3 0 6 1 { 3 0 7 7 .

1 0 ] P i n c u s , S . , a n d K a l m a n , R . E . ( 1 9 9 7 ) , \ N o t a l l ( p o s s i b l y ) \ r a n d o m "

s e q u e n c e s a r e c r e a t e d e q u a l , " P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f

S c i e n c e s o f t h e U S A , 9 4 , p p 3 5 1 3 { 3 5 1 8 .

1 1 ] P i n c u s , S . , a n d S i n g e r , B . H . ( 1 9 9 6 ) , \ R a n d o m n e s s a n d d e g r e e s o f

i r r e g u l a r i t y , " P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e s o f t h e

U S A , 9 3 , p p 2 0 8 3 { 2 0 8 8 .

1 6

Approximate Entropy for Testing Randomness.pdf

Documents

Transcript of Approximate Entropy for Testing Randomness.pdf