9/9/2019

1

Detection & EstimationLecture 1Intro, MVUE, CRLB

Xiliang Luo

1

General Course Information

• Textbooks & References• 1. Fundamentals of Statistical Signal Processing: Estimation Theory/Detection Theory, 

Steven M. Kay, Prentice Hall, 1993.• 2. Principles of Signal Detection and Parameter Estimation, Benard C. Levy, Springer, 

2008.• 3. Detection, Estimation, and Modulation Theory, Part I, Harry L. Van Trees, John 

Wiley & Sons, Inc., 2001.

• Lecturer• Dr. Xiliang Luo (1C‐403A)• Office hour: Tuesday, Thursday, 10:30‐12:00pm

• TA• Mr. Zixin Wang (1A‐413)• Office hour: Tuesday, Wednesday, 7:30‐9:15pm

2

9/9/2019

2

General Course Information

• Grading• Homework: 30% 

• weekly

• due at the beginning of each lecture

• Midterm: 30%

• Final: 40%

• You must complete the weekly HW independently

• Discussions among students are allowed but solutions must be your own

3

General Course Information

• Course websitefaculty.sist.shanghaitech.edu.cn/faculty/luoxl/class/2019Fall_EE251/EE251.htm

• Course forumBlackboard

4

9/9/2019

3

Estimation

• Radar

• Sonar

• Speech

• Image analysis

• Biomedicine

• Communication

• Control

• Seismology

5

Radar

6

9/9/2019

4

Sonar

7

Cell Search

8

9/9/2019

5

Cell Search

0 20 40 60 80 100 120 140 160 180 20010

15

20

25

30

35

40

45

9

Cell Search

SNR=‐10dB

10

9/9/2019

6

Cell Search

0 20 40 60 80 100 120 140 160 180 200-60

-40

-20

0

20

40

60

80

SNR=‐10dB

11

Cell Search

SNR=‐20dB

0 20 40 60 80 100 120 140 160 180 200-150

-100

-50

0

50

100

150

200

250

12

9/9/2019

7

Estimation Problem

• Given a data set• 𝑥 0 , 𝑥 1 , … , 𝑥 𝑁 1

• We want to determine the value of an unknown parameter as:• 𝜃 𝑔 𝑥 0 , 𝑥 1 , … , 𝑥 𝑁 1• this function is an estimator

• Date back to Gauss, 1795• least squares  planetary movement

13

Least Squares

• "Least squares" means that the overall solution minimizes the sum of the squares of the residuals made in the results of every single equation.

𝑦 𝐴𝜃 𝑤

𝜃 𝐴 𝐴 𝐴 𝑦

For example: 𝐴 1, … , 1 , we have sample mean!

14

9/9/2019

8

Least Squares• 1805, Legendre: 

• the first clear and concise exposition of 

the method of least squares 

• The technique is described as an 

algebraic procedure for fitting linear 

equations to data and Legendre 

demonstrates the new method by 

analyzing the same data as Laplace for 

the shape of the earth. The value of 

Legendre's method of least squares was 

immediately recognized by leading 

astronomers and geodesists of the time.

15

Least Squares• 1809, Carl Friedrich Gauss: 

• Published his method of calculating the orbits of celestial bodies.

• In that work he claimed to have been in possession of the method of least squares since 1795. 

• This naturally led to a priority dispute with Legendre. 

• However, to Gauss's credit, he went beyond Legendre and succeeded in connecting the method of least squares with the principles of probability and to the normal distribution.

• Gauss showed that arithmetic mean is indeed the best estimate of the location parameter for the Gauss distribution

16

9/9/2019

9

Estimation Problem

• The data has to be dependent on the unknown parameter

• pdf: 𝑝 𝑥 0 , … , 𝑥 𝑁 1 ; 𝜃• the semicolon denotes the dependence

• Example: Gaussian pdf

17

Classical vs Bayesian

• Classical estimation• the unknown parameter is deterministic

• Bayesian estimation• the unknown parameter is itself random

• we are estimating one realization of the random parameter

• the data are characterized by the joint pdf• 𝑝 𝑥, 𝜃 𝑝 𝑥 𝜃 𝑝 𝜃• 𝑝 𝜃 : the prior pdf

18

9/9/2019

10

Estimator Performance

• 𝑥 𝑛 𝐴 𝑤 𝑛

• 𝐴 ∑𝑥 𝑛

• Question:• How is this estimator?

• find the mean,variance

• Best estimator?• topic next

19

Unbiased Estimator

• On average, the estimator should yield the true value  this estimator is unbiased• E 𝜃 𝜃, 𝜃 ∈ 𝑎, 𝑏

• Example: • 𝑥 𝑛 𝐴 𝑤 𝑛

• 𝐴 ∑ 𝑥 𝑛

• “An estimator is unbiased” does not mean it is a good estimator  

20

9/9/2019

11

Minimum Variance

• In order to find one “optimal” estimator, we need to specify the criterion• one natural criterion is the Mean Square Error (MSE)

• 𝑚𝑠𝑒 𝜃 𝐸 𝜃 𝜃 𝑣𝑎𝑟 𝜃 𝑏 𝜃

• Example: 

𝐴 𝑎1𝑁

𝑥 𝑛

𝑚𝑠𝑒 𝐴𝑎 𝜎

𝑁𝑎 1 𝐴

𝑎𝐴

𝐴 𝜎 /𝑁

Not realizable!

21

MVUE• Minimize the variance while being unbiased

• Question: whether MVUE exists?• unbiased estimator with minimum variance for all values of the unknown parameter

• Example: [Example 2.3, Kay]

𝑥 0 ∼ 𝒩 𝜃, 1 𝑥 1 ∼𝒩 𝜃, 1 , 𝑖𝑓 𝜃 0 𝒩 𝜃, 2 , 𝑖𝑓 𝜃 0

𝜃12

𝑥 0 𝑥 1

𝜃13

2𝑥 0 𝑥 1

22

9/9/2019

12

MVUE

• No known “turn‐the‐crank” procedure to produce the MVUE

• Next, we will discuss• Cramer‐Rao lower bound

• Rao‐Blackwell‐Lehmann‐Scheffe theorem

• best linear estimator

23

Cramer‐Rao Lower Bound

• We need to place a lower bound on the variance of any unbiased estimator!• Check whether our estimator is MVUE

• Check how far our estimator is from the optimal one• even the optimal one may not exist

• Tells us it is impossible to find an estimator that can beat the bound

24

9/9/2019

13

Likelihood Function

• When the pdf is views a function of the unknown parameter, it is referred to as the “likelihood function”

• Example: 𝑥 0 𝐴 𝑤 0

ln 𝑝 𝑥 0 ; 𝐴 ln 2𝜋𝜎1

2𝜎𝑥 0 𝐴

𝜕 ln 𝑝 𝑥 0 ; 𝐴𝜕 𝐴

1𝜎

𝑝 𝑥 0 ; 𝐴1

2𝜋𝜎𝑒

25

CRLB• Regularity condition:

• For any unbiased estimator, we have:

• Furthermore, one unbiased estimator achieving the bound exists iff:

• 𝜃 𝑔 𝑥 is the MVUE and the min variance is given by 1/𝐼 𝜃

𝐸𝜕 ln 𝑝 𝒙; 𝜃

𝜕𝜃0, ∀𝜃

𝑣𝑎𝑟 𝜃 𝐸𝜕 ln 𝑝 𝒙; 𝜃

𝜕 𝜃

𝜕 ln 𝑝 𝒙; 𝜃𝜕𝜃

𝐼 𝜃 𝑔 𝒙 𝜃

26

9/9/2019

14

Regularity Condition

• 𝑥 𝑛 , n=0,…,N‐1, IID according to U[0,𝜃], let’s check the regularity condition

𝜕 ln 𝑝 𝒙; 𝜃𝜕𝜃

𝑁𝜃

What is going on here?

𝜕 ln 𝑝 𝑥; 𝜃𝜕𝜃

𝑑𝑥 ? 0

27

Some Examples

• DC level in white noise

𝑥 𝑛 𝐴 𝑤 𝑛 , 𝑛 0,1, … , 𝑁 1

𝜕 ln 𝑝 𝑥; 𝐴𝜕𝐴

𝑁𝜎

∑𝑥 𝑛𝑁

𝐴

𝑝 𝑥; 𝐴1

2𝜋𝜎𝑒

∑

28

9/9/2019

15

Fisher Information

• Fisher Information

• Nonnegative• Additive for independent observations

𝐼 𝜃 𝐸𝜕 ln 𝑝 𝒙; 𝜃

𝜕𝜃𝐸

𝜕ln 𝑝 𝒙; 𝜃𝜕𝜃

29

Proof of CRLB

• Setup: • 1. pdf depends on 𝜃• 2. we need to estimate one scalar parameter 𝛼 𝑔 𝜃

• We consider all unbiased estimators for the parameter 𝛼• 𝛼 𝑓 𝑥 0 , 𝑥 1 , … , 𝑥 𝑁 1• 𝐸 𝛼 𝑔 𝜃

30

9/9/2019

16

Proof of CRLB

𝛼𝑝 𝑥; 𝜃 𝑑𝑥 𝑔 𝜃 𝛼𝜕𝑝 𝑥; 𝜃

𝜕𝜃𝑑𝑥

𝜕𝑔 𝜃𝜕𝜃

𝛼𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃𝑝 𝑥; 𝜃 𝑑𝑥

𝜕𝑔 𝜃𝜕𝜃

𝛼 𝛼𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃𝑝 𝑥; 𝜃 𝑑𝑥

𝜕𝑔 𝜃𝜕𝜃

𝜕𝑔 𝜃𝜕𝜃

𝛼 𝛼 𝑝 𝑥; 𝜃 𝑑𝑥 𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃𝑝 𝑥; 𝜃 𝑑𝑥

𝑣𝑎𝑟 𝛼

𝜕𝑔 𝜃𝜕𝜃

𝐸𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃31

Proof of CRLB

• Equality condition (Cauchy‐Schwarz inequality)

• If equality holds and for 𝛼 𝑔 𝜃 𝜃, we have 𝑐 𝜃 𝐼 𝜃

𝜕𝑔 𝜃𝜕𝜃

𝛼 𝛼 𝑝 𝑥; 𝜃 𝑑𝑥 𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃𝑝 𝑥; 𝜃 𝑑𝑥

𝜕 ln 𝑝 𝑥; 𝜃𝜕𝜃

𝑐 𝜃 𝛼 𝛼

𝜕 ln 𝑝 𝑥; 𝜃𝜕𝜃

𝐼 𝜃 𝜃 𝜃

32

9/9/2019

17

Example

• General CRLB for Signals in WGN

𝑥 𝑛 𝑠 𝑛; 𝜃 𝑤 𝑛 , 𝑛 0, … , 𝑁 1

var 𝜃𝜎

∑ 𝜕𝑠 𝑛; 𝜃𝜕𝜃

• Sinusoidal Frequency Estimation

𝑠 𝑛; 𝑓 𝐴 cos 2𝜋𝑓 𝑛 𝜙 , 𝑓 ∈ 0, 0.5

Apply the above results:

var 𝑓𝜎

𝐴 ∑ 2𝜋𝑛sin 2𝜋𝑓 𝑛 𝜙33

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5

f0

1

1.5

2

2.5

3

3.5

4

4.5

510-4 =0, A2/ 2=1, N=10

Example• Sinusoidal Frequency Estimation

𝑠 𝑛; 𝑓 𝐴 cos 2𝜋𝑓 𝑛 𝜙 , 𝑓 ∈ 0, 0.5

var 𝑓𝜎

𝐴 ∑ 2𝜋𝑛sin 2𝜋𝑓 𝑛 𝜙

34

9/9/2019

18

Example

• Range Estimation [Example 3.13 in Kay’s book]

𝑥 𝑡 𝑠 𝑡 𝜏 𝑤 𝑡 , 𝑡 ∈ 0, 𝑇

Sample at Nyquist rate (2B):

𝑥 𝑛Δ 𝑠 𝑛Δ 𝜏 𝑤 𝑛Δ , 𝑛 0, … , 𝑁 1

𝑥 𝑛 𝑠 𝑛Δ 𝜏 𝑤 𝑛 , 𝑛 0, … , 𝑁 1

𝑥 𝑛𝑤 𝑛 , 𝑛 ∈ 0, 𝑛 1

𝑠 𝑛Δ 𝜏 , 𝑛 ∈ 𝑛 , 𝑛 𝑀 1𝑤 𝑛 , 𝑛 ∈ 𝑛 𝑀, 𝑁 1

M: length of signal𝑛 𝜏 /Δ: delay in samples 

35

Example

• Range Estimation

var 𝜏𝜎

1Δ

𝑑𝑠 𝑡𝑑𝑡 𝑑𝑡

1ℇ

𝑁 /2 𝐹

𝐹

𝑑𝑠 𝑡𝑑𝑡 𝑑𝐹

𝑠 𝑡 𝑑𝐹

2𝜋𝐹 𝑆 𝐹 𝑑𝐹

𝑆 𝐹 𝑑𝐹mean‐square BW of the signal

var 𝜏𝜎

∑ 𝜕𝑠 𝑛; 𝜏𝜕𝜏

𝜎

∑ 𝜕𝑠 𝑛Δ 𝜏𝜕𝜏

𝜎

∑ 𝑑𝑠 𝑡𝑑𝑡 |

Parseval’s Theorem 36

9/9/2019

19

Example

• Range Estimation

var 𝜏𝜎

1Δ

𝑑𝑠 𝑡𝑑𝑡 𝑑𝑡

1ℇ

𝑁 /2 𝐹

𝐹

𝑑𝑠 𝑡𝑑𝑡 𝑑𝐹

𝑠 𝑡 𝑑𝐹

2𝜋𝐹 𝑆 𝐹 𝑑𝐹

𝑆 𝐹 𝑑𝐹mean‐square BW of the signal

For the Gaussian pulse 𝑠 𝑡 exp , we have

𝑆 𝐹𝜎

2𝜋exp

2𝜋𝐹

𝜎

𝐹𝜎2 37

Vector Parameter• For vector parameters: 𝜽 𝜃 , … , 𝜃

• Regularity condition:

• For any unbiased estimator 𝜽, we have:

• Furthermore, one unbiased estimator achieving the bound exists iff:

• 𝜽 𝒈 𝒙 is the MVUE and the min variance is given by 𝐼 𝜽

𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜽𝟎, ∀𝜽

𝐶𝜽 𝐼 𝜽 0

𝜕 ln 𝑝 𝒙; 𝜽𝜕𝜽

𝐼 𝜽 𝒈 𝒙 𝜽

𝐼 𝜽 , 𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜃 𝜕𝜃

38

9/9/2019

20

Example

• DC Level in WGN: 𝜽 𝐴, 𝜎 are unknown

𝑥 𝑛 𝐴 𝑤 𝑛 , 𝑛 0,1, … , 𝑁 1

𝐼 𝜽𝐸

𝜕 ln 𝑝 𝒙; 𝜽𝜕𝐴

𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝐴𝜕𝜎

𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜎 𝜕𝐴𝐸

𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜎

𝑁𝜎

0

0𝑁

2𝜎

Note: typically, the more unknowns, the higher the CRLB!

𝑝 𝑥; 𝐴, 𝜎1

2𝜋𝜎exp

∑ 𝑥 𝑛 𝐴2𝜎

39

Vector CRLB for Transformation

• Scalar parameter 𝛼 𝑔 𝜃

• Vector parameter 𝜶 𝒈 𝜽 , r‐dimensional function

𝑣𝑎𝑟 𝛼

𝜕𝑔 𝜃𝜕𝜃

𝐸𝜕 ln 𝑝 𝑥; 𝜃

𝜕𝜃

𝑪𝜶𝜕𝒈 𝜽

𝜕𝜽𝑰 𝜽

𝜕𝒈 𝜽𝜕𝜽

0

Jacobian

40

9/9/2019

21

Example• DC Level in WGN: 𝜽 𝐴, 𝜎 are unknown, we want

to estimate the SNR: 𝛼

𝑥 𝑛 𝐴 𝑤 𝑛 , 𝑛 0,1, … , 𝑁 1

𝐼 𝜽𝐸

𝜕 ln 𝑝 𝒙; 𝜽𝜕𝐴

𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝐴𝜕𝜎

𝐸𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜎 𝜕𝐴𝐸

𝜕 ln 𝑝 𝒙; 𝜽

𝜕𝜎

𝑁𝜎

0

0𝑁

2𝜎

𝑣𝑎𝑟 𝛼2𝐴𝜎

,𝐴𝜎

𝐼 𝜃2𝐴𝜎

,𝐴𝜎

4𝛼 2𝛼N

41

Asymptotic CRLB

• For a WSS Gaussian random process 𝑥 𝑛 with zero mean, whose PSD depends on parameter 𝜃, Fisher information matrix element can be approximated as

𝐼 𝜃𝑁2

𝜕 ln 𝑃 𝑓; 𝜃𝜕𝜃

𝜕 ln 𝑃 𝑓; 𝜃𝜕𝜃

𝑑𝑓

42

9/9/2019

22

Fd=10Hz

43

Asymptotic CRLB

• Almost any WSS Gaussian random process 𝑥 𝑛 can be represented as the output of a filter with white input

• The PSD is then

𝑥 𝑛 ℎ 𝑘 𝑢 𝑛 𝑘 ,

𝑃 𝑓 𝐻 𝑓 𝜎

𝐻 𝑓 ℎ 𝑘 𝑒

ℎ 0 1

44

9/9/2019

23

Asymptotic CRLB

• For large 𝑁 (much larger than the impulse response length, or the correlation time of 𝑟 𝑘 ), we have

45

Asymptotic CRLB

• Parseval’s Theorem:

• 𝒖 𝒖 ∑ 𝑢 𝑛 𝑈 𝑓 𝑑𝑓

• Fourier Transform relationship between 𝑢 𝑛 and 𝑥 𝑛• 𝑋 𝑓 𝐻 𝑓 𝑈 𝑓

• We have

•𝒖 𝒖 𝑑𝑓

46

9/9/2019

24

Asymptotic CRLB

• Asymptotic pdf is:

ln𝑝 𝒙; 𝜽𝑁2

ln 2𝜋𝜎12

𝑋 𝑓𝑃 𝑓

𝑑𝑓

• To eliminate 𝜎 , we use the following:

= 0

47

Asymptotic CRLB

• Asymptotic pdf:

ln 𝑝 𝒙; 𝜽𝑁2

ln 2𝜋𝑁2

ln 𝑃 𝑓

𝑋 𝑓𝑁

𝑃 𝑓𝑑𝑓

• CRLB can be found as:

𝐼 𝜃𝑁2

𝜕 ln 𝑃 𝑓; 𝜃𝜕𝜃

𝜕 ln 𝑃 𝑓; 𝜃𝜕𝜃

𝑑𝑓

Note: Periodogram spectral estimator: 

𝐸𝑋 𝑓

𝑁𝑃 𝑓 , 𝑎𝑠 𝑁 → ∞

48

9/9/2019

25

Center Frequency of Process

• PSD depends on the center frequency. Some time a want to estimate the center frequency

𝑃 𝑓; 𝑓 𝑄 𝑓 𝑓 𝑄 𝑓 𝑓 𝜎

𝑄 𝑓 𝑒

𝑣𝑎𝑟 𝑓12𝜎

𝑁

49