Quantifiying Doubt and Confidence in Image Deconvolution

27
Quantifiying Doubt and Confidence in Image "Deconvolution" Enhanced Imaging Multiscale Methods for Diffuse Emission and/or Model Fitting A. Connors, D. van Dyk, J.Chiang, A. Roy, R. Izem, CHASC; (D. Esch, M.Karovska)

Transcript of Quantifiying Doubt and Confidence in Image Deconvolution

Page 1: Quantifiying Doubt and Confidence in Image Deconvolution

Quantifiying Doubt and Confidence in Image "Deconvolution"

Enhanced Imaging Multiscale Methodsfor

Diffuse Emission and/or Model Fitting

A. Connors, D. van Dyk, J.Chiang, A. Roy, R. Izem, CHASC;(D. Esch, M.Karovska)

Page 2: Quantifiying Doubt and Confidence in Image Deconvolution

True Sky:

What’s the Problem ?

5 10 15 20 25 30

Model Sky:

Sources: Point; Compact or Broad Diffuse (SNR, Clouds); Other (Dark Matter??)

Page 3: Quantifiying Doubt and Confidence in Image Deconvolution

Real Instrument: Model Instrument:

Instruments: Exposure; Effective Area (e.g. ARF) ; Spatial Response (e.g. PSF); Energy Response (e.g. RMF) ... (All with Calibration Uncertainties)

Page 4: Quantifiying Doubt and Confidence in Image Deconvolution

* Data: Poisson, Other complications :

0 2 4 6 8 10

100000 20000

Real Data, Exposure:

5 10 15 20 25 30

Model Expected Rate:

CGRO/EGRET Data from HEASARC;Model from GALPROP collaboration

Page 5: Quantifiying Doubt and Confidence in Image Deconvolution

1. MODEL the SKY2. MODEL the INSTRUMENT RESPONSE3. MODEL any BACKGROUND4. PREDICT the EXPECTED RATE5. COMPARE EXPECTED RATE to DATA: Search through parameter-space Using Likelihood framework6. PROBLEMS: “Unknown” (i.e. no physics model) components; What’s a “Good-Enough-Fit” (e.g. Poisson)? Correlations among (say) neighboring pixels Significance of unknown (maybe irregular) features? Searching larger and larger parameter spaces

What’s the Problem? Looks Easy!

Page 6: Quantifiying Doubt and Confidence in Image Deconvolution

1. We CRACKED the GOODNESS-OF-FIT, etc. (for Poisson, but method can work for any distribution).2. We MODEL a MISMATCH (between data and expected rate; analogous to a residual) with a FLEXIBLE MODEL (like Multi-scale)3. We FIT enhanced model (physics-model+flexible-model) 3.1 Using MCMC to explore the parmeter space; 3.2 Using MEAN as the “best estimate” 3.3 (Allows for calibration uncertainty - see H. Lee poster 41.15)

Our Solution - Plain but Tedious!

Page 7: Quantifiying Doubt and Confidence in Image Deconvolution

4. We QUANTIFY the MISMATCH and get SIGNIFICANCE of UNKNOWN FEATURES by: 4.1 ANALYZE the INTERESTING (usually, real) DATA 4.2 SIMULATING samples from the NULL (physics-model) 4.3 ANALYZE SIMULATIONS from NULL: I.E. in exactly the same way as for the INTERESTING DATA 4.4 NOW one has many MCMC SAMPLES of each. Use a few key SUMMARIES like: TOTAL COUNTS in flexible Multi-Scale component; Norm, or SCALE FACTOR, of physics-based modelNOTE: Because of intrinsic correlations among pixels inherent in most multi-scale or flexible models, pixel-by-pixel significances won’t work in a simple way.

Our Solution - Plain but Tedious, 2:

Page 8: Quantifiying Doubt and Confidence in Image Deconvolution

5. COMPARE EXPECTED RATE to DATA: Search parameter-space; Using Likelihood framework 5.1 We COMPARE the distributions of the SUMMARIES (e.g. Total MS Counts; scale factor) for NULL and INTERESTING Data. What is the probability of ‘overlap’ ? THIS IS OUR GOODNESS-OF-FIT TEST. 5.2 We RANK these SUMMARY STATISTICS. We take SLICES through the tails to get (say) the +/-5% limits on flux and position. THIS IS OUR FEATURE SIGNIFICANCE TEST. 5.3 PROBLEM: Currently takes a lot of time to do this nicely (On the order of a day for a 128x128 sky image, on G4).

Our Solution - Plain but Tedious, 3:

Page 9: Quantifiying Doubt and Confidence in Image Deconvolution

ASIDE: MULTI-SCALE FOR POISSON- called“Multiplicative Multiscale Innovation Models”

Timmermann & Nowak, 1999Kolaczyk, 1999

MMI Slides courtesy of R.Willett, SAMSI 2006

Page 10: Quantifiying Doubt and Confidence in Image Deconvolution

ASIDE: MULTI-SCALE FOR POISSON- called“Multiplicative Multiscale Innovation Models”

Timmermann & Nowak, 1999Kolaczyk, 1999

MMI Slides courtesy of R.Willett, SAMSI 2006

Page 11: Quantifiying Doubt and Confidence in Image Deconvolution

ASIDE: MULTI-SCALE FOR POISSON- called“Multiplicative Multiscale Innovation Models”

Timmermann & Nowak, 1999Kolaczyk, 1999

MMI Slides courtesy of R.Willett, SAMSI 2006

Page 12: Quantifiying Doubt and Confidence in Image Deconvolution

ASIDE: MULTI-SCALE FOR POISSON- called“Multiplicative Multiscale Innovation Models”

Timmermann & Nowak, 1999Kolaczyk, 1999

MMI Slides courtesy of R.Willett, SAMSI 2006

Page 13: Quantifiying Doubt and Confidence in Image Deconvolution

ASIDE: MULTI-SCALE FOR POISSON- called“Multiplicative Multiscale Innovation Models”

Timmermann & Nowak, 1999Kolaczyk, 1999

•Recursively subdivide image into squares•Let {ρ} denote the ratio between child and parent

intensities•Knowing {ρ} ⇔ Knowing {λ} •Estimate {ρ} from empirical estimates based on counts

in each partition square

ρ(0) ρ(1) ρ(2) ρ(3)

λ0,0,0 X0,0,0

λ1,0,0 X1,0,0 λ1,1,0 X1,1,0 λ1,0,1 X1,0,1 λ1,1,1 X1,1,1

MMI Slides courtesy of R.Willett, SAMSI 2006

Page 14: Quantifiying Doubt and Confidence in Image Deconvolution

* Match Models to Physics: Multiply, Add; SO Quantify Difference: Multiscale + Scale-Factor*(Null)

* Get Uncertainties by Embedding in MCMC; SO Many Samples of Images

* Compare to Null Simulations: Low-Dim (2+) Summary

REMINDER OF TRICKS: (Using our MMI, Enhanced EMC2)

Page 15: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #1: NULL - Model Only

[of MultiScale Results]

[Simulated from Model]

Page 16: Quantifiying Doubt and Confidence in Image Deconvolution

++

+

+

++

+ +++

+

+

+ +

+

+

+

++

+

++ +

+ +

+

++

++

++

++ ++++

++

+

+

++

+ ++

+

++

+

++

++ +

+ ++

+

+++

+ +

++

+

+

+++

+++

+

+

+

+

+

+++

++

++

++

+

++

+++

++++

++ +

+

++

+

+

++

+

+ +

+

+

+++++

+

+

++++++

++ ++++

++

+

++

++

+

+

+

+ +

+

+++

+

++

++

++

+++

+ + ++

+++

+

+

+++

+++

+ +++++ ++++

+ ++

+

+++

+

+

+++

+ +

+

++

++

+++

+

++

+

+

+

++

+

+

+

++++

+

++

++

++ ++

+ + +

+

+

+

+

+

+

++

+

++

+

+++ +++

+

+++

+

+

++

++++ +++

+ ++

+++

+

+++

+

++ +

++

+

+++

+

++

++

+ ++

++++

++

++ +

+

+

+

++

++

+++

+

++

+++

+++

+

+

+

+

+

+

+

++

+

++

++

++ +

+

+++

+

++ +

+ +++

+++ ++

+

++ + +

++++

+++

+

++++++

+ +

+

+ +

+

+

++

+

+

+

+

+

+

++

+++ ++

+

++

++ +

+

+++

+

+

+ +

++

+

+

+

+

++

+

+

+++

+

+

+++

++

+

++ +

+

+

++++

+++

+

++++++

+

+

+

+ +

+

++

+++ ++ + +

+++

+++

+

+

+

+

+++

++

++

+

+++

+

+++

+++

++

+++

++

++

+

+

+

++

++

++

+

++

+

+

++

+

+++

++

++

+

+ +

++

++ +

+

+

+

+ ++

+

++

++++

++

++

++

+

+

+

++

+

+

++

+++

+

+

+

++ +

+ +

+

+

+++

+

++

++ +

+

+

+

+

+

++++

+

+

+

++

+

+

+

+++

++

+

+

+

+ ++

+

+

+ +++++

++++ +

+

+

+

+

+

++

+

++ ++

+ +

+

+

+

+++ +

+++

+++

+++

++

+

+

++

+++

+++

+

++ ++

+

++

+

+

+

+

++

++

++

+++

++++

+++

+

+++

+

+

+

+++

+

+++

+

+

++

+ ++

++

+

+

+

+

++++

+

+

+

+

+

+

++

++

++ +

++

+

++

+

++

++

+

++

+

++

+

+ ++

+

++

+

+

+

+

+

++

++

+

++

+

+++

++

+

+

+

+

+ +

+

+

+++ +

+

+

++

++

+++

++

++ +

++

+++

+

++ ++++

+

+++

++

+

+

+

+

++ +

+

+

+

+

+

+

+

+

+

+

+++

+

+

+

++

+ +

++

++

+

+

+

++

++++

+

+

+++

+++

++++

+

++

++

+

++

+++

+

+

+

++ +

+

+

+

+

+

++

++

+++

++

+++

++

+++

+

++

+

+

+

+

++

+ +

+ +

+

++++

+

+

+

+

++++

+

+

+

+

+

++

+

++++

++++

+

+

+++

++

+

+

+

++

++

+

++++

++ +

++++

+

+

+

+

++

+++

++ +

+

+

++

+

+

+

++

+

++

+

+

+

++

++

+++

+

++

+

+++

++

+

+

++ +

+

+++ +

+

++

+

+++++

+++ +

+

+++++

++

++

+

++

++

++

++

+

+

+++

++

+

++

++

+++

+

+

+

+ ++

+

+

+

+ +++

+++

+

+ ++

+

+ +

++

+

+++

++

+

+

+

+++

+ +++++

+

++

+

+++

++++

++++

+

+

+

+

+

+ +

++++++

++

+

+

++

+

+

+ ++

+++

+

+

+ +

++

++

++++

+

++

++

++

+

+

+

+

+

+

+

+

+

++

+

+

++

+

+

+

+++

++

+

++

+++

+++

++

+++

+

+

+

++

++

+

+

++

+

+

+

+

+ + ++

++

+

+++

++++

+

+

+

++

++

++

+

++

+

+

++++++

++

+

+

+

+++

+

++

+

+

++

+

+++

++++

++ ++

+++

+++

+++

+++

+

+

+

+

+ +++

+

++

++

+

++

+

+

+

++

+

++++

++ + +

+ ++

+++++

++ ++++

+

++

++

+

++

+

+

+

++ +

+

++ +

++

+ +++

++

+

+++

++

+

++

+ ++

+++++

++

+ +

+

+

+

++

+

++

++ +

+

+

++

++

+++

++

++

+++

+++ +

++

++

+

+++

+

++

++++

++

+++

+++

++

+

+

+

++

++

+

+++ +

++

+

+++

+

++

++ +

++

+

+++ ++

+

+

++++ +

++

++

++

+++

+ ++

++++

+

++

+++

+

+

+

+++

+

++

+

+

+++

++

++

+++

+

+

+

++

+

+++

+

+

+

+++

++

++

++

++

+

+

++++

+

+++

++ +

+

+

+ +

+ ++

++

+

++

+

+

+

+ +++

+

+

+++

+

+

++

++

+ +

++

+

+

++

+

+++

+

++

+

++

++

++

+++ +

++

++

+

++

+

+

++

+

+++

+

+

+

+ +

+++++

+

+

+

++

+

+

++

+

++

+

+++

++ +++

++

+

++

+

+

+++++

+

+

++++

+ +++

++

++

++

++

++

++++++ +

++

++

++

+++

+

+

+++

+++

++

+

+++

+

++ +

+

+

+

+

++ +

++

++

+ ++

+

+

++

+

+

+

+

+++++ +

+

++

+

+

+

+

+

++

+

++

+++

++

+

+

+

+

+

+

+

+

+

+

+

++

+

+

+

+

+

+

++

++++

+

+

+++

+

+

+++

++

+

+

++

+++

+++

+

++++

+

++

++++++

++

++

+ +++

++

+

+

+++

++

+

+

+

+

+

++

+

++

+

+++

+++ +++++

++++

++

+++

+++

+

+

+

+

++

+

+ ++

+

++

++

+++

+ +

+ ++

++

+

+

+

+ +++ +

++

+

+++

+

+

+

++

+

+

++

++

+

+

+

+

++

++

+

+++

++

+++

+

+

++ +

++

+

+

++ ++

+

+

+

+

+

+

++++

++

+++

+++

+ ++

+

+

+

+ ++++

+

+++

+

+

+++

+

+

++++

+

++

+

++ ++

+

+

+

++

+

+

+

+

+

+

+

+

+

+

+ +

++

+

+

+

+

+

++

+

++

++

+ + +++

++

+

+

+

+

+

+

+++

++

++

+

++

++

+

+

++ ++ +

+

+

++

+

++

+

+

++

+

+

++++

++

++

+

+

+

+++

+ ++

+

+

++++ ++

+

+

++

++

+++

++

+++++

++

+

++

+

+

+

++

+

+

++

++

++

+

+++

++

+ ++

+ +++

+

+

+

+ +

+++

+++

+

++

++

+

++

++

++

++

+

+

++

+

+ ++

++

++

+

+

+++

+

+++

+

+

++

++

+ +++

++

++ +

+++

+

+ +

+++

++

+

+

++ +

++ +

+

+

++

+

++ +

+

++

++

++

++++++

++++

+

+

+

++

++

+

++++

+

+++

+

+

+++

++

+

+

+

++++ +

+

+++

+

+

+

++

+

+

+

++

+++++

+

+++

+

+++++

+

+++

+++

+

+

++

+

++ +++

+

+++

+

+

+

++

+

+

+

+

++

+

++

+

+

+

++

+

++

+

+

+++

+

+

+

+

++

+

+

++

+

++

+

+

+

++++

+

+++

+

+

++

+

++

++

+++

+

+

+

+

+

++

+

+

+

+

++

++

+ ++

++

++

++

++

+

++

++

++

+++ ++

+

+++

+ +

+

+

++++

+

++++++

+++

++

+++

+

++

+

+

+

+

+ +

+

++

+++ ++++

++

+

+

+++

+

+++ ++

++

++

+++

+

+++

+

+++++

+

+

+

+++

+

+ +

+

++

+++

+

++

++

++

+

++

++

+

+

++

++ +

+ +

+

+

+

++

+

+

+++

++

+

+++

+

++

++++

+++++

+ +++

+

++ +

++

++

++

+

+

+

++

++

+

++

++

+

+

+

++++++

+

+

+

+

++

+++

+

++ +++

+

+

+

++

+

+++

+

+

+

+ +

+

+ +

+++

++ ++

+

++ +

++

+

++

+

+

+

+

+++

++

+

++

+

+++ +

+++

+

+

++

++

++++

+++

++

+

++

+

++

++

+++

++

+

++

+++ +

+

+++

+

+++

+

+

+

+

++

++

++

++++

+

+ +

++

+

+++

+

+++

+

++ +

+

+

+++

++++

++

+++++++

+

++

+ +

++

+++

+++

++

++

+++

++

+

+

+

+

+++

+

+

++

+

+ +++

+

+

++

+

+

+ ++

+

+

+++

+

++

+

++ +

+

+

+

+

+

++

+

+

+

+

++++

++

+++

+

+

+

++

+

++

+

++

+

++

+

+

+

++

+

+

+++

+

++

+

++++ ++

+

+++

+

+ + ++

++

+

++

++

+

+++

+

++

+ +

++ +

++

+ +

++

+

+

+++

+

++

+

++

+++ +

++ +

+

+

+

+

+

+

+++++

+

+

+

++

+

+

+

+

+

+

+

+

+

++

+

++

++

++ ++

+ +

+++

+

++

++++

+

+

++

+++

+

+

++

++

+++++

++

+

++ +

++ + ++

++

+

+

+

++++

+

+++

++

+ ++

+

+

+

+

+++

+

+

++ +

+

+ ++

+

+++

++

++

+

+

+

+

++

+

++

+

+++

+ +

+

++

+++ +

++

+

++

++

++

++

+++

+++

++++

+++

+

+

+

+

+ +

+

++

++

+

+

+

++ +

++

+

+

+++++

+

+

++

+

+++

+

+

+++++

++++

++++

+

+

++

+

+

++

+

+

+++

++

++

++

+

++

++

++

++

+++

++

+

+

+

+++

++

++++

++

+

++

+

+

+++

++++

++

+

+

+

+

++ +

++

+++

+

+

+

++ +

+

++ +

+

+

+

++

+

+++

+

++

+++

++

++ +

+

+++ +++

++

++

+

++++

+++

+

+ +++

++++

+

+

+

+

+

+

+

+

++

+

+

+ ++

+

+

++

+

+

++

+

+

+++

++

++

+

+++

+

++ ++

+

+

++

+

+

+

++

+

+

+

+

++

+

++

+++

+

+

+

+

+ +

+

++

++

+

+++

++

++

++

+

+ + ++

+

+

++

+

+

+

++++

++++

+++

+++

++

+

++ +++

+++ +

+

+ +

++++

+ + +

+++

+ +++

+++

++

+++

++

+

++

+

++

+

+

+

+++

++

+++ ++

+

++

++

++++

+

+

++

+++

++++

++

++

+

+++ ++

++

+

+++

++

+

+

++

+

++

++

+++

++

+

+

+

+

+

+

+

++++

+

++++

++ +

+

+ +++

+

+

+

++

+

+

+

+ +

++

+

+

+

++

+

+

+

+

+

+

+

+++

+

++

+

++

+

+

+

+

+

+

+

+ +

+ ++

++

+

+++

+++

+

++

+

+++

+

+

++

++

+++

++

++

+++

+

++

+

+

++

++

+

+

++

+++++

++

++

++

+

++

+

+

+

+++

+++++++++

+

++++

++

+

++

+

+

++

+

++

+

++

+

++

+

++

++

+

+++

+

+

+

+

+

+

+++

+

+

++

+

+

+

+

++

+

+

+ +

++

++

+ +++ +

++

+

+

+

+

+

+

+

++

+

+

+

++

+

+++

++++

+

++

++

++

++

+

++ + +

++

+

+

++

++

++

+

+

++

++++

+ +

++

++

++

+

++

+

++

+

++

+

+

+ ++ +

+

+++

+

++

++

+

++

+

+ +

++

+

+

+

+++

++

++

++

+

+++

+

++

+

+

+

+

++

+

+

++ +

+

+

+

+

+++

+

++

+ +

+++

++

+ +

++

++ + ++

++

++

++

+

+

+

+

++

+

+

+

+

+++

+

+

+ +

+++

+++

+

+

++

+

+

+ +

+ +++++

++

++

+

+++

++

+

+++

+++

+

++

++ +

+++

+

++ +

++

+

++

++

+

++

++

++++

+

++

++ +++ +

++

+

++ +

+

+

+

++

+

+

+

++

+

+ + +

+++

+

++

++ +

++

+

++

+++++

+

++++

++++

++

++++

++

++++

+

+

+

+

+

+

++

++

+

+ +++

++

+

+

++

+

+

++

+

++

++

+

+ ++ +

+

+

+

+

+

++ +

+

+

++

++ ++ ++

++

+++

+++

+

+++ ++ +

++

+

+ +

++

+ + +

+

++

++ +

+

+ +

+

+++

+

++

+

++

++

+

++

++

++

+++

++ +

++++ +

++++

++

+

++

++

++

+

+

++++

++

++

+

+

+

+ +

+

+

++

+

++

++

+ + ++

+ ++

+

+ +

++

+

++

+

+

+

++

+++

+++++

++

+

+

+

+++

+

+

+

++

++

+

++

+

++++++

+

++++

++

+

+

+

+

++

+

+

++++ + +

+

+

+

+

+

+

+

+

+

+ ++

++

+ ++

++

++++

++

+

+ ++ +

++

+

++

+

+

+

+

+

+

+

+

+ +

++

++

+

+++

++

+

+

+

+

++

++

+

+

++

+

++

+

++ +++

+

+

+

++

++ +

++

++

++

++ +

+

++

++

++

+

+

+++

++

++

+

+ +

+

++ ++

+

++

+

+

+++

+++

++

++ ++++

+

++

+

+

+

+ +

+++ +

+

++

++

+ ++

+ ++

+

+

+++

+

+ +++

+ +

+

++

++

++

+

+

+

++

+

++ ++

+

+++

+ +++ ++

+

++++

++

+

+

++

+

++

+++

++

+++

+++

+

+

+

++

+

+

++

+++

++

++

++

+

++

++

+++

+

+ ++

+

+

+

++

+

+

++++

+

+++++

+

+++

+

+

+

++

+

+

+++

+

+

+ ++

++

+

+

++

+

++++ ++++

+

+

++

+

++

++++

+++

+

+

++

++

+

++

+

++

+++

+

++

++

+

+

+

+

++

+

++

+

++

++++

+

+

+

++

+

++

+

+ ++ ++

+

++

+++++

++

+

++

+++

+ +++

+

++

+

++

+

+

+

+

+

+

++

++

++

+

+

+

+

+++

+

+

+

+

+

+

+

+++

+

++++

+

+

+

++

++

+

+

+

+

++

+

+++++

+

+

+

++

+

++ +

+

+

+

+

++++

++

+++

+

++++

++

+++

+

+

+

+++ ++

+

+++

+

++

+

++++

+

+++

+

+

+++

+

+ ++

+

+++

+++

+

++

+

++

++

+

+++

++

+

+

++++++

++

++

++

++++

+

+++ ++

+++

+

++

+ +

+

+++

+

+ ++

++

+

++

+

+

+

+

+

++

++ +

++

++

+

++

++

+

++

+

+

+

++

+++

++

++

+

+++++

+++++

+++

+

+++

++

++

++

++

++

++

+++

+++

+++

+

+

++

+

+

+

+

++++++

++ ++

+++

+

++

+

+

+

+

+++

+++

+

++

+

+

++

+ ++ ++

++

+

++

+

+

++

+

+

+

+ +

++++

+

+

+++

+

+

+

+++

++

+

+

++ +

++

+

++

++

+

+

+

++ + + +

+

+

++

+

++

+

++

+

++

+

++++

+

+

+

+++++

+

+

++++

+

++

+

+

+

+++

+

+

+

+

+

+ +

+

++

+

+++

+

+

++

++

+++++

+

+

+

+

++

+

+

+

+ +

+

+

+

++

+

+ ++

++

+

+

++++

+

+

+++ ++

++

+

+

+

+

+

+

+

++

++

+ ++

+++ +

+

+ ++

+++

+ +

+

++

+

++

+

+++

++

+

+

++

++

+

+++

++

++

+

+

+

+

+ ++

++ ++

+

+

+

+

++

+

+

+++

+

+

++

+

++

+++++

+++

+++++

+

++

+

+

+

++

++

+

+

++++

+

+++

++

+

+

+

++

+

+ +

++++

+

++ +

+

++

++

+

++

++

+

++

+

+

++ ++

++

++

+++

+

+++

+++ ++

++

++

+

+

+

+

+

+

+++

++++

+

+

++

+

+

+

++

+

+

+

+++ ++

+

+++++ +++ + ++

++

+

+

+

+

+

+

+

+

+

+

+

++

+++++

+

++

++

+

+

++

+ +

+++

+

++

+ +

+

+

++

+++++

+

++++ ++

+ +++

+

++

+

++

+

++

+

++

+

+

+

+

+

+ +

+

+

+

++

++

+

+

++++

+

+

+

+

++

+++ +

+

+

+

++

++

++

+

+

++

+++

+

++

+

+

+

+++

+

+

+

+

+

+

++ +

++

++

++

++

+

+

+++

+++

+

+

++

++ ++ ++

+

+

++

+++++

+

+

+++++

++

++++

+ +++

+++++++

+

++++

+

+

++++ +++ +

+++

+ +++

+

++++

+

+

+

+

+++

++++

+

+

++

++++

+

+

++

++

++

+

+

++

+

++

++

+

+++ +

+

++

+++

+

+++

+

+

+

+

+

+++

+

+

+

+

++

++++

+

++

+++++

+

++

+

+

+

+

+

+

+

+

++++

++++

+

+

++ +

++

+

+

+

+++++++

+

+

+

++++

+ ++

+

+++++ ++++ +

++

+

+

++

+

+

++

+

++

+

++

+

+

+

++

+

+

+

+

+

+

+++

++

++

++

+

++

+

+ ++

+

+++

+

+

+++

++

+

++

+

+

+

+ +

++

+ ++

++

+

++

++

+

++

+++

+

+

+

+

++

+

++

+

+

+

+

+

+

++

+

++ +

++

+

+ +

+

++

+

++

+

+

+++++

+

+

+++

+

+++

+

+ ++

+++

+++

++

+

+

++++

+

++

+

++

+

+

+

+++

++++

+

+

++

++ + +

+

+++

+

++

+++

++

+

+

++

+

+

+

++++

++

+++

+

+++

+

+++++

+

+

++

+ +

+

+

++

+++++

+

++

+++++

+

++

++++

+ ++

++ ++

+

++

+

+

+ +

++

++

++

+

+

++++

+

+

++ +++

++

++

+

++

+

++

+

+

+

+++++

+

+

+

+++

+

++

++

++

+

+++

++

++

+

++

++++ +

++

++ +

+

+++++ +

++

++

+++

+ +

+

+

+

+

+ ++

+ ++ ++

++

+

+

+

+

++

+

+

++

+

+

++

++

++

+

+

++

+

++

++

++

+

+

+ +++

+

+

+ +

++

+

++

+

+

++++

++

+

+ +++++

+

+

+

+ +

+

++++

+

+

+

+

+

+

+

+

+

+

+

+

+++

+

+++

++

+

+

+ ++

+

+ ++ +

++

++

+

+

+

+

+

+

+ +

++

+

+ ++

+

+

+

+++

+ ++

+

++ ++

++

+++

+++

++

+

++++

+

+

+

++

++

+++

+++

+

++ +++

++

+

+

+

+

+

+

+

+

++

+ +++ +

+

+

+ ++

+

++

++

++

+

+++

++

+

+

+

++

+

+

+

++

+

+

+

+++

+

++ ++ +

+

+

+

+

+

+ +

+

+ +

+++

+++

+

+

+

+

+

++++++

+

+

++

+ +

++ +++

+++

+

+++

+

++ +

++

+

+++

++ +

++

+

+

++

++++

+

+

++

+

++

++

+

+

+

+

+++

+

++ + +

+

+++

+

+

++

++

+

++

+

+++

+++

++ +

+

+

+

+

+++

+

+++ +

+

+++

+

++

+ +

+++

+

+

+

++++

+

+

++

+

++ +

+

+

+

++

+

+

+

++++

+

+ +++

+ +++ +++

+

+

++

+

+

+

+ ++ +

+

+

+ ++

+ +

+++ +

++++ +

++

++

+

+++

+

+

++

+

+

++

+

+

+

++ +

+

+

++

++ +

+

++

++++

+

+

+

+

+

+

++

++

+++

+

+

++

++

+++

+

++

+ ++

++

++

+++

+

+ +

++

+

+

++

+

+

+

++

++

+

++

+++

++

+

+

+

+

+++

++

++

+

+

+++

+

++++ +

+

+ ++

+

++

+

+

++

++

++

+

+

++++

++

+

++

+

+

+

+

+

+

+

++++++

+++

+

+++++++

++

++

+

+

+

+++

+

+

++

+

+

++++

+++

++

+

+

+

+

+

++

+

+++

+

+

+

+

+

++

+++

++++ + +

+

+

+

+

+

+

−3 −2 −1 0 1

−0.0

100.

000

0.01

0

Nothing (Null Hypothesis

Log10(Expected Total MS Counts)

Log1

0(Ba

selin

e Sc

ale

Fact

or)

Page 17: Quantifiying Doubt and Confidence in Image Deconvolution

Nothing (Null Hypothesis)

Log10(Expected Total MS Counts)

Freq

uenc

y

−2 −1 0 1 2 3

050

100

150

200

250

Page 18: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #1:NULL - Model Only

Page 19: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #2:Bright Discontinuous Extra Component

[of MultiScale Results]

[Simulated from Model+Bright Extra]

Page 20: Quantifiying Doubt and Confidence in Image Deconvolution

+++

++

+

+

++

+

++

++ +

++++

+

++++ ++

++

++ +

+

++ ++

+

+

++

+

+

+++

++

+++

+

+

+

+

+

+

++ +

+

+

+

+

+++

+

++

+++

++

+ ++

+

+

++

++

+

++

++

+++

+

+

+

++

++ + +++

++++

+

++

+

+++

++

+

+ +++

+

++

++

++

++

+++

+ ++

+

+

++

+

+

++

+

+

+

+++

++

+

+++++

++

+

+

+

+ +

++

++

+ ++

++++

+ +++

+

++ +

+

+++

+

+

++++

+

+

++

+

+ +

++

+

+

+++

+

+ ++ +

+

++ ++++

+++

+

+

+

+++

+

+++ ++

++

+

++

++

++

+++

+

+

+ ++ +

++

++++ +

++

++

+

+

++

+

++

+++

+

+ + +

++

+

++ +

++

++ +

+

+

+

++

++

++ ++

+

+

++++

++

++

+

+

+

+++

++++

++

+

+

+

++ ++

+

+

+

++

+ +

+

++

+++

++ +++

+

+

+++

+++ +

+

+++

++

+

+

++

+

++++

+++

+

+

+

++

+

+

++

+

+

+

++

+

+

+ + +

++ +

+

+++

++

++++ +++

+ ++

++

+

+++

+

++

++++

++

+

+++

+

++

++++ +

++

++ + ++

+

+

+ ++ +

+

+

+

++

+++ +

++++++ +

+

+

+

+ + +

+

+

+++

+++

++

+++

++++

+

+

+

+

+

++

+ +

+++

++ +

++

+ +

++ +

+

+

++

+ +++

++

+++ ++

++

+

++

++

++

+

+ +++

+ +

+++++

++

+

++ +

++

+

+

+

++

+

++ +

+++

+ ++

+

+

++

+

+++++

+

++

+

++

++

++

++

+

+++

+

++

+

++

++

++ ++

++

+

+++

+

++

+

+

++

++

+

+++

+++

+

++ +

+++

+

+

+

+++

+

+++

++

++

+

+

++

+++

++

+

++

++

+

+

++

+ ++++

++

+

+

+

+

+

+

+

+ ++

+

+

+

+++

+

++

++++

+

+ ++

+

+ + +++ +

+ +

+

+

+++ +

+

++ +

+

+

+

++

++

+

+

+

+++

+

+++

++

+

+

++

+

++

+

+

+

++

++

+

+ +

+

+

++ +

++

+

+

++

+

+

++ +

++

+

++

+++

+ +

++

+

++++

+ +++

+

+

+

+

+++ +

+

+

++

+

+

+ +

+

+

++

+ ++

++ +

+ +

+++

+

+

+ ++++ +

++

+

+

+

+

++

++

+

+

+

+

++

+

+

+++

++

++

+

++

+

++

+

+++

+

++

++++

+ ++

+

+

+++++++

++

+++

+

+

+

++

+

++

++

+

3.34 3.36 3.38 3.40 3.42

!0.0

050.

005

0.01

50.

025

Bright Discontinuous Unknown

Log10(Expected Total MS Counts)

Log1

0(Ba

selin

e Sc

ale

Fact

or)

Page 21: Quantifiying Doubt and Confidence in Image Deconvolution

!3 !2 !1 0 1 2 3

!0.0

10.

010.

020.

03

Null (.) vs Bright Unknown (+)

Log10(Expected Total MS Counts)

Log1

0(Ba

selin

e Sc

ale

Fact

or)

+++++

+

+

++

+

++++++++++

++++++++

++++

++++

+

++++

+

++++++++

+

+++

+

+

++++

+

+

+

+++

+

++++++++++

+

+

++++

+

+++++++

+

++

++

++++++

++++

+++

++++++

+

++++

+

++++

+++++++++++

+

+++

+

++++

++++++++++++++

+

+

+

++

++++++++++++++++

+++

+

+++

+

+

++++++++

+

++

+++

+

++++

++++

++++++++++

+

+++++

+

++++++++++++++

++++

+++++

+++++++++++++

++

+

++

+++

+

+++++

+

+++

+++++

+

+

+

++

+++++++

+

++++

++++

+

+

+

++++++++++

++

++++

+

+

+

+++++

++

+++++++++

+

+++

++++

+

+++++

+

+

++

+

++++

+++++

+

++

+

+++

+

+

++++

+

++++++

+

++++++++++++

+++++

+

+++

+

++

++++++

+

+++

+++++++++++++++

+

++++++

+

+

+++++++++++++

+

+

+++++

++++

+++

++++++++++

+

+

++

++

+++++

+++++

+++++

+

+++++++

+++++++

+++++++

++

+

++++++

+++++++

+++++++

++

++

+

++++++

+++

++

++

++++++

+

+++++

++++

++

+

++++++

++++++++++++++++

+++

++++++

++++++

++++++++

+

+

++++

++++++++

+

+++++

++

++++++

+

+++++++

+++++

+

+

+

+

+++++

+

+++

+

++++++

+

+++

+

++++++++

+

+++++

+++++

+

+

++

+++

+

++++

+

+++++

+

+

++

+

++++

+++++

+

+++

+

++++++

+

+++

+

+++

++

+

+++++

++

+++

++++++++++

+

+

+++++

+

++

+

+++

+

+

+++++

+++++

++++

+

++++++

++

+

+

++

++++++

+

+

+++

++++

++++

+

+++++

+

+++

+

+++++++++

+

+

++++++++++++

+

+

+

+++

++++

+

Page 22: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #2:Bright DiscontinuousExtra Component

Page 23: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #3:Faint Model MisMatch

[Simulated from Model+Faint Extra]

Page 24: Quantifiying Doubt and Confidence in Image Deconvolution

+

+++

+

++

+

++

+

+

+

+

+++

+++

++

++++

+

+

+

++++

+

+

+

+++

++

+

+

+

+

+

+

+++

+

+++

++

++

++

+

+ +

+

+

++

+

+

+

+

+

+

++

+

+

+

+

+

+

+

++

+

++

++

+

++++

++

++

+

++

+ +

+

++

+++

++

+++

+++++

+

++

+

+

+

+

+

+

+

+ +++

+

+

+

++

+

+

+

++

+

++++

+

+

+

+

+

+

+

+

+

+

+

+

+

+++

+

+ ++

+

++

+

+

++

++

++

++

+

+

++

+

+

+

+

+ ++

++ +

+

+

+

+

+

+

+++

++

+

+

+

++

+

+

++ +

++

+++

+

+

++

+

+

+

+ +

+

++

+

+

+

+++

+

+

++

+

++

+

++

+

+ +++

+

+

+

+

+

+

+

+

++

+

+

+

+

+

++

+

+ ++

+

+

+

+

+

+ ++++

+

+

+++

+

+++

++

++++

++

++

+

+

+

+

++

+

+++

+

+++

+

+

+++

++

+

+

++

+

++

++

++

++

+++

+

++

+++

++

++

++ +

++

+

++

++

++++

+

+

+++

++

+

+

+

+ +

++

+

++

+

+

+

+

+

+

+

+

+

+

+

++

+

+

+

+++

+ +

+

+

++

+

++

+++

+

+

++

++

+

+

+

+

+++++

++

++

++++

++

+

+

+

+

++

++

++

+++++

+

+++

+

+

++

+

++

+

+

+

++

+

+

++

+

+++

+

++

+++

+

++

++

+

+

+

+

+ ++

+++

+

+

+++

+

+

++

++

++

+++

+

+ +++

+

+

+

++

+

++

+++

+

++

+

+

+++++

+

+

+

++

+++

+

++

++

+

+

+

++

+

+

++

+

+

++

++

++

+

+

++

++

++

+

+++

++++

+

++

+

++

+

+

+++

+

+

++

+

+

+++

+

+

+++

+

+ +

+

+

+

++

+

+

+

++ +

++

++

+

+

+

+

+

+

++

+

+

++

+

++

+

+

+ +

+

++

+

+

+

++

+

+

+ ++

+

+++

+

+

++

+

++

++

+

+

++

++

+

+

+

+

+

+

+ + + +

+

+

+ +

+

+

++

++

++

+

+

+

++

+

+++

+

+++

+

+

++

+

+

+

+

+

+

+

+

+

++

++++++ +

+

+++ ++++ ++

+

+

++

+

+

+

++

+

++

+++

+

++

++

+++++

+++

+

+

+

++

+

+

+++

+

++

+

+

+

+

+

+

+

+

++

+

+

+

+

+

+

++

+

++

+

+

++

+

+

++++

++

+

++

+

+

+

++

++++

+

+

+

++

+

+

++ +

+

++++

+

+

++++

+

+

+ ++

+

+

+

+

++

+

++

+

+

+

+

++

+++

+

+ ++

+

+

++

++ +

+

++

+

+

+

++

++

+

++

+

++

+

−2 −1 0 1

0.02

00.

030

0.04

0

Faint Model Mis−Match

Log10(Expected Total MS Counts)

Log1

0(Ba

selin

e Sc

ale

Fact

or)

Page 25: Quantifiying Doubt and Confidence in Image Deconvolution

!ull %s Faint Model Mis!Matc1

Log10(Expected Total MS Counts)

Freq

uenc

y

!2 !1 0 1 2 3

050

100

150

200

250

Page 26: Quantifiying Doubt and Confidence in Image Deconvolution

Simulation Study #3:Faint Model MisMatch

Page 27: Quantifiying Doubt and Confidence in Image Deconvolution

Special Thanks To:

NSF and SAMSI 2006 Special Topics in AstroStatisticsNASA and AISR Python Tools for AstroStatisticsCHASC: http://hea-www.harvard.edu/AstroStat/

Quick Reference: See Statistical Challenges in Modern Astronomy IV, Proceedings, Connors and van Dyk, “How To Win With Non-Gaussian Data: Poisson Goodness-of-Fit””