Оценка уровня шума
-
Upload
msu-gml-videogroup -
Category
Documents
-
view
1.227 -
download
0
description
Transcript of Оценка уровня шума
09.09.2010 1
Оценка уровня шума
Борис Кумок
Video GroupCS MSU Graphics & Media Lab
MSU Graphics & Media Lab (Video Group) 2
Содержание доклада
Введение
Wavelet MAD
MBE
Trained moments
CDF
Block-based Classic
Structure-oriented
Temporal SO
Сcылки
MSU Graphics & Media Lab (Video Group) 3
Введение
Определение уровня шума требуется для:
Подавление шума
Сжатие видео
Сегментация
Определение границ
Для большинства приложений критична
точность оценки, а для видео еще важна
скорость.
MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4
Постановка задачи
По входному изображению определить уровень шума.
Полагая, что шум является белым с нормальным
распределением (AWGN), сведем задачу к
определению σ.
22
2
2
1)(
x
exp
MSU Graphics & Media Lab (Video Group) 5
Содержание доклада
Введение
Wavelet
MAD
MBE
Trained moments
CDF
Сравнение
Block-based
Ссылки
MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 6
MAD
Для всех блоков
изображения
посчитаем MAD и
положим σ
пропорциональной их
медиане.
|))((|MAD ii xmedianxmedian
))(MAD(*483.1 imedian
MAD блоки
Изображение
MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 7
MAD
Т.к. необходимо вычислять медиану, метод
работает медленно. Кроме того, он требует
дополнительную память.
Один из самых часто применяемых методов.
Существует несколько модификаций для
работы в разных пространствах.
MSU Graphics & Media Lab (Video Group) 8
Содержание доклада
Введение
Wavelet MAD
MBE
Идея
Построение модели
Метод максимального правдоподобия
Метод соответствия моментов
Trained moments
CDF
Сравнение
Block-based
Ссылки
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 20049
MBEИдея метода
Построим модель зашумленного изображения.
Используем ее для оценки уровня шума.
Построение модели
Оценка шума
Метод максимального правдоподобия
Метод моментов
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200410
MBEПостроение модели
Гистограмма вейвлет коэффициентов
чистого изображения похожа на
лапласиан.
|)|/2(
2
1)(x
imageu
u
exp
Предполагаемое распределение
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200411
MBEПостроение модели
duuypupyp )()()(2121
)2/(
2
122
)( v
v
x
noise exp
|)|/2(
2
1)(x
imageu
u
exp
2
2
2
2erfcerfc
2)(
2
vu
vu
vu
vu
uv
xxxx
v
noiseimage eee
xp
Построим модель зашумленного изображения.
Модель распределения вейвлет
коэффициентов чистого изображения Плотность шума
Модель распределения коэффициентов
зашумленного изображения
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200412
MBEМетод максимального правдоподобия
Оптимальное решение можно получить методом
максимального правдоподобия.
),(maxarg)(
xLx
),(),( inoiseimage xpxL
Аналитического решения данная задача не
имеет. Численное решение – очень медленно.
Функция правдоподобия
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200413
MBEМетод моментов
Не оптимальный, но более
быстрый метод моментов
позволяет получить
результат за один проход.
)(xp noiseimage 22
2
2
vumxE
2222
4
4 636 vuvumxE
1
3
11
2
2
42
2
m
mmv
k
Nk ixm )(1
Решим систему и заменим
теоретические моменты на
выборочные.
MSU Graphics & Media Lab (Video Group) 14
Содержание доклада
Введение
Wavelet MAD
MBE
Trained momentsОписание
Обучение
CDF
Сравнение
Block-based
Ссылки
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200415
Обученные моменты
Развитием предыдущего метода может быть учет иных статистик кроме 2 и 4 моментов.
442211MMM
1244
122
11
mmmM
mmM
mM
Выбор подходящих коэффициентов αk
осуществим путем обучения алгоритма.
k
Nk ixm )(1
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200416
Обучение алгоритмаМетод наименьших квадратов
Возьмем набор n изображений xi с известным
уровнем шума yi и применим метод
наименьших квадратов.
xMx kk
Для нахождения хороших коэффициентов алгоритм необходимо предварительно обучить.
MSU Graphics & Media Lab (Video Group) Вводные лекции по численным методам. А.П.Костомаров,
А.П.Фаворский.17
Обучение алгоритмаМетод наименьших квадратов
Найдем коэффициенты αk, при
которых суммарная
квадратичная погрешность J
минимальна.
m
k
kk xxF0
)()(
n
i
ii xFyJ0
2
n
i
iill
n
i
ikillk
l
m
k
klk
yxb
xx
mlb
0
0
0
,
,,,1,0 ,
Получим СЛАУ с m
неизвестными,
которую можно
решить, например,
методом Гаусса.
MSU Graphics & Media Lab (Video Group) 18
Содержание доклада
Введение
Wavelet MAD
MBE
Trained moments
CDFВведение
Алгоритм
Обучение
Сравнение
Block-based
Ссылки
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200419
CDFВведение
Будем использовать
cdf(x) для определения
уровня шума.x
xcdf
меньшей дисперсией
с пикселей количество - )(
Изображение Локальная дисперсия cdf(x)
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200420
CDFАлгоритм
Вычислим cdf(x0) и по таблице найдем соответствующее
значение σ.
cdf(x0) σ
m1 1
m2 2
… …
σ
Создание таблицы и выбор точки x0
происходят на этапе обучения
алгоритма.
N
k
k
ll xcdfN
xm1
1
Среднее значение cdf(x)
среди изображений с σ = l.
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200421
CDFОбучение
Не все точки графика дают надежную оценку.
Найдем наилучшую.
cdf(x) изображений с σ = 0 cdf(x) изображений с σ = 25
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200422
N
k
k
ll xcdfN
xm1
1
CDFОбучение
На обучающем наборе изображений с известной σ шума выберем точку x0, наиболее надежную для классификации.
xx
xmxmxf
ll
ll
ll
21
21
21 ,
ji
jix
xfx,
,0 )(maxarg
N
k
l
k
ll xmxcdfN
x1
22 1
Среднее значение cdf(x)
среди изображений с σ = l.
Дисперсия cdf(x) среди
изображений с σ = l.
Степень различимости cdf(x)
между уровнями l1 и l2.
MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet
components. EURASIP Journal on Applied Signal Processing, 200423
Сравнение
Методы основанные на обучении дают более
хороший результат.
MSU Graphics & Media Lab (Video Group) 24
Содержание доклада
Введение
Wavelet
Block-based
Classic
Structure-oriented
Temporal SO
Ссылки
MSU Graphics & Media Lab (Video Group) S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian
Conference on Image Analysis, Norway, 1993.25
Блочный метод
Разобьем изображение на блоки (7х7) и выберем из них N штук с наименьшей дисперсией. Положим σ равной их усреднению.
блока ого-k дисперсия 2 kB
N
k
B
k
kN 1
22 min1
N – фиксированная часть общего числа блоков.
MSU Graphics & Media Lab (Video Group) S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian
Conference on Image Analysis, Norway, 1993.26
Блочный метод
Метод является одним из самых
быстрых и требует мало
дополнительной памяти.
Для оценки уровня шума
используются «гладкие» области.
Если таких областей нет,
точность резко падает.
Дисперсия
MSU Graphics & Media Lab (Video Group) 27
Содержание доклада
Введение
Wavelet
Block-based
Classic
Structure-oriented
Temporal SO
Ссылки
MSU Graphics & Media Lab (Video Group) Fast and reliable structure-oriented video noise estimation A. Amer and
E. Dubois. IEEE Trans vol.15, pp. 113–118, January 200529
Структурный
Дисперсия – не лучший способ определить
гладкость блока.
Воспользуемся детектором границ.
121 iIiIiIiIk
i k
kB iI8
1
Мера гладкости блока.
Сумма сверток по всем
направлениям для
каждого пикселя блока.
I1 I2 I3 I4
I5 I6 I7 I8
Свертка {-1 -1 … (w-1) … -1 -1}
MSU Graphics & Media Lab (Video Group) Fast and reliable structure-oriented video noise estimation A. Amer and
E. Dubois. IEEE Trans vol.15, pp. 113–118, January 200530
Структурный
Усредним дисперсию N
наиболее гладких блоков.
N
h BhN 1
22 1
Дополнительно наложим ограничение на
слагаемые.
TRh BB 22
constT
hmedianhR BB
3,2,1:22
Bh – h-ый гладкий блок
MSU Graphics & Media Lab (Video Group) Fast and reliable structure-oriented video noise estimation A. Amer and
E. Dubois. IEEE Trans vol.15, pp. 113–118, January 200531
Структурный
При вычислении ξB можно
учитывать не все пиксели, а
только каждый s-ый.
i k
kB iI8
1
Метод работает в 4
раза быстрее, чем
блочный и дает
лучший результат.
MSU Graphics & Media Lab (Video Group) 32
Содержание доклада
Введение
Wavelet
Block-based
Classic
Structure-oriented
Temporal SO
Ссылки
MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
Temporal Video Noise Estimation, IEEE 200633
Структурный методРасширение
Применим структурный
метод к видео.
Будем хранить
несколько кадров. Из
них образуем 3D блок,
который разобьем на
набор кубов.
Детектор границ теперь
работает еще и как
детектор движения.
MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
Temporal Video Noise Estimation, IEEE 200634
Структурный методРасширение
Блоки могут быть
гладкими во времени (low-
motion), но совсем не
гладкими пространственно
(текстура). Поэтому меры
гладкости не
смешиваются, для
каждого из направлений
есть своя.2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
n
V
i
V
n
V
j
V
j
V
i
V
n
V
n
V
j
V
i
V
ZT
VT
S
T
ST
MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
Temporal Video Noise Estimation, IEEE 200635
Структурный методРасширение. Алгоритм.
1. Для каждого направления:
Выбрать N наиболее гладких по этому
направлению блоков.
Для каждого выбранного блока
Если блок гладок в S (T), то дисперсия в нем равна
среднему дисперсий по слоям S (T).
Если блок гладок в ST, VT или ZT, то дисперсия
считается по всему блоку обычным образом.
Дисперсия направления равна среднему (или
медиане) дисперсий блоков.
2. Сигма шума равна среднему (медиане)
дисперсий по направлениям.
MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
Temporal Video Noise Estimation, IEEE 200636
Дисперсия
для направления
Медиана блоков одного направления
Дисперсия блоков
Набор N блоков
гладких по направлению.
Структурный методРасширение. Алгоритм.
Найти N наиболее гладких блоков
Дисперсия по всему
блоку
S T ST VT ZT
Дисперсия в слоях
Усреднение
Медиана
σS σT σST σVT σZT
σ
Для каждого направления
MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
Temporal Video Noise Estimation, IEEE 200637
Структурный методРасширение. Сравнение.
Метод требует много дополнительной памяти,
но его точность значительно выше, чем в
других методах.
MSU Graphics & Media Lab (Video Group) 38
Содержание доклада
Введение
Wavelet MAD
MBE
Trained moments
CDF
Block-based Classic
Structure-oriented
Temporal SO
Ссылки
MSU Graphics & Media Lab (Video Group) 39
Список литературы
1. S.I. Olsen. Noise variance estimation in images. In In 8th Scandinavian Conference on
Image Analysis, Norway, 1993.
2. D.L.Donoho, “De-noising by soft-thresholding,” IEEE Transactions on Information
Theory, vol. 41, no. 3, pp. 613–627, 1995
3. De Stefano, A., White, P.R. and Collis, W.B. (2004) Training methods for image noise
level estimation on wavelet components. EURASIP Journal on Applied Signal Processing,
2004, (16), 2400-2407.
4. D.-H. Shin, R.-H. Park, S. Yang, J.-H. Jung, "Block-based noise estimation using adaptive
Gaussian filtering", IEEE Trans. Consumer Electronics, vol. 51, no. 1, pp. 218–226, Feb.
2005
5. A. Amer and E. Dubois, “Fast and reliable structure-oriented video noise estimation,”
IEEE Transactions on Circuits and Systems for Video Technology, vol.15, pp. 113–118,
January 2005.
6. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise
Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing
(ICASSP), Toulouse, France, May 2006, pp. 845-848.
MSU Graphics & Media Lab (Video Group) 40
Вопросы
?