2013_10_01_lecture_02

Анализ изображений и видео

Наталья Васильева [email protected] HP Labs Russia

2 октября 2013, Computer Science Center

Лекция 2: Обработка изображений – часть 1

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Обработка изображений

Обработка изображений Image Processing

Изображение Изображение

• На входе и выходе – изображения • Результат обработки «лучше» оригинала с точки зрения конкретного применения

• Лучше с эстетической точки зрения • Лучше для последующего анализа


Пример: построение HDR-изображения


Примеры: что можно «улучшать»

Шумное Шумное Размытое, не резкое

Слишком темное Слишком светлое Неправильные цвета


Примеры: «улучшение» для последующего анализа

Выделение краев

Бинаризация Выделение компонент связности


План лекции

• Пространственная область • Частотная область, преобразование Фурье, спектральный анализ

• Обработка в пространственной области • Обработка в частотной области


Изображение – двумерная функция

Slide adopted from Fei-Fei Li

• Изображение – функция

• Полутоновое изображение (в градациях серого): – значение интенсивности (яркости) в точке (x,y)

MRRf →2:RRf →2:

),( yxf

• Цветное изображение:

32: RRf →

=

),(),(),(

),(yxbyxgyxr

yxf


Цифровое изображение – дискретная функция


Пространственная область

= , ,

f(x,y)

= , ,

Простанственная область – множество пикселей, составляющих изображение


Представим «одномерную картинку»

0 20 40 60 80 100 120 140 160 180 2000

50

100

150

200

250

300


1-D изображение

0 50 100 150 200 25020

40

60

80

100

120

140

160

180

200

220


Частотное представление – основная идея

= ∑

Идея Фурье: любая периодическая функция может быть представлена в виде суммы синусов и косинусов, умноженных на некоторые коэффициенты (ряд Фурье)


Ряд Фурье


Пример

Результаты добавления членов ряда Фурье при аппроксимации разрывной кусочно-постоянной функции


Пример

Slide credit: A. Konushin


Фурье-спектр (частотный спектр)

Slide credit: A. Konushin


Преобразование Фурье

Когда функция не является периодической, но площадь под графиком ее модуля конечна, она может быть выражена в виде интегралов от синусов и/или косинусов, умноженных на некоторую весовую функцию – преобразование Фурье. Сигнал, заданный на отрезке – функция с конечной площадью под графиком. Можем продлить сигнал за пределы отрезка и получить периодическую функцию. Преобразование Фурье обратимо: функция, заданная преобразованием Фурье, может быть полностью, без потери информации восстановлена



= + +

f(x) F1*g1(x) F2*g2(x) F3*g3(x)

• Преобразование исходного представления изображения, как функции f(x), в частотное представление – набор Fi

• Преобразование обратимо



Прямое преобразование Фурье непрерывной фукнции одной переменной f(x):

Обратное преобразование Фурье:

g(x,u)


Дискретное преобразование Фурье

Обратное преобразование:

Дискретное преобразование Фурье и его обращение всегда существуют!

Существует ускоренный алгоритм вычисления ДПФ – быстрое преобразование Фурье (БПФ, FFT)


Фурье-спектр

Элементы Фурье-образа – комплексные величины в общем случае

– спектр (модуль) фурье-преобразования

– энергетический спектр фурье-преобразования

– фазовый спектр фурье-преобразования


Преобразование Фурье для изображений – основная идея

• Любое изображение может быть представлено, как сумма синусов и косинусов различной амплитуды и частоты

• Частоты слагаемых характеризуют изображение:

• Яркость «сильно скачет» на небольших участках изображения – будут преобладать слагаемые с высокими частотами

• Яркость плавно изменяется – будут преобладать низкие частоты


Двумерный случай

Базисные функции: g(x, y, u, v)

Обратное преобразование:

Прямое преобразование

-1

-0.5

0

0.5

1


Визуализация Фурье-спектра

• Фурье-спектр: набор всех |F(u,v)|

• Визуализация спектра – чем выше значение F(u,v), тем «светлее» точка с координатами (u,v)

• Светлый центр спектра – исходное изображение содержит в основном однородные области, без перепадов яркости

• Светлая периферия спектра – изображение содержит много локальных перепадов яркости

http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx

u=0, v=0 u=1, v=0 u=2, v=0 u=-2, v=0 u=-1, v=0

u=0, v=1 u=1, v=1 u=2, v=1 u=-2, v=1 u=-1, v=1

u=0, v=2 u=1, v=2 u=2, v=2 u=-2, v=2 u=-1, v=2

u=0, v=-1 u=1, v=-1 u=2, v=-1 u=-2, v=-1 u=-1, v=-1

u=0, v=-2 u=1, v=-2 u=2, v=-2 u=-2, v=-2 u=-1, v=-2

U

V


Практические моменты

• Фурье-спектр изображений симметричен, т.к. f(x,y) – вещественная

• Обычная практика – умножение исходной функции на (-1)x+y

для сдвига точки F(0,0) в точку (M/2, N/2)

• F(0,0) – есть средняя яркость исходного изображения

• Обычно в изображениях преобладают низкие частоты. Для улучшения визуализации к фурье-спектру часто применяют логарифмическое преобразование яркости.


Спектральный анализ Визуализация Фурье-спектра

f(x,y) F(u,v)


Примеры


Еще примеры


Обработка в пространственной области

• Обработка в пространственной области – манипулирование пикселями изображения

• Например, инвертирование


Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображение g(x,y) – изображение на выходе, обработанное изображение T – оператор над f, определенный в некоторой окрестности точки (x,y)


Окрестность точки изображения


Пространственная обработка

Все процедуры пространственной обработки описываются уравнением:

f(x,y) – исходное изображение g(x,y) – изображение на выходе, обработанное изображение T – оператор над f, определенный в некоторой окрестности точки (x,y) В случае окрестности 1х1: T – функция градационного преобразования вида

s = T(r), s,r – значения яркостей изображений f(x,y), g(x,y) в каждой точке (x,y)


Градационное преобразование для улучшения контраста


Основные функции градационных преобразований


Основные функции градационных преобразований

• Негатив:

• Линейное растяжение:

• Логарифмическое преобразование:

• Степенное преобразование (гамма-коррекция):

γcrs =

)1log( rcs +=

rLs −−= 1

)()1()(minmax

min rrLrrs−−

−=


Пример кусочно-линейного преобразования


Пример логарифмического преобразования


Гистограммы

0

500

1000

1500

2000

2500

3000

3500

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

0 50 100 150 200 250


Гистограммы

0

500

1000

1500

2000

2500

0 50 100 150 200 250

0

500

1000

1500

2000

0 50 100 150 200 250


Видоизменение гистограмм

• Линейное преобразование – линейное «растяжение» гистограммы, устойчивое растяжение

• Нелинейное преобразование • Эквализация (линеаризция) гистограммы

∑∑==

===

−==

k

i

ik

iirkk

kkr

nnrprTs

Lknnrp

00)()(

1,..,1,0,)(


Результат эквализации гистограммы

0

500

1000

1500

2000

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

0 50 100 150 200 250

0

500

1000

1500

2000

0 50 100 150 200 250


Результат эквализации гистограммы

0

500

1000

1500

2000

2500

0 50 100 150 200 250

0

200

400

600

800

1000

1200

1400

1600

1800

2000

0 50 100 150 200 250

0

500

1000

1500

2000

0 50 100 150 200 250

0

200

400

600

800

1000

1200

1400

1600

1800

2000

0 50 100 150 200 250


Пороговая бинаризация

Светлый объект на темном фоне

Два светлых объекта на темном фоне

Глобальная – порог единый для всех точек изображения Локальная или Динамическая – когда порог зависит от координат точки (x,y) Адаптивная – когда порог зависит от значения яркости в точке I(x,y)


Глобальная бинаризация

• Выбор порога вручную

• Выбор порога автоматически 1. Случайно выбрать начальное значение порога T0 2. Сегментировать изображение по порогу T0: регионы

G1 и G2 из пикселей со значениями >T0 и ≤ T0 3. Вычислить средние значения µ1 and µ2 для регионов

G1 and G2 4. T1 = 0.5 (µ1 + µ2) 5. Повторять пока | Ti - Ti+1|< Tth


Примеры бинаризации


Пространственная фильтрация (свертка изображения с фильтром)

Операция свертки:

f – изображение w – ядро, фильтр g – результат свертки f*w

Свойства: • коммутативность: f*w = w*f • ассоциативность: f*(w1*w2)=(f*w1)*w2 • дистрибутивность по сложению: f*(w1+w2=f*w1 + f*w2 • kf*w = f*kw = k(f*w)


Теорема о свертке

g = f * h g = f h

implies implies

G = F H G = F * H

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx


Теорема о свертке

Problem in Frequency

Space

Original Problem

Solution in Frequency

Space

Solution of Original Problem

Relatively easy solution

Difficult solution

Fourier Transform

Inverse Fourier Transform

Slide: http://www1.idc.ac.il/toky/imageproc-10/lectures/fft_2d.pptx


Сглаживание

• Линейные усредняющие фильтры – удаление «случайного шума»

• Фильтры, основанные на порядковых статистиках • Медианный фильтр (подавление шума «соль и перец»)


Slide credit: Fei-Fei Li


Сглаживание фильтром Гаусса

Свертка с ядром Гаусса


Сглаживание фильтром Гаусса: пример

Sigma =1.4 Size = 5

Sigma =2.8 Size = 10


Слайд: А. Конушин


Mexican hat


Фильтрация в частотной области


Примеры фильтрации в частотной области

Исходное изображение и его Фурье-спектр

Результат обнуления F(0,0)


Примеры фильтрации в частотной области


Заключение

• Пространственная область • Частотная область, преобразование Фурье, теорема о свертке

• Обработка в пространственной и частотной областях • Градационные преобразования (линейные, степенные, логарифмическо, эквализация гистограмм)

• Сглаживание, повышение резкости

2013_10_01_lecture_02

Documents

Transcript of 2013_10_01_lecture_02