Деинтерлейсинг -...
Transcript of Деинтерлейсинг -...
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
1
Деинтерлейсинг
Петров Александр
Video GroupCS MSU Graphics & Media Lab
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
2
Содержание Введение
Понятие интерлейсинга
Понятие деинтерлейсинга
Постановка задачи
Визуальные дефекты
Примеры
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3
Введение
Интерлейсинг (Interlacing) - метод отображения, передачи или хранения видео, при котором:
Захват видео по строчкам в разные моменты времени: сначала четные, потом нечетные (или наоборот).
Поле (field) – набор строчек одинаковой четности, соответствующих одному моменту времени.
Видео-поток с удвоенной частотой.
При построении кадра, четные и нечетные поля смешиваются. Образуется один кадр (frame).
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4
Введение
Кадр #3Поле #5
Поле #6
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5
Введение
Деинтерлейсинг (Deinterlacing)— процесс создания кадров из полукадров чересстрочного формата для дальнейшего вывода на экран с прогрессивной развѐрткой.
Применяется:
В компьютерных системах обработки видео.
В LCD и плазменных дисплеях.
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6
Введение
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
7
ВведениеПостановка задачи
- результат
- интерполированный пиксель
- исходный пиксель
- номер поля
- положение пикселя
Задача – интерполировать недостающие пиксели и, в то же время обеспечить хорошее качество изображения
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
ВведениеВизуальные дефекты
Мерцание границ (edge flicking)
Сползание строк (line crawling)
Размытость (blur)
Зубчатость (jaggedness)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
ВведениеПример
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
ВведениеПример
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
ВведениеПример
до после
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
13
Классификация методов
Методы
Не использующие MC Использующие MC
Линейные Нелинейные
Пространственные
(Spatial)
Временные
(Temporal)
Пространственно-временные
(Spatio-temporal)
Адаптирующиеся к движению
(Motion Adaptive)
Адаптирующиеся к границам
(Edge-based)
VT-медианные
Смешанные
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15
Простые методы Spatial
иначеkyxp
kykyxpkyxp
),,1,(
,02)%(),,,(),,(0
Line Repetition (LR)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
Простые методы Spatial
,,),1,(),1,(
2
1
,02)%(),,,(
),,(0 иначеkyxpkyxp
kykyxp
kyxp
Line Averaging (LA, ―Bob‖)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
Простые методы Temporal
,),1,,(
,02)%(),,,(),,(0
иначеkyxp
kykyxpkyxp
Field Insertion (FI, FR, ―Weave‖)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
19
Простые методы Temporal
Inter-field Line Averaging
,,)1,,()1,,(
2
1
,02)%(),,,(
),,(0 иначеkyxpkyxp
kykyxp
kyxp
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
20
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal)
VTMF VT linear
Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21
Простые методы Spatial-temporal
Vertical-Temporal Median Filter
)`,,()(0 CBAmedianXp
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22
Простые методы Spatial-temporal
k иначеdkdyhdkkdyyxp
kykyxpkyxp
),,(*),,(
,02)%(),,,(),,(0
иначе
dkANDdy
dkANDdy
dkdyh
,0
)1()2,0,2(,5,10,5
)0()3,1,1,3(,1,8,8,1
),(*18
Vertical-Temporal Linear
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
23
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
24
Простые методы Адаптирующиеся к границам
Edge-based Line Averaging (ELA, ELI, EDI)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
25
A recursive approach for de-interlacing using improved ELA and motion compensation based on bi-directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
Простые методы Адаптирующиеся к границам
Улучшения: Можно рассматривать 12 направлений
Weighted Edge-based Line Averaging (WELA)
1,0,1
321 1),2
)1,()1,((*),(
k
kn WWWykxfykxf
Wyxf
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
26
Простые методы Сравнение
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27
Простые методы Сравнение (Неподвижные регионы)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28
Простые методы Сравнение (регионы с движением)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
29
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
30
Сложные методы Motion Adaptive
Region
Motion Detector
Spatial
Method
Temporal
Method
MotionNo Motion
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Detector HMDERP
Motion Compensation based MSU filter
Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32
Motion AdaptiveMotion Detector
Сравниваем поля одной четности
Строим маску движения
Морфологическая операция открытия
(чтобы убрать шумы в движении)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
33
Motion AdaptiveMotion Detector
Сравниваем поля одной четности
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
34
Yu-Lin Chang, Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, “Video De-Interlacing by Adaptive 4-Field Global/Local Motion
Compensated Approach” IEEE Transactions on Circuits and Systems for Video Technology, Dec. 2005
Motion Detector4-field motion detection
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35Li G.-L., Chen M.-J., “High Performance De-Interlacing Algorithm for
Digital Television Displays” Journal of Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006
Motion DetectorMoving-Stationary Detector
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Detector HMDERP
Motion Compensation based MSU filter
Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
38Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
Hybrid Motion Detector (HMD):
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
Результат детектора движения - карта движения (motion map).
(a) 1st condition
(b) 2nd condition
(c) 3rd condition
(d) output of HMD
(e) erosion
(f) opening
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
Предложенный алгоритм.
Интерполированы (FI) только статичные регионы.
3 Field Motion Adaptive (3FMA).
Интерполированы только статичные регионы.
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
4
dcbaave
avepL
avepHpi
,
,,ˆ
Edge Pattern Recognition (EPR):
Рассматривается область 3x3
4 типа шаблона
3H1L, 3L1H
2H2L - угол
2H2L - линия
18 различных шаблонов
енносоответств ,,, для ˆˆˆˆ ,4,3,2,1 dcbapppp
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
42Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
,13),,,(
,13),,,(
321
321
0 HLpppmedian
LHpppmedianp
LLL
HHH
В случае 3H1L, 3L1H наиболее вероятно, что центральный пиксел принадлежит к большинству (H для 3H1L и L для 3L1H)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
2H2L – угол:
2H2L – линия:
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
2
sqc
Пиксели b и с, также как и X, недостающие.Как же их получить?
EPR without MAP (Motion-Adaption Prediction)
EPR with MAP
EPR without MAP
Усреднение по строкам (Line Averaging)
EPR with MAP
Усреднение по строкам (Line Averaging), если b (c) принадлежат
области движения (Motion Area)
Иначе, берем пиксель с предыдущего поля
2
rpb
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование (текстуры)
PSNR in dB
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49
HMDEPRВыводы
Достоинства
Хорошо интерполирует границы
Неплохо строит маску движения
Недостатки
Проигрывает на текстурах
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51
Сложные методы MC-based Deinterlacing
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52
Сложные методы MC-based Deinterlacing
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated frame interpolation by new block-based motion estimation
algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, Issue 2, pp.752 - 759, May 2004.
Сложные методы MC-based Deinterlacing
Поиск похожих блоков
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated frame interpolation by new block-based motion estimation
algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, Issue 2, pp.752 - 759, May 2004.
Сложные методы MC-based Deinterlacing
nBПодгоним найденный блок под сетку
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55
MC-based DeinterlacingПример работы
Field Insertion MC-based
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57
MSU Filter
MSU MA
Temporal Interpolation
Spatial Interpolation
MSU MC
Тестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
58
MSU MA
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
59
MSU MA
ткоэффициен весовой венныйпространст SpatCoef
,,*),,(ˆ*),,(ˆ
,02)%(),,,(),,(0
иначеTempCoefkyxpSpatCoefkyxp
kykyxpkyxp
ts
ткоэффициен весовой временнойTempCoef
пиксел способом веннымпространст ованныйинтерполир),,(ˆ kyxps
Пиксель интерполируется двумя способами
Пространственная интерполяция (Spatial)
Временная интерполяция (Temporal)
Каждый из двух получившихся пикселей вносит свой вклад в конечный результат с определенным весами, зависящим от характера движения
пиксел способом временным ованныйинтерполир),,(ˆ kyxpt
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
60
MSU MATemporal Interpolation
В качестве временного приближения используется Field Insertionили Field Averaging
Весовая функция для временного приближения (―Static‖ weighting function) задается так:
)(*)(150
*53
5DhEf
D
D
ESt
E - so called SAD (Sum of Absolute Differences). Так называемая сумма абсолютных разностей, рассчитанная для полей n+1, n, n-1, n-2.
D - дисперсия текущего поля. Считается по восьми соседним пикселям.
St влияет на TempCoef
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
61
MSU MASpatial Interpolation
Интерполяция Vertical Bilinear – позволяет
избежать эффект Гиббса (рингинг)
Diagonal – позволяет избежать ступенчатые границы
Low-angle Edge – интерполирует границы с маленькими углами наклона
Пиксели, получившиеся разными способами берем с определенным весом
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
62
MSU MASpatial Interpolation
,иначе ,***
,совпадают строки и поля четность ,
bilinearbilinearlowlowdiagdiag XWXWXW
XX
ionInterpolatBilinear ованныйинтерполир пиксел, -
ionInterpolat Edge angle-Low ованныйинтерполир пиксел, -
ionInterpolat Diagonal ованныйинтерполир пиксел, -
bilinear
low
diag
X
X
X
bilinearbilinear
lowlow
diagdiag
XW
XW
XW
ющийсоответсву вес, -
ющийсоответсву вес, -
ющийсоответсву вес, -
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
63
MSU MASpatial Interpolation
A i-1
X i-1
B i-1
X i X i+1
A i+1
B i+1 B i
A i
C i-1
D i-1
C i+1
D i+1
C i
D i
E i-1 E i+1 E i
F i-1 F i+1 F i
Prev i ous
Field Current
Field
)()(2)()(_
||)(
)2
(
)2
(
)2
(
11
321
3
2
1
iiii
i
iii
iii
iii
XDifXDifXDifXmeasuregInterlacin
mmmXDif
DXBm
BAXm
XCAm
Весовая функция, влияющая на SpatCoef
Вес больше, когда присутствует «зубчатость»
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
64
MSU Filter
MSU MA
MSU MC
Тестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
65
MSU MC
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
66
MSU MC
,,*),,(ˆ*),,(ˆ*),,(ˆ
,02)%(),,,(),,(0
иначеMCCoefkyxpTempCoefkyxpSpatCoefkyxp
kykyxpkyxp
mcts
ткоэффициен весовой венныйпространст SpatCoef
ткоэффициен весовой временнойTempCoef
пиксел способом веннымпространст ованныйинтерполир),,(ˆ kyxps
пиксел способом временным ованныйинтерполир),,(ˆ kyxpt
MC ткоэффициен весовойMCCoef
пиксел способом-MC ованныйинтерполир),,(ˆ kyxpt
Пиксель интерполируется тремя способами
Пространственная интерполяция (Spatial)
Временная интерполяция (Temporal)
MC-интерполяция
Веса SpatCoef и TempCoef определяются похожим (как в MSU MA) образом
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
67
MSU MC
Мера ошибки ME (ME Error Measure)
Влияет на вес MC кадра.
Определяет отсутствие движения и слабое движение.
Может обнаружить только объекты с большой дисперсией.
Зависит от:
различия блоков (SAD) текущего и предыдущего полей – B.
различия 6 соседей (SAD) предыдущего и текущего полей – L.
дисперсии - D. Чем больше дисперсия, тем меньше вероятность движения.
1*
1__
12
LB
B
L
D
motionofyprobabilitW
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
68
MSU MC
Весовая функция горизонтальных границ (Horizontal Edge Detection weighting function)
Влияет на вес MC-кадра
Нужна для более точно интерполяции границ, близких к горизонтальным.
Пиксель принадлежит горизонтальной границе, если выполнено два условия:
Градиент по вертикали больше определенного порога (для области этого пикселя).
Значение пикселя лежит между значениями соседей.
1,min,max
)(21*)()(
,min,,maxmin)(
)2()2()( 1111
iiii
iii
iiiii
iiiiiii
BABA
XMatchXGradientXW
BAXXBAXMatch
BBBAAAXGradient
A i-1
X i-1
B i-1
X i X i+1
A i+1
B i+1 B i
A i
Motion Compensated
Field
Current
Field
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
69
MSU Filter
MSU MA
MSU MC
Тестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
70
MSU FilterТестирование
Original frame
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
71
MSU FilterТестирование
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
72
MSU FilterТестирование
Smart Deinterlace De Haan DeinterlacerMSU Deinterlacer (motion
adaptive)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
73
MSU FilterТестирование
MSU Deinterlacer (motion
adaptive)
MSU Deinterlacer (motion
compensation)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
74
MSU FilterТестирование
1 2 3 4 5 620
30
40
50
VirtualDub Internal
Smart Deinterlace
AlparySoft Deinterlace
De Haan deinterlacer
MSU MA
MSU MC
PSNR Measuring (average)
Sequence Number
PS
NR
val
ue
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
75
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
76
Дальнейшие планы
Опробовать изложенные методы
Совместить следующие подходы
Motion Adaptive Spatial
Temporal
Edge-based
Motion Compensation based
Возможно, вероятностный подход
Анализ области и весовые функции
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
77
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
78
Список материалов
1. A De-interlacing Algorithm Based on True Motion Vectors. Yi-Shan Shiu, Institute of Computer &Communication, 2006 .
2. Video De-Interlacing by Adaptive 4-Field Global/Local Motion Compensated Approach. Yu-Lin Chang,Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, IEEE Transactions on Circuits and Systems for VideoTechnology, Volume 15, Issue 12, pp.1569 - 1582, Dec. 2005.
3. High Performance De-Interlacing Algorithm for Digital Television Displays. Li G.-L., Chen M.-J. Journalof Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006.
4. Motion compensated frame interpolation by new block-based motion estimation algorithm. TaehyeunHa, Seongjoo Lee, Jaeseok Kim. IEEE Transactions on Consumer Electronics, Volume 50, Issue 2,pp.752 - 759, May 2004.
5. Advanced de-interlacing techniques. E.B. Bellers and G. de Haan.6. Direction-Oriented Interpolation and Its Application to De-interlacing. Hoon Yoo and Jechang Jeong.
IEEE Transactions on Consumer Electronics, Volume 48, Issue 4, pp.954 – 962, Nov. 2002.7. A recursive approach for de-interlacing using improved ELA and motion compensation based on bi-
directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conferenceon Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
8. A Motion-Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. Gwo GiunLee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. EURASIP Journal on Image and Video Processing, 2008.
9. Презентации Видеогруппы. Сергей Путилин, Денис Кубасов. 2003, 2004.10. Отчет по MSU Deinterlacer.
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
79
Вопросы
?
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
80
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Compensation based MSU filter Вероятностный подход
Дальнейшие планы Список материалов
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
81
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
– текущее поле (четные или нечетные строки)
– кадр на выходе, соответствующий
– область, соответствующая
– область, соответствующая
– const
Оценка максимального правдоподобия:
Максимальная апостериорная гипотеза (MAP):
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
82
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- «похожесть» и на области . По сути, плотность
распределения шума.
Существующие пиксели ( ) желательно оставить без изменений
- позиция каждого пикселя кадра
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
83
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- априорная оценка
Модель Гиббса:
- функция энергии
- обратная абсолютная температура
- пространственно-временной градиент
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
84
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
Таким образом, задача сводится к минимизации
функционала энергии:
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
85
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- нормаль вектора границы области
Соответствующее уравнение Эйлера-Лагранжа:
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
86
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
Стандартное видео (без шума)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
87
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
(a) original video
(b) video with noise (zero-mean,
SNR=20 dB)
(c) LR (PSNR=22.10 dB)
(d) LA (PSNR=24.80 dB)
(e) FI (PSNR=21.78 dB)
(f) VT (PSNR = 22.68)
(g) MCmed (PSNR=24.11 dB)
(h) McVT (PSNR=25.96 dB)
(i) Proposed (PSNR=27.81dB)
Стандартное видео (с шумом)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
88
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
Стандартное видео (с шумом)
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
89
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
Реальное видео
(a) original video
(b) LR
(c) LA
(d) Proposed
-
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
90
Motion AdaptiveMotion Detector
- различие во времени
- различие в пространстве