CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
1
Современные методы деинтерлейсинга
Петров Александр
Video GroupCS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
2
Содержание
Введение
Классификация методов
Пространственные методы
Motion Adaptive
Motion Compensation based
Сравнение
Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3
Введение
Интерлейсинг (Interlacing) - метод отображения, передачи или хранения видео, при котором:
Захват видео по строчкам в разные моменты времени: сначала четные, потом нечетные (или наоборот).
Поле (field) – набор строчек одинаковой четности, соответствующих одному моменту времени.
Видео-поток с удвоенной частотой.
При построении кадра, четные и нечетные поля смешиваются. Образуется один кадр (frame).
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4
Введение
Кадр #3Поле #5
Поле #6
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5
ВведениеПример
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6
Введение
Деинтерлейсинг (Deinterlacing)— процесс создания кадров из полукадров чересстрочного формата для дальнейшего вывода на экран с прогрессивной развѐрткой.
Применяется:
В компьютерных системах обработки видео.
В LCD и плазменных дисплеях.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
7
Введение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
ВведениеПостановка задачи
- результат
- интерполированный пиксель
- исходный пиксель
- номер поля
- положение пикселя
Задача – интерполировать недостающие пиксели и, в то же время обеспечить хорошее качество изображения
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
Содержание
Введение
Классификация методов
Пространственные методы
Motion Adaptive
Motion Compensation based
Сравнение
Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
Классификация методов
Методы
Не использующие MC Использующие MC
Линейные Нелинейные
Пространственные
(Spatial)
Временные
(Temporal)
Пространственно-временные
(Spatio-temporal)
Адаптирующиеся к движению
(Motion Adaptive)
Адаптирующиеся к границам
(Edge-based)
VT-медианные
Смешанные
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
Содержание Введение Классификация методов Пространственные методы
Bob EEDI2 Сравнение
Motion Adaptive Motion Compensation based Сравнение Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
SpatialBob
Усреднение строк (LA)
,,),1,(),1,(
2
1
,02)%(),,,(
),,(0 иначеkyxpkyxp
kykyxp
kyxp
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
13
SpatialEEDI2
Input frame
Построение
маски границ
Интерполяция по маске: если пиксель
помечен как граничный, интерполируем
по границе. Иначе, Bob
Построение маски
направления границ
Output frame
Схема работы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14
SpatialEEDI2
Дисперсияdisp
Edge 22
b
lthreshIyyIxx
mthreshIyIx
vthreshdisp
ba
cb
ca
Iy
ehIx
,
,
max
Построение маски границ
)()(
)()(
babcIyy
bhbeIxx
)101010
101010(
)101010(
igandhgandih
andfdandedandfe
ORcaandbaandbcif
Edgebthen
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15
SpatialEEDI2
fcebdauDi )( где
Определение направления границырассматриваются пиксели, отмеченные как граничные
)(8)(6)(4)(2)(
)(6)(5)(4)(3)(
)(7)(5)(3)(1)(
)(6...)(1)(
)(8...)(3)(
uDuDuDuDuD
uDuDuDuDuD
uDuDuDuDuD
uDuDuD
uDuDuD
center
right
left
up
down
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
SpatialEEDI2
)(min)(:
)(min)(:
)(min)(:
)(min)(:
)(min)(:
uDuDu
uDuDu
uDuDu
uDuDu
uDuDu
centeru
centercentercenter
rightu
rightrightright
leftu
leftleftleft
upu
upupup
downu
downdowndown
),,,,(),,,,( 54321 uuuuuuuuuusort centerrightleftdownup
Пример:
По порогу выделяем наиболее сонаправленные с медианой вектора. Для примера, это u1, u2 и u3
3direction Edge 321
uuu
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17
SpatialEEDI2
Edge map Edge direction map
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
SpatialEEDI2
Выводы
Неплохо интерполирует границы.
Может использоваться как ресайзер, хотя был разработан специально для деинтерлейсинга.
Медленный
Обычно используется как составляющая более сложных методов (Yadifmod, TDeint, MCBob, и т.д.)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
19
SpatialСравнение
Было
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
20
SpatialСравнение
Bob
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21
SpatialСравнение
EEDI2
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22
SpatialСравнение
NNEDI
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
23
Содержание Введение
Классификация методов
Пространственные методы
Motion Adaptive Схема
Yadif
Motion Compensation based
Сравнение
Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
24
Motion AdaptiveСхема
Region
Motion Detector
Spatial
Method
Temporal
Method
MotionNo Motion
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
25
MA методыYadif
)1,()1,()( ykxfykxfkD nn
2
)1,()1,(),(
yuxfyuxfyxf nnn
Пространственная интерполяция
Интерполяция вдоль границ (ELA)
22
)(minarg
k
kDu
),( yxfd nspat
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
26
MA методыYadif
2' ddtemp
npdd
2'
ff npf
2' bb
npb
2
2
3
2
1
cnenT
cpepT
npT
ce
ce
),,2max( 321 TTTT
Временная проверка
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27
MA методыYadif
)','max(
,'
,'
minmin
efcb
cd
ed
S
)maxmin,max( SSS
Пространственная проверка
)','min(
,'
,'
maxmax
efcb
cd
ed
S
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28
MA методыYadif
diffddifdiffd
diffddifdiffd
diffddifd
yxf
tempspattemp
tempspattemp
tempspatspat
n
)(,
)(,
,
),(
),max( STdiff
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
29
MA методыYadif
Было Стало
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
30
MA методыYadif
Выводы
Очень быстрый. Может использоваться Real-time.
Плохо строится маска детекта движение.
Не интерполирует границы, близкие к горизонтальным.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
MA методыДругие
Другие популярные фильтры
Yadifmod
Работает также как Yadif, но для пространственной интерполяции используется EEDI2 или NNEDI.
Существенно лучший результат, но также и большая потеря в скорости.
TDeint
Для пространственной интерполяции может использоваться как EEDI2, NNEDI, так один из внутренних.
В зависимости от характера движения определяется способ временной интерполяции.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32
Содержание Введение Классификация методов Пространственные методы Motion Adaptive Motion Compensation based
Схема MCBob MSU Deinterlacer
Сравнение Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
33
Сложные методы MC-based Deinterlacing
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
34
Сложные методы MC-based Deinterlacing
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35
MC методыMCBob
EEDI2
Интерполяция пространственным методом (например, EEDI2 или NNEDI )
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36
MC методыMCBob
MC
Компенсация движения по полям одинаковой четности в обоих направлениях
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37
MC методыMCBob
В итоге получаем mc-интерполяцию
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
38
MC методыMCBob
Временная интерполяция (Weave)
Weave
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39
MC методыMCBob
Построение маски ошибок для MC- и пространственной интерполяции - CorrMask
CorrMask строится на основе
• Маски ошибки компенсации (MC frame и Spatial-interpolated frame)
• Самого скомпенсированного кадра
• Маски вертикальных границ
• Анализа векторов двжения
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40
MC методыMCBob
Маска ошибок для MC- и пространственной интерполяции
Ошибка компенсации Маска вертикальных
границ
CorrMask
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41
MC методыMCBob
),(~
),(~
),( 2 yxfyxfyxd nnn
)),(),,(),,(max(),( 21 yxdyxdyxdyxMotn nnnn
),(min),(max),(
11
11
11
11yyxxfyyxxfyxMM
y
x
y
xn
Построение маски весов для временной интерполяции
способом веннымпространст ованныйинтерполир кадр,~nf
25512
11),(
1),(
),(
MThrMThr
MThryxMM
yxMotn
yxNotStatic n
n
n
constMThrMThr 2,1
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
42
MC методыMCBob
Маска NotStatic весов для временной интерполяции
nMotn nMM nNotStatic
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43
MC методыMCBob
128),(*)),(256(
),(*),(),(*)),(256(*),(),(*256
yxTempyxNotStatic
yxSpatyxCorrMaskyxMCyxCorrMaskyxNotStaticyxf
nn
nnnnn
пиксель ованныйскомпенсир),(
способом веннымпространст ованныйинтерполир пиксель,),(
способом временным ованныйинтерполир пиксель,),(
yxMC
yxSpat
yxTemp
n
n
n
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44
MC методыMCBob
Выводы
Хорошая интерполяция (лучший, среди рассмотренных).
Очень медленный, за счет компенсации и пространственной интерполяции.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45
Содержание Введение Классификация методов Пространственные методы Motion Adaptive Motion Compensation based
Схема MCBob MSU Deinterlacer
Сравнение Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46
MC методыMSU Deinterlacer
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47
,,*),,(ˆ*),,(ˆ*),,(ˆ
,02)%(),,,(),,(0
иначеMCCoefkyxpTempCoefkyxpSpatCoefkyxp
kykyxpkyxp
mcts
ткоэффициен весовой венныйпространст SpatCoef
ткоэффициен весовой временнойTempCoef
пиксел способом веннымпространст ованныйинтерполир),,(ˆ kyxps
пиксел способом временным ованныйинтерполир),,(ˆ kyxpt
MC ткоэффициен весовойMCCoef
пиксел способом-MC ованныйинтерполир),,(ˆ kyxpt
Пиксель интерполируется тремя способами
Пространственная интерполяция (Spatial)
Временная интерполяция (Temporal)
MC-интерполяция
Каждый из трех получившихся пикселей вносит свой вклад в конечный результат с определенным весами, зависящим от характера движения
MC методыMSU Deinterlacer
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48
MC методыMSU Deinterlacer
Временная интерполяция
Используется пиксель предыдущего поля.
Весовая функция зависит от дисперсии локальной области пикселя и разности полей n и n-2 в локальной области.
Пространственная интерполяция
Используются 4 способа: диагональная интерполяция, 2 вертикальных, и low-edge интерполяция.
Весовая функция (interlacing measure) принимает большие значения в тех местах, где присутствует «зубчатость»
Компенсация движения
Ищется соответствующее поле в предыдущем обработанном кадре
Весовая функция зависит от дисперсии и ошибки компенсации.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49
Содержание
Введение
Классификация методов
Пространственные методы
Motion Adaptive
Motion Compensation based
Сравнение
Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50
СравнениеYadif
PSNR: 29,84831
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51
СравнениеSmart
PSNR: 30,10036
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52
СравнениеMy Deinterlacer
PSNR: 30,23836
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53
СравнениеDecomb
PSNR: 30,5194
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54
СравнениеYadifmod
PSNR: 30,96683
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55
СравнениеTDeint+EEDI2
PSNR: 31,08448
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56
СравнениеMCBob
PSNR: 34,07132
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57
СравнениеОтносительная шкала (PSNR)
0
0,005
0,01
0,015
0,02
0,025
1 2 3 4
MCBob
MCBob+NNEDI
MVBob
Yadifmod
Yadifmod+NNEDI
TDeint+NNEDI
TDeint+EEDI2
TDeint
Yadif
Smart
Decomb(all)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
58
Содержание
Введение
Классификация методов
Пространственные методы
Motion Adaptive
Motion Compensation based
Сравнение
Текущие результаты и дальнейшие планы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
59
Текущие результатыСравнение (PSNR)
Filter Shumacher Susi Rancho Bus
MCBob 26,98677 42,15459 43,77567 33,36838
MCBob+NNEDI 26,4564 41,45398 43,78585 32,75019
Yadifmod 26,82642 40,70768 40,97435 29,86374
Yadifmod+NNEDI 26,76849 40,55473 42,84486 30,55088
TDeint+NNEDI 26,67641 40,96761 42,84166 30,51252
TDeint+EEDI2 26,80859 41,07437 40,89787 29,72796
TDeint 26,3774 40,88614 42,06143 30,49226
TDeint(type=3) 26,59695 40,73497 39,41695 28,80793
MVBob 26,45459 42,40382 41,27823 30,7023
Yadif 26,2369 40,2328 39,38717 27,88672
Smart 26,54378 40,37844 42,28166 29,85481
Decomb(all) 26,89904 41,33203 39,46581 29,68799
My 26,75714 (6) 40,53711 (11) 40,21761 (10) 29,72072 (10)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
60
Текущие результатыСравнение (SSIM)
Filter Shumacher Susi Rancho Bus
MCBob 0,83731 0,97652 0,98869 0,96803
MCBob+NNEDI 0,82791 0,97337 0,98886 0,96365
Yadifmod 0,83507 0,97129 0,9847 0,93362
Yadifmod+NNEDI 0,83177 0,9691 0,98774 0,94102
TDeint+NNEDI 0,82874 0,9747 0,9865 0,9424
TDeint+EEDI2 0,83362 0,97607 0,98338 0,93374
TDeint 0,82008 0,97673 0,9826 0,93526
TDeint(type=3) 0,8273 0,97584 0,97645 0,91405
MVBob 0,81986 0,98112 0,98065 0,95011
Yadif 0,8182 0,96823 0,97893 0,90394
Smart 0,82907 0,97427 0,98792 0,93296
Decomb(all) 0,83694 0,97812 0,98144 0,93133
My 0,83625 (3) 0,97253 (10) 0,98303 (8) 0,9282 (11)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
61
Дальнейшие планы
Улучшить метрики доверия к кадрам, интерполированным разными способами.
Тем самым, добиться продвижения в лидеры среди наиболее популярных фильтров.
Улучшение по скорости, поставив фильтр на GPU.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
62
Список материалов
1. http://forum.doom9.org/
2. http://avisynth.org.ru/
3. http://bengal.missouri.edu/~kes25c/ - tritical’s web page
4. http://bengal.missouri.edu/~kes25c/deinterlace_comparison.txt
5. http://avisynth.org/mediawiki/External_filters#Deinterlacing
http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://forum.doom9.org/http://avisynth.org.ru/http://avisynth.org.ru/http://avisynth.org.ru/http://avisynth.org.ru/http://avisynth.org.ru/http://avisynth.org.ru/http://avisynth.org.ru/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/http://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://bengal.missouri.edu/~kes25c/deinterlace_comparison.txthttp://avisynth.org/mediawiki/External_filtershttp://avisynth.org/mediawiki/External_filtershttp://avisynth.org/mediawiki/External_filtershttp://avisynth.org/mediawiki/External_filtershttp://avisynth.org/mediawiki/External_filters
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
63
Вопросы
?
Top Related