Мультимедиа технологии - Анализ мультимедийных данных...

Ìóëüòèìåäèà òåõíîëîãèèÀíàëèç ìóëüòèìåäèéíûõ äàííûõ

Ì.Â. Õëîïîòîâ

Óíèâåðñèòåò ÈÒÌÎ

ÑÏá, 2018

Ì.Â. Õëîïîòîâ (Óíèâåðñèòåò ÈÒÌÎ) Ìóëüòèìåäèà òåõíîëîãèè ÑÏá, 2018 1 / 33

Ìåòîäû îáðàáîòêè èçîáðàæåíèé

Ìåòîäû îáðàáîòêè èçîáðàæåíèé êëàññèôèöèðóþò îáû÷íî ïîêîëè÷åñòâó ïèêñåëîâ ó÷àñòâóþùèõ â îäíîì øàãå ïðåîáðàçîâàíèÿ:

ïîòî÷å÷íûå ìåòîäû â ïðîöåññå âûïîëíåíèÿ ïðåîáðàçóþòçíà÷åíèå â òî÷êå â çíà÷åíèå íåçàâèñèìî îò ñîñåäíèõ òî÷åê;

ëîêàëüíûå (îêðåñòíîñòíûå) ìåòîäû äëÿ âû÷èñëåíèÿçíà÷åíèå èñïîëüçóþò çíà÷åíèÿ ñîñåäíèõ òî÷åê âîêðåñòíîñòè;

ãëîáàëüíûå ìåòîäû îïðåäåëÿþò çíà÷åíèå íà îñíîâå âñåõçíà÷åíèé èñõîäíîãî èçîáðàæåíèÿ.


Îñíîâû îáðàáîòêè èçîáðàæåíèé

Ñåìåéñòâî ìåòîäîâ è çàäà÷, ãäå âõîäíîé è âûõîäíîéèíôîðìàöèåé ÿâëÿþòñÿ èçîáðàæåíèÿ. Çà÷åì îáðàáàòûâàòü?

Óëó÷øåíèå èçîáðàæåíèÿ äëÿ âîñïðèÿòèÿ ÷åëîâåêîì - ÷òîáûñòàëî ¾ëó÷øå¿ ñ ñóáúåêòèâíîé òî÷êè çðåíèÿ ÷åëîâåêà

Óëó÷øåíèå èçîáðàæåíèÿ äëÿ âîñïðèÿòèÿ êîìïüþòåðîì -óïðîùåíèå ïîñëåäóþùåãî ðàñïîçíàâàíèÿ

Ðàçâëå÷åíèå (ñïåöýôôåêòû) - ïîëó÷èòü ýñòåòè÷åñêîåóäîâîëüñòâèå îò êðàñèâîãî ýôôåêòà


Ïðîáëåìû ñ èçîáðàæåíèÿìè

Êàêèå ïðîáëåìû ìîãóò âîçíèêíóòü â ïðîöåññå ïîëó÷åíèÿöèôðîâîãî èçîáðàæåíèÿ?

Òåìíîå èëè ñëàáîêîíòðàñòíîå

Íåïðàâèëüíûå öâåòà

Øóìíîå

Íåðåçêîå

Íåðàâíîìåðíî îñâåù¼ííîå

Êàê ñ íèìè ñïðàâèòüñÿ?

Òîíîâàÿ êîððåêöèÿ

Öâåòîêîððåêöèÿ

Øóìîïîäàâëåíèå

Ïîâûøåíèå ðåçêîñòè

Êîìïåíñàöèÿ ðàçíîñòè îñâåùåíèÿ


Òîíàëüíàÿ êîððåêöèÿ

Ïðè÷èíû ïëîõîé ïåðåäà÷è ÿðêîñòè

Îãðàíè÷åííûé äèàïàçîí ÷óâñòâèòåëüíîñòè äàò÷èêà

�Ïëîõàÿ� ôóíêöèÿ ïåðåäà÷è äàò÷èêà

Äëÿ òîãî, ÷òîáû ñäåëàòü òîíîâóþ êîððåêöèþ, íóæíî îöåíèòüêà÷åñòâî ïåðåäà÷è òîíîâ â èçîáðàæåíèè.Êàê?


Ãèñòîãðàììà

Îïðåäåëåíèå

Ãèñòîãðàììà � ýòî ãðàôèê ðàñïðåäåëåíèÿ ÿðêîñòåé íàèçîáðàæåíèè. Íà ãîðèçîíòàëüíîé îñè - øêàëà ÿðêîñòåé òîíîâ îòáåëîãî äî ÷åðíîãî, íà âåðòèêàëüíîé îñè - ÷èñëî ïèêñåëåéçàäàííîé ÿðêîñòè.

Îöåíêà êà÷åñòâà ïåðåäà÷è òîíîâ â èçîáðàæåíèè ïî ãèñòîãðàììåçàêëþ÷àåòñÿ â âûÿâëåíèè ïðîáëåì ñëåäóþùåãî òèïà:

Íå ïîëíîñòüþ èñïîëüçóåòñÿ äèàïàçîí ÿðêîñòåé

Êîíöåíòðàöèÿ ÿðêîñòåé âîêðóã îïðåäåëåííûõ çíà÷åíèé -íåðàâíîìåðíîå çàïîëíåíèå äèàïàçîíà ÿðêîñòåé)


Îöåíêà ïî ãèñòîãðàììå


Òî÷å÷íûå îïåðàòîðû

Îïåðàòîð, êîòîðûé îïðåäåëÿåò çíà÷åíèå âûõîäíîãî ïèêñåëà ïîçíà÷åíèþ òîëüêî îäíîãî âõîäíîãî ïèêñåëà.f −1(y) = xy - ÿðêîñòü ïèêñåëÿ íà èñõîäíîì èçîáðàæåíèèx - ÿðêîñòü ïèêñåëÿ íà ïîñëå êîððåêöèè


Ëèíåéíàÿ êîððåêöèÿ

Êîìïåíñàöèÿ óçêîãî äèàïàçîíà ÿðêîñòåé � ëèíåéíîå ðàñòÿæåíèå



Êîìïåíñàöèÿ óçêîãî äèàïàçîíà ÿðêîñòåé � ëèíåéíîå ðàñòÿæåíèå


Ðîáàñòíàÿ ëèíåéíàÿ êîððåêöèÿ

×òî áóäåò ïðè ïðèìåíåíèè ëèíåéíîé êîððåêöèè ê òàêîé êàðòèíêå?

Ðîáàñòíàÿ (óñòîé÷èâàÿ) âåðñèÿ ìåòîäà:

Âû÷èñëèì òàêóþ ëèíåéíóþ êîððåêöèþ, ÷òîáû 5% ñàìûõòåìíûõ ïèêñåëîâ ñòàëè ÷åðíûìè è 5% ñàìûõ ñâåòëûõ ñòàëèáåëûìè



Ëèíåéíîå ðàñòÿæåíèå � ¾êàê AutoContrast â Photoshop¿



Ëèíåéíàÿ êîððåêöèÿ ïîìîãàåò íå âñåãäà!


Íåëèíåéíàÿ êîððåêöèÿ



×àñòî ïðèìåíÿåìûå ôóíêöèè:

Ãàììà-êîððåêöèÿ, èçíà÷àëüíàÿ öåëü � êîððåêöèÿ äëÿïðàâèëüíîãî îòîáðàæåíèÿ íà ìîíèòîðå. y = c · xγ

Ëîãàðèôìè÷åñêàÿ, öåëü � ñæàòèå äèíàìè÷åñêîãî äèàïàçîíàïðè âèçóàëèçàöèè äàííûõ. y = c · log(1 + x)


Öâåòîêîððåêöèÿ

Åñëè ¾áàëàíñ áåëîãî¿ íåòî÷åí, öâåòà ôîòîãðàôèè êàæóòñÿíååñòåñòâåííûìè


Êîððåêöèÿ ïî øàáëîíó

Åñëè ¾áàëàíñ áåëîãî¿ íåòî÷åí, öâåòà ôîòîãðàôèè êàæóòñÿíååñòåñòâåííûìè

Ðàçóìíûé ïîäõîä:

Ñôîòîãðàôèðîâàòü îáúåêò ñ èçâåñòíûì öâåòîì (øàáëîí)

Âû÷èñëèòü öâåòîâîå ïðåîáðàçîâàíèå, ÷òîáû öâåò îáúåêòà íà

ôîòîãðàôèè ñîâïàë ñ íóæíûì

Ïðîñòåéøàÿ ðåàëèçàöèÿ:

Âîçüì¼ì îäíîòîííûå êàðòî÷êè (áåëûå)

Áóäåì äîìíîæàòü êàæäûé êàíàë îòäåëüíî, ÷òîáû öâåò

êàðòî÷åê ñòàë áåëûì.


Ïðîôåññèîíàëüíàÿ öâåòîêîððåêöèÿ

Èñïîëüçóåì öâåòíîé øàáëîí ñ ìíîãèìè öâåòàìè


Îöåíêà ïàðàìåòðîâ öâåòîêîððåêöèè

Åñëè íåò öâåòîâûõ øàáëîíîâ, òîãäà íàì íóæíî óãàäàòü (èëèîöåíèòü) êîýôôèöèåíòû óñèëåíèÿ.Ìîäåëü ¾Ñåðîãî ìèðà¿ (Grayworld)

Ñðåäíèé óðîâåíü (¾ñåðûé¿) ïî êàæäîìó êàíàëó äîëæåíáûòü îäèíàêîâ äëÿ âñåõ êàíàëîâ

Åñëè öâåòîâîé áàëàíñ íàðóøåí, òîãäà ¾ñåðûé¿ â ýòîìêàíàëå áîëüøå ¾ñåðîãî¿ äðóãèõ êàíàëîâ

Âû÷èñëèì êîýôôèöèåíòû óñèëåíèÿ òàê, ÷òîáû ñðåäíåå âêàæäîì êàíàëå ñòàëî îäèíàêîâûì:


Ïîêàíàëüíîå ðàñòÿæåíèå

Ðàñòÿæåíèå êîíòðàñòíîñòè (�autolevels�)

Èäåÿ � ðàñòÿíóòü èíòåíñèâíîñòè ïî êàæäîìó èç êàíàëîâ íà

âåñü äèàïàçîí;

Ìåòîä:

Íàéòè ìèíèìóì, ìàêñèìóì ïî êàæäîìó èç êàíàëîâ:

Rmin,Rmax ,Gmin,Gmax ,Bmin,Bmax

Ïðåîáðàçîâàòü èíòåíñèâíîñòè: (R − Rmin) ∗ 255−0(Rmax−Rmin)

;

(G − Gmin) ∗ 255−0(Gmax−Gmin)

; (B − Bmin) ∗ 255−0(Bmax−Bmin)


Øóìîïîäàâëåíèå

Ïðè÷èíû âîçíèêíîâåíèÿ øóìà:

Íåñîâåðøåíñòâî èçìåðèòåëüíûõ ïðèáîðîâ

Õðàíåíèå è ïåðåäà÷à èçîáðàæåíèé ñ ïîòåðåé äàííûõ

Âèäû øóìà:

Ñîëü è ïåðåö: ñëó÷àéíûå ÷åðíûå è áåëûå ïèêñåëè

Èìïóëüñíûé: ñëó÷àéíûå áåëûå ïèêñåëè

Ãàóññîâ: êîëåáàíèÿ ÿðêîñòè, ðàñïðåäåëåííûå ïîíîðìàëüíîìó çàêîíó


Âèäû øóìà


Óñðåäíåíèå íåñêîëüêèõ êàäðîâ

Âðåìåííàÿ ôèëüòðàöèÿI (i , j) = gr (i , j) + Err(i , j);

I (i , j) = 1N

N∑k=1

Ik(i , j);

E (I (i , j)) = gr (i , j).


Ïðîñòðàíñòâåííàÿ ôèëüòðàöèÿ, ñâåðòêà

Ïóñòü f � èçîáðàæåíèå, g � ÿäðî. Ñâåðòêà èçîáðàæåíèÿ f ñïîìîùüþ g îáîçíà÷àåòñÿ êàê f ∗ g è âû÷èñëÿåòñÿ ïî ôîðìóëå:(f ∗ g)[m, n] =

∑k,l

f [m − k , n − l ]g [k , l ]

Ïðè ýòîì îêíî ôèëüòðà âûõîäèò çà ãðàíèöû èçîáðàæåíèÿ.Íåîáõîäèìî ýêñòðàïîëèðîâàòü èçîáðàæåíèå. Âàðèàíòû:� clip �lter (black)� wrap around� copy edge� re�ect across edge


Ïðîñòåéøèå âèäû ôèëüòðîâ

ßäðà äëÿ ñâåðòêè

box �lter


Ïðîñòåéøèå âèäû ôèëüòðîâ

Ïðè ñãëàæèâàíèè ñ box-ôèëüòðîì íà èçîáðàæåíèè ìîãóòîáðàçîâûâàòüñÿ ïàðàçèòíûå ëèíèè


Ôèëüòð Ãàóññà


Ôèëüòð Ãàóññà

Ñãëàæèâàíèå ôèëüòðàìè áîëüøîãî ðàäèóñà ïîäàâëÿåò øóì, íîðàçìûâàåò èçîáðàæåíèå


Ìåäèàííûé ôèëüòð

Âûáîð ìåäèàíû èç âûáîðêè ïèêñåëåé ïî îêðåñòíîñòè äàííîãî

Â ÷åì ïðåèìóùåñòâî ìåäèàííîãî ôèëüòðà ïåðåä ôèëüòðîìÃàóññà?


Ìåäèàííûé ôèëüòð


Ïîâûøåíèå ðåçêîñòè

×òî òåðÿåòñÿ ïðè ñãëàæèâàíèè?


Êîìïåíñàöèÿ ðàçíîñòè îñâåùåíèÿ


Мультимедиа технологии - Анализ мультимедийных данных...

Documents

Transcript of Мультимедиа технологии - Анализ мультимедийных данных...