Transmisia datelor multimedia in retele de calculatoare

Transmisia datelor multimedia in retele de calculatoare Scalable and Efficient Video Coding Using 3-D Modeling

Mitrache Ramona-Catalina

UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCEI. IntroducereO data cu dezvoltarea aplicatiilor video prin intermediul dispozitivelor internet si wireless , a telefoanelor si a PDA-urilor, compresia video a devenit o problema cheie.Codarea video se bazeaza in principal pe predictia pixelilor sau pe paradigme de corectie , algoritmi care ofera o compresie eficienta pentru continutul secventelor videoStandardul in codarea video e H264 ITU/MPEG4-AVC

2I. IntroducereO alta metoda de codare video care se foloseste in cazul video-conferintelor este acela care exploateaza faptul ca scena contine obiecte cunoscute pentru care exista un model 3D disponibil si poate fi transmis o data cu parametrii de animatie si textura.

Pentru o scena cu obiecte necunoscute aceasta metoda se poate folosi daca scena e statica, fara obiecte de miscare inauntru; 3I. IntroducereTotusi,pentru a eficientiza procesul pentru scene cu obiecte necunoscute se propune idea de a ne baza pe un set de modele 3D succesive, extrase din subsectiuni video, in locul unei singure video sectiuni care sa contina toata informatia.Avantaje 1.consistenta informatiei 3D nu e necesara2.setul de modele 3D furnizeaza un format stream3.aparatul foto de miscare este fara restrictii

4II. Prezentare metodeiReprezentarea propusa e bazata pe informatie 3D obtinuta din algoritmul de reconstructie GalpinAlg. Galpin :Descoperirea informatiei 3D din seturi de secvente ale imaginilor necalibrate in contextul unei scene statice

input- secventa video output cateva modele VRML(virtual reality modeling language standard pentru reprezentarea 3D)5Rezultate experimentale Galpin

6

Imaginile de inceput si de sfrasit

Secventa video init.

Secv. video VRML

II. Prezentarea metodei - cont.7Pt. fiecare subsectiune a secventei, numita GOF (group of frames), alg produce o harta aprofundata si camera se pozitioneaza pt fiecare frame in GOF.Primul pas este de a transforma fiecare harta aprofundat ntr-o ierarhie de ochiuri 3-D triunghiulare.

II. Prezentarea metodei - cont.8Pt. fiecare subsectiune a secventei, numita GOF (group of frames), alg produce o harta aprofundata si camera se pozitioneaza pt fiecare frame in GOF.Primul pas este de a transforma fiecare harta aprofundat ntr-o ierarhie de ochiuri 3-D triunghiulare.

Coef.waveletsII. Prezentarea metodei - cont.9Pt. fiecare subsectiune a secventei, numita GOF (group of frames), alg produce o harta aprofundata si camera se pozitioneaza pt fiecare frame in GOF.Primul pas este de a transforma fiecare harta aprofundat ntr-o ierarhie de ochiuri 3-D triunghiulare.

Coef.waveletsCoef.de scalareII. Prezentarea metodei - cont.10Pt. fiecare subsectiune a secventei, numita GOF (group of frames), alg produce o harta aprofundata si camera se pozitioneaza pt fiecare frame in GOF.Primul pas este de a transforma fiecare harta aprofundat ntr-o ierarhie de ochiuri 3-D triunghiulare.

Coef.waveletsCoef.de scalareCoef. Pt. codarea diferentiataIII. 3D Generation ModelsMetoda de reconstrucie axata pe preluarea modelului 3-D potrivit pentru retrocedarea video si compatibil cu achizitia video necontrolata.

11

Exemplu de harta adancime (b) extrasa din secventa video Street,modelul asociat VRML (c), precum si imaginea corespunzatoare, in secventa (a).III. 3D Generation Models - czPasul de reconstrucie 3D, prevede astfel, pt fiecare GOF: modelul geometric 3D: o harta densa in profunzime a scenei vazuta din prima imagine din GOF;

modelul de textura 3D: prima imagine din GOF; parametrii aparatului de fotografiat pentru fiecare cadru in GOF;12IV. Modele 3D IerarhiceA. Single-Connectivity Mesh and Global IndexingMetoda isi propune sa construiasca o prelevare de probe coerente pentru toate modelele 3-D cu varfuri corespunzatoare punctelor fizice identiceAcest lucru se face prin separare de conectivitate si geometrie single connectivity mesh (SCM)SCM este descris ca o lista de triunghiuri exprimate in noul sistem de indexare la nivel mondial. SCM, de asemenea, ofera un indice unic pentru fiecare fata in SCM.Descompunerea wavelet bazata pe SCM este consecventa pentru toate modelele si duce la codificari compacte.13IV. Modele 3D IerarhiceB. Base Meshes ConstructionOchiurile de plasa din baza utilizeaza triangulatie neuniforma, cu scopul de a asigura coerenta globala de conectivitate si tranzitia usoara intre modeleIn plus, pentru a reprezenta mai bine continutul video,plasa de baza trebuie, sa se potriveasca caracteristicilor scenei.Foloseste detectorul de colturi Harris si triangulatia 2D Delaunay14Triangulatia 2D Delaunay15

IV. Modele 3D IerarhiceC. Wavelet DecompositionScopul descompunerii wavelet este de a decorela informatiile geometrice, a. i. la primul pas sa procedeze catre compresie. In plus, aspectul multirezolutie al transformarii permite reconstructia si transmisia in timp real foarte eficiente.16C. Wavelet Decomposition17

Exemplu pentru secventa Thabor: ochiuri progresive reconstruite cu(a) clasica si (b) adaptiva descompunere wavelet.C. Wavelet Decomposition18AvantajePozitiile vertex pot fi adaptate pentru coninutul scena;Corespondenta vertex vertex intre modele succesive e implicit furnizata de structura ochiului de plasa si, prin urmare nu e nevoie sa fie transmisa sau estimata la partea decodor.Aceasta permite o tranzitie usoara intre modele 3D prin morphing implicit folosind o simpla interpolare liniara intre varfuri.V. Compresie a reprezentariiA. Inter-Relations Between Different MediaO observatie cheie este ca fluxurile de informatii care trebuiesc transmise nu sunt independente si un algoritm eficient de codificare ar trebui sa ia in considerare aceasta redundanta atat pentru nivelul de comprimare cat si pt. calitatea secventei reconstruite.19A. Inter-Relations Between Different Media20

Inter-relations between the media in 3-D model-based codingA. Inter-Relations Between Different Media21

Thabor sequence: predicted images. (a) Image from original sequence.(b) Associated predicted image.V. Compresie a reprezentariiB. Camera EncodingPozitiile cheie ale ap. foto sunt codificate diferentiat si pozitiile intermediare ale ap. foto sunt preluate prin interpolare liniara intre pozitii cheie.

22C. Texture EncodingUn sistem de IPP este utilizat in cazul in care imaginea prezisa este obtinuta prin reproiectia modelului precedent texturat pe pozitia cheie curenta.V. Compresie a reprezentariiD. Connectivity and 3-D Geometry EncodingCodarea 3D de informatii se bazeaza pe baza ochiului de plasa (mesh) si un set de coeficienti wavelet pentru rafinamente.23

Thabor sequence: (a) texture image and (b) reconstructed image.VI. Rezultate 24A. Visual Quality and PSNRIn timp ce PSNR e adecvat pentru masurarea erorilor de baza ale blocului, el e lipsit de sens cand e vorba de distorsiuni geometrice.

B. Compression ResultsNe arat rezultate de compresie pentru o secventa de 110 de cadre pentru rate de biti scazute sau foarte scazute. Nu se pot face comparatii cu H264 daca cu o rata atat de scazuta nu se poate ajunge la 25 Hz..

B. Compression Results25

Thabor sequence: Image : (a) original sequence (CIF, 25 Hz)and (b) reconstructed images at 125 kb/s with H264 coder, (c) with Galpin coder,and (d) with our coder.B. Compression Results26

Thabor sequence: Reconstructed images at 30 kb/s with (a) Galpincoderand with (b) our coder.C. Scalability Results27

Thabor sequence: spatial scalability Image from the (a) originalsequence (CIF, 25 Hz) and reconstructed images at 125 kb/s at different level of wavelet decomposition: (b) 0, (c) 2, and (d) 3.D. Virtual Navigation Results28

Thabor sequence: Reconstruction of original path around a transitionbetween two successive models. Successive reconstructed images without posttreatment (no morphing nos fading) (a) and (b). Successive reconstructed imageswith our coder (c) and (d).28D. Virtual Navigation Results29

Street sequence: Reconstruction on virtual path with (a) Galpin and(b) proposed method.29VII. Concluzii30Am prezentat un nou model bazat pe sistemul de codare video statica cu grain-scalabilitate buna, care sa permita adaptarea continutului peste un spectru foarte larg de terminale si retele.Acesta schema profita de coninutul video specific, de exemplu, o scena fixa dobandita cu o camera in miscare, pentru a construi o reprezentare 3D care permite performante mai bune si functionalitati avansate.Coder-ul, exploateaza toata puterea de a doua generatie wavelets implicit morphing-ul VIII. Intrebari si Raspunsuri

31