Distributed source coding for video compression fine... · 2012-09-03 · Distributed source...
Transcript of Distributed source coding for video compression fine... · 2012-09-03 · Distributed source...
Distributed source codingfor video compression
Francesca Bassi
13 Gennaio 2010
Distributed video coding:introduzione e stato dell’arte
Distributed source coding
Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].
Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].
Caso losslessRate region nota.
Caso lossyGeneral rate-distortion regionsconosciuta.
• CEO problem
• Source coding with side info aldecoder
• Source coding with partialside info al decoder
Distributed source coding
Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].
Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].
Caso losslessRate region nota.
Caso lossyGeneral rate-distortion regionsconosciuta.
• CEO problem
• Source coding with side info aldecoder
• Source coding with partialside info al decoder
Distributed source coding
Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].
Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].
Caso losslessRate region nota.
Caso lossyGeneral rate-distortion regionsconosciuta.
• CEO problem
• Source coding with side info aldecoder
• Source coding with partialside info al decoder
Source coding with side information at the decoder
Wyner-Ziv coding [WYN76, WYN78]: compressione di una sorgentequando seconda (la side information Y) disponibile al decoder.
Forma implicita della rate-distortion function nota.
• Sorgenti Gaussiane: no rate-loss rispetto al casocondizionale.
• In generale: rate loss. Perdita max 0.5 bit/sample [ZAM96]
• Forma esplicita nota solo per sorgenti Gaussiane e binariesimmetriche.
Source coding with side information at the decoder
Wyner-Ziv coding [WYN76, WYN78]: compressione di una sorgentequando seconda (la side information Y) disponibile al decoder.
Forma implicita della rate-distortion function nota.
• Sorgenti Gaussiane: no rate-loss rispetto al casocondizionale.
• In generale: rate loss. Perdita max 0.5 bit/sample [ZAM96]
• Forma esplicita nota solo per sorgenti Gaussiane e binariesimmetriche.
Distributed video coding
Vantaggio: encoder semplice (al costo di decoder complesso)
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Codifica video distribuita: complessità riportata sullainfrastruttura di rete
Architetture DVC
Due famiglie di architetture per DVC:• derivate dal modello di Berkeley [PRISM]• derivate dal modello di Stanford [DISCOVER]
Discover/Lisbon November 6, 2007 Slide 10
R-D Performance Comparison
[DISCOVER Workshop, Lisbon, Nov. 2007]
Performance inferiore a quella di video coder tradizionali(motion compensation all’encoder).
Architetture DVC
Due famiglie di architetture per DVC:• derivate dal modello di Berkeley [PRISM]• derivate dal modello di Stanford [DISCOVER]
Discover/Lisbon November 6, 2007 Slide 10
R-D Performance Comparison
[DISCOVER Workshop, Lisbon, Nov. 2007]
Performance inferiore a quella di video coder tradizionali(motion compensation all’encoder).
Generazione della side information
Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Ricostruzione del side information frame:
• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Nessuna garanzia sulla qualità della side information(variazioni nel tempo).
Introduzione di feedback channel per garantire rate adaptation.
Generazione della side information
Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Ricostruzione del side information frame:
• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Nessuna garanzia sulla qualità della side information(variazioni nel tempo).
Introduzione di feedback channel per garantire rate adaptation.
Generazione della side information
Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Ricostruzione del side information frame:
• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Nessuna garanzia sulla qualità della side information(variazioni nel tempo).
Introduzione di feedback channel per garantire rate adaptation.
Source codingwith degraded side information at the decoder
Motivazione
Introduzione di un nuovo modello di correlazione tra sorgente eside information, per modellare la variazione di qualità della
side info nel tempo
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Obiettivo: sintesi di uno schema di codificasenza feedback channel
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
• Definizione del modello per i segnali• Valutazione della rate-distortion (performance teorica)• Design dell’encoding scheme• Validazione dello schema con segnali reali
Motivazione
Introduzione di un nuovo modello di correlazione tra sorgente eside information, per modellare la variazione di qualità della
side info nel tempo
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Obiettivo: sintesi di uno schema di codificasenza feedback channel
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
• Definizione del modello per i segnali• Valutazione della rate-distortion (performance teorica)• Design dell’encoding scheme• Validazione dello schema con segnali reali
Signal model
Canale di correlazione: rumore additivo gaussiano bianco, convarianza istantanea determinata dalla sequenza di stato S.
Si definisce la qualità istantanea del canale di correlazioneall’istante di trasmissione i.
Il decoder non osserva S
Signal model (continua)
Sequenza X: simboli gaussianii.i.d.
Xi ∼ N (0, σ2x )
Sequenza Z: mistura gaussianaZ ∼
∑s π(s) N (0,K(s))
Modello generale per il rumore di correlazione• la mistura gaussiana consente di approssimare ogni
funzione di densità di probabilità• la sequenza di stato S può essere memoryless o with
memory• cancellazione di simbolo di side information modellata con
impulso istantaneo a varianza infinita
Signal model (continua)
Sequenza X: simboli gaussianii.i.d.
Xi ∼ N (0, σ2x )
Sequenza Z: mistura gaussianaZ ∼
∑s π(s) N (0,K(s))
Modello generale per il rumore di correlazione• la mistura gaussiana consente di approssimare ogni
funzione di densità di probabilità• la sequenza di stato S può essere memoryless o with
memory• cancellazione di simbolo di side information modellata con
impulso istantaneo a varianza infinita
Rate-distortion bounds
Forma implicita della rate-dist function nota [WYN73]:R(D) = minfX,Y,U,X̂∈M(D) I(X; U)− I(Y; U).
Forma esplicita della rate-dist function non conosciuta.
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Necessità di derivare bounds per la forma esplicita.
Lower bound: rate-distortion functionottenuta quando il decoder osservaanche la state sequence S
Upper bound: performance asintoticadi uniform dithered lattice quantizercon side information al decoder
-50
-45
-40
-35
-30
-25
-20
-15
-10
-5
0 1 2 3 4 5 6 7
D [d
B]
R [per sample]
GBG correlation model - varx = 1, var0 = 0.04, var1 = 1, p = 0.1
test
GBG - lo-bound
GBG - hi-bound
Rate-distortion bounds
Forma implicita della rate-dist function nota [WYN73]:R(D) = minfX,Y,U,X̂∈M(D) I(X; U)− I(Y; U).
Forma esplicita della rate-dist function non conosciuta.
NETWORK
Multiuser Information
Theory
Distributed SourceCoding
Necessità di derivare bounds per la forma esplicita.
Lower bound: rate-distortion functionottenuta quando il decoder osservaanche la state sequence S
Upper bound: performance asintoticadi uniform dithered lattice quantizercon side information al decoder
-50
-45
-40
-35
-30
-25
-20
-15
-10
-5
0 1 2 3 4 5 6 7
D [d
B]
R [per sample]
GBG correlation model - varx = 1, var0 = 0.04, var1 = 1, p = 0.1
test
GBG - lo-bound
GBG - hi-bound
Schema di codifica
Problema: qualità della side information variabile, ma ratecostante (no feedback channel)
Two-layer scheme
• Single layer: soluzione ottima ma non realizzabile.• Two-layer: soluzione subottima ma realizzabile.
Schema di codifica
Problema: qualità della side information variabile, ma ratecostante (no feedback channel)
Two-layer scheme
• Single layer: soluzione ottima ma non realizzabile.• Two-layer: soluzione subottima ma realizzabile.
Schema di codifica (continua)
Step 1: trasmissione nella sottocatena di Slepian-Wolf.
• R1 = H(ΦX|Y)− log2(V(Λ)) = H(ΦX|ΦY)− log2(V(Λ)).• Rumore di correlazione ΦZ: ancora mistura Gaussiana. La
rotazione attraverso Φ taglia gli impulsi di rumore.• Subottimalità: proteggo ogni simbolo dalla componente
maggiore della mistura.
Schema di codifica (continua)
Step 1: trasmissione nella sottocatena di Slepian-Wolf.
• R1 = H(ΦX|Y)− log2(V(Λ)) = H(ΦX|ΦY)− log2(V(Λ)).• Rumore di correlazione ΦZ: ancora mistura Gaussiana. La
rotazione attraverso Φ taglia gli impulsi di rumore.• Subottimalità: proteggo ogni simbolo dalla componente
maggiore della mistura.
Schema di codifica (continua)
Step 2: design degli stimatori MMSE.
• Stimatore MMSE lineare: sovrapposiz. di tutti gli stimatoriMMSE condizionati a di S (problema combinatorio).
• Sintesi di algoritmo di Bayesian Matching Pursuit [SCH09]:calcolo veloce di una approssimazione (accurata) dellostimatore ottimo.
Schema di codifica (continua)
Step 2: design degli stimatori MMSE.
• Stimatore MMSE lineare: sovrapposiz. di tutti gli stimatoriMMSE condizionati a di S (problema combinatorio).
• Sintesi di algoritmo di Bayesian Matching Pursuit [SCH09]:calcolo veloce di una approssimazione (accurata) dellostimatore ottimo.
Schema di codifica: performance
Step 3: trade-off della rate-allocation
-50
-45
-40
-35
-30
-25
-20
-15
-10
-5
0 1 2 3 4 5 6 7
D [d
B]
R [per sample]
GBG correlation model - varx = 1, var0 = 0.04, p = 0.1
test
lo-bound
hi-bound
twolayer
• Costo di trasmissione suLayer 1: alto
• Costo di trasmissione suLayer 2: basso, se side infoda Layer 1 buona
Trade-off: Layer 1 deve garantire side-info di qualità sufficientea Layer 2
Schema di codifica: performance
Step 3: trade-off della rate-allocation
-50
-45
-40
-35
-30
-25
-20
-15
-10
-5
0 1 2 3 4 5 6 7
D [d
B]
R [per sample]
GBG correlation model - varx = 1, var0 = 0.04, p = 0.1
test
lo-bound
hi-bound
twolayer
• Costo di trasmissione suLayer 1: alto
• Costo di trasmissione suLayer 2: basso, se side infoda Layer 1 buona
Trade-off: Layer 1 deve garantire side-info di qualità sufficientea Layer 2
Conclusioni
Direzioni future
Validazione con segnali reali
• Introduzione della stima dei parametri della misturagaussiana.
Sequenza di stato con memoria
• Valutazione della performance dello schema di codifica(mistura nota).
• Stima dei parametri della mistura gaussiana.
Sequenza di sorgente con memoria
Estensione al caso multiterminal