Standards de codage vid o - IMTIntroduction Compression MPEG Standards de codage vidéo Béatrice...

IntroductionCompression

MPEG

Standards de codage vidéo

Béatrice Pesquet-Popescu

Département Traitement du Signal et des ImagesTELECOM ParisTech

15 mai 2012

B. Pesquet Standards vidéo 1/101


MPEG

Plan

1 Introduction

2 Les principes de la compression vidéo

3 La famille MPEGM-JPEG et MJP2KMPEG-1MPEG-2MPEG-4



MPEG

Plan

1 Introduction





MPEG

MotivationsExemple 1 : Libraire de photos numériques

Images à 1 Megapixel

Trois composantes couleur

Un octet par composante

Occupation mémoire : 3 Mo par photo

Publication sur le Web ?



MPEG

MotivationsExemple 2 : La télévision

système analogique⇒ bande de fréquence : 6 MHz

système numérique1 composante de luminance 576 × 7202 composantes de chrominance 288 × 360quantification sur 8 bits25 images par secondeR ≈ 125 Mbps⇒ bande de fréquence ?

2 heures de film > 100 Go



MPEG

MotivationsExemple 3 : Musique

Son mono en qualité CD :

Échantillonnage à 44.1 kHz

Représentation des échantillons sur 16 bits

Transmission en temps réel :

16 bit · 44100 s−1 ≈ 700 kbps

1 heure de musique nécessite :

16 bit · 44100 s−1 · 3600 s ≈ 320 Mo

Stéréo : les besoins doublent !



MPEG

Représentation des images numériquesImages en niveaux de gris

Grille discrète, image N × M pixels

A chaque pixel (m, n), on associe un ordre de traitement k

Généralement, balayage ligne par ligne unilatéral :k = (n − 1)M + m

On notera indifféremment fn,m ou fk

fn,m = fkn

m

N

M



MPEG

Représentation des images numériquesImages couleurs : Format RVB

Images en couleurs : trois composantes, chacune représentéecomme une image en niveaux de gris.



MPEG

Représentation des images numériquesEspaces de couleurs

Espace RGB Espace HSV



MPEG

Représentation des images numériquesImages couleurs : Format YUV

Images en couleurs : une composante de luminance et deuxde chrominance (sous-échantillonnées).



MPEG

Représentation de la vidéo numérique

Séquence d’images numériques

On rajoute la dépendance du temps

Trois composantes dans le cas de la vidéo couleur

Représentation RVB ou luminance/chrominance

Sous-échantillonnage des composantes couleur



MPEG

Fondements de la compression

POURQUOI EST-IL POSSIBLE DE COMPRIMER ?

Redondance statistique des donnéeshomogénéité des imagessimilitude entre les images successives

Redondance psychovisuellesensibilité aux baisses fréquenceseffets de masquageautres limites du système visuel humain

Un algorithme de compression (ou codage) doit exploiterau maximum la redondance des données



MPEG

Algorithmes de compressionTypes d’algorithmes

Algorithmes sans perte (lossless)Reconstruction parfaiteBasés sur la redondance statistiqueFaible taux de compression

Algorithmes avec perte (lossy)Image reconstruite 6= image originaleBasés sur la quantificationRedondance psychovisuelle : “visually lossless”Taux de compression élevé



MPEG

Algorithmes de compressionTypes d’algorithmes

Algorithmes symétriquesMême complexité à l’encodeur et au décodeurPas de compensation de mouvementFaible taux de compressionTemps réel

Algorithmes asymétriquesCodeur beaucoup plus complexe que le décodeurEstimation/compensation du mouvementTaux de compression élevéUsage “off line”, distribution sur supports de mémoire



MPEG

Critères de performanceDébit

Rapport (taux) de compression

T = BinBout

= RinRout

Débit de codage

Image : R = BoutNM [bpp]

Video, son : R = BoutT [bps]

Codage d’image sans perte : T ≤ 3Codage d’image avec perte : T ≈ 5 →?Codage vidéo avec perte : T ≈ 20 →?



MPEG

Critères de performanceQualité et distorsion

Seul le débit n’est pas suffisant pour évaluer un algorithme avecpertesIl faut déterminer la qualité ou la distorsion de l’image reconstruite

Les Critères objectifs sont des fonctions mathématiques defn,m : l’image d’origine ; et defn,m : l’image reconstruite après compression

Critères objectifs non perceptuelsErreur quadratique moyenne (EQM = MSE) :D = 1

N M

∑Nn=1

∑Mm=1(fn,m − fn,m)2

Rapport signal sur bruit crête : PSNR = 10 log10

(2552

D

)

Critères objectifs perceptuelsOn utilise des modèles du SVH pour prendre en compte lasensibilité aux fréquences, les masquages, ...



MPEG

Évaluation de la qualitéAspects psychovisuels : Exemple

Image Originale, 24 bpp



MPEG

Évaluation de la qualitéAspects psychovisuels

Bruit blanc σ = 4Image Originale, 24 bpp Erreur dispersée, MSE = 16.00



MPEG


Bruit concentré sur 100 × 100 pixelsImage Originale, 24 bpp Erreur concentrée, MSE = 16.00



MPEG


Bruit concentré sur les contours (estimation par filtre de Sobel)Contours de l’image Erreur concentrée sur les contours, MSE = 16.00



MPEG


Bruit dans les hautes fréquences spatialesImage Originale, 24 bpp Erreur en frequence, MSE = 16.00



MPEG


Sous-échantillonnage dans l’espace des couleursImage Originale, 24 bpp Sous−echantillonement en couleur, MSE = 21.27



MPEG

Critères de performanceQualité et distorsion

Les Critères subjectifs sont basés sur l’évaluation de laqualité des images faite par des humaines

Difficulté de créer un bon modèle du SVHAnalyse statistique des résultatsÉvaluations longues, difficiles et coûteuses

En conclusion, souvent on se limite à utiliser les critèresobjectifs non perceptuels :

SimplicitéInterprétation géométrique (norme euclidienne)Optimisation analytiqueRelation avec la qualité perçue ?



MPEG

Critères de performanceComplexité, retard et robustesse

La complexité d’un algorithme de codage peut être limitéepar :

contraintes liées à l’application (temps réel)limités du matériel (hardware)coût économique

Le retard est normalement mesuré au codeurLié à la complexitéInfluencé par l’ordre de codage

Robustesse: sensibilité de l’algorithme decompression/reconstruction à des petites altérations ducode comprimé (erreurs de transmission)



MPEG

Critères de performanceBilan

Besoins contradictoires :

⇑ Qualité⇑ Robustesse

⇓ Débit⇓ Complexité⇓ Retard



MPEG

Outils fondamentaux pour la compression

Codage entropique

Quantification

Transformée

Prédiction



MPEG

Plan

1 Introduction





MPEG

Principes de la compression vidéo

Redondance spatialeLes régions dont les images se composent sonthomogènes

Redondance temporelleLes images dont une séquence se compose sont similairesles unes aux autres

Un codeur performant doit éliminer les deux types deredondance



MPEG

Principes de la compression vidéoRedondance spatiale



MPEG

Principes de la compression vidéoRedondance temporelle



MPEG

Principes de la compression vidéoSchéma générique d’un codeur vidéo

CompressionCompressionTemporelle Spatiale

Buffer

Information de mouvement

Input



MPEG

Classification des codeurs vidéo

Espace Temps + et -Applicationscibles Standards

MotionPicture Transformée -

Simplicité d’implé-mentation, faible coûtde calcul mais faibletaux de compression

Cinémanumérique,chat vidéo

M-JPEG, M-JPEG2000

Hybride Transformée PrédictionTrès bon taux de com-pression, complexitéélevée

Distributionsur supportmémoire etsur réseaux

MPEG-n,H.26x

Trans-formée3D

Transformée Transformée

Très bonne scalabil-ité, taux de compres-sion un peu inférieuraux codeurs hybrides

Distributionsur réseaux

-



MPEG

La prédiction dans le codage vidéoDPCM

Les images successives se ressemblent beaucoupPrédiction : fn,m,k = fn,m,k−1

Q

FrameBuffer

Image courante

Image précédente

Erreur

fk ek

ek

fk

fk



MPEG

La prédiction dans le codage vidéoConditional replenishment

Faire la prédiction seulement si c’est utile

Prédiction :

fn,m,k =

{fn,m,k−1 si |fn,m,k − fn,m,k−1| < γ

0 sinon

Problème :

side information : un bit par pixel

on préfère considérer des blocs de pixels



MPEG

La prédiction dans le codage vidéoConditional replenishment

Mesure de ressemblance des blocs :

d(B1,B2) =∑

p

|B1(p)− B2(p)|k

Si d(B(p)k ,B(p)

h ) < γ

refine : on transmet l’erreur de prédiction

skip : on ne transmet aucun bit

Si d(B(p)k ,B(p)

h ) ≥ γ

new : on transmet le bloc de pixels

Choix de γ ? Choix de la taille des blocs ?



MPEG

La prédiction dans le codage vidéoEstimation du mouvement



MPEG


On compare B(p)k et B(p+v)

h



MPEG


Test ME :d(v) = d(B(p)

k ,B(p+v)h )

Vecteur estimé :v∗ = arg min

vd(v)

Info transmise :B(p)

k − B(p+v)h

Au décodage on reconstruit la prédiction de B(p)k à l’aide

des vecteurs de mouvement et de l’image de référence :c’est la compensation du mouvement



MPEG

La prédiction dans le codage vidéoRégularisation de l’estimation du mouvement

Dans les régions homogènes l’EM peut donner desrésultats chaotiques

On ajoute un terme de régularisation

J(v) = d(v) + λr(v)

Vecteur estimé :v∗ = arg min

vJ(v)

λ gère le compromis entre fidélité et régularité

r(v): coût de codage ; régularité géométrique ...



MPEG

La prédiction dans le codage vidéoExemple d’estimation de mouvement



MPEG

La prédiction dans le codage vidéoVecteurs estimés

MVF non régularisé



MPEG

La prédiction dans le codage vidéoVecteurs estimés

MVF non régularisé MVF régularisé



MPEG


Compromis complexité/efficacitéSoit n le côté de la fenêtre de recherche

Méthode full search : Toutes les n2 positions sontcontrôléesMéthode cross search : On contrôle d’abord ledéplacement horizontal, ensuite le vertical ; 2n positionssont contrôlées

Méthode log search : On contrôle 8 position à distance2m − 1 ; on choisit la direction et on continue avec un pasde 2m−1 − 1 pixels ≈ 8 log2 n positions sont contrôléesMéthode diamond search : On contrôle 4 directions, maison réduit le pas seulement quand on a choisi le centre ;cette méthode est très populaire



MPEG

Robustesse aux erreurs

Mitiger la propagation des erreursProtection inégale (en-têtes mieux protégés)Limitation aux modes prédictifs

Rendre facile la récupération de la synchronisationUtilisation des marqueurs de synchronisationMarker emulation prevention

Limiter l’impact visuel des erreursReconnaître les images erronéesAfficher une image précédente plutôt que une imageerronée



MPEG

Le codage hybride

Codage par macroblocs

Modes de codageIntra: Pas de prédiction temporelle, codage par

transforméeInter: ME/MC pour la prédiction temporelle, codage

par transforméeDirect: Vecteur de mouvement déduit des voisins ;

copie du bloc de référenceLossless: Codage sans perte



MPEG

Codeurs hybridesExemple des performances des modes

Direct

ME/MCInter16

ME/MCInter8

CR16

CR8

IntraLossless

Distorsion

Débit



MPEG

Codeurs hybridesChoix du mode de codage

Objectif : minimiser D pour un R donné :

D =K∑

k=1

Dk (ik ,Q) R =K∑

k=1

Rk (ik ,Q)

Le pas de quantification Q est donné

L’ensemble des modes i = {ik}Kk=1 doit être choisi de façon

à minimiser :

J(i,Q, λ) =

K∑

k=1

Dk (ik ,Q) + λ

K∑

k=1

Rk(ik ,Q)



MPEG


La minimisation conjointe sur i est trop complexe

On préfère une minimisation sous-optimale

Pour chaque MB k , on choisit le mode de façon àminimiser :

Jk (ik ,Q, λ) = Dk(ik ,Q) + λRk (ik ,Q)

On minimise séparément chaque terme de la somme J

Le mode choisi dépend donc de Q et λ



MPEG


Le pas de quantification Q est considéré comme un inputPour chaque Q (débit) il existe une valeur optimale de λ,déterminée empiriquement

MPEG-2 : λ = aQ2 + bH.264 : λ = c2dQ+e

Avec le λ donné, minimiser Jk revient à trouver une droitedans le plan RD



MPEG

Codeurs hybridesExemple de performances des modes

Direct

ME/MCInter16

ME/MCInter8

CR16

CR8

IntraLossless

Distorsion

DébitD + λ1R = J1D + λ2R = J2



MPEG

Le codeur hybride

DCT Q VLCfk ek



MPEG

Le codeur hybride

JPEG coder

DCT Q VLCfk ek



MPEG

Le codeur hybride

DCT Q VLC

Q*

IDCT

JPEG coder

fk ek

ek



MPEG

Le codeur hybride

JPEG coder

DCT Q VLC

Q*

IDCT

FrameBuffer

fk ek

ek

fkfk



MPEG

Le codeur hybride

DCT Q VLC

Q*

IDCT

FrameBufferMC

JPEG coder

fk ek

ek

fk

fk

fk



MPEG

Le codeur hybride

ME

DCT Q VLC

Q*

IDCT

FrameBufferMC

MV

JPEG coder

fk ek

ek

fk

fkfk



MPEG

Le codeur hybride

ME

DCT Q VLC

Q*

Control

ChannelBuffer

IDCT

FrameBufferMC

MV

JPEG coder

fk ek

ek

fk

fkfk



MPEG

Le décodeur hybride

Schéma asymétrique !

MV

ChannelBuffer

VLD

Q*

IDCT

FrameBufferMC

ek

fkfkfk



MPEG

M-JPEG et MJP2KMPEG-1MPEG-2MPEG-4

Plan

1 Introduction





MPEG


M-JPEG et MJP2K

Pas de ME/MC : faible complexité, faible taux decompressionM-JPEG : chaque image codée avec JPEG

Ce n’est pas un standardUtilisé pour le mode vidéo des appareils photo-numériques

M-JP2K : chaque image codée avec JPEG2000Partie 3 du standard JPEG2000Utilisé pour le cinéma numérique et la communication vidéoen temps réel (video chat)Meilleure qualité par rapport à M-JPEGScalabilité



MPEG


Les standards vidéoGroupes de normalisation

Organismes de normalisation :

ISO International Standardization Organization

IEC International Electrotechnical Commission

ITU International Telecommunication Union

Groupes de travail

MPEG (1988) : ISO/IEC Moving Picture Expert Group

VCEG (1997) : ITU Video coding Expert Group

Joint Video Team: H.264 et MPEG-4/Part 10 (JVT);extension scalable de H.264 (SVC)



MPEG


Les standards vidéoDéveloppement des standards

MPEG−4

H.264/SVCH.264/AVC

MPEG−4 p.10

H.263+

ITU JointISO/IEC Video Image

1980 1990 2000 2010

H.264/MVC

H.261 H.263

MPEG−1

JPEG2000

JPEGJPEG

XR

MPEG−2H.262

HEVC

H.263++

3DV



MPEG


Le standard MPEG-1

Développé entre 1988-1992Parties du standard

1 Systèmes2 Vidéo3 Audio4 Conformance test5 Software simulation



MPEG


Le standard MPEG-1Partie 2 (Vidéo)

Codeur hybride avec ME/MC

Entrée : max 720 × 576 pixel @ 30 fps

Débit ≤ 1.86 Mbps (qualité VHS)

Applications asymétriques, VoD, CD vidéo, jeux vidéo

Nouveautés techniques

Types d’images

ME/MC à précision sous-pixellique



MPEG


Le standard MPEG-1Types d’images

Trames I (Intra coded)

Trames P (Prédictives)

Trames B (Bi-directionnelles)

Trames D (DC coded)

Trames I et P : Anchor Frames



MPEG


Le standard MPEG-1Group of Pictures

Trames organisées en GOP

Première image : IntraStructure :

intervalle entre Iintervalle entre AF

Gop n

II B B P B B P B B B B P

Gop n+1

I



MPEG


Le standard MPEG-1Trames I

Codée indépendamment des autres

Codage JPEG

Faible complexité, faible taux de codageUtilisée pour :

Fast forwardsRandom accessRobustesse aux erreurs

Gop n


Gop n+1

I



MPEG


Le standard MPEG-1Trames P

Prédite de l’AF précédente

Complexité élevée (ME)

Taux de compression élevé

I B B P B B P B B B B P

Gop n+1Gop n

I



MPEG


Le standard MPEG-1Trames B

Prédite des AFs précédente et successive

Complexité très élevée (double ME)

Taux de compression élevé

Gop n


Gop n+1

I



MPEG


Standard MPEG-1Ordre de codage des trames

I → AF → Trames B → AF → Trames B . . .

Retard ?

Details

I P P P

B B B B B B B B

Gop n+1Gop n

I BaseI



MPEG


Standard MPEG-1ME/MC à précision sous-pixellique

Le mouvement ne correspond pas à la grille des pixels

Interpolation pour améliorer la précision

Augmentation de la complexité

Très bonnes performances de codage



MPEG


Standard MPEG-1ME/MC à précision sous-pixellique

v=(5.5,2.5)v=(5,3)



MPEG


Standard MPEG-1Résumé

Codeur hybride classique (H.261), plus :1 Trames B et D2 Vecteurs à précision sous-pixellique3 Gamme de résolutions étendue4 Groupe d’images avec structure flexible



MPEG


Le standard MPEG-2


1 Systèmes2 Vidéo3 Audio4 Conformance test5 Software simulation

Les parties 6-9 spécifient certaines fonctionnalitéssecondaires

MPEG-3, à l’origine prévu pour l’HDTV, a été fusionnéavec MPEG-2

Équivalent à la norme H.262



MPEG


Standard MPEG-2

Codeur hybride

Débit ≤ 15 Mbps (HDTV)

Profils et niveaux

Support pour la vidéo entrelacée

Support pour la scalabilité



MPEG


Standard MPEG-2Profils et niveaux

Il est possible de mettre en ouvre une partie des fonctionnalités(profils) pour une certaine gamme de paramètres (niveaux),tout en restant compatible avec le standard

width height frame rate bit rateNiveau [pixel] [pixel] [frame/s] [Mbps]

Low 352 288 30 4Main 720 576 30 15High-1440 1440 1152 60 60High 1920 1152 60 80

Profil fonctionnalités

Simple Pas de scalabilité; vidéo entrelacée; pas de trames BMain Simple + Trames BSNR scalable Main + Deux/trois niveaux de scalabilité en qualitéSpatial scalable SNR + Deux/trois niveaux de scalabilité en résolutionHigh Space + Chroma sur-échantillonnée



MPEG



Seulement certaines couples profil/niveau sont admissibles

ProfilNiveau Simple Main SNR scalable Spatial scalable High

Low • •

Main • • • •

High-1440 • • •

High • •



MPEG


Standard MPEG-2Scalabilité

Encode once, decode many!

Train binaire formé par :Un flux baseDes détails

Le flux de base peut être décodé seul

Les détails augmentent la qualité du flux de base

Les détails seuls sont inutiles

Selon ses nécessités, le client peut demander le flux debase ou les 2 flux



MPEG


Codeurs scalables et non scalables

Codeur scalable, deux layers à 400 et 800kbps

Codeur non scalable, un seul layer à 900 kbps

Codeur non scalable, un seul layer à 200 kbps

Codeur scalable souhaité

Courbe limite

Bande disponible sur le canal

Qua

lité

sequ

ence

dée

codé



MPEG


Scalabilité :exempleDistribution de la vidéo sans scalabilité



MPEG


Scalabilité :exempleDistribution de la vidéo avec scalabilité



MPEG


Standard MPEG-2Scalabilité SNR : codeur

IDCT

DCT VLC

VLC

MCBufferFrame

QB

QE

Q∗

B

Q∗

E

f e eB

eE

fE

fE

Raffinement des coefficients DCTDrift : décodeur au niveau de base désynchroniséBonne qualité du niveau d’améliorationQualité du niveau de base pas toujours satisfaisante



MPEG


Standard MPEG-2Scalabilité SNR : décodeur

MV

FrameBufferMC

VLD IDCT

VLD

Q∗

B

Q∗

E

Pas de contrôle du drift

Un seul champ de vecteurs de mouvement



MPEG


Standard MPEG-2Scalabilité en résolution : codeur

ebq

FrameBufferMC

MCFrameBuffer

W

DCT VLC

IDCT

DCT VLC

IDCT

QB

QE

Q∗

B

Q∗

E

x

eB

eE

↓ 2

↑ 2

fB

fB

fB

eE

fEfE



MPEG


Standard MPEG-2Scalabilité en résolution : codeur

Double boucle : pas de drift

La vidéo d’entrée est filtrée et sous-échantillonnéeLa prédiction du niveau d’amélioration est la sommeponderée de :

L’image du niveau de base interpoléeLa prédiction ME/MC

Le choix du poids est fait MB par MB et cette info estcodée dans le train binaire



MPEG


Standard MPEG-2Scalabilité en résolution : décodeur

FrameBufferMCW

MCFrameBuffer

VLD IDCT

VLD IDCTQ∗

B

Q∗

E

↑ 2

fB

fB

fE

fE



MPEG


Standard MPEG-2Scalabilité en résolution : décodeur

L’image à basse résolution est interpolée et ponderée

Interpolation linéaire

On obtient les information nécessaires pour le décodagedu niveau d’amélioration



MPEG


Standard MPEG-2Scalabilité temporelle

Gop n+1Gop n

I

B

P IP

B B B B B B

P

B

I Base

Détails



MPEG


Standard MPEG-2Scalabilité hybride, 1/2

Les formes de scalabilité disponibles peuvent êtrecombinées entre elles, jusqu’à 3 niveaux au total

Trois types de scalabilité hybride sont possiblesSNR + spatiale

1 SDTV/CIF, basse qualité2 HDTV/SDTV, basse qualité3 HDTV/SDTV, haute qualité



MPEG


Standard MPEG-2Scalabilité hybride, 2/2

spatiale + temporelle1 SDTV entrelacée2 HDTV entrelacée3 HDTV progressive

SNR + temporelle1 HDTV entrelacée, basse qualité2 HDTV entrelacée, haute qualité3 HDTV progressive, haute qualité



MPEG


Standard MPEG-2Data partitioning

Outil pour la robustesse aux erreurs

Les blocs de 64 coefficients DCT sont divisés ensous-ensembles (DC+basses fréquences, hautesfréquences)

Le sous-ensemble plus critique peut être envoyé sur uncanal plus robuste (Unequal error protection)

Il est nécessaire que le décodeur supporte le Datapartitioning (pas de backward compatibility)



MPEG


Le standard MPEG-4


5 parties principales (comme MPEG-1 et 2)18 parties supplémentaires, couvrant une variété deproblèmesP.e. MPEG4/part 10 coïncide avec H.264/AVC



MPEG


Standard MPEG-4Fonctionnalités

Codeur hybrideInteractivité

Manipulation du train binaire basée sur le contenu et sanstranscodageCodage hybride de données naturelles et synthétiquesAccès aléatoire amélioré

CompressionPerformance de compression amélioréeCodage du flux données en parallèle (stéréo TV)

Accès universelRobustesse en environnement bruitéScalabilité basée objet



MPEG


Standard MPEG-4Représentation basée objet

Une représentation basée objet est nécessaire pouratteindre les objectifs fixésAudiovisual object (AVO)

Différents AVOs codés dans des trains binaires différentsComposé d’une partie audio (mono, stéréo, synthétique,. . . ) et/ou une vidéo (naturelle, synthétique, . . . )

Plusieurs AVOs composants une AV scene

MPEG-4 définit la syntaxe pour la description de la scène



MPEG


Standard MPEG-4Audiovisual scene

Synthetic BG

AV scene

AV object

ImageStill

Audio object

Visual object



MPEG


Standard MPEG-4Visual coding

MPEG-4 fournit 4 types d’instruments de codage

Video object coding : codage d’un objet de forme arbitraire,naturel ou synthétique

Mesh object coding : codage d’un objet représenté par unegrille de points

Model-based coding : animation du visage et du corps humain

Still texture coding : codage d’images fixes (background)



MPEG


Standard MPEG-4Video object coding

Un video object (VO) est une succession de video objectplanes (VOP) constitués par :

Mouvement

Texture

Contours (Forme)

Si l’objet a une forme rectangulaire, le codage est pratiquementMPEG-2, car les objets sont divisés en macroblocs, codésensuite par un codeur hybride



MPEG


Standard MPEG-4Video object coding

Le mouvement est codé par prédiction des vecteurs voisins

Les vecteurs peuvent sortir de l’image et ont une précisiondouble par rapport à MPEG-2 (1/4 de pixel)

La texture est codée en mode Inter (prédiction + DCT/Q del’erreur) ou Intra (TCD ou transformée adaptée à la forme)

Forme codée par un alpha-plane

Codage simple et efficace d’une image “en niveaux de gris”Codage lossless (codage arithmétique avec prédictiontemporelle en Intra) et lossy (sous-échantillonnage etcodage lossless) de l’alpha-plane

Sprite coding : représentation de l’arrière-plan



MPEG


Standard MPEG-4Codage par sprites et VO



MPEG


Standard MPEG-4Mesh object coding

Représentation par grille du mouvement (déformation)



MPEG


Standard MPEG-4Model-based coding

Animation des points de contrôle pour représenter les émotions



MPEG


Standard MPEG-4Still texture coding

TO Daubechies ou TO adaptée à la formeCodage DPCM pour les coefficients LLAlgorithme de codage basée sur les arbres de zéros pourles coefficients hautes fréquences

Exploite la corrélation inter-bandeFaible complexité et excellente compression

Codage arithmétique adaptatifScalabilité en qualité et en résolution

CoderDWT

Q Predict

Q PredictOther bands

Lowest band

Still texture Arithmetic



MPEG


Standard MPEG-4Scalabilité

Frame-rate et résolution : comme en MPEG-2

Qualité : fine grain scalability grâce au codage par plansde bits

Objet : la scène peut être composée en utilisant unsous-ensemble des AVOs disponibles



MPEG


Standard MPEG-4Robustesse aux erreurs

La robustesse aux erreurs est obtenue à l’aide de trois types detechniques :

Resynchronisation (resynchronization)

Partition des données (data partitioning)

Récupération des donnes (data recovery)



MPEG



Resynchronisation

Nécessaire pour recommencer le décodage lors d’uneerreur

Aide à la récupération des données et à la dissimulationdes erreurs (error concealement)

Marqueurs de re-synchronisation

Information supplémentaire pour chaque paquet (numérode MB et quantificateur)



MPEG



Partition des données

Séparation entre mouvement et texture

Marqueurs supplémentaires

Si la texture est corrompue, on peut utiliser le mouvementpour cacher l’erreur (copie du bloc de l’image de référence)

Récupération des donnes

Technique de codage sans perte moins performante maisplus robuste

Décodage possible “en avant” et “en arrière” (RVLC)



MPEG



Comme en MPEG-2, il est possible de limiter les fonctionnalités(profils) pour des plusieurs résolutions (niveaux)

1 Simple Visual Profile : codage efficace pour AVOsrectangulaires. Adapté aux réseaux mobiles

2 Simple Scalable Visual Profile : rajoute le support à lascalabilité spatiale et temporelle

3 Core Visual Profile : rajoute le codage d’objets de formearbitraire

4 Main Visual Profile : codage entrelacé, sprite, codage duplan alpha

5 N-Bit Visual Profile : pixel-depth de 4 à 12 bits

D’autres profils ont été ajoutés aux versions plus récentes dustandard



MPEG


ConclusionsPour approfondir

1 A. Bovik. Handbook of image and video processing2 I. Richardson. H.264 and MPEG-4 Video Compression3 Special issues de IEEE Trans. Circ. Video Tech.



MPEG


Conclusions

MERCI DE VOTRE ATTENTION !

Questions ?

Contact : [email protected]


Standards de codage vid o - IMTIntroduction Compression MPEG Standards de codage vidéo Béatrice...

Documents

Transcript of Standards de codage vid o - IMTIntroduction Compression MPEG Standards de codage vidéo Béatrice...