1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1...

32
1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur Université de Paris 5 – René Descartes Laboratoire CNRS PRISM 45, av. des Etats-Unis - 78035 Versailles [email protected] 2 Plan 1. Principes des Communications multimedia 2. Algorithmes et normes de compression Audio/Vidéo 3. Protocoles et architectures IP pour le multimédia 4. Service de téléphonie sur IP : Technologies, Produits

Transcript of 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1...

Page 1: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

1

CommunicationsMultimedia

Systèmes, Réseaux et Services

Ahmed MEHAOUA

ProfesseurUniversité de Paris 5 – René Descartes

Laboratoire CNRS PRISM45, av. des Etats-Unis - 78035 Versailles

[email protected]

2

Plan

1. Principes des Communications multimedia

2. Algorithmes et normes de compression Audio/Vidéo

3. Protocoles et architectures IP pour le multimédia

4. Service de téléphonie sur IP : Technologies, Produits

Page 2: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

2

3

Bibliographie

• Internet, Multimédia et Temps réel,Jean-François Susbielle, Eyrolles, 2001

• Qualité de service sur IPJean-louis Melin, Eyrolles, 2001

• Http://www.mpeg.org

4

Définition : le multimédia• La “communication multimédia” est une communication faisant

appel simultanément à plusieurs “moyens” ou “média” pour faire passer un message.

• Aujourd’hui, le terme multimédia est utilisé pour faire référence

“aux techniques de communication multimédia”.

• Objet Multimédia : Brique de base du multimédia.

– Leur caractéristique est de contenir l’information

• Analogique : Vidéo, Image, son, audio

• Numérique : Texte, image de synthèse, …

– Objet multimédia composite : vidéo, page web html, …

Page 3: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

3

5

Chaîne d’exploitation

1. Capture ou saisie

2. Numérisation

3. Codage (JPEG, MPEG, H.26x, …)

4. Stockage (Serveur, DVD, format fichier, …)

5. Transmission (IP, ATM, LAN, sans-fil, …)

6. Chaîne de restitution

6

Technologies / ExpertisesMultiples

Page 4: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

4

7

On-demand Streaming

Stockage

PlaybackLocal

Conferencing

Téléchargement

Live Streaming

Distant Local

Type de Communications Multimédia sur IP

serveur

(4)

(1)

(2) (3)

8

Classification des Services multimédia

Interactivité (vision utilisateur) [ITU I.112]

Conversationelle (visio / vidéoconférence)

Téléchargement (Vidéo a la demande)

Messagerie (Mail multimédia)

Diffusion (TV, radio)

Page 5: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

5

9

Type de Communications Multimédia sur IP

ConferencingConferencing

10

Type de Communications Multimédia sur IP

BroadcastingBroadcasting

Page 6: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

6

11

Type de Communications Multimédia sur IP

Video on DemandVideo on Demand

12

Streaming Streaming VidéoVidéo sursur IPIP

RealNetworks

.RM

Windows Media

. WMV

.MOV

RealNetworks

WindowsMedia

AppleQuickTime

QuickTime

ProducerEncoder

Server

Client

.MP4

Page 7: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

7

13

Multimédia Distant

• Problèmes :

– Synchronisation des médias / des systèmes

– Ressources de communication partagées chères

– Congestion : Contrôle des erreurs et des pertes

14

Optimisation des communications

Multimédia1. Numériser

2. Compresser

3. Multiplexer

• Coder à débit variable (qualité audio et vidéo)

• Transmettre à débits binaires variables (VBR)

• Utiliser un réseau à commutation de paquets

4. Routage multicast (Comm. de groupe)

Page 8: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

8

15

Numérisation- la clé du multimédia -

signal analogique

quantification signal digitalisé

échantillonnage

16

Numérisation (2)

Voix Internet 3400 Hz 27 Kbps

Voix PCM 8000 Hz 64 Kbps

Audio FM 22.05 KHz -

Audio Nicam 32 KHz -

Audio CD 44.1 KHz 1441 Kbps

Audio DAT Studio 48/96 KHz > 7,6 Mbps

Vidéo TV Numérique 13.5 MHz 240 Mbps

Partage d'application 100 Kbps

Vidéoconférence 128 - 1024 Kbps

TV HD numérique 600 Mbps

Réalité virtuel > 100 Mbps

Page 9: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

9

17

Traitement de la voix

VoixIP

COD

EC

DSP

Sile

nt s

up

Numérisation Compression Encapsulation

18

Codage de la voix

.2125micros

20 ms 10 ms 30 msLongueur

trame 2,5 ms

.2

Page 10: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

10

© Ahmed Mehaoua - 19

Vidéo Numérique

•• EchantillonnageEchantillonnage de :– axes h et v : donne la résolutionrésolution spatialespatiale– axe t : donne la résolutionrésolution temporelletemporelle

•• Ratio Ratio d’aspectd’aspect :: 4/3 ou 16/9•• QuantificationQuantification :

– 13.5 Mhz et 6.75 Mhz (Vidéo)– 32 Khz (Audio)

•• CodageCodage de chaque pixel : – donne la résolutionrésolution chromatiquechromatique (15-24 bits)

t

h

v

•• ObjectifObjectif :1. préserver la qualité lors de copies multiples2. facilité le stockage, la manipulation et la transmission

•• PrincipePrincipe : numériser chacun des signaux vidéo analogiques

(1) échantillonnner, (2) quantifier, (3) coder

© Ahmed Mehaoua - 20

Les formats vidéo numériques

PARAMETER SQCIF QCIF CIF 4CIF 16CIF SIF NTSC SIF PAL/SECAM

Active Pixels/Ligne (L) 128 176 352 704 1408 352 352

Active Lines/Image (L) 96 144 288 576 1152 240 288

Color Format YCbCr YCbCr

Color subsampling 4:1:1 4:2:0 4:2:0

Color Resolution (bits per pixel) 8 8 8

Temporal Resolution 30 30 25

Raw bit rate (Mbit/s) 4.4 9.115 36.45 146.0 583.9 36.45 36.45

Video DiscVideoConférence

CIF : Common Intermediate Format SIF : Standard Image Format

Page 11: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

11

© Ahmed Mehaoua - 21

Les formats vidéo numériques (2)

PARAMETER SHD SMPTE 240M ITU-R BT.601 NTSC ITU-R BT.601 PAL/SECAM

Pixels/Line (L) >2048 1920 720 720

Lines/Image (L) >2048 1152 484 575

Color Subsampling 4:4:4 4:2:0 4:2:2 4:2:2

Color Format RGB YCbCr

Color Resolution (bpp) 24 24 16 16

Temporal resolution (fps) >60 30/60 30 25

Raw bit rate (Mbit/s) > 5700 506 166 166

TV numérique

DVD NTSC DVD PAL

SDTVHDTV

22

• Normes Video de 1ère génération

– JPEG et Motion JPEG– H.261– MPEG-1

• Normes Video de 2ème Génération

– H.263 (H.263+)– MPEG-2/H.262

• Normes Video de 3ème Génération

– MPEG-4/H.264– MPEG-7– MPEG-21

Codage VidéoNormes de l’OSI MPEG et UIT

Page 12: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

12

23

Multiplexage des flux VidéoCodage/transmission en mode CBR ou VBR ?

EncodeurVidéo

EncoderBuffer

CBRVideo

VBRVideo

FeedbackControl

VBRFlux

CBRTransmission

VBRTransmission

UNIBuffer

CBRTransmission

VBRTransmission

Serveur/Encodeur User-NetworkInterface

réseaux

Téléphoniesur RNIS

TV numériquepar Internet

TV numériquepar ADSL

Téléphonie sur IP

24

Débits Vidéo

Page 13: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

13

25

Multicast Vidéo sur IP

26

Multicast IP• Pour offrir un service de distribution multicast sur IP il faut :

1. Un adressage multipoint 224.0.0.0 à 239.255.255.255 (IPV4)ffxy::/64 (IPV6)

2. Un protocole d’annonce des sessions multicastSAP : Session announcement Protocol

3. Un protocole de gestion de groupes d’utilisateurs : MLD (Multicast Listener Discovery) pour IPv6IGMP (Internet Group Management Protocol) pour IPv4

4. Un protocole de routage multicastM-OSPF, PIM

Page 14: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

14

© Ahmed Mehaoua - 27

Système visuel humainLa rétine est une mince couche tapissant le fond de l’œil etconstituée de 2 sortes de cellules disposées côte à côte:

–– cellules à bâtonnet cellules à bâtonnet (vision nocturne)• sensibles à l’intensité lumineuse • nombreuses : 120 millions

–– cellules à cônecellules à cône (vision diurne)• Peu sensibles à la luminosité• sensibles aux couleurs• peu nombreuses : 6 millions• se répartissant en trois populations en fonction du pigment qu'elles renferment;• ont une réaction électrique maximale quand on les éclaire avec des radiations

bleuebleue (435 nm), vertvert (547 nm) ou rougerouge (700 nm) ;• L'existence de ces 3 types de pigments rend compte du caractère trichrome de

la vision humaine et justifie, a posteriori l’utilisation du modèle RVB/RGB.

Axe optique

rétine

nerf optique

400 500 600 700 750400 500 600 700 750

Violet Bleu Vert Jaune RougeViolet Bleu Vert Jaune Rouge

© Ahmed Mehaoua - 28

Système visuel humain (2)

• Les longueurs d'onde de la lumière visible par l’œil sont comprises entre 400400 (violet) et 750750 (rouge) nm.

• Une image peut être représentée par la superposition de 3 matrices de valeurs d’intensité des couleurs RGB

lumière

400 500 600 700 75400 500 600 700 7500

Violet Bleu Vert Jaune RougeViolet Bleu Vert Jaune Rouge

Page 15: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

15

29

ReprésentationReprésentation des des couleurscouleursformats RGB formats RGB vsvs YUVYUV

VV

UU

OriginaleOriginale

YYRR

GG

BB

© Ahmed Mehaoua - 30

Particularité du SAH• Le système audio visuel humain (SAH) :

1. est plus sensible aux variation de luminosité qu’aux couleurs,1. Choisir un format de représentation des couleurs optimisé (YUV)

2. ne peut distinguer que 4 millions de nuances de couleurs,1. Sous échantillonner les signaux de couleurs

3. Requière un raffraichissement des images > 40 Hz1. Utiliser la technique de l’entrelacement des images2. Ou la technique du doublement de frequences

4. Ne perçoit pas les détails dans les zones peu lumineuse

5. Sensible aux basses fréquences et peu aux hautes fréquences1. Représenter les pixels par des coefficients de fréquences

(transformé de Fourrier)

2. Appliquer ensuite un filtre numérique (La quantification)

Page 16: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

16

31

Compression Compression VidéoVidéoPourquoiPourquoi et Comment ?et Comment ?

1. Réduction de la résolution chromatique

2. Réduction de la taille de l’image

3. Réduction de la fréquence d’image4. Eliminer les informations inutiles et/ou redondantes

Taille des fichiers vidéo numérique très important excède les capacités de stockage et de communication :Exemple pour 2 heures de TV numérique CCIR 601 :

- 149 Go de stockage requis- 166 Mbp/s de bande passante

La solution est la compression des images par la :

32

Les Les algorithmesalgorithmes de Compressionde Compression

• Redondances Spatiales (codage intra-image) :– codages prédictifs (DPCM, ADPCM)

• Redondances temporelles (codage inter-image)– estimation et compensation de mouvement– codages prédictifs (DPCM, ADPCM)

• Redondances statistiques– codage en entropie (Huffman, arithmétique)

• Redondances psycho-visuelle– Sous échantillonage des couleurs– transformation (DCT, FFT)– quantification

Page 17: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

17

© Ahmed Mehaoua - 33

Technologies Propriétaires

Formats très répandus pour les PC / MAC et sur Internet :

- Sorenson QuickTime (Apple) -> QT 5.0 compatible vidéo MPEG-4

- Indéo (Intel)

- CinéPack (Cinépack)

- RealVideo (Real Networks) -> RealVideo G2 compat. H.263

- Windows Media (Microsoft)

- VP (On2 Technologie)

Problème : non compatibles entre eux - besoin de pré-télécharger chacun des décodeurs/player – évolutivité - interfaçage.

34

3 modes de compression 3 modes de compression d’imaged’image-- GroupeGroupe d’Imagesd’Images MPEG MPEG --

I B B P B B P B B P B B I

Groupe d'images (GOP) (N = 12, M = 3)

1. I : Image codée Intra2. P : Image codée Prédictivement par rapport à une autre image3. B : Image Codée prédictivement en fonction de 2 autres images

Page 18: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

18

© Ahmed Mehaoua - 35

Structure des flux vidéo numérique

1 Image= m bandes

= n blocs de pixels

Une Séquence vidéo = i groupes d'images

Groupe d'images (GOP)= k images

1 bande= p macroblocs

1 Macrobloc= 4 blocs

q pixels

r pi

xels

. . . . . . . .

1 Bloc= q x r pixels q = r = {4, 8, 16}

Groupe d'images (GOP)= k images

36

Propagation des Erreursentre IMAGES

1

2

6

3

4

5

Page 19: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

19

37

Propagation des Erreursdans une image

38

Image I : Image I : codagecodage spatialspatialType JPEGType JPEG

Page 20: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

20

39

Image P : Image P : codagecodage temporeltemporelType MPEG/H.26xType MPEG/H.26x

• La redondance temporelle peut être exploitée par inter-codage, en transmettant uniquement les différences entre images successives.

• La figure suivante montre que des images complètes sont transmises périodiquement. Elles sont appelées images de références ou « intra-codées » (images I), et elles sont uniquement obtenues par compression spatiale.

– S’il se produit une erreur ou si un changement de scène intervient, on retrouve un décodage correct à l’image I suivante.

40

Image P :Image P :CodageCodage PredictifPredictif + + codagecodage spatialspatial

DCTQuantification

RLE

DC

AC

Huffman. . . 10110010111

CodageEntropique

Zig-ZagScan

Pourchaque

Bloc

Vecteur demouvement

+Vecteur demouvement

Difference

Image courante

meilleureconcordance

Image résiduelle

Image Référence

Key Frame

PredictedFrame

Page 21: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

21

41

Estimation de Estimation de MouvementMouvement

MV

MH

Image Référence

Image Courante

Zone derecherche

Meilleureconcordance

Macroblocs

Mean Squared Error (MSE) :

( )M i jMN

X Xm n m i n jR

n

N

m

M

111

21( , ) , ,= − + +

==∑∑ avec i m j n≤ ≤2 1,

42

ErreurErreur de de l’estimationl’estimation de de mouvementmouvement

Image résiduelleImage résiduelle

Page 22: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

22

43

Transformation DCTTransformation DCT

DCT

Basses Fréquences

Moyennes Fréquences

Hautes Fréquences

132 136 138 140 144 145 147 155

136 140 140 147 140 148 155 156

140 143 144 148 150 152 154 155

144 144 146 145 149 150 153 160

150 152 155 156 150 145 144 140

144 145 146 148 143 158 150 140

150 156 157 156 140 146 156 145

148 145 146 148 156 160 140 145

172 -18 15 -8 23 -9 -14 19

21 -34 24 -8 -10 11 14 7

-9 -8 -4 6 -5 4 3 -1

-10 6 -5 4 -4 4 2 1

-8 -2 -3 5 -3 3 4 6

4 -2 -4 6 -4 4 2 -1

4 -3 -4 5 6 3 1 1

0 -8 -4 3 2 1 4 0

44

DCTDCT

3 coef. DCTpar bloc

(AC + 2 DC)

1 coef. DCT par bloc(AC)

6 coef. par bloc(AC + 5 DC)

64 coef. DCTpar bloc

(AC + 63 DC)

Page 23: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

23

45

Quantification (suite)Quantification (suite)

46

• Les flux vidéo contiennent très souvent des groupes ou blocs de pixels qui possèdent la même valeur, par exemple dans des zones uniformes de l’image. RLE se propose de remplacer chacun de ces blocs par une valeur unique de pixel (jeton) associée au nombre de fois que cette valeur apparaît (run-length).

• Ce couple de nombres (valeur, nombre de répétitions) ou (jeton, run-length) est séparé par un drapeau qui ne fait pas partie intégrante du flux vidéo. Par exemple le codage de la séquence de pixels ‘555555999222222220000077711’ pourra être remplacé par la paire de valeurs ‘(5,6) (9,3) (2,8) (0,5) (7,3) 11 qui ne requière plus que 12 nombres plutôt que 27 et le flux binaire sera alors représenté par ‘5!6 999 2!8 0!5 777 11’ soit 17 mots au lieu de 27.

• On constate avec cet exemple que le codage ne s’applique qu’aux valeurs apparaissant plus de trois fois consécutivement.

Run Length EncodingRun Length Encoding

Page 24: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

24

47

• Codage de Huffman a la propriété d'être optimal car il donne la plus petite moyenne de longueur de code de toutes les techniques de codage statistique

• Par exemple la séquence d’entiers soumise à un codage de Huffman générera la suite binaire qui minimise la hauteur moyenne de l'arbreminimise la hauteur moyenne de l'arbre Σi=0

n-1 pini.

Code intiale : ‘88888888811115555555555999999997755000’

Résultat dérivé de l’arbre binaire et de la table de VLC ci-dessous : ‘01 01 01 01 01 01 01 01 01 110 110 110 110 110 00 00 00 00 00 00 00 00 00 00 10 10 10 10 10 10 10 10 1110 1110 00 00 1111 1111 1111’

• La taille des données passe ainsi de 152 bits à 90 bits avec un codage effectuésur 4 bits max, soit un gain de 59 %.

CodageCodage de Huffmande Huffman

7

1

0

985

0

0 0

0

0

1

1

1

1

Valeur entière Code binaire

5 008 019 101 1100 11117 1110

701985

2348912

1

48

OSI MPEGOSI MPEG--22-- MultiplexageMultiplexage Audio/Audio/VidéoVidéo --

Horloge

Codeur vidéo

Codeur Audio

Paquétiseur

Paquétiseur

PES

PES

Multiplexeur ProgramStream

Multiplexeur Transport

Stream

Vidéo

Audio

PROGRAM STREAM

(paquets de longueur

variable, base de temps

commune)

TRANSPORT STREAM

(paquets de longueur fixe, pas de base

de temps commune)

ES

ES

DVD

DVB

Page 25: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

25

49

MPEGMPEG--2 DVB2 DVB-- Digital Video Broadcast Digital Video Broadcast --

Consortium de 220 membres de 30 pays établit en

Sept. 1993 sous l’egide de l’ETSI/ISO pour normaliserla diffusion de la vidéo MPEG-2 numérique :

– par câble DVB-C

– par voix hertzienne DVB-T– par satellite DVB-S– Interactive DVB-I– Multipoint (MMDS - < 10Ghz) DVB-MS

Avec préservation des fonctions des systèmes analogiquesexistants (Teletexte, brouillage, accès conditionnel, …)

50

MPEG-4Introduction

Norme multimédia développée par l’ISO (14496) et intégrant les technologies de 3 secteurs :

1. La TV numérique (compression audio/vidéo naturelle)2. Les applications graphiques 2D/3D (synthèse d’images)3. Le Web (interactivité, accès, transmission)

Objectif et Historique :– En 1993 : norme de codage audiovidéo à très bas débits– En 1994 : norme multimédia pour codage audio/vidéo par

objet– MPEG4 Version 1 - disponible depuis fin 1999

Page 26: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

26

51

1. Microsoft MPEG-4 Windows Media Format 7

2. Divx 3.11

3. OpenDivX

4. DivX 4/5

5. Xvid (open source)

6. 3ivX (mobile solutions)

7. Apple MPEG-4 - QuickTime 6

8. Envivio (BIFS)

9. Packet Video (Mobile solutions)

10. Sigma Designs et iVast (DSP Cable -STB)

11. Dicas

12. Sorenson (meilleure implémentation logicielle à ce jour)

13. Philips & TI (Soft & Hard)

14. STMicroelectronics (Chip Nomadikcodec H.263/MPEG4 ASP pour Telephone portable - Janv. 2003)

MPEG-4 partie 2 : les implémentations

1. Windows Media 92. Real Media 10

3. On2 VP74. ACT-L2

52

QualitéQualité VidéoVidéoAnalogiqueAnalogique vsvs NumériqueNumérique

Page 27: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

27

53

Mesure de la Qualité Vidéo :PSNR

RMSEPSNR 255log20 10⋅=

[ ]∑=

∑=

∑=

−⋅⋅

=K

k

N

i

M

jkjixkjix

KMNRMSE

1 1 12),,(ˆ),,(1

Soit une séquence vidéo de K images et de résolution spatiale MxN

• PSNR : Peak To Signal Noise Ratio• RMSE : Root Mean Square Error

54

Mesure PSNR : inconvénient

PSNRPSNRAA = 37 dB= 37 dB PSNRPSNRBB = 37 dB= 37 dB

Page 28: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

28

55

ComparaisonComparaisonMPEG2 / MPEGMPEG2 / MPEG--4 / H.263 / H.2644 / H.263 / H.264

Séquence Tempête CIF 30Hz

2526272829303132333435363738

0 500 1000 1500 2000 2500 3000 3500Débit binaire [kbit/s]

QualitéY-PSNR [dB]

MPEG-2H.263

MPEG-4JVT/H.264/AVC

56

SynchronisationMultimédia

1. Synchronisation à l’affichage ou “Playout” :

– Jouer le signal généré à l’instant “t”, à l’instant “t+∆t” en tenant compte de la variation du délai de transmission et des contraintestemporelles du processus de codage

2. Synchronisation Inter-Média

– Entre l’audio et la vidéo (Lip sync)

3. Synchronisation Intra-Média

– Tous les récepteurs doivent jouer en même temps (simulations, jeux)

-> S. Playout est toujours requis pour les médias continus.

-> S. Intra- et S. Inter peuvent être optionnelles

Page 29: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

29

57

Transport de flux vidéo sur IP

codeurVidéo

ContrôleurContrôleurde dde déébitsbits

Moniteur Moniteur de la de la QoSQoS

RTCPRTCPCouche RTP

Couche UDP

Couche IP

IGMPIGMP

PacketPacketschedulerscheduler

Flux entrants Flux sortants

Application level

Networklevel

Transportlevel

synchronisation

Contrôle des erreurs / débits

multicast

codeuraudio

58

•• Qu’est ce que c’est ?Qu’est ce que c’est ?RTP (Real-time Transport Protocol) est un protocole de transport de flux temps-réel en mode multicast ou unicast :– Conférence audio, vidéo interactive, diffusion vidéo, audio

Indépendant des couches réseaux mais habituellement implémenté au dessus de UDP/IP. Fortement couplé aux applications qu’il transporte : notion de PROFILCombiné a un protocole de signalisation de la qualité des transmissions RTCP (Real-time Transport Control Protocol) pour la mesure des performances et le contrôle de la session en cours,

•• Qui l’a développé ?Qui l’a développé ?IETF (RFC 1889 puis RFC 3550 depuis juillet 2003)

RTP/RTCP : principesRTP/RTCP : principes

Page 30: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

30

59

•• A quoi sert RTP ? A quoi sert RTP ? –– Segmentation / Réassemblage des donnéesSegmentation / Réassemblage des données–– Synchronisation des fluxSynchronisation des flux–– Indication du type de donnéesIndication du type de données–– Identification de l’Identification de l’emetteuremetteur (communication multipoint)(communication multipoint)–– Détection des pertesDétection des pertes–– Sécurisation des échanges (cryptage)Sécurisation des échanges (cryptage)

•• A quoi sert RTCP ?A quoi sert RTCP ?–– Fournir périodiquement des rapports sur la qualité des échanges Fournir périodiquement des rapports sur la qualité des échanges entre entre

récepteurs et émetteurrécepteurs et émetteur•• DownlinkDownlink : données envoyé, estampilles de temps: données envoyé, estampilles de temps•• UplinkUplink : pertes, délais, gigue: pertes, délais, gigue

–– Garder une trace de tous les participants à une sessionGarder une trace de tous les participants à une session•• CNAME (Canonical CNAME (Canonical NameName) : identifiant unique et permanent pour un ) : identifiant unique et permanent pour un

participantparticipant•• SSRC (Synchronisation Source Identifier)SSRC (Synchronisation Source Identifier)

RTP/RTCP : principesRTP/RTCP : principes

60

22 –– Transport IPTransport IP

RTP RTP –– EncapsulationEncapsulation

En-têteIP

En-têteETHERNET

En-têteUDP

En-têteRTP

FinETHERNET

DonnéesVOIX ou VIDEO

20 20 8 12 6

Page 31: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

31

61

PaquetsPaquets RTPRTP

Ptype0 PCM µ-Law8 PCM A-law9 G.7224 G.72315 G.72818 G.72931 H.26134 H.26394 MP4V96 MP4A

V : version RTPP : paddingX : en tête suivi d’une extensionCC : Nbre de source inclus dans le paquet RTPM: marqueur (fin d’image par exemple)

62

• RFC 2326• N° Port 554 (TCP ou UDP)

• RTSP, est un protocole de niveau Session pour visualiser en continu des flux multimédia à partir d’un serveur distant.

• Il offre un contrôle sur les flux audio et vidéo reçus en simulant les fonctions d’un magnétoscope tels que : pause, avance rapide, retour rapide, et accès direct.

• Les séquences peuvent être pré-enregistrées ou « Live ».

• RTSP est conçu pour fonctionner avec des protocoles tel que RTP,RSVP pour fournir un service « streaming » sur IP.

• Il permet de sélectionner le mode de transport (UDP, multicast UDP ou TCP) et les fonctions de RTP.

• Il supporte le multicast dense et l’unicast.

RTSP : principesRTSP : principes

Page 32: 1 communications multimedia - Paris Descarteshelios.mi.parisdescartes.fr/.../1.comm_multimedia.pdf1 Communications Multimedia Systèmes, Réseaux et Services Ahmed MEHAOUA Professeur

32

63

RTSP : RTSP : SetupSetup

Client

RTSP

Serveur

RTSP

DESCRIBE

SETUP

PLAY

RTP Audio/Vidéo

PAUSE

TEARDOWN

RTCP

64

Communication Multimédiasur IP : Conclusion

1. Optimisation des ressources de communications• Compression – Multiplexage – Routage multicast

2. Synchronisation• Niveau applicatif (RTP / RTSP) et/ou niveau Réseau ?

3. Contrôle des erreurs et des pertes• Niveau applicatif (RTCP, FEC) et/ou niveau Réseau (MPLS,

DiffServ, IntServ)