the Dutch Guild of Multi-Media Engineers
description
Transcript of the Dutch Guild of Multi-Media Engineers
![Page 1: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/1.jpg)
09-10-2008
the Dutch Guild of Multi-Media Engineers
![Page 2: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/2.jpg)
09-10-2008
Multi Channel Audio voor (HD) Video
the Dutch Guild of Multi-Media Engineers
Peter SchutChief Technical Officer – Axon Digital Design
![Page 3: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/3.jpg)
09-10-2008
Waarom deze presentatie
• Omdat Hank van de Loo mij weer wist te strikken voor een klusje bij ‘de Guild’
• Audio is het ondergeschoven kind in de video industrie• Vooral met de introductie van HD gaat er het een en
ander veranderen• Vooral meerkanaals audio is een uitdaging waar vele
extra zaken onder controle gehouden moeten worden.
![Page 4: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/4.jpg)
09-10-2008
Agenda
• PCM, het SD-SDI embedded tijdperk• Dolby E
– Metadata– RP2020
• Dolby Digital– Metadata– DialNorm
• Upmixing• Dolby Digital plus• AAC+ (Dolby Pulse)
![Page 5: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/5.jpg)
09-10-2008
PCM de originele embedded domein standaard
• 15 jaar geleden bestond embedded audio uit 4 PCM kanalen, (2x AES/EBU – groep 1)
• Dit was de standaard hoofdzakelijk gevormd door de Sony Digi-Betacam
• Het NOB was een ‘early adaptor’ met een MCR en infrastructuur volledig embedded.
• De trade-off opgedragen door Gerrit de Nooijer was 5000 gulden back to back, anders was een separate audio laag interessanter
• Vandaag de dag is embedded audio de normaalste zaak van de wereld
![Page 6: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/6.jpg)
09-10-2008
Dolby E
![Page 7: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/7.jpg)
09-10-2008
Er ontstond een vraag naar meer audio kanalen
• De Digi-Beta triggerde met zijn limiet van 4 audio kanalen een nieuwe uitdaging.
• Dolby E was een aardig alternatief om meerdere audio kanalen in een bestaande infrastructuur te gebruiken
• De compatibiliteit met metadata voor meer kanalen surround was een additionele plus, maar in eerste instantie niet de belangrijkste reden van het gebruik van Dolby E
![Page 8: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/8.jpg)
09-10-2008
Wat is Dolby E
• Dolby E is een AES/EBU compatibel signaal• De meeste AES/EBU transport apparatuur is
transparant (no SRC)• Het heeft meestal video framerate van 25 of 30Hz• Het is meestal 20 bits @ 48kHz• 8 mono kanalen passen in een Dolby E stroom• Extra features
– Zeer hoge kwaliteit die meerdere encodeer en decodeer slagen toelaat.
– Zeer robuust bij schakelen in video – Zeer uitgebreide metadata en tijdcode
![Page 9: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/9.jpg)
09-10-2008
Encoderen en decoderen
Sync T/C
AudioEncode
Metadata
Mux
4 AESpairs
Metadata
2 Ch.DigitalAudio
Sync T/C
Demux
Metadata
AudioDecode
4 AESpairs
Metadata
• Tot 10 encodeer/decodeer slagen• Naadloos switchen
![Page 10: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/10.jpg)
09-10-2008
Dolby E data rates
• Door de ruime data rates is Dolby E redelijk transparant
Bit Depth
24 bits
24 bits
20 bits
20 bits
16 bits
16 bits
Program Config
5.1 + stereo
four stereo
5.1 + stereo
four stereo
5.1
three stereo
Channel Data Rate
308 kbps
274 kbps
257 kbps
228 kbps
286 kbps
243 kbps
![Page 11: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/11.jpg)
09-10-2008
Dolby E bij editen of schakelen
• Elk Dolby E frame correspondeert met een video frame• Een ‘guard band’ voorziet in een safe area voor
schakelen in de stroom of tussen 2 stromen.
V ideo fram e in te rva l
B itdepth
C oded fram e
![Page 12: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/12.jpg)
09-10-2008
Dolby E bij editen of schakelen
• Bij PCM zal het schakelen in de stroom de audio samples verminken
• De Dolby E ‘guard-band’ beschermt de audio data
audio audio audio audio
D olby E D olby E D olby E D olby E
![Page 13: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/13.jpg)
09-10-2008
Dolby E naadloze crossfade
• Cross fades worden automatisch door de decoder ondersteund door een overlap functie van 5ms
Seamless splice
Stream 1 S tream 1 S tream 2 S tream 2
![Page 14: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/14.jpg)
09-10-2008
Dolby E Metadata
• De Dolby E metadata bevat (consumer-) informatie om de Dolby Digital encoder in de transmissie te sturen
• Deze metadata zal uiteindelijk de set-top box of surround decoder instellen
Dolby EDecoder
Dolby DigitalEncoder
metadata
![Page 15: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/15.jpg)
09-10-2008
Dolby E Metadata
• Deze metadata is een geintegreerd onderdeel van Dolby E
• Dolby E encoders en decoders kunnen die metadata manipuleren
• Encoders kunnen omgaan met errors in metadata• Als een decoder geen Dolby E ziet maar PCM, kan hij
naar een preset omschakelen die de juiste metadata genereert
• Er zijn twee metadata categorieën– Consumer metadata voor de transmissie van Dolby Digital
(plus)– Professionele metadata voor het transmissie systeem
![Page 16: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/16.jpg)
09-10-2008
Dolby E Metadata velden
• Consumer metadata fields:– Channel configuration– Dialogue normalization value– Dynamic range compression values– Other Dolby Digital control parameters
• Professional metadata fields:– Program configuration– Video frame rate– SMPTE time code– Channel gain words– Channel meter values
1 set per 1 set per programprogram
1 set per Dolby E stream1 set per Dolby E stream
1 set per channel1 set per channel
![Page 17: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/17.jpg)
09-10-2008
Dolby E Latency
• Dolby E encoding en decoding kent een frame vertraging
• Het decoderen kan in principe korter, maar zal nooit laag genoeg zijn om het te kunnen verwaarlozen
• Om deze reden, een video frame delay
![Page 18: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/18.jpg)
09-10-2008
To E or not to E?
• Dolby E was in eerste instantie nodig omdat de gebruikte apparatuur niet compatibel was met meer dan 2 AES/EBU stromen
• Ten 2e was het gebruik van metadata een enorm voordeel in deze ‘multi-channel’ toepassingen
• Het nadeel zijn de encodeer en decodeer slagen die speciale hardware vergen, en de bijkomende vertragingen van een frame per coding slag.
• Apparatuur kan nu vaak wel 8 mono kanalen of meer aan, dus waarom nog Dolby E?
• Voor de metadata is er nu ook een alternatief:– RP2020
![Page 19: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/19.jpg)
09-10-2008
RP2020
• RP2020 is een standaard die voorziet in het transporteren van Metadata binnen de blanking van het video signaal.
• Het gebruikt deze VBI ruimte op een manier vergelijkbaar met tijdcode in de HD wereld.
• Embedded data pakketten bevatten deze metadata• Nadeel:
– Veel apparatuur niet transparant– Geen harde koppeling tussen audiodata en metadata– Op dit moment nog niet echt praktisch toepasbaar
![Page 20: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/20.jpg)
09-10-2008
Dolby Digital
![Page 21: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/21.jpg)
09-10-2008
Dolby Digital bij film
• 35mm Film: Dolby Digital soundtrack• Tussen de sprocket gaten
Analoge audio
![Page 22: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/22.jpg)
09-10-2008
Bioscoop - Thuis
Cinema Home
Gedefinieerd luister volumeGekalibreerd op 85dBc front, 82dBc rear
Gebruiker bepaalt volume
Afspeel apparatuur kan volledige dynamiek aanMinimale standaards zij gedefinieerd
Alles mogelijk tussen een koptelefoon en vloerstaande speakers
5.1 audio wordt altijd als 5.1 afgespeeld
7.1 digitale home theaters tot draagbare mono TVs
![Page 23: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/23.jpg)
09-10-2008
Dolby audio metadata
• Data over audio data die beschrijft en controleert• Is een onderdeel van elke Dolby E en Dolby Digital
stroom (ook Dolby Digital plus en binnenkort Dolby Pulse)
• Compatibel met > 1 miljard afspeel apparaten
DOLBYDOLBYDIGITALDIGITAL
DECODERDECODERDOLBYDOLBYDIGITALDIGITAL
ENCODERENCODER
USERSET-UP
AUDIO DATA
DATADATASTREAMSTREAM
METADATA
AUDIO DATA
![Page 24: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/24.jpg)
09-10-2008
Welke specs moest Dolby Digital hebben?
• Het leveren van een betere kwaliteit!– Een betere frequentie karakteristiek– Groter dynamisch bereik
• De gemiddelde luidheid zou constant moeten zijn!!!
• Meer aan het einde van deze presentatie• Compatibel met alle reeds bestaande afspeel
apparatuur– Mono TV’s– Stereo TV’s– Pro-Logic home cinema's
• Maar ook Digitale home cinema's
![Page 25: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/25.jpg)
09-10-2008
Het leveren van een betere kwaliteit!
• Dolby Digital encoding algoritme is 24bit• S/N voor Dolby Digital is >110dB
![Page 26: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/26.jpg)
09-10-2008
Compatibel met alle reeds bestaande afspeel apparatuur
• Een aansluiting voor alle opties
System Connection
Mono TV RF Input
Stereo TV SCART
Pro-Logic home cinema Line level RCA ingangen
Digital home cinema Co-Axial of Optical digital input
(tegenwoordig ook HDMI)
![Page 27: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/27.jpg)
09-10-2008
Een consumenten receiver
DTV
AnalogueTV RF
Out
LineOut
DigitalOut
Audio System
![Page 28: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/28.jpg)
09-10-2008
Het downmix proces
INSIDEINSIDEDECODERDECODER
LL
RR
LoLo
RoRo
CC C mix
+
+
LSLS S mixS mix
+
+
RSRS
LFELFE ??NOT USEDNOT USED
S mixS mix
![Page 29: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/29.jpg)
09-10-2008
Dynamiek controle
• Verandert niet de gecodeerde code• Gain wordt berekend in de encoder, maar wordt
toegepast in de decoder• Alle kanalen worden samen behandeld• Verschillende type programma's hebben verschillende
DRC karakteristieken– Attack/release times– Compression slopes/thresholds
![Page 30: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/30.jpg)
09-10-2008
Dynamiek controle
00
-10-10
-20-20
-30-30
-40-40
-50-50
-60-60
-70-70
-80-80
dBFSFull Range
SignalLine LevelOutputs
RFOutput
![Page 31: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/31.jpg)
09-10-2008
Downmix voor alle uitgangen
DOLBYDOLBYDIGITALDIGITAL
ENCODERENCODER
A SINGLEBITSTREAMDELIVERED
TO MANYRECEIVERS
DIGITALPASSTHROUGH
SET-TOP BOX
5.1
DIGITALDIGITALHOME THEATERHOME THEATER
DIGITALPASSTHROUGH
SET-TOP BOX
5.1
DIGITALDIGITALHOME THEATERHOME THEATER
Lt / RtDOWNMIX
HOME THEATERHOME THEATER
PROLOGIC
HI-FI VCR
STEREODOWNMIX
STEREO,STEREO,HEADPHONESHEADPHONES
MONODOWNMIX
TV RF REMODTV RF REMOD
![Page 32: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/32.jpg)
09-10-2008
Andere metadata
• Channel mode en LFE• Is dit 5.1 or stereo?• Dolby Surround mode• Is dit een stereo mix matrix encoded?• Audio production information• Mix level• Room type• Zie ‘A Guide to Dolby Metadata’ verkrijgbaar op
www.dolby.com voor alle details
![Page 33: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/33.jpg)
09-10-2008
Upmixing2.0 naar 5.1
![Page 34: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/34.jpg)
09-10-2008
Upmixing
• In transmissie is het schakelen tussen 2.0 (stereo PCM) en 5.1 een lastige zaak.
• Hiervoor is een upmixing proces gemaakt• Deze zorgt voor een constante 5.1 transmissie, zelfs
als de bron 2.0 is• Linear Acoustic is een van de pioneers op dit vlak
– Binnenkort ook verkrijgbaar bij Axon
![Page 35: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/35.jpg)
09-10-2008
Upmixing
![Page 36: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/36.jpg)
09-10-2008
Dolby Digital Plus
![Page 37: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/37.jpg)
09-10-2008
Dolby Digital plus
• Zowel een professioneel als consumer formaat• Voor de consument de manier om 7.1 in transmissie of
op een optische drager te krijgen (BlueRay)• Hogere compressie, of betere kwaliteit bij gelijke
bandbreedte• Metadata structuur gelijk aan Dolby Digital• Dolby Digital plus gaat hand in hand met MPEG4/H264• Verplicht in Frankrijk bij HD transmissie• Kan meerdere audio stromen bevatten (audio
description)• Makkelijk te transcoderen naar AC3 voor compatibiliteit
![Page 38: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/38.jpg)
09-10-2008
AAC+ (omgedoopt naar Dolby Pulse)
![Page 39: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/39.jpg)
09-10-2008
Dolby Pulse
• Door de aankoop van Coding Technologies is de zeer efficiënte AAC+ nu in handen van Dolby
• Dolby Pulse is AAC in een Dolby Digital plus jasje• Net geïntroduceerd op IBC• We zullen zien …..
![Page 40: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/40.jpg)
09-10-2008
DialNorm
![Page 41: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/41.jpg)
09-10-2008
De gemiddelde luidheid zou constant moeten zijn !!!
• dBFS Leq(A)• Leq(A) is een lange termijn gemiddelde meting van de
luidheid van geluid• Leq(A) gebruikt A-weighting om de frequentie curve
van het oor te simuleren• Oorspronkelijke gebruikers:
– samplen het programma een paar seconden– Passen het volume aan tot het goed is
• Dolby Digital gebruikt Dialogue Normalisation (DialNorm) om verschillen te corrigeren bij het afspelen
![Page 42: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/42.jpg)
09-10-2008
Wat is DialNorm?
-20 dBFS-20 dBFS
0 dBFS0 dBFS
-10 dBFS-10 dBFS
-30 dBFS-30 dBFS
-40 dBFS-40 dBFS
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
DigitalFull Scale
-50 dBFS-50 dBFS
-24
![Page 43: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/43.jpg)
09-10-2008
Wat is DialNorm?
-20 dBFS-20 dBFS
0 dBFS0 dBFS
-10 dBFS-10 dBFS
-30 dBFS-30 dBFS
-40 dBFS-40 dBFS
DIALOGUELOUDNESSAT -31 dBFS
DigitalFull Scale
-50 dBFS-50 dBFS
WITHDIALOG NORMALIZATION
PROGRAMLEVEL
SHIFTED-7 dB
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
![Page 44: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/44.jpg)
09-10-2008
Enkele typische audio signalen
-27
ACTIONFILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS
-24 -21 -20
-10
-20
-7
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
0 dBFS
-10 dBFS
-20 dBFS
-30 dBFS
-40 dBFS
![Page 45: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/45.jpg)
09-10-2008
Hoe worden die uitgezonden?
ACTIONFILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
0 dBFS
-10 dBFS
-20 dBFS
-30 dBFS
-40 dBFS
![Page 46: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/46.jpg)
09-10-2008
Enkele typische audio signalen
-27
ACTIONFILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS
-24 -21 -20
-10
-20
-7
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
0 dBFS
-10 dBFS
-20 dBFS
-30 dBFS
-40 dBFS
![Page 47: the Dutch Guild of Multi-Media Engineers](https://reader036.fdocuments.us/reader036/viewer/2022081603/56814348550346895dafc13e/html5/thumbnails/47.jpg)
09-10-2008
Uitgezonden met Dolby Digital
ACTIONFILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS
AVERAGE DIALOGUEAVERAGE DIALOGUE SIGNAL PEAKSSIGNAL PEAKS
0 dBFS
-10 dBFS
-20 dBFS
-30 dBFS
-40 dBFS