Materi 4 DISAIN MULTIMEDIA DASAR REPRESENTASI DATA MULTIMEDIA: VIDEO DAN KOMPRESI
description
Transcript of Materi 4 DISAIN MULTIMEDIA DASAR REPRESENTASI DATA MULTIMEDIA: VIDEO DAN KOMPRESI
MULTIMEDIA Sistem Informasi UNRIYO
Materi 4DISAIN MULTIMEDIA DASAR
REPRESENTASI DATAMULTIMEDIA:
VIDEO DAN KOMPRESI
MULTIMEDIA
Media Representation
• Text• Image• Audio• Video• Animation
Sistem Informasi UNRIYO
MULTIMEDIA
1/6/06
3
• Digital image is a 2-d array of pixels• Pixel is represented by bits in “color”
space– RGB (Red-Green-Blue) in CRT
• additive color
– CMY(Cyan-Magenta-Yellow) in printing• subtractive color
– YUV for black-white/color TV• luminance/chrominance
Image representation
Sistem Informasi UNRIYO
MULTIMEDIA
How we get digital video frames?
• synthesis (usually by computer program)
• sampling (an analog video signal)
MULTIMEDIA
Type of Color Video Signal
Component video --each primary is sent as a separate video signal.
• RGB atau luminance-chrominance (mis: YIQ, YUV).• Reproduksi warna terbaik• Membutuhkan bandwidth dan sinkronisasi dari 3
komponenComposite video -- color (chrominance) and
luminance signals are mixed into a single carrier wave.
S-Video (Separated video, e.g., in S-VHS) -- a compromise between component analog video and the composite video. It uses two lines, one for luminance and another for composite chrominance signal.
MULTIMEDIA
Tabel Warna
0
Indeks Warna
1
Monochrome,1 bpp
0
Indeks Warna
5
Greyscale, 8bpp
127153
191
255
0
Indeks Warna
5
CustomColour, 8 bpp
127153
191
255
0
Merah Hijau
5
RGB Colour, 24 bpp
127153
191
255
Biru
0
5127153
191
255
0
5127153
191
255
• Tabel Warna adalah kode yang memetakan indeks dengan warna tertentu
• Setiap sample gambar (pixel) berisi sebuah indek (terdiri dari bi-bit) dari Tabel Warna
• Semakin banyak bit per indeks, semakin kaya warna yang dimungkinkan, namun semakin boros bit digunakan per gambar
MULTIMEDIA
Additive Color RGB
Cyan
Magenta
Yellow
White
Red
Green
Blue
MULTIMEDIA
Hue-Saturation-Brightnes
A. Saturation B. Hue C. Brightness D. All hues
MULTIMEDIA
1/6/06
9
Video representation
• Video is a sequence of images– displayed at a certain rate
MULTIMEDIA
Sinyal Video Digital
TimeIndex
1
TimeIndexL
N x M pixel /frame
N x M x L x B bits video file
B bit/pixel
MULTIMEDIA
OBJEK: VIDEO
• Line Video Feed• Videodisc: CAV, CLV• Videotape: VHS, 88mm, Betacam• Digital Video• DVD• Hypervideo
• Standar Video Analog: NTSC, PAL, SECAM dan HDTV
• Standar Video Digital: SIF, CIF, QCIF, QSIF• Format File Video: AVI, MOV, MPEG, DAT, RM, SW,
DLL
MULTIMEDIA
Format Video Analog (Televisi)
• NTSC (National Television Standards Committee):– 525 baris, 60 Hz refresh rate. – 720 pixel per baris– Digunakan di Amerika, Korea, Jepang, dan Canada. – Frame rate 30 fps – Menggunakan format YIQ
• PAL (Phase Alternate Line):– 625 baris, 50 Hz refresh rate – 720 pixel per baris– Digunakan di sebagian besar Eropa Barat. – Frame rate: 25 fps – Menggunakan format YUV.
MULTIMEDIA
• SECAM (Sequintial Colour and Memory System) Séquentiel couleur avec mémoire – Digunakan di Perancis, Rusia, dan Eropa timur – Berdasarkan frequency modulation dengan 25
Hz refresh rate dan 625 baris.
• HDTV (High Definition TV)– Standar televisi baru dengan gambar layar
lebar, lebih jernih dan suara kualitas CD Auido. – Aspek ratio 16:9 dibandingkan dengan sistem
lain 4:3. – Resolusi terdiri dari 1125 (1080 baris aktif)
baris
MULTIMEDIA
Interlace Scan
• Adalah metode untuk menampilkan image/gambar dalam rasterscanned display device seperti CRT televisi analog, yang ditampilkan bergantian antara garis ganjil dan genap secara cepat untuk setiap frame.
• Refresh rate yang disarankan untuk metode interlaced adalah antara 50-80Hz.
• Interlace digunakan di sistem televisi analog: NTSC, PAL, SECAM
MULTIMEDIA
Progressive Scan
• Adalah metode untuk menampilkan, menyimpan, dan memancarkan gambar dimana setiap baris untuk setiap frame digambar secara berurutan. Biasa digunakan pada CRT monitor komputer.
MULTIMEDIA
Mode Interlacing dan Consecutive
• Mode Progressive/Consecutive (non interlacing)
• Mode Interlacing
MULTIMEDIA
MULTIMEDIA
Video Digital
• Video digital disimpan dalam media penyimpanan random (mis: magnetic/ optical disk).
• Sedangkan video analog penyimpanan sekuensial, (mis: magnetic disc/kaset video.
• waktu akses yang cepat dalam mengakses bagian manapun dari video.
• Mudah dalam proses edit
MULTIMEDIA
Video Digital
• Kualitas: sinyal analog dari video analog akan mengalami penurunan kualitas secara perlahan karena pengaruh kondisi atmosfer. Sedangkan video digital kualitasnya dapat diturunkan menggunakan teknik kompresi.
• Transmisi dan distribusi mudah karena dengan proses kompresi, maka video digital dapat disimpan dalam CD, ditampilkan pada web, dan ditransmisikan melalui jaringan.
• Video Digital biasanya menggunakan Component Color
MULTIMEDIA Teknik Elektro Unibraw
Representasi Visual
• Tujuan utamanya adalah agar orang yang melihat merasa berada di scene (lokasi) atau ikut berpartisipasi dalam kejadian yang ditampilkan.
• Suatu gambar harus dapat menyampaikan informasi spatial dan temporal dari suatu scene.
• Spatial dimensi 2D (lebarxtinggi)• Temporal dimensi waktu
MULTIMEDIA
Representasi Visual
1. Vertical Detail dan Viewing Distance.
• Aspek rasio adalah perbandingan lebar dan tinggi, yaitu 4:3. Tinggi gambar digunakan untuk menentukan jarak pandang dengan menghitung rasio viewing distance (D) dengan tinggi gambar (H) -> D/H.
• Setiap detail image pada video ditampilkan dalam pixel-pixel.
MULTIMEDIA
2. Horizontal Detail dan Picture Width. Lebar gambar pada TV konvensional = 4/3 x tinggi gambar.
3. Total Detail Content Resolusi vertikal = jumlah elemen pada tinggi gambar Resolusi horizontal = jumlah elemen pada lebar gambar x aspek rasio. Total pixel = pixel horizontal x pixel vertikal.
MULTIMEDIA
Karakteristik Spasial
MULTIMEDIA
4. Perception of Depth. Dalam pandangan / penglihatan natural, kedalaman gambar tergantung pada sudut pemisah antara gambar yang diterima oleh kedua mata. Pada layar flat, persepsi kedalaman suatu benda berdasarkan subject benda yang tampak.
5. Warna Gambar berwarna dihasilkan dengan mencampur 3 warna primer RGB (merah, hijau, biru).
MULTIMEDIA
Properti warna pada sistem broadcast: • LUMINANCE
– Brightness = jumlah energi yang menstimulasi mata grayscale (hitam/putih).
• CHROMINANCE adalah informasi warna. – Hue (warna) = warna yang ditangkap mata
(frekuensi) – Saturation = color strength (vividness) /
intensitas warna. – Cb = komponen U dan
Cr = komponen V pada sistem YUV
MULTIMEDIA
6. Continuity of Motion. Mata manusia melihat gambar sebagai suatu gerakan kontinyu jika gambar-gambar tersebut kecepatannya lebih besar dari 15 frame/det. Untuk video motion biasanya 30 frame/detik, sedangkan movies biasanya 24 frame/detik.
7. Flicker. Untuk menghindari terjadinya flicker diperlukan kecepatan minimal melakukan refresh 50 cycles/s.
MULTIMEDIA
Transmisi
• Sistem broadcast menggunakan channel yang sama untuk mentransmisikan gambar berwarna maupun hitam putih.
• Untuk gambar berwarna sinyal video dibagi menjadi 2 sinyal, 1 untuk luminance dan 2 untuk chrominance. Sehingga sinyal Y, Cb, Cr harus ditransmisikan bersama-sama (composite video signal)
MULTIMEDIA
RGB -> YUV
• Dalam sistem PAL, digunakan parameter U (Cb) dan V (Cr)
• Konversi– Y = 0.299 R + 0.587 G + 0.114 B (luminance) – U = 0.492 (B – Y) (chrominance) atau
• U = – 0.148 R – 0.289 G + 0.437 B– V = 0.877 (R – Y) (chrominance) atau
• V = 0.615 R – 0.515 G – 0.100 B
• Inversi– : R = Y + 1.14 V– : G = Y – 0.394 U – 0.581 V– : B = Y + 2.032 U
RED
GREEN
BLUE
RGB toY C1 C2
Lumi-nance
Chromi-nance 1
Chromi-nance 2
MULTIMEDIA
RGB -> YIQ
• Dalam sistem NTSC, digunakan parameter I, singkatan dari in-phase (Cb) dan Q, singkatan dari quadrature (Cr)
• Konversi – Y = 0.299 R + 0.587 G + 0.114 B – I = 0.74 (R – Y) – 0.27 (B – Y) – Q = 0.48 (R – Y) + 0.41 (B – Y)
• atau– I = 0.596 R – 0.274 G – 0.322 B– Q = 0.211 R – 0.523 G + 0.311 B
• Inversi– R = Y + 0.956 I + 0.621 Q– G = Y – 0.272 I – 0.649 Q– B = Y – 1.106 I + 1.703 Q
MULTIMEDIA
RGB-SECAM Color Converter
• Konversi– : Y = 0.299 R + 0.587 G + 0.114 B– : Db = – 0.450 R – 0.833 G + 1.333 B– : Dr = – 1.333 R + 1.116 G – 0.217 B
• Inversi– : R = Y – 0.526 Dr– : G = Y – 0.129 Db + 0.268 Dr– : B = Y + 0.665 Db
MULTIMEDIA
• CCIR-601/625 (Eropa)- jumlah garis 625 (aktif 576)- jumlah frame per detik 25- jumlah pixel per garis 720
• CCIR-601/525 (USA)- jumlah garis 525 (aktif 480)- jumlah frame per detik 30- jumlah pixel per garis 720
total pixel per detik = 10.368.000 bit rate = 165,888,000 bit/s bandwidth total = 216 Mbit/s
DIGITAL VIDEO FORMAT
MULTIMEDIA
• CCIR-601 untuk kualitas broadcats
DIGITAL VIDEO FORMAT
MULTIMEDIA
SIF (Source Input Format)• Eropa: 360 pixel/garis, 288 garis per gambar, 25 gambar perdetik• USA : 360 pixel/garis, 240 garis per gambar, 30 gambar per detik• Scanning : progressive• Pola sampling 4:2:0
CCIR-601 SIF
DIGITAL VIDEO FORMAT
MULTIMEDIA
CIF (Common Intermediate Format)• Eropa/USA: 360 pixel/garis, 288 garis per frame, 30
frameperdetik• Scanning : progressive• Pola sampling 4:2:0
QSIF, QCIF• untuk aplikasi video over mobile networks, video telephony
kurangi rate Eropa : 15, 10 dan 7,5 frame/s USA 12,5 dan 8,3 frame/s
• Resolusi spatial dikurangi setengahnya untuk tiap arah Quarter-SIF (QSIF) dan Quarter-CIF (QCIF)
Sub-QCIF• 128 pixel x 96 pixel, 5 frame/sec, 4:2:0 ukuran image standar
paling kecil
DIGITAL VIDEO FORMAT
MULTIMEDIA
MULTIMEDIA
Digital Video Compression
• CCIR-601 untuk broadcast tv. • MPEG-4 untuk video online • MPEG-2 untuk DVD dan SVCD • MPEG-1 untuk VCD
MULTIMEDIA
• Software for editing digital video
• Apple QuickTime• Adobe Premiere• Strata Videoshop• Video Action Pro• TrueSpace 3D• Ulead Video Editor
MULTIMEDIA Teknik Elektro Unibra
Software Video Digital Player
• QuickTime, • Windows Media Player, • ZoomPlayer, • DivXPro, • RealOne Player, • Xing Mpeg Player, • PowerDVD
MULTIMEDIA
Format File Video
• asf Advanced Systems Format• asx Microsoft ASF Redirector File• avi Audio Video Interleave File• mov Apple QuickTime Movie • movie QuickTime Movie No• mp4 MPEG-4 Video File • mpe MPEG Movie File • mpeg Moving Picture Experts Group Video File• mpg Moving Picture Experts Group File• qt Apple QuickTime Movie• rm Real Media
MULTIMEDIA
3g2 3GPP Multimedia File 3gp 3GPP Multimedia File 3gp2 3GPP Multimedia File 3gpp 3GPP Multimedia File 3mm 3D Movie Maker Movie avs Application Visualization
System Format byu Brigham Young University
Movie dir Macromedia Director
Movie dv Digital Video File dvr-ms Microsoft Digital Video
Recording dxrProtected Macromedia
Director Movie
Fla Macromedia Flash Animation
Flc FLIC Animation Fli FLIC Animation Flv Flash Video Flx FLIC Animation Gl GRASP Animation Grasp GRASP Animation Ifo DVD-Video Disc
Information Ivf Intel Video Format ivsInternet Streaming Video
MULTIMEDIA
.lsf Streaming Media Format
.lsx Streaming Media Shortcut
.m1v MPEG-1 Video File
.m4e MPEG-4 Video File
.m4u MPEG-4 Playlist
.mkv Matroska Audio/Video File
.moov Apple QuickTime Movie
.mpv2 MPEG-2 Video Stream
.mvc Movie Collector Catalog
.nvc NeroVision Express Project
.omf Open Media Framework
.prx Windows Media Profile
.mpeg Moving Picture Experts Group Video File
.qtch QuickTime Cache File
.rmvb RealVideo Variable Bit Rate
.rp RealPix Clip
.rts RealPlayer Streaming Media
MULTIMEDIA
Tugas
• Membuat paper tentang format file digital (audio/image/video), judul berbeda untuk setiap mhs
• Sistematika:– Sekilas Sejarah, Perkembangan & Pencipta– Kajian Teknis: Diagram Blok, Prinsip Kerja, Teknik
Kompresi, dll– Aplikasi: Penerapan atau penggunaan format file tersebut– Tools utk editing dan Player– Daftar Pustaka/Referensi, Sertakan Contoh File
• Format: 10-20 halaman A4, format sesuai aturan• Deadline: 1 bulan
MULTIMEDIA
KOMPRESI DATA
MULTIMEDIA
Introduction to JPEG
• Joint Photographic Experts Group (JPEG)– ISO standard (1992)– widely used (.jpeg, .jpe, .jpg; C/R: 10~20)
• The family of JPEGs– lossless JPEG: prediction-based compression– lossy JPEG: DCT-based compression– M-JPEG: motion JPEG– JPEG2000: discrete wavelet transform; new!
MULTIMEDIA Teknik Elektro Unibraw
JPEG compression guidelines – Brightness vs color sensitivity
• RGB => YUV/YIQ• chroma subsampling (4:2:0)
– Spatial correlation among nearby pixels• slice an image into 8x8 blocks (bad for text)
– Remove redundancy in frequency domain• discrete cosine transform (DCT)• coarse quantization for high freq coefficients
MULTIMEDIA Teknik Elektro Unibraw
Kompresi JPEG
1. Konversi RGB -> YUV dan subsample U,V2. Membagi YUV menjadi blok 8x8 pixel3. Mengkompresi setiap blok dalam 4 proses:
– DCT=Discrete Cosine Transform: memisahkan frekuensi. Low frequency values to top left corner
– quantise (divide all values): small values ==> 0• zig-zag scan of blocks: get most significant values first
– run-length encoding: remove zeros from list– Huffman coding: values => short symbols
MULTIMEDIA Teknik Elektro Unibraw
Blok Diagram JPEG
Fig. 2(a) JPEG Encoder Block Diagram
Fig. 2(b) JPEG Decoder Block Diagram
MULTIMEDIA Teknik Elektro Unibraw
Block Transforms
MULTIMEDIA Teknik Elektro Unibraw
DCT Block Based Coding
• Dlm praktek, DCT diaplikasikan ke blok-blok pixel dari citra
• Ukuran blok tipikal 8 x 8 atau 16 x 16• Koefisien-koefisien dari blok kemudian
dikuantisasi dan dikodekan secara terpisah• Memungkinkan kuantisasi secara variabel utk
mengeksploitir variasi dari frequency content dari citra
• Citra terdiri dari daerah-daerah (region) dg karakteristik frekuensi berbeda
• Krnnya, utk mendpkan energy compaction yg baik – aplikasikan DCT ke region-region terpisah
• Kita tdk tahu region-region secara pasti, krnnya gunakan blok-blok sederhana
MULTIMEDIA Teknik Elektro Unibraw
DCT Block Codec
MULTIMEDIA Teknik Elektro Unibraw
Pemilihan Ukuran Blok
• Pemilihan ukuran blok penting• Terlalu besar – mencakup lebih dari satu region
dg karakteristik frekuensi berbeda• Terlalu kecil – kompresi kurang• 8 x 8 atau 16 x 16 kompromi yg umum digunakan
MULTIMEDIA Teknik Elektro Unibraw
Contoh DCT
• Blok citra 8 x 8:
• Koefisien DCT:
MULTIMEDIA Teknik Elektro Unibraw
Contoh Transform Encoding: Lossy
MULTIMEDIA Teknik Elektro Unibraw
Thresholding dan Quantization
• Koef-koef DCT pd tiap-tiap blok di-threshold• Hanya yg di atas threshold dipertahankan• Lainnya pengaruhnya kecil• Koefisien yg ada dikuantisasi• Kuantisasi bervariasi dg frekuensi• Frekuensi tinggi tdk begitu penting – kuantisasi
kasar
MULTIMEDIA Teknik Elektro Unibraw
Quantization Matrix
• Thresholding dan quantization dilakukan dg menggunakan quantization matrix
• Tiap koefisien dibagi dg elemen QM (T(k,l)) dan dibulatkan:
• • Element T(k,l) adalah integer• Merepresentasikan ukuran step kuantisasi
MULTIMEDIA Teknik Elektro Unibraw
Contoh Kuantisasi
MULTIMEDIA Teknik Elektro Unibraw
Contoh Hasil Rekonstruksi dari Transformasi
MULTIMEDIA
The JPEG Compression
• JPEG compression example
Entropy Entropy CoderCoder
2-D DCT2-D DCTQuantizationQuantization
MULTIMEDIA Teknik Elektro Unibraw
Huffman Coding
Panjang nol Kategori Amplitudo
Panjang kode
Kode Word
0000000
1111
22
33
456789
10
1234567
1234
12
12
1111111
2234567
4679
58
69
6778899
4
00011001011110101110001111000
11001110011111001111110110
1101111111000
111010111110111
111011111101011110111111100111111010111111000111111001
1010End of Block (EOB)