The  JPEG  S*ll  Picture  Compression  Standard  

by  Gregory  K.  Wallace,  1991  

   Julià  Minguillón  

Barcelona  Compsci  Club      

Contents  •  Why  a  talk  on  JPEG?    •  Previous  to  JPEG  •  Technology  at  that  Fme  •  The  paper  •  Math  foundaFons  •  The  algorithms  •  Impact  •  Caveats  •  Related  papers  

Why  a  talk  on  JPEG?  

•  JPEG  images  are  everywhere!  – Facebook:  350000000  photos  uploaded  every  day  – Almost  1000000000000  photos  taken  every  year!  

•  1995  capstone  project  at  UAB  –  ImplementaFon  of  progressive  operaFon  modes  in  IJG  library  v6b  

•  Perfect  excuse  for  checking  over  Lena  again!  

Lena  512  x  512  x  24bpp  

hZp://sipi.usc.edu/database/?volume=misc  

Previous  to  JPEG  

•  …  •  TIFF  1986  •  GIF  1987  •  PBM  1991  •  …  •  Limited  compression  raFos  (lossless)  •  No  standard  for  lossy  image  compression  •  JPEG  commiZee  created  in  1986  (ISO  in  1983)  

Technology  at  that  Fme  

•  1991:  Kodak  DCS  100,  1.3MP,  200MB  HD,  only  987  sold  (aimed  at  photojournalists,  20000$)  

•  1994:  Apple  QuickTake  100,  0.3MP  (VGA),  749$  •  …  •  Computers  in  1991:  Intel  486DX,  MS-­‐DOS  5.0,  Windows  3.0,  Linux,  VGA  (640x480x256  -­‐  yes,  Amiga  was  beZer!),  Adobe  Photoshop  2.0,  1st  color  image  scanner  (HP)    

The  paper  

Wallace,  G.K.  (1991).  The  JPEG  sFll  picture  compression  standard.  CommunicaFons  of  the  ACM  –  special  issue  on  digital  mulFmedia  systems,  34(4),  30-­‐44.      •  Summary  of  JTC1/SC2/WG10  •  Already  a  classic  (>  4500  cites)    hZp://www-­‐ee.eng.hawaii.edu/~treed/EE416/Project_4/jpeg-­‐wallace.pdf  

 

Math  foundaFons  

•  Lossy  compression  ≈  remove  what  eye  can’t  see  •  Karhunen-­‐Loève  transform:  any  stochasFc  process  can  be  decomposed  in  an  infinite  linear  combinaFon  of  orthogonal  funcFons  – Coefficients  are  decorrelated  – Any  truncaFon  minimizes  MSE  

•  Discrete  cosine  transform  – Similar  to  DFT  but  real  coefficients  – Existence  of  fast  /  reversible  /  integer  versions  

The  algorithms  

•  Color  conversion  from  R-­‐G-­‐B  to  Y-­‐Cb-­‐Cr  •  Sampling  and  interleaving  •  DCT  •  QuanFzaFon  (loss/compression  happens  here)  •  Reordering  (zig-­‐zag  sequence)  •  Entropy  coding:  zeros,  markers  

•  Symmetrical  process  for  coding  /  encoding  

Impact  

•  All  devices  taking  pictures  implement  JPEG  •  JPEG  File  Interchange  Format  (.jpg,  .jpeg)  •  IJG  library  used  elsewhere  •  Hardware  encoders  /  decoders  available  •  Part  also  of  M-­‐JPEG  (prior  to  MPEG-­‐4)  •  Superseded  by  JPEG2000  (but…)        

Caveats  

•  8  x  8  blocks  are  too  small  •  “Limited”  to  12  bit  samples  •  Bad  quality  for  high  compression  raFons  •  ArithmeFc  coding  not  used  due  to  patents  •  HVS  opFmizaFon  barely  used  •  In  general,  most  devices/apps  do  not  allow  users  to  specify  all  JPEG  parameters  

•  Awful  results  if  wrongly  used  (text,  diagrams)  

Related  papers  Rao,  K.R.,  Yip,  P.  (1990).  Discrete  Cosine  Transform  algorithms.  Advantages,  ApplicaFons.  Academic  Press,  Inc.  London.  Huffman,  D.A.  (1962).  A  method  for  the  construcFon  of  minimum  redundancy  codes.  In  Proceedings  of  the  IRE,  40,  1098-­‐1101.  Pennebaker,  W.B.,  Mitchell,  J.L.  (1993).  JPEG  SFll  image  data  compression  standard.  Van  Nostrand  Reinhold,  New  York.  Peterson,  H.A.,  Ahumada,  A.J.,  Watson,  A.B.  (1993).  An  Improved  DetecFon  Model  for  DCT  Coefficient  QuanFzaFon.  In  Human  Vision,  Visual  Processing,  and  Digital  Display  IV,  ed.  B.E.  Rogowitz  and  J.  Allebach,  Proc.  1913,  191-­‐201.  Minguillón,  J.,  Pujol,  J.  (2001).  JPEG  standard  uniform  quanFzaFon  error  modeling  with  applicaFons  to  sequenFal  and  progressive  operaFon  modes.  Journal  of  Electronic  Imaging,  10(2),  475-­‐485.