Review 7 - !!!

Jinchao Ye!

TA  Sec'on: Course  Project  Adver'sement  

Oct  12th, 2012Jinchao  Ye

10/12/2012  1  

Review 7 - !!!

Jinchao Ye!

Grading  Policy  •  Final  Project:  40%  •  presenta'on:  5%  •  write-­‐up:  10%  

–  clarity,  structure,  language,  references:  3%  –   background  literature  survey,  good  understanding  of  the  problem:  3%  –  good  insights  and  discussions  of  methodology,  analysis,  results,  etc.:  4%  

•  technical:  15%  –  correctness:  5%  –  depth:  5%  –  innova'on:  5%  

•  evalua'on  and  results:  10%  –  sound  evalua'on  metric:  3%  –  thoroughness  in  analysis  and  experimenta'on:  3%  –  results  and  performance:  4%  

10/12/2012  2  

Review 7 - !!!

Jinchao Ye! 10/12/2012  3  

Thumbnail  Extrac0on  from  Slide-­‐Based  Instruc0onal  Videos

•  Class2Go  is  an  open-­‐source  plaQorm  built  at  Stanford  for  hos'ng  Massive  Open  On-­‐Line  Courses.  Watching  videos  are  one  of  our  core  features.  Our  videos  are  hosted  on  YouTube.  To  enable  naviga'on  and  showing  of  in-­‐video  exercises,  we  extract  thumbnails  for  the  videos  and  display  them  below  the  video.    

Host  Name:  Sef  Kloninger      sef@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  4  

Where's  Waldo?

•  Where's  Waldo/Where's  Wally  is  a  series  of  children's  books  where  the  goal  is  to  find  Waldo  (or  some  other  characters/objects)  in  a  very  cluYered  cartoon  scene.

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

•  This  is  essen'ally  a  detec'on  task,  though  there  are  some  unique  challenges  involved  with  using  illustra'ons  instead  of  photos  and  in  having  so  much  cluYer.

Review 7 - !!!

Jinchao Ye! 10/12/2012  5  

What's  in  a  comic?

•  Given  a  comic,  the  goal  is  to  return  as  detailed  a  descrip'on  of  the  comic  as  possible.  

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  6  

Taste-­‐Tester

•  Predict  how  tasty/healthy  a  piece  of  food  is  from  an  image.

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  7  

Visualizing  Classifier  Beliefs

•  Given  a  pre-­‐trained  classifier  (probably  just  a  standard  LLC+SPM+SVM),  it  should  be  possible  to  go  through  the  classifica'on  pipeline  backwards  and  figure  out  what  part  of  an  input  image  caused  a  classifier  to  respond.

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  8  

Inverse  Features

•  Given  features  for  an  image,  construct  the  image.    

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  9  

Teaching  Computers  to  Count

•  Given  an  image  with  repe''ons  of  a  single  object/class,  return  how  many  of  that  object  are  in  the  image.  

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  10  

Mul0class  probability  calibra0on  in  natural  

images•  Given  an  image,  some  techniques  (e.g.  DARTS)  rely  on  determining  a  probability  of  that  image  belong  to  any  one  of  a  number  of  different  classes.  Taking  DARTS  as  an  example,  this  probability  es'ma'on  is  oden  done  in  a  very  hacky  way,  e.g.  assuming  that  the  probabili'es  are  independent  of  one  another,  given  the  image.  There  has  been  some  work  done  on  this  elsewhere,  and  the  goal  of  this  project  is  to  determine  whether  having  beYer  probability  es'mates  results  in  a  substan'ally  beYer  system  -­‐-­‐  in  the  case  of  DARTS,  whether  the  expected  reward  increases.

Host  Name:  Jonathan  Krausejkrause@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye!

A  new  rival  to  Predator  and  ALIEN  

•  Predator  and  ALIEN  are  generic  visual  object  trackers  receiving  a  lot  of  recogni'on  these  past  years.  They  track  unknown  objects  in  video  streams  by  learning  their  appearances  on  the  fly  

10/12/2012  11  

Host  Name:  Alexandre  Alahi  alahi@cs.stanford.edu  

hYp://www.youtube.com/watch?v=fgrF0ATaPsY    

Review 7 - !!!

Jinchao Ye!

Tracking  people  in  the  dark  

•  Tracking  people  across  a  network  of  cameras  is  one  of  the  most  tackled  problems  in  computer  vision.    

10/12/2012  12  

Host  Name:  Alexandre  Alahi  alahi@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye!

Recognizing  people  in  the  dark    

•  Face  recogni'on  is  widely  used  to  enter  secured  sites.  However,  most  of  the  algorithms  are  sensi've  to  the  scene  illumina'on  and  ligh'ng  condi'ons.  

10/12/2012  13  

Host  Name:  Alexandre  Alahi  alahi@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye!

How  hot  are  people  to  track?  

•  Use  thermal  cameras  and  model  people’s  heat  to  track  people  robustly.  

10/12/2012  14  

Host  Name:  Alexandre  Alahi  alahi@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye!

A  virtual  golf  teacher    

•  The  aim  of  this  project  is  to  bring  a  personal  instructor  in  every  home.  The  trainee  will  perform  the  gestures  of  interest  in  front  of  a  Kinect  Camera  and  the  Virtual  Instructor  will  give  feedbacks.    

10/12/2012  15  

Host  Name:  Alexandre  Alahi  alahi@cs.stanford.edu  

Review 7 - !!!

Jinchao Ye! 10/12/2012  16  

Object  tubes  in  videos

•  The  famous  Felzenszwalb  object  detector  (DPM)  does  a  good  job  on  images.  How  about  harnessing  the  temporal  informa'on  in  videos  to  improve  the  performance  of  DPM  in  videos?  We  will  extract  sets  of  object  tubes  from  videos  by  posing  spa'o-­‐temporal  constraints  and  use  redundant  deduc'ons  to  improve  the  performance.  

Host  Name:  Vignesh  Ramanathanvigneshr@stanford.edu