Cvpr2015読み会-Global Refinement of Random Forest
-
Upload
koichi-takahashi -
Category
Engineering
-
view
798 -
download
7
Transcript of Cvpr2015読み会-Global Refinement of Random Forest
Global Refinement of Random Forest
@51Takahashi
自己紹介 CVPR2015読み会
2
• さのまる
• @51Takahashi
• 専門は顔の画像処理
著者紹介 CVPR2015読み会
3
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち
著者紹介 CVPR2015読み会
4
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち
• Jian Sunの研究グループの論文紹介(◎は勉強会で発表あり)
– Deep learning
– Delving deep into rectifiers: Surpassing human-level performance on ImageNet
classification(arXiv2015)
– Convolutional neural networks at constrained time cost(CVPR2015)
– 近似最近傍探索
– Sparse projections for high-dimensional binary codes(CVPR2015)
– Optimized product quantization(TPAMI2014, CVPR2013)
– Joint inverted indexing(ICCV2013)◎
– 手指姿勢推定
– Cascaded hand pose regression(CVPR2015)
– Realtime and robust hand tracking from depth(CVPR2014)
– 顔特徴点検出
– Face alignment at 3000 fps via regressing local binary features(CVPR2014)◎
– Face alignment by explicit shape regression(IJCV2014, CVPR2012)◎
概要
Global refinement of random forest
• 何の研究?
– ランダムフォレスト(分類・回帰)
• 何したの?
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は?
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの?
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
5
分類問題
• 分類したいデータを二分木に入力 ⇒ 結果 1(正例)
木 CVPR2015読み会
6
1 -1 -1 1
分類問題
• 分類したいデータをランダムフォレストに入力 ⇒ 結果 1(正例)
ランダムフォレスト CVPR2015読み会
7
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
ランダムフォレスト? CVPR2015読み会
8
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
ランダムフォレスト? CVPR2015読み会
9
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは??
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
ランダムフォレスト? CVPR2015読み会
10
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは??
A. そもそもこの問題解くのSVMでいいじゃん
– 特徴量はスパースだから、liblinear使うとうまく解ける
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
その後 CVPR2015読み会
11
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後 CVPR2015読み会
12
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後 CVPR2015読み会
13
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1
Global refinement of random forest
1. SVMを使って重みを再学習
2. 重みのノルムが下位10%の枝は刈り取る
3. 1と2を終了条件を満たすまで繰り返す
終了条件
A. 最もいい結果が得られたところで終了(Accurate)
E. 元のランダムフォレストと同じ性能になったら終了(Economic)
提案手法まとめ CVPR2015読み会
14
結果の簡単な例 CVPR2015読み会
15
評価実験
実験1:ベンチマーク
• MNISTなどのベンチマーク問題
• 分類5種類・回帰5種類
• 比較手法
– Alternating decision forest(ADF)[Schulter+, ICCV2013]
実験2:Kinect部位認識
• Kinectを使った20クラス分類問題
• 特徴量:2点間の差分特徴量
• 学習/テストデータ:デプス画像2000枚/500枚
実験3:顔年齢推定
• MORPH顔画像データセットで年齢を推定する回帰問題
• 特徴量:PCAで次元削減したLBP特徴量
• 学習/テストデータ: 顔画像10000枚/45134枚
CVPR2015読み会
16
実験1:ベンチマークの詳細 CVPR2015読み会
17
実験1:ベンチマークの結果 CVPR2015読み会
18
条件Aは高精度!・条件Eはコンパクト!
実験2:Kinect部位認識の結果 CVPR2015読み会
19
実験3:顔年齢推定の結果
• 作者の言い分
– [16]は顔特徴点検出したりしてtask-specificな手法だから高精度
– [6]と[15]はサブセットの結果だからちょっと違う
CVPR2015読み会
20
[Hu+, ICB2013]
[Chang+, CVPR2011]
[Guo+, CVPR2011]
リファインメント前後の比較 CVPR2015読み会
21
before
リファインメント前後の比較 CVPR2015読み会
22
after
リファインメント前後の比較 CVPR2015読み会
23
after
before
まとめ
Global refinement of random forest
• 何の研究?
– ランダムフォレスト(分類・回帰)
• 何したの?
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は?
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの?
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
24