Face Detection & Face Recognition [Teori Informasi 2011]

LOGO

Eka Zahnia P (0806316322)Desiree Jane Tenda (0806457552)Istha Bena Hadirani (0806334893)

Face Detection (FD)&

Gender Recognition (FR)

Face Detection & Face Recognition – Teori Informasi 2011

Introduction

Face detection adalah proses pendeteksian wajah.

Alur : test image (berupa foto atau frame dari video kamera) -> cari lokasi dan ukuran dari setiap wajah dalam image tersebut


Perbedaan FD dengan FR

FD : hanya memiliki dua klasifikasi = wajah atau non wajah

FR : memiliki beberapa klasifikasi yang disesuaikan dengan jumlah individu yang mau dikenali. Contoh klasifikasi : dari bentuk wajah, dari bentuk mata, hidung, mulut, dsb.

Proses FR membutuhkan proses FD terlebih dahulu


Masalah Utama FD

1. Ketergantungan arah pandang2. Ekspresi wajah3. Pencahayaan


Sejumlah Penelitian FD

1. Dikerjakan oleh Yuille dkk menggunakan deformable template untuk

memodelkan mata, hidung, dan bibir2. Huang dan Tang menggunakan transformasi Fourier pada

Laplacian dari Gaussian 3. Pentland dkk menggunakan nilai eigen untuk

mendeskripsikan seluruh wajah dan fitur-fitur seperti mata dan hidung


4 Metode yang Digunakan

1. Maximum Likelihood2. Shannon’s Mutual Information3. Akaike’s Information Criterion4. Kullback Relative Information


Maximum Likelihood

v’ = vektor estimasi dari parameter v v = distribusi probabilitas yang memiliki

fungsi kepadatan p(x|v) X = random variable dengan distribusi

p(x|v)


Shannon

A = input z = probabilitas kemunculan simbol pada input Q = matriks channel B = output v = probabilitas kemunculan simbol pada output v = Q.z

InformationSource

InformationOutput/UserChannel

Ensemble(A.z) Ensemble(B.v)Face Detection & Face Recognition – Teori Informasi 2011

Rata-rata informasi pada input H(z) adalah


Akaike’s Information Criterion

Untuk menghilangkan bias


Algoritma FD

1. Untuk jumlah pixel Np, cari MIP (Most Informative Pixel) dengan menggunakan kullback relative information

2. Gunakan MIP untuk memperolah fitur klasifikasi dan representasi dengan menggunakan metode Fukunaga dan Koontz

3. Untuk setiap skala gambar yang “menarik” dan 23x32 window, gunakan DFFS(Distance From Feature Space metric). Ketika DFFS pada cluster wajah lebih rendah daripada cluster non wajah, maka dapat diasumsikan bahwa ada wajah pada jendela tersebut


Gambar 1 Sembilan sudut pandang dari 1 individu sebagai training set

Gambar 2 image informasi relativetemplate mata dan hidung

Gambar 3 256 pixel yang paling informatif Gambar 4 Contoh hasil face detectorFace Detection & Face Recognition – Teori Informasi 2011

Facial Gender Recognition

Dari hasil proses deteksi wajah akan dilanjutkan dengan proses pengenalan jenis kelamin berdasarkan wajah.

3 faktor yang diamati Gerakan kepala Gerakan mulut Tampilan wajah


Beberapa penelitian

Nakano dkk Menggunakan informasi edge dan klasifikasi Neural Network (NN)

Lu dkk menggunakan informasi range dan

intesitas dari wajah manusia dengan Support Vector Machine (SVM)

Gutta dkkMenggunakan hybrid classifier


Metode yang Digunakan

Temporal recognition subsystem exploiting head and mouth motion

1. Pre-processing Pada setiap video, dilakukan pendeteksian wajah. Lalu mencari karakteristik-karakteristik wajah dengan menggunakan strategi template matching. Kemudian dilakukan edge detection pada bagian bibir (hasil : berupa garis terluar bibir).



2. Feature ExtractionDibagi menjadi 2 fase. a. Normalisasi geometrib. Menghitung feature vectorFeature vector berisi informasi kepala dan mulut dari sample video



Feature matrix didapatkan dengan menggabungkan 3 feature, antara lain:a. Posisi kepalab. Centered major axis dari garis luar bibirc. Centered minor axis dari garis luar bibir

Gambar sumbu

Major Axis

Minor Axis



3. Model Estimation Langkah-langkah menentukan

estimasi PDF dengan menggunakan pendekatan Gaussian Mixture Model (GMM)



4. Classification Menghitung similarity score dari

temporal subsystem dengan menggunakan teori probabilitas dan Bayesian decision rule.


Spasial recognition subsystem exploiting facial appearance

1. Pre-processing Pertama, transformasikan gambar

dengan histogram equalization colour component. Transformasi ini berguna untuk mengurangi akibat iluminasi pada gambar dan banyaknya variasi warna. Lalu gambar ini diubah menjadi bentuk representasi NTSC(luminance, hue, saturation). Terakhir, pixel image disusun dalam vektor melalui proses yang disebut image vectorization.


Spasial recognition subsystem exploiting facial appearance

2. Feature Extraction Mengelompokan informasi yang

menunjukan karakter individu dan membuang yang tidak relevan dengan menggunakan linear transformation dari ruang image yang berdimensi tinggi ke ruang yang berdimensi lebih rendah.

3 & 4 sama


Score Integration Step

Mengkombinasikan similarity score dari 2 subsistem dengan score fusion strategi.

Identifikasi dan verifikasi terakhir menggunakan extend measure of similarity.


Contoh Eksperimen

1. Video databaseTerdapat 208 rangkaian video dengan 13

orang yang berbeda yang sudah di test dengan sistem di atas.

Sebuah rangkaian video tertentu memiliki resolusi spasial 352x288 pixels dan resolusi temporal 23.97 frames per second.

Video tersebut berkualitas rendah, diperoleh dengan menggunakan kamera statis dan dikompres menjadi 118 Kbits/detik. (Jadi, tidak ada pergerakan kamera maupun zoom).


Contoh Eksperimen

2. Perubahan pada data video Dikarenakan sensitivitas yang tinggi pada

algoritma PCA Recognition pada penjajaran wajah, variasi dalam berbagai pose dan skala, dilakukanlah sub sampling (diambil sebagian) dan normalisasi secara manual pada data video di atas.

Jadi, data tersebut diekstrak menjadi 8 frames dari setiap rangkaian video. Frame rate = 2 frame/second.

Normalisasi dilakukan dengan merotasikan kepala ke posisi horizontal mata dan meng-crop wilayah wajah dan menjajarkan gambar-gambar tersebut dengan menggunakan lokasi dari pupil.


Gambar 5 Ilustrasi video database dengan 7 frame setiap 4 pembawa berita


Contoh Eksperimen

3. Enrolment dan recognition set Sebagai evaluasi dari sistem

pengenalan di atas, bagi semua data yang ada (baik versi video maupun image) menjadi enrollment subset dan recognition subset.

104 rangkaian video (8 untuk setiap model yang berjumlah 13 orang) untuk training dan sisanya untuk testing.


Experimental Set-Up

1. Optimal configuration of the temporal subsystem

Pergerakan kepala direpresentasikan dengan 4 landmark, yaitu 2 mata, 1 hidung, 1 mulut.

Pre-proccessing dengan menggunakan histogram equalization komponen warna.


1. Optimal configuration of the temporal subsystem

Men-generate template dengan 18 baris dan 25 kolom pixel dari masing2 landmark .

Nilai kesamaan dari masing2 komponen warna ditentukan dengan pengukuran jarak city-block.

Feature extraction terdiri dari posisi kepala dan axis outer lip contour.

Model untuk verifikasi diambil dari rata2 2 model yang terbaik.


2. Optimal configuration of the spatial subsystem

Pre-proccessing citra tampilan wajah dengan histogram equalisation komponen warna.

Data set direperesentasikan dengan ruang warna NTSC.

Model untuk client diestimasikan dengan Gaussian component.

Model untuk verifikasi diambil dari rata2 2 model yang terbaik.


3. Implementation of the Eigenface Approach for Comparison

Semua citra di-pre-process dengan histogram equalization komponen warna.

Data set direperesentasikan dengan ruang warna NTSC.

Model client ditambahkan ke sistem dengan menggunakan centroid vectors.

Diambil dari rata2 feature vectors pada enrolment subset.

Pengenalan dilakukan dengan menggunakan klasifikasi tetangga terdekat pada space wajah


Hasil Pengenalan

Hasil proses identifikasi direpresentasikan dengan CIRs (Correct Identification Rates)

Untuk verifikasi, menggunakan EERs (Equal Error Rates).

Sistem biometric menunjukan :head motion : CIR -> 96.2 % , EER -> 15.4%mouth motion : CIR -> 96.2% , EER -> 3.8%

facial appearance : CIR -> 99.0% , EER -> 1.0%

Jadi, gender recognition dengan menggunakan head motion tidak terlalu bagus

Bila gender recognition dilakukan dengan menggunakan eigen face, hasilnya CIR -> 89.4% , EER -> 10.6%


Kesimpulan

Teori informasi dapat digunakan dalam face detection dan gender recognition

Face detection harus dilakukan terlebih dahulu sebelum face recognition

Face recognition dengan gerakan mulut dan tampilan wajah untuk analisis jenis kelamin memberikan hasil yang terbaik


Referensi

Lew M. and Huijsmans N., “Information Theory and Face Detection”, in IEEE Proceedings of ICPR, pag. 601-605, 1996

Matta F., Saeed U., Mallauran C., and Dugelay J-L, “Facial gender recoginition using multiple sources of visual information”


LOGOFace Detection & Face Recognition – Teori Informasi 2011

Face Detection & Face Recognition [Teori Informasi 2011]

Technology

Transcript of Face Detection & Face Recognition [Teori Informasi 2011]