An Introduction to Biometric Verification of Identity

Gérard CHOLLET chollet@tsi.enst.fr

ENST/CNRS-LTCI46 rue Barrault

75634 PARIS cedex 13

http://www.tsi.enst.fr/~chollet

Outline Why should the identity of someone be verified ? Biometry :

A definition of biometry Desirable properties of biometric characteristics Biometric modalities Classification of biometric authentication systems Architecture of biometric authentication systems Enrollment, registration, training, adaptation, testing applications Evaluating biometric authentication systems

fingerprint / face / retina / iris / signatures / handshape / handprint Speaker verification – NIST evaluations Fusion of modalities On-going biometric projects Conclusions and perspectives

Why should someone be identified ?

Security ? Protect individual property

Home, bank account, mobile phone, PC, data bases, medical records, messages Protect collective property

Computer network, nuclear plants, military zones, data bases Individualisation of automatic services Multimedia indexing Police investigations and Law enforcement

Quantify the similarities between a ‘piece à conviction’ and a suspect

How could the identity of someone be verified ?

Comment ? Identifiant connu par la personne :

Mot de passe, code PIN

Identifiant possédé par la personne Carte à puce, clé, badge

Identifiant propre à la personne La caractéristique biométrique

Bonne acceptabilité – Fortement répanduPeut être oublié – facilement usurpable

Classiquement utilisé – reconnu partoutFacilement volé et/ou falsifié

Peut accroître la complexité de l’accèsSupprime toutes clés ou mot de passe

Pourquoi et comment vérifier l’identité d’un individu ?

Bla-blaSECUREDSPACE

L’identification biométrique :Définition de la biométrie

Le Petit Robert : « La science qui étudie, à l'aide des mathématiques, les variations biologiques à l'intérieur d'un groupe déterminé. »

Etude des variations de certaines caractéristiques au sein d’un groupe

Détermination de techniques permettant de distinguer les individus entre eux parmi les caractéristiques jugées pertinentes

Variations biologiques : Variation d’une caractéristique physiologique Variation d’une caractéristique comportementale

La biométrie rassemble l’ensemble des procédés automatiques d’identification basés sur des caractéristiques physiologiques et/ou comportementales

L’identification biométrique :Propriétés souhaitées de la caractéristique biométrique

Robustesse Détermine sa stabilité au cours du temps et sa propriété d’être peu

sensible au contexte d’utilisation (variabilité intra-utilisateur)

Distinctibilité Caractérise la dépendance de sa mesure par rapport à chaque

utilisateur (variabilité inter-utilisateur)

Accessibilité Facilement et efficacement mesurable par un capteur

Acceptabilité Caractérise la manière dont elle est perçue par l’utilisateur

Disponibilité La caractéristique doit être facilement mesurable

L’identification biométrique :Modalités biométriques :

Caractéristiques physiques Caractéristiques comportementales

Empreintes digitales Géométrie de la main Rétine, Iris

+ Robuste, SAB induit précis+ Faible évolution avec le vieillissement de l’individu+ Bonne précision des systèmes biométriques induit- Mesure de la caractéristique généralement coûteuse - Mauvaise acceptabilité

Parole Ecriture, signature Rythme de frappe sur un clavier

+ Bonne acceptabilité et disponibilité- Sensible au vieillissement de l’individu- Moins bonne précision et robustesse

L’identification biométrique :Modalités biométriques :

L’identification biométrique :Modalités biométriques :

L’identification biométrique :Modalités biométriques :

Taille des références caractéristiques La main 9 bytes Empreintes digitales 250-1000 Parole 1500-3000 bytes.

L’identification biométrique :Classification des SAB [Waymann] :

1. Coopératif / non-coopératif

2. Manifeste / caché

3. Stable / instable

4. Supervisé / non-supervisé 5. Ouvert / fermé

Comportement de l’utilisateur cherchant à tromper le système•Coopère pour usurper une identité• S’oppose au système pour ne pas être reconnu

L’utilisateur sait-il qu’il est sujet à un test d’identification biométrique ?

Caractérise l’évolution des performances en fonction de la durée et de la fréquence d’utilisation du système

Si la référence caractéristique du client est publique ouvertSi la référence caractéristique du client est privée fermé

L’identification biométrique :Architecture d’un SAB

L’acquisition du signal biométrique qui servira à la construction de la référence caractéristique.

Pour certaines modalités (signature, mot de passe, parole,...), plusieurs répétitions sont souhaitables.

Un modèle de référence peut éventuellement être inféré.

Ce modèle peut être adapté pour prendre en compte les dérives temporelles.

L’identification biométrique :Phase d’apprentissage

Suis-je bien la personne que je prétends être ? Vérification d’identité

Qui suis-je ? Identification (ensemble fermé / ouvert)

Contraintes : Même condition d’acquisition du signal

biométrique que lors de la phase d’apprentissage

Temps nécessaire à la décision Ressources matérielles disponibles

L’identification biométrique :Phase opérationnelle

L’identification biométrique :Exemple d’application

Réseau internet

Serveur Distant

Carte à microprocesseur

Ordinateur personnel1. Acquisition du signal de parole2. Analyse acoustique

1. Calcul du score2. Normalisation, Décision

1. Normalisation, Décision

L’identification biométrique :Evaluation des SAB

Critère d’évaluation des systèmes biométriques Probabilité de fausse acceptation Probabilité de faux rejet Taux d’échec à l’apprentissage Taux d’échec lors de l’acquisition des données en

phase de test Critères plus subjectifs : acceptabilité du système….

Evaluation d’une technologie : Probabilité de fausse acceptation Probabilité de faux rejet

Deux types d’erreurs : faux rejet (un client légitime est rejeté) fausse acceptation (un imposteur est accepté)

Théorie de la décision : étant donné une observation O Hypothèse H0 : c’est un imposteur Hypothèse H1 : c’est notre client Choix de H1

)1()(

)(

)1(

HPCHoPC

HoOP

HOP

fr

fa

⋅⋅

>

L’identification biométrique :Evaluation des SAB

L’identification biométrique :Evaluation des SAB:distribution des scores

L’identification biométrique :Evaluation des SAB : la courbe DET

Detection Error Tradeoff (DET Curve)

Les empreintes digitales

Resolution

Qualité de l’image

Capteur optique

Capteur capacitif

Sweeping sensor

Anatomie des empreintes digitales

Orientation des crètes

Détection des minuties

Mise en correspondance

Activités carte à puceJ. Leroux les Jardins, ENST

Réalisation d’un algorithme de vérification d’empreintes digitales Stockage sur carte à puces des minuties Vérification d’identité associée (extraction de caractéristiques

sur le PC, mise en correspondance sur la carte)

                           

                           

                           

                           

                           

                           

Le visage

Quelques difficultés

Caméra infra-rouge

 

 

 

 

 

(a) (b) (c)  

    

(d) (e) (f)

Normalisation du contraste

Initial ImagesInitial Images

After After NormalizationNormalization

Face recognitionBest-fit

ellipse imageRotation

Normalized imageErosion and sharpening

Simplified image

Gradient image

Adaptive Hough transform and

template matchingSnake energy:

exttotal EEE += int

Representation du visage

Principal Component Analysis

Base de données BANCA

Premiers résultats Validation (partielle) en reco. de visages, avec des

résultats significatifs sur la base Feret. 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes). Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)

Système d’acquisition 3DCharles Beumier, ENST

Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique

Prototype avec flash / diapositiveEn développement pour la couleur

(acquisition de la texture)

Illumination non uniformeCouleurs imparfaites de la

diapositive

La rétine

Localisation de l’iris

Iris

Comparaison des caractéristiques de l’iris

Signatures

Signatures dynamiquesS. Salicetti, INT

Tracé dynamique (x,y) Pression dynamique Orientation dynamique

Validation des données Implantation d’un système de

vérification à base de HMM

Acquisition des signatures

•Coordonnées : x(t),y(t)•Pression p(t)•Orientation (t), (t)

Modèle de Markov Caché (HMM)

state 1 state 2 state 3

O = (O1,..., Ot,...)

Modélisation Markovienne

Scanner : forme de la main

Scanner HP

Validation des données Extraction de points

caractéristiques dans les images de main (projet ENST)

La démarche

Vérification du locuteur

Classification des systèmes Dépendant du texte

Public password Private password Customized password Text prompted

Indépendant du texte Apprentissage incrémental Evaluation

Inter-speaker Variability

We wereaway

ayear ago.

Intra-speaker Variability

We wereaway

ayear ago.

Analyse de la parole

Mel Frequency Cepstral Coefficients

Dynamic Time Warping (DTW)

Dynamic Time Warping (DTW)

Best path

),()Y,X( 2jid yx∑=μ

“Bonjour” locuteur test Y

“Bon

jour

” loc

uteu

r X

“Bonjour” locuteur 1

“Bonjour” locuteur 2

“Bonjour” locuteur n

DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc.

Vector Quantization (VQ)

bestquant.

),()Y,X( X2

jiCd y∑=μ

Dictionnaire locuteur 1

Dictionnaire locuteur 2

Dictionnaire locuteur n

“Bonjour” locuteur test Y

Dic

tionn

aire

locu

teur

X

SOONG, ROSENBERG 1987

Hidden Markov Models (HMM)

Bestpath

)S(Plog)Y,X(iXjy∑−=μ

“Bonjour” locuteur 1

“Bonjour” locuteur 2

“Bonjour” locuteur n

“Bonjour” locuteur test Y

“Bon

jour

” loc

uteu

r X

ROSENBERG 1990, TSENG 1992

Ergodic HMM

Best path

)S(Plog)Y,X(iXjy∑−=μ

HMM locuteur 1

HMM locuteur 2

HMM locuteur n

“Bonjour” locuteur test Y

HM

M lo

cute

ur X

PORITZ 1982, SAVIC 1990

Gaussian Mixture Models (GMM)REYNOLDS 1995

HMM structure depends on the application

Signal detection theory

Speaker Verification (text independent)

The ELISA consortium ENST, LIA, IRISA, ... http://www.lia.univ-avignon.fr/equipes/RAL/elisa/

index_en.html NIST evaluations

http://www.nist.gov/speech/tests/spk/index.htm

Gaussian Mixture Model

Parametric representation of the probability distribution of observations:

Gaussian Mixture Models

8 Gaussians per mixture

National Institute of Standards & Technology (NIST)

Speaker Verification Evaluations

• Annual evaluation since 1995• Common paradigm for comparing technologies

GMM speaker modeling

Front-end GMMMODELING

WORLDGMM

MODEL

Front-end GMM model adaptation

TARGETGMM

MODEL

Baseline GMM method

HYPOTH.TARGET

GMM MOD.

Front-end

WORLDGMM

MODEL

Test Speech

xPxPLog ]

)/()/([

λλ

LLR SCORE

λ

λ

)/( λxP

)/( λxP

Λ =

Support Vector Machines and Speaker Verification

Hybrid GMM-SVM system is proposed

SVM scoring model trained on development data to classify true-target speakers access and impostors access,using new feature representation based on GMMs

Modeling

Scoring

GMM

SVM

SVM principles

X (X)

Input

spac

e

Feat

ure s

pace Separating hyperplans H ,

with the optimal hyperplan Ho

Ho

H

Class(X)

Results

Approche segmentale

Codage

Fusion ALISP et GMM

Fusion des GMMsglobaux et segmentaux

NIST Evaluations : 2003 Results

ENST 2003

SuperSID experiments

GMM with cepstral features

Selection of nasals in words in -ing

being everything getting anything

thing something things

going

Fusion

Fusion results

Audio-Visual Identity Verification

A person speaking in front of a camera offers 2 modalities for identity verification (speech and face).

The sequence of face images and the synchronisation of speech and lip movements could be exploited.

Imposture is much more difficult than with single modalities.

Many PCs, PDAs, mobile phones are equiped with a camera. Audio-Visual Identity Verification will offer non-intrusive security for e-commerce, e-banking,…

Examples of Speaking Faces

Sequence of digits (PIN code)

Free text

QuickTime™ et undécompresseur sont requis pour visionner cette image. QuickTime™ et undécompresseur sont requis pour visionner cette image.

Fusion of Speech and Face

(from thesis of Conrad Sanderson, aug. 2002)

1. Acquisition of biometric signals for each modality2. Scores are computed for each modality3. Fusion of scores and decision

InsecureNetwork

Distant server:1. Access to private data2. Secured transactions

An illustration

«MAJORDOME»

Unified Messaging System

Eureka Projet no 2340

EDFVecsys

D. Bahu-Leyser, G. Chollet, K. Hallouli , J. Kharroubi, L. Likforman, S-S. Lin, D. Mostefa, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon

KTH Euroseek UPC Airtel

Software602

Majordome’s Functionalities

• Speaker verification• Dialogue• Routing• Updating the agenda• Automatic summary

Voice

Fax

E-mail

Voice technology in Majordome

Server side background tasks:continuous speech recognition applied to voice messages upon reception Detection of sender’s name and subject

User interaction: Speaker identification and verification Speech recognition (receiving user

commands through voice interaction) Text-to-speech synthesis (reading text

summaries, E-mails or faxes)

Multimodal Identity Verification

M2VTS (face and speech) front view and profile pseudo-3D with coherent light

BIOMET:(face, speech, fingerprint, signature, hand shape) data collection reuse of the M2VTS and DAVID data bases experiments on the fusion of modalities

BIOMET

An extension of the M2VTS and DAVID projects to include such modalities as signature, finger print, hand shape.

Initial support (two years) is provided by GET (Groupement des Ecoles de Télécommunications)Looking for partners to initiate a european project

Emphasis will be on fusion of scores obtained from two or more modalities.

Poste de travail (suite)

Perspectives

Développement du projet BIOMET. La fusion de modalités. Réseau d’excellence dans le cadre du

6ème PCRD. La carte à puce comme support des

informations biométriques.