Fondements de l'Apprentissage Automatique Introductionpietquin/teaching/FAACours1.pdf · Le cours...
32
FAA - M1S2 Olivier Pietquin Le cours Apprentissage ? Apprentissage Supervis´ e Exemple TP Fondements de l’Apprentissage Automatique Introduction Olivier Pietquin [email protected] Universit´ e Lille 1 - CRIStAL (SequeL) - IUF Master 1 Info
Transcript of Fondements de l'Apprentissage Automatique Introductionpietquin/teaching/FAACours1.pdf · Le cours...
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Fondements de l’Apprentissage AutomatiqueIntroduction
Olivier [email protected]
Universite Lille 1 - CRIStAL (SequeL) - IUF
Master 1 Info
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Deroulement - Evaluation
Les cours
12 semaines (21 janvier - 27 avril)
1h30 de CTD
2h de TP
2 intervenants ⇒ 2 parties
Evaluation
Comptes-rendus de TP
Examen
N = sup(EX,(2 EX + CR)/3)
2 parties ⇒ 2 rendus
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Cote pratique
Outils informatique
Python 2.7 : https://www.python.org/
Numpy : http://www.numpy.org/
Matplotlib : http://matplotlib.org/
SciPy : http://www.scipy.org/
Scikit Learn : http://scikit-learn.org
Outils Mathematiques
Algebre lineaire
Probabilites - Statistiques
Optimisation
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Apprentissage : qu’est-ce que c’est pour vous ?
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Tentatives de definition
Arthur Samuel, 1959
Field of study that gives computers the ability to learn withoutbeing explicitly programmed
Tom Mitchell, 1998
A computer program is said to learn from experience E withrespect to some class of tasks T and performance measure P, ifits performance at tasks in T, as measured by P, improves withexperience E
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Apprentissage et IA ?
IA Forte
Machines reproduisantl’intelligence humaine
Raisonnement a base deconnaissance
Predicats, symboles,inference logique
Raisonnement haut niveau
IA Faible
Machines reproduisant lecomportement humain
Apprentissage a based’exemples
Hypotheses, calculsnumerique
Taches specifiques
Remarque : neurosciences computationnelles
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples I
Detection de visages
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples II
Reconnaissance de chiffres manuscrits
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples III
Reconnaissance vocale - analyse du langage
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples IV
Systemes de recommandation
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples V
Segmentation d’images
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples VI
Interaction homme-robot
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples VII
Recherche de communautes dans les reseaux sociaux
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples VIII
Google Car
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemples IX
Et encore ...
Traduction automatique
Detection de spam
Imagerie medicale
Bio-informatique
Video-surveillance
Aide aux personnes
e-Learning
Economie
Publicite
Big data
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Types d’apprentissage I
Apprentissage Supervise
Apprendre des relations entre entrees et sorties ;
Un oracle donne des exemples exprimant ces relations ;
Exemples
Detection de visage : donnees = image + label
Reconnaissance vocale : donnees = son + texte
Reconnaissance de chiffres : donnees = images + texte
Exemple bases de donnees :
ImageNetUCI
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Types d’apprentissage II
Apprentissage Non-Supervise
Apprendre une structure dans un ensemble de donnees ;
Pas d’oracle ;
Exemples
Compression GIF
Detection de communaute (graphes d’amis Facebook,preferences Netflix etc.)
Clustering
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Types d’apprentissage III
Apprentissage par Renforcement
Apprendre a se comporter !
Apprentissage en ligne
Decisions sequentielles
Exemples
Controle
Jeux video
Robotique
NB : MoCAD
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Classification
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Regression
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Chaıne de traitement
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Caracteristiques
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Representation
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Induction
Definition
Etant donne un ensemble D de donnees sous forme de couples{x(i), y (i) = f (x(i))}i∈[1,N] (avec souvent x(i) ∈ Rm et yi ∈ R),
il s’agit de trouver une fonction f (x) qui permette d’expliqueret de predire la relation entre des entrees quelconques (x) et lessorties (y) correspondantes.
Methodes parametriques
Souvent, on se choisit une representation parametrique et oncherche les parametres grace aux donnees le probleme devient :Etant donne une famille de fonctions fθ et des donnees{x(i), y (i)}, trouver θ tel que fθ(x) ' y pour tout x.
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position I
Vitesse, position et temps
Equations du MRU : p = p0 + v∆t
Disons qu’on ne les connaıt pas
On mesure approximativement des positions et des temps
Methodologie
Quelles caracteristiques ?
Quelle famille de fonctions parametriques ?
Quelle principe d’induction ?
Caracteristiques ?
position = f (temps)
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position II
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position III
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position IV
Famille lineaire
La relation entre les x et les y est lineaire :
position = fθ(temps) = θ1 × temps + θ0
Definissons y = position, x1 = temps, x0 = 1,
x =
[x1
x0
]et θ =
[θ1
θ0
].On a alors :
y = fθ(x) =1∑
j=0
θjxj = θTx
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position V
Mesures de Performance
Jabs(θ) =1
N
N∑i=1
∣∣∣y (i) − fθ(x(i))∣∣∣
J`1(θ) =1
N
√√√√ N∑i=1
(y (i) − fθ(x(i))
)2
J`2(θ) =1
N
N∑i=1
(y (i) − fθ(x(i))
)2
J`∞(θ) = maxi
∣∣∣y (i) − fθ(x(i))∣∣∣
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Exemple : predire une position VI
Representation matricielle
N∑i=1
(a(i))2 = aTa
Avec : y =
y(1)
...
y (N)
X =
[x
(1)1 · · · x
(N)1
x(1)0 · · · x
(N)0
]θ =
[θ1
θ0
]
J`2(θ) =1
N
(y− XT θ
)T (y− XT θ
)
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
TP
Aller sur la page du cours
Prendre les donnees t, p
Afficher les donnees (matplotlib)
Comparer graphiquement (matplotlib) au modeley = 2x + 3 (numpy)
Calculer les differents J(θ)
Il est essentiel pour la suite d’utiliser des matrices !
FAA - M1S2
OlivierPietquin
Le cours
Apprentissage ?
ApprentissageSupervise
Exemple
TP
Fin de la premiere partie
