Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau...
Transcript of Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau...
![Page 1: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/1.jpg)
Réseau de neurones artificiels et apprentissage profond Pascal GermainInria Lille – Nord EuropeÉquipe-projet Modal
La Journée de l'Enseignement de l'Informatique et de l'Algorithmique Université de Lille, Mercredi 6 mars 2019
![Page 2: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/2.jpg)
Apprentissage automatique(machine learning)
Réseaux de neurones(artificial neural networks)
Apprentissage profond(deep learning)
IA : Intelligence artificielle(AI : Artificial intelligence)
![Page 3: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/3.jpg)
Source: https://stats.stackexchange.com
![Page 4: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/4.jpg)
« 2 »
![Page 6: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/6.jpg)
« C’est une banane. »« It is a banana. »
![Page 7: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/7.jpg)
![Page 8: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/8.jpg)
![Page 9: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/9.jpg)
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
Phase d’apprentissage
« 2 »
Phase de prédiction
![Page 10: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/10.jpg)
La neurone artificielle
f
x1
x2
x3
y
![Page 11: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/11.jpg)
La neurone artificielle
f
x1
x2
x3
y
f(w1x1+w2x2+w3x3+… ) = y
w1
w2
w3
![Page 12: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/12.jpg)
La neurone artificielle
x1
x2
x3
y
w1
w2
w3
sigmoide(w1x1+w2x2+w3x3+…) = y
sigmoide(x )
![Page 13: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/13.jpg)
La neurone artificielle
x1
x2
x3
y
w1
w2
w3
Maximum(0, w1x1+w2x2+w3x3+…) = y
Max(0,x )
![Page 14: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/14.jpg)
Source : « NUMBRE — A NUMBer REcognizer Neural Network », Roshan Noronha
Un réseau de neurones
00123...9
![Page 15: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/15.jpg)
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
7 %
42%
31%
20%
![Page 16: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/16.jpg)
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
7 %
42%
31%
20%
0 %
0 %
100%
0 %
![Page 17: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/17.jpg)
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
55 %
3 %
3 %
39%
![Page 18: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/18.jpg)
0,0,0,0,0,0,0,0,0,0,0,0,0,0,01,1,1,1,1,1,1,1,1,1,1,1,1,1,12,2,2,2,2,2,2,2,2,2,2,2,2,2,23,3,3,3,3,3,3,3,3,3,3,3,3,3,34,4,4,4,4,4,4,4,4,4,4,4,4,4,45,5,5,5,5,5,5,5,5,5,5,5,5,5,56,6,6,6,6,6,6,6,6,6,6,6,6,6,67,7,7,7,7,7,7,7,7,7,7,7,7,7,78,8,8,8,8,8,8,8,8,8,8,8,8,8,89,9,9,9,9,9,9,9,9,9,9,9,9,9,9
00123
100 %
0 %
0 %
0 %
55 %
3 %
3 %
39%
![Page 19: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/19.jpg)
Intermède historique● 1950-1960: Perceptron (le neurone)
● 1980-1990: Réseau de neurones à deux couches
● 1995-2005: L’hiver des réseaux de neurones
● 2006 - .... : Réseaux de neurones profonds
![Page 20: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/20.jpg)
La renaissance● Recherche scientifique
● Grand jeux de données
● Puissance de calcul
● Intérêt des grandes industries
(Google, Facebook, Amazon, Microsoft, ...)
![Page 21: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/21.jpg)
Apprentissage de représentations
Bouturage
www.deeplearningbook.org
Source : http://www.deeplearningbook.org/
![Page 22: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/22.jpg)
La nouvelle technologie blockchain permet les crypto-monnaies?T = 3T = 3
France – Paris + Italie = Rome
Source : Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013
![Page 23: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/23.jpg)
Attention aux biais
Homme – Programmeur + Femme = Ménagère
Source : « Five Things That Scare Me About AI », Rachel Thomas
![Page 24: Réseau de neurones artificiels etjeia.fil.univ-lille1.fr/conferences/2019-germain.pdf · Réseau de neurones artificiels et apprentissage profond Pascal Germain Inria Lille – Nord](https://reader034.fdocuments.us/reader034/viewer/2022042812/5fb339c6b19e3e55f417130f/html5/thumbnails/24.jpg)
En terminant...● Le domaine progresse très rapidement !
● Actuelles forces des réseaux de neurones :
– Succès empiriques impressionnants
(images, vidéos, reconnaissance de la parole, traduction, ...)– Flexibilité
– Permets le transfert d’une tâche à une autre («bouturage»)
● Actuelles faiblesses des réseaux de neurones :
– Demande beaucoup de « bidouillage »
– Requiers de grandes bases d’apprentissage
– Difficilement interprétables