5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)
description
Transcript of 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)
![Page 1: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/1.jpg)
1SS 2005 5. Klassifikation und Approximation mit MLP
5. Klassifikation und Approximation durch ein
Multilayer Perzeptron (MLP)Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle
Output
Input
![Page 2: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/2.jpg)
SS 20052
5. Klassifikation und Approximation mit MLP
Inhalt
a. Einfaches Perzeptron am Beispiel künstliches Auge
b. Klassifikationsleistung für Muster als Funktion der Layerzahl
c. Approximation von Kennlinien
d. Ergebnis der Approximation einer technischen Kennlinie
![Page 3: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/3.jpg)
3SS 2005 5. Klassifikation und Approximation mit MLP
Einfaches Perzeptron am Beispiel künstliches Auge
Aufgabenstellung: Erkennung des Musters auf der Retina
![Page 4: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/4.jpg)
4SS 2005 5. Klassifikation und Approximation mit MLP
Realisierung mit Perzeptron
• Erkennung des Musters auf der Retina
• Perzeptron: dreilagig
• Aktivierungsfunktion: binäre Funktion für Ebene 0 und 1. Eingabeschicht: binär (0,1)
![Page 5: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/5.jpg)
5SS 2005 5. Klassifikation und Approximation mit MLP
Klassifikationsleistung für Muster als Funktion der Layerzahl
• durch die Erhöhung der Layerzahl lassen sich komplexere Figuren besser klassifizieren.
• durch die Verwendung von stetigen Aktivierungs-funktionen werden die Kanten geglättet
![Page 6: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/6.jpg)
6SS 2005 5. Klassifikation und Approximation mit MLP
Approximation von Kennlinien
Aufgabenstellung: Das statische Verhalten eines technischen Systems, gegeben durch die Kennlinie ua = f(ue) soll gelernt werden
![Page 7: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/7.jpg)
7SS 2005 5. Klassifikation und Approximation mit MLP
MLP für Approximation von Kennlinien
• Lernen und approximieren einer unbekannten Kennlinie
• Perzeptron: drei- oder vierlagig,
• Aktivierungsfunktion: Eingabeschicht: Identität (linear); Schicht 2 und 3: sigmoide Funktion; Ausgangsschicht: Identität (linear).
![Page 8: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/8.jpg)
8SS 2005 5. Klassifikation und Approximation mit MLP
Schema der Approximationvon Kennlinien
• Nach dem Training wird die unbekannte Funktion (dicke schwarze Linie) durch die sigmoiden Funktionen der inneren Schichten (dünne Linien) stückweise approximiert
• die Anschmiegung an die vorgebenene Kennlinie erfolgt durch die Gewichtsänderung im Training
• je höher die Frequenz der Kennlinie, desto mehr Schichten sind erforderlich
Output
Input
![Page 9: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/9.jpg)
9SS 2005 5. Klassifikation und Approximation mit MLP
Ergebnis der Approximation
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
'data6.txt' using 1:2
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
'data6.txt' using 1:3
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
'data6.txt' using 1:5
Ausgangswerte
Nach 1000 Trainingsepochen
Nach 2000 Trainingsepochen
![Page 10: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/10.jpg)
10SS 2005 5. Klassifikation und Approximation mit MLP
Bewertung der Approximationsleistung
• nach dem Training wird die unbekannte Funktion (rote Linie) durch die sigmoiden Funktionen der inneren Schichten (blaue Linie) stückweise approximiert und aufsummuiert vom Ausgangsneuron
• die Kennlinie wird nach etwa 2000 Trainings-epochen mit guter Näherung wiedergegeben
• alle Trainings-, Validierungs- und Testdaten wurden vor dem Training normiert
![Page 11: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/11.jpg)
11SS 2005 5. Klassifikation und Approximation mit MLP
Fragen
Fragen Sie bitte!
![Page 12: 5. Klassifikation und Approximation durch ein Multilayer Perzeptron (MLP)](https://reader036.fdocuments.us/reader036/viewer/2022062520/56815904550346895dc637f5/html5/thumbnails/12.jpg)
12SS 2005 5. Klassifikation und Approximation mit MLP
Danke
Vielen Dank für Ihr Interesse!