Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at...
Transcript of Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at...
![Page 1: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/1.jpg)
Begriffbildung, Konzepte und UberblickSeminar Deep Learning
Alexander Stratz
Universitat Leipzig
12. Januar 2018
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 1 / 30
![Page 2: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/2.jpg)
Inhaltsverzeichnis
1. Motivation
2. Aufbau kunstlicher neuronaler Netze
3. Funktionsweise
4. Probleme/Losungen
5. Zusammenfassung
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 2 / 30
![Page 3: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/3.jpg)
Motivation
Motivation
Wo ist deep learning anzufinden?:
I Websuche
I Filterfunktionen in sozialen Netzwerken
I Empfehlungen im Bereich e-commerce
I Kameras/Smartphones
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 3 / 30
![Page 4: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/4.jpg)
Motivation
Motivation
deep learning wird genutzt um:
I Objekte in Bildern zu identifizieren
I Sprache zu Text zu ubersetzen
I Produkte auf Nutzerinteressen abzustimmen
I relevante Suchergebnisse festzustellen
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 4 / 30
![Page 5: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/5.jpg)
Motivation
Motivation
Konventionelles Machine-learning:
I Fachkompetenz im Anwendungsbreich notig
I transformieren der rohen Daten in eine geeignete interneReprasentation
Deep learning:
I rohe Eingabedaten
I automatisches Entdecken der geeigneten Reprasentation
I mehrere Abstraktionslevel der Reprasentation
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 5 / 30
![Page 6: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/6.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
Abbildung: Aufbau des kunstlichen Neurons
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 6 / 30
![Page 7: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/7.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
I Aktivierungsfunktion: Zusammenhang zwischen Netzinput undAktivitatslevel eines Neurons
I Sigmoid Funktion: σ(z) = 11+e−z
Abbildung: Sigmoid-Funktion
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 7 / 30
![Page 8: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/8.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
I empirisch oft bessere Ergebnisse: rectified linear units (ReLU)I ReLU(z) = max(0, z)
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 8 / 30
![Page 9: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/9.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
Abbildung: Schichten im KNN
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 9 / 30
![Page 10: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/10.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
Abbildung: Tiefes Netz Abbildung: Flaches Netz
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 10 / 30
![Page 11: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/11.jpg)
Aufbau kunstlicher neuronaler Netze
Aufbau kunstlicher neuronaler Netze
I Convolutional Neural Network (CNN)I Anwendungsbeispiel: Verarbeitung von BilddatenI besteht aus Convolutional Layer und Pooling LayerI z.b. zuerst Kantenerkennung, anschließend Reduktion auf Maximum
I Recurrent Neural Network (RNN)I Anwendungsbeispiel: SpracherkennungI Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder
einer vorangegangenen Schicht→ Verarbeitung von Sequenzen
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 11 / 30
![Page 12: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/12.jpg)
Funktionsweise
Funktionsweise: Beispiel Filmempfehlung
Abbildung:
Abbildung:Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 12 / 30
![Page 13: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/13.jpg)
Funktionsweise
Funktionsweise: Beispiel Filmempfehlung
Abbildung:
I Initialisiere θ und b zufallig
I Ziel: h(x (1); θ, b) ≈ y (1)
h(x (2); θ, b) ≈ y (2)
...
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 13 / 30
![Page 14: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/14.jpg)
Funktionsweise
Funktionsweise: Gradientenverfahren
I minimiere Kostenfunktion:∑m
i=1(h(x)(i); θ, b)− y (i))2
I stochastisches Gradientenabstiegsverfahren:θ1 = θ1 − α∆θ1θ2 = θ2 − α∆θ2b = b − α∆b
I α: Lernfaktor (kleines nicht-negatives Skalar)
I schatze Gradienten mit zufallig ausgewahlten Trainingsbeispielen
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 14 / 30
![Page 15: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/15.jpg)
Funktionsweise
Funktionsweise: Gradientenverfahren
Abbildung: Gradientenverfahren
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 15 / 30
![Page 16: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/16.jpg)
Funktionsweise
Backpropagation Algorithmus
I Ziel: Berechne ∂C/∂w und ∂b/∂b
I Input: Setze die Aktivierung fur den Input-Layer
I Feedforward: Berechne Input z l = w lal−1 + bl und Aktivierungal = σ(z l)
I Output Fehler: δl = ∂C
∂ajLσ′(zLj )
I Backpropagation des Fehlers: δl = (w l+1δl+1) ∗ σ′(z l)I Output: Berechne ∂C
∂w ljk
= al−1k δlj
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 16 / 30
![Page 17: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/17.jpg)
Funktionsweise
Funktionsweise
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 17 / 30
![Page 18: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/18.jpg)
Funktionsweise
Funktionsweise
I Stopp des Gradientenverfahrens, wenn sich Parameter nicht mehrandern oder nach festgelegter Anzahl von Iterationen
I Entscheidungsfunktion h(x ; Θ, b) bestimmt ob man den Film magoder nicht
I h > 0, 5: ja, h < 0, 5: nein
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 18 / 30
![Page 19: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/19.jpg)
Funktionsweise
Funktionsweisen
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 19 / 30
![Page 20: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/20.jpg)
Funktionsweise
Funktionsweise: Beispiel
I realistischeres Beispiel: Erkennen von handgeschriebenen Zahlen
Abbildung:
I Zahlen bestehen aus 64x64 Graustufenbildern→ Input-Layer aus 64x64 = 4096 Neuronen zwischen 0 (weiß) und 1(schwarz)
I 10 Output-Neuronen, die jeweils eine Ziffer reprasentieren
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 20 / 30
![Page 21: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/21.jpg)
Funktionsweise
Funktionsweise: Beispiel
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 21 / 30
![Page 22: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/22.jpg)
Probleme/Losungen
Probleme/Losungen: Overfitting
Abbildung: Gesamtkosten aufden Trainingsdaten
Abbildung: Genauigkeit derKlassifikation auf den Testdaten
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 22 / 30
![Page 23: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/23.jpg)
Probleme/Losungen
Overfitting
Losungsmoglichkeiten:
I Berechnen der Klassifikationsgenauigkeit nach jeder Epoche aufValidierungsdaten→ Stoppen des Trainings nachdem die Klassifikationsgenauigkeitnicht mehr zunimmt
I L2-Regularisierung: Cneu = Calt +∑
w w2
→ kleine Gewichte werden vorgezogen
I L1-Regularisierung: Cneu = Calt +∑
w |w |→ Schrumpfen der Gewichte um konstanten Betrag
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 23 / 30
![Page 24: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/24.jpg)
Probleme/Losungen
Overfitting
Losungsmoglichkeiten:
I Dropout: Bei jedem Trainingsdurchgang losche die Halfte der hiddenNeuronen
I Anschließend halbiere die Gewichte, die von den hidden Neuronenausgehen
I Erweitere kunstlich die Trainingsdaten: Modifiziere leicht dieoriginalen Trainingsdaten
I zum Beispiel durch Rotation und Translation bei Bilddaten
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 24 / 30
![Page 25: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/25.jpg)
Probleme/Losungen
Initialisierung der Gewichte
I Initialisierung der Gewichte mit Mittelwert 0 und Standardabweichung1
I 1000 eingehende Neuronen, jeweils 50% besitzen Wert 0 und 1
Abbildung:
→ sehr hohe Wahrscheinlichekeit fur z << 1 oder z >> 1
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 25 / 30
![Page 26: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/26.jpg)
Probleme/Losungen
Initialisierung der Gewichte
I Initialisiere Gewichte mit Mittelwert 0 und Standardabweichung1/√nin
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 26 / 30
![Page 27: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/27.jpg)
Probleme/Losungen
Problem des verschwindenden Gradienten
Abbildung:
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 27 / 30
![Page 28: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/28.jpg)
Probleme/Losungen
Problem des verschwindenden Gradienten
Abbildung:
I Gradient in den fruhen Schichten ist Produkt der Terme aus denspateren Schichten→ unstabile Situation
I besser: verwende ReLU statt Sigmoid-Funktion
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 28 / 30
![Page 29: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/29.jpg)
Zusammenfassung
Zusammenfassung
I Neuronale Netze sind vor allem fur Aufgaben gut geeignet, die vomMenschen intuitiv gelost werdenz.B.: Spracherkennung, Gesichtserkennung...
I Deep Learning nutzt eine Reihe hierarchischer Schichten, um dieEingabedaten interpretieren zu konnen
I viele Richtlinien bei der Verwendung neuronaler Netze basieren nurauf empirischen Erkenntnissen
→ weitere Forschung notig
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 29 / 30
![Page 30: Seminar Deep Learning · 2018. 4. 18. · Seminar Deep Learning Alexander Str atz Universit at Leipzig 12. Januar 2018 Alexander Str atz (Uni Leipzig) Begriffbildung, Konzepte und](https://reader034.fdocuments.us/reader034/viewer/2022052002/6014d2204c972f7bfe6c51dd/html5/thumbnails/30.jpg)
Zusammenfassung
Vielen Dank fur dieAufmerksamkeit
Alexander Stratz (Uni Leipzig) Begriffbildung, Konzepte und Uberblick 12. Januar 2018 30 / 30