Das Unvorhersehbare vorhersagen: Representation Learning ... ·...
Transcript of Das Unvorhersehbare vorhersagen: Representation Learning ... ·...
![Page 1: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/1.jpg)
Das Unvorhersehbare vorhersagen:
Representation Learning von Zeitreihen
Marisa Mohr Hamburg, 12. Juni 2019
![Page 2: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/2.jpg)
M.Sc. Mathematik
Machine Learning Engineer @inovex • Machine Perception & Artificial Intelligence
• IoT und Predictive Maintenance
Doktorandin @Universität zu Lübeck• Institut für Informationssysteme, Prof. Dr. Ralf Möller
• “Time-Series Representation Learning”
Marisa Mohr
2
@MarsaMo1
![Page 3: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/3.jpg)
Bild: http://www.clker.com/clipart-27380.html
Dynamisches Auf und Ab
3
![Page 4: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/4.jpg)
4
High Dimensionality
Bild: https://towardsdatascience.com/artificial-intelligence-in-2019-bb5cf3d39e4e
![Page 5: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/5.jpg)
5
Low Sample Size
Bild: https://towardsdatascience.com/artificial-intelligence-in-2019-bb5cf3d39e4e
![Page 6: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/6.jpg)
6
Interpretierbarkeit
Bild: https://towardsdatascience.com/artificial-intelligence-in-2019-bb5cf3d39e4e
![Page 7: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/7.jpg)
7
Die innere Naturdes erzeugenden Systems einer Zeitreihe verstehen.
![Page 8: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/8.jpg)
Representation Learning
Modell
8
Ziel
ℝ
![Page 9: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/9.jpg)
Deep Dive
9
![Page 10: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/10.jpg)
Was ist eine Zeitreihe?
10
1. Notiere den Messwert einer Beobachtung!
2. Notiere den Zeitpunkt t = 0 → !&.
3. Weitere Beobachtungen zuunterschiedlichen Zeiten mitäquidistantem Abstand → !(, !*, !+, . . .
4. Alle Beobachtungen zusammen ergebendie Zeitreihe → ! = (!&, !(, !*, …!.)
Messwert
Zeit
!&
0 1 2 3 …
!(
!*!+
!3
Abhängig von Zeit und Rauschen!
![Page 11: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/11.jpg)
11
Symbolische Abstraktionen.
![Page 12: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/12.jpg)
Symbolisierung
12
• Unterteilung des Datenbereichs • Ordnungsrelationen
d c b a
Sequenz: acaddcaaaccbbccccdaca
Klassisch: Ordinal:
Sequenz: …
![Page 13: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/13.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
13
&'()(⋅+( > &'()-⋅+( > &'()+⋅+(
Zeitpunkt t = 60Ordnung d = 2
12,24(64) = (4, 8, 2)
![Page 14: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/14.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
14
&'()*⋅,( > &'(),⋅,( > &'()(⋅,(./,/1(31) = (5, /, 1)
Zeitpunkt t = 80
![Page 15: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/15.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
15
&'(()*⋅*( > &'(()(⋅*( > &'(()'⋅*(-.,.0(200) = (., 0, 2)
Zeitpunkt t = 100
![Page 16: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/16.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
16
&'()*)⋅() > &'()*'⋅() > &'()*(⋅()-.,.0(2.0) = (0, 2, .)
Zeitpunkt t = 120
![Page 17: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/17.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
17
(', ), *)
t = 120t = 100
t = 80t = 60
(*, ', ))(), *, ')(', ), *)
![Page 18: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/18.jpg)
Symbolisierung von Zeitreihen
18
Klassisch: Ordinal:
Symbolisierungen von Zeitreihen, und nun?
Sequenzen: (2,0,1), (1,2,0), (2,0,1),….
d c b a
Sequenz: acaddcaaaccbbccccdaca
![Page 19: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/19.jpg)
Komplexität
19
acaddcaaaccbbccccdaca
abcdabcdabcdabcdabcd
![Page 20: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/20.jpg)
20
Klassischer Ansatz
![Page 21: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/21.jpg)
Benötigte Anzahl an Bits, um eine Symbol-Sequenz anzuzeigen oder zu übermitteln
Wie bestimmt man Komplexität?Gleichverteilung
21
a b c d e f g h
1
1
1 1
1
1 1
0
0
0 0 0 0
0
! Symbole, Gleichverteilung: "# = %&
p = (18 ,18 ,18 ,18 ,18 ,18 ,18 ,18)
Höhelog !
log ! = log 1" = log 1 − log " = − log "
![Page 22: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/22.jpg)
› Nicht jedes Zeichen bzw. jede Nachricht ist gleichverteilt
› Sequenz: acaddcaaaccbbccccdaca
Wie bestimmt man Komplexität?Keine Gleichverteilung
22
b d
1
1
1
0
0
0
p = ( 221 ,321 ,
721 ,
921)
a
c
+ Zeichen, keine Gleichverteilung: ,- ≠ ,/
Nachricht Code Länge Erwartete Länge
b 111 3 0,286
d 110 3 0,429
a 10 2 0,667
c 0 1 0,429
Erwartete Länge 1,811
![Page 23: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/23.jpg)
Entropie
23
−"#$%
&'# log '#log + = − log '
Gleichverteilung Keine Gleichverteilung
'%, '., … , '& ist ein stochastischer Vektor, d.h., • '%, '., … '& ∈ [0,1] und• ∑'# = 1
Nichts Neues: Shannon (1948)
![Page 24: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/24.jpg)
24
Nutze das Auf und Ab!
![Page 25: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/25.jpg)
25
−"# $ log # $ ,#) #)
![Page 26: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/26.jpg)
= Shannon-Entropie ordinaler Muster
wobei ! " die relative Häufigkeit des ordinalen Musters " in der Zeitreihe ist.
26
Permutationsentropie (PE)
−$%∈'
! " log ! " ,
![Page 27: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/27.jpg)
Ordinales Muster mit Delay ! = 20 und Ordnung % = 2
27
(', ), *)(*, ', ))(), *, ')(', ), *)
,-. = −24 log24 − 14 log
14 − 14 log
14 = 1,5
![Page 28: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/28.jpg)
Beispiel mit Ordnung ! = 1
28
$%& = −45 log45 − 15 log
15 ≈ 0,7219
• 4 Fenster mit 34 < 346&, d.h., 7&89 = (0,1)• 1 Fenster mit 34 > 346&, d.h., 7&89 = (1,0)
1 2 3 4 5 6
![Page 29: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/29.jpg)
FazitNur ein weiteres beschreibendes Feature?
• „natürliches, intrinsisches“ Maß basierend auf Informationen statt Abständen
• Interpretierbares Auf und Ab des erzeugenden Systems• Nachbarn werden berücksichtigt• Konzeptionelles, interpretierbares Maß
• Kann um Bedingte W‘keiten oder Amplituden erweitert werden• Anwendung in Medizin (EEG, EKG, …) oder Wirtschaft (Aktien,
Populationen,…)
29
![Page 30: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/30.jpg)
Chaos
• Ausgangssituation kann bei Wiederholung nicht identisch hergestellt werden
• Experiment landet nach kurzer Zeit in deutlich anderen Zuständen
30
Wetter Räuber-Beute-Modell
Tödliche Embolien
Entstehung
bösartiger
TumoreAusfall bestimmter
Hirnfunktionen beim Schlaganfall
![Page 31: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/31.jpg)
Anwendungen
31
![Page 32: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/32.jpg)
Quelle: Keller, K., Mangold, T., Stolz, I., Werner, J.: Permutation Entropy: New Ideas and Challenges Entropy 19(3) (2017)
Klassifikation + Detektion von epileptischen Anfällen
32
Daten: • EEG-Datenbank• Länge von 23.6s• Sampling Rate 173.61 Hz.• 5 Gruppen, je 100 Zeitreihen
Gesund? Wie gemessen? Zustand
A ja Oberfläche Offene Augen
B ja Oberfläche Geschlossene Augen
C nein Intrakraniell, epileptogene Zone Anfallsfreie Zeit
D nein Intrakraniell, gegenüberliegende Gehirnhälfte
Anfallsfreie Zeit
E nein intrakraniell Anfallszeit
![Page 33: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/33.jpg)
https://www.cmsattler.de/diktieren-spracherkennung-und-sprache-4-0/ , http://truth-and-beauty.net/projects/emoto, https://medium.com/@5agado/building-a-personal-virtual-assistant-step-1-your-cv-as-a-chatbot-a4381fce6983
Wo spielt das “Auf und Ab“ noch eine Rolle?
33
![Page 34: Das Unvorhersehbare vorhersagen: Representation Learning ... · assistant-step-1-your-cv-as-a-chatbot-a4381fce6983 Wo spielt das “Auf und Ab“ noch eine Rolle? 33. Vielen Dank](https://reader034.fdocuments.us/reader034/viewer/2022042221/5ec7f45c0874e9695b486b2e/html5/thumbnails/34.jpg)
Vielen DankMarisa MohrMachine Learning Engineer
inovex GmbH
Friesenweg 4 / Haus 13
22763 Hamburg
01523 3181 259