Logistische Regression - · PDF fileLogistische Regression Christian Herta ... wobei im obigen...

Klassikation Logistische Regression Entscheidungsgrenze Kosten Gradientenabstieg Mehrklassen
Logistische Regression
Christian Herta
August, 2013
1 von 45 Christian Herta Logistische Regression

Lernziele
Konzepte des maschinellen Lernens (insb. der Klassikation)
Entscheidungsgrenze, Lineare Separabilitt(konvexe) KostenfunktionZweiklassenproblem / Mehrklassenproblem

Outline
1 Klassikation
2 Logistische Regression
3 Entscheidungsgrenze
4 Kosten
5 Gradientenabstieg
6 Mehrklassen

Klassikation
Zwei-Klassenproblemy {0, 1}
y = 1: positive Klasse, z.B. Email: Spam
y = 0: negative Klasse, z.B. Email: kein Spam

Vorhersage mit linearer Regression
Lineare Funktion
h(~x) = ~T~x
Schwellwert frKlassikation
h(~x) 0.5 positive Klasseh(~x) < 0.5 negative Klasse

Vorhersage mit linearer Regression
Lineare Regression ungeeignet fr Klassikationsproblem.Beachte auch: h(~x) kann grer oder kleiner 1 sein.

Outline
1 Klassikation
4 Kosten
5 Gradientenabstieg
6 Mehrklassen

Logistische Funktion
0 g(z) 1
Gilt fr die logistischenFunktion (sigmoide Funktion):
g(z) =1
1 + exp(z)
Beachte:
1
1 + exp(0)=
1
2

h(~x) = g(~T~x)
Einsetzen der logistischen Funktion g(z):
h(~x) =1
1 + exp(~T~x)

Name Logistische Regression
Namensanteil logistische wegen der Benutzung derlogistischen Funktion.
Namensanteil Regression hat historische Grnde. Es handeltsich nicht um Regression, sondern um Klassikation!

Wahrscheinlichkeitsinterpretation
Interpretation:h(~x) = p(y |x,)
Wahrscheinlichkeit von y = 1 gegeben x und den Parametern z.B. h(x) = 0.8: Wahrscheinlichkeit fr einen bsartigen Tumorist 80%.
Vorhersage (prediction) gem Wahrscheinlichkeiten:
h(x) 0.5 y = 1h(x) < 0.5 y = 0

Outline
1 Klassikation
4 Kosten
5 Gradientenabstieg
6 Mehrklassen

Entscheidungsgrenze
~T ~x 0 h(x) 0.5 ypredicted = 1~T ~x < 0 h(x) < 0.5 ypredicted = 0
Beispiel 1:
~T~x = 0 + 1x1 = 6.+6
5x1
Entscheidungsgrenze:~T~x = 0 x1 = 5Vorhersage:x1 5 ypredict = 1x1 < 5 ypredict = 0

Entscheidungsgrenze: Plot Beispiel 1

Entscheidungsgrenze: Beispiel 2 (Iris Dataset)
Klassen: Iris-Versicolour (rot) Iris-Virginica (blau)
Features: x1: sepal length (cm) x2: petal length (cm)

Entscheidungsgrenze: Beispiel 2

Contourplot: Beispiel 2

Entscheidungsgrenze Beispiel 3
Beispiel 2:
~T~x = 0 + 1x1 + 2x2 = 3 x1 x2
Entscheidungsgrenze:~T~x = 0 x2 = 3 x1Vorhersage:x1 + x2 3 ypredict = 1x1 + x2 < 3 ypredict = 0

Entscheidungsgrenze: Plot Beispiel 3

Entscheidungsgrenze: 3d-Beispielplot
Beachte unter Hinzunahme der x0-Dimension geht dieEntscheidungsgrenze durch den Ursprung.Entscheidungsgrenze (Decision Boundary) ist eine (Hyper-)Ebene.

Lineare Separabilitt
Denition ((nicht-formal): Linear Separabel)
Lassen sich die Datenpunkte eines n-dimensionalen Raums mit einer(n-1 dimensionalen) Hyperebene trennen, so bezeichnet man dasProblem als linear separabel.

Nicht linear separabel Daten
Die beiden Klassen lassensich nicht durch eine Gerade(Hyperebene in 2D) trennen.

Ideen, wie das Modellerweitert werden kann?

Einfhren nicht-linearerBasisfunktionen (x)!

Nicht linear separabel - Entscheidungsgrenze
Durch welche Gleichung wird derKreis mathematisch beschrieben?

Kreisgleichung: x21
+ x22
= 1

Kreisgleichung: x21
+ x22
= 1
Basisfunktionen:
1(x) = x2
1
2(x) = x2
2

Kreisgleichung: x21
+ x22
= 1
Basisfunktionen:
1(x) = x2
1
2(x) = x2
2
h(x) = g(0+11(x)+22(x))
h(x) = g(1 + x21 + x22 )

Feature Space
Transformation der x1, x2-Werte in (nicht-linearen) Feature Space 1, 2 linear separables Problem im Feature Space
Bemerkung: Im Gegensatz zu diesem Beispiel ist der Feature-Raum in der Regel hher-dimensional als
der Raum der Orginaldaten.

Nicht linear separable Probleme
Durch Wahl geeigneter Basisfunktionen lassen sich auch komplexenicht linear separable Probleme lsen.

Outline
1 Klassikation
4 Kosten
5 Gradientenabstieg
6 Mehrklassen
26 von 45 Christian

Logistische Regression - · PDF fileLogistische Regression Christian Herta ... wobei im obigen...

Documents

Transcript of Logistische Regression - · PDF fileLogistische Regression Christian Herta ... wobei im obigen...