Nichtlineare Fisher-Diskriminanzanalyse

Nichtlineare Fisher-

DiskriminanzanalyseRaphael HoffmannPraktikumsbericht

Projektbetreuung durch Dr. Bernhard Sick

Universität Passau

2

Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-

Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung

1

2

3

4

5

6

3



1

2

3

4

5

6

4

Beispiel I

Motivation

Gewicht

Größe

Männer (blau)

Frauen (rot)

• Merkmalsreduktion• Klassifikation

I

F

5

Klassifikation mit Diskriminanzanalyse

Motivation

Vorgehensweise:1. Finde Gerade durch den Ursprung,

so dass Klassen auf Gerade gut getrennt sind2. Finde Decision Boundary db auf Gerade

g: w ¢ x = 0

w

IF

db

6

Alternative Klassifikationsverfahren

Motivation

• Perzeptron-Lernen• Lösung eines linearen

Ausgleichsproblems• Support Vector Machines

w

I

7



1

2

3

4

5

6

8

Fisher-Kriterium

Lineare Fisher-Diskriminanzanalyse

Streuung zwischen den Klassen (erklärte Streuung)

Streuung innerhalb der Klassen (unerklärte Streuung)

Menge der Vektorender Klasse i

Mittelwert der Vektorender Klasse i

Mittelwert aller Vektoren

maximiere

9



1

2

3

4

5

6

10

Beispiel II

Nichtlineare Fisher-Diskriminanzanalyse

Temperatur

Blutdruck

krank (blau)

gesund (rot)

I

11

Architektur-Übersicht

Eingabe-raum

I Nichtlineare Transformation

Lineare Fisher-

Diskriminanz-analyse

HRaum

Ausgabe-Raum

F


Beispiel

12

MLP-basierte Architektur (MLP-NLDA)


Nichtlineare Transformation


Eingabe-raum

Bias

sigmoideAktivierung

lineareAktivierung

Bias

I

Ausgabe-Raum

F

13

RBF-basierte Architektur (RBF-NLDA)


Nichtlineare Transformation

Linear Fisher-Diskriminanzanalyse

Eingabe-raum

Bias

Radiale Basisfunktionen-Aktivierung

lineareAktivierung

I

Ausgabe-Raum

F

14

Kern-basierte Architektur (Kern-NLDA)


Eingabe-raum Raum


NichtlineareTransformation

• Kernfunktion berechnet Skalarprodukt in einem anderen Raum

• Keine explizite Anwendung von notwendig

I HAusgabe-

Raum

F: I £ I ! R

15



1

2

3

4

5

6

16

Implementierung im NNSIM

Implementierung

• Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg

1. Setzen der Gewichte nach Fisher-Kriterium

3. Anpassung der Gewichte nach Gradientenaufstieg

2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten

1. Setzen der Gewichte nach Fisher-Kriterium

17



1

2

3

4

5

6

18

Experiment I

Experimente

• Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

19

Vergleich von Klassifikationsraten auf Standarddatensätzen

MLP RBF SVM0.004

90.005

20.024

00.028

10.022

90.040

2

Experimente

• Fehlerraten des Cancer3-Datensatzes

trainingerror

testerror

trainingerror

testerror

trainingerror

testerror

MLP-NLDA RBF-NLDA Kern-NLDA0.020

00.017

80.019

10.016

70.000

00.028

6

20

Experiment II

Experimente

• Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

21

Lineare Separierung im Ausgabe-Raum

Mögliche Kriterien:• Euklidischer Abstand zu Klassenzentren• Maximum A Posteriori (MAP)• Klassifizierung durch lineare SVM

Experimente

?

FBeispiele

?

F

22

Lineare Separierung im Ausgabe-Raum

Experimente

• MAP erlaubt Berücksichtigung eines prior

Euklidisch MAP SVM0.031

10.024

40.029

30.020

10.030

60.022

9

trainingerror

testerror

trainingerror

testerror

trainingerror

testerror

Anmerkung:- Durchschnittswerte für Cancer1, Cancer2, Cancer3

23

Experiment III

Experimente

• Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

24

Robustheit bei unterschiedlichen Klassenstärken

Experimente

• Synthetische Daten mit hoher Überlappung• Variation der Klassenstärke der Exp.-Vert.

Normal-Verteilung (rot)

Exponential-Verteilung (blau)

25


Experimente

Exp-gr. 10000 5000 2500 1000 100MLP 0.254

70.282

90.342

80.408

00.451

0MLP-NLDA 0.2526

0.2734

0.3142

0.3392

0.4169Anmerkungen:

- MLP mit target coding (0,...,0,1,0,...0)- MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

• Analytische Ermittlung der Fehlerrate• Gleiche Berücksichtigung beider Klassen

26

Klassifikation bei unterschiedlichen Klassenstärken

Anpassungen des MLP-NLDA:1. MAP nimmt uniformen prior an2. Modifizierung der unerklärten

Streuung

Experimente

Division durch Klassengröße

max.

27

Experimente


Exp-gr. 10000 5000 2500 1000 100MLP 0.254

70.282

90.342

80.408

00.451

0MLP-NLDA1

0.2526

0.2734

0.3142

0.3392

0.4169

MLP-NLDA2

0.2531

0.2551

0.2706

0.2876

0.3275

MLP-NLDA3

0.2524

0.2522

0.2533

0.2516

0.2563

Prior: Klassenstärke unerklärte Streuung: normal

Prior: uniform unerklärte Streuung: normal

Prior: uniform unerklärte Streuung: modifiziert

28

0.2

0.25

0.3

0.35

0.4

0.45

0.5

10000 5000 2500 1000 100


Experimente

MLP

MLP-NLDA1

MLP-NLDA2

MLP-NLDA3

Prior: KlassenstärkenUnerklärte Streuung: normal

Prior: uniformUnerklärte Streuung: normal

Prior: uniformUnerklärte Streuung: modifiziert

29



1

2

3

4

5

6

30

• Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten.

• Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza.

• Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

Zusammenfassung

31

• Vielen Dank für Ihre Aufmerksamkeit

Literatur:Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear

discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998

Ende

Nichtlineare Fisher-Diskriminanzanalyse

Documents

Transcript of Nichtlineare Fisher-Diskriminanzanalyse