Nichtlineare Fisher-Diskriminanzanalyse

1. Nichtlineare Fisher-Diskriminanzanalyse Raphael HoffmannPraktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau

2. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

3. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

4. F Motivation Beispiel I I • Merkmalsreduktion • Klassifikation Männer (blau) Frauen (rot) Gewicht Größe

5. Motivation Klassifikation mit Diskriminanzanalyse Vorgehensweise: • Finde Gerade durch den Ursprung, so dass Klassen auf Gerade gut getrennt sind • Finde Decision Boundary db auf Gerade I F w db g: w ¢ x = 0

6. Motivation Alternative Klassifikationsverfahren • Perzeptron-Lernen • Lösung eines linearen Ausgleichsproblems • Support Vector Machines I w

7. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

8. Menge der Vektorender Klasse i Mittelwert der Vektoren der Klasse i Mittelwert aller Vektoren Lineare Fisher-Diskriminanzanalyse Fisher-Kriterium maximiere Streuung zwischen den Klassen (erklärte Streuung) Streuung innerhalb der Klassen (unerklärte Streuung)

9. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

10. Nichtlineare Fisher-Diskriminanzanalyse Beispiel II I krank (blau) gesund (rot) Temperatur Blutdruck

11. Beispiel Nichtlineare Fisher-Diskriminanzanalyse Architektur-Übersicht Nichtlineare Transformation Lineare Fisher- Diskriminanz- analyse Eingabe- raum Ausgabe- Raum Raum H I F

12. Nichtlineare Fisher-Diskriminanzanalyse MLP-basierte Architektur (MLP-NLDA) Bias Bias Ausgabe- Raum Eingabe- raum F lineareAktivierung I sigmoideAktivierung Nichtlineare Transformation Lineare Fisher-Diskriminanzanalyse

13. Nichtlineare Fisher-Diskriminanzanalyse RBF-basierte Architektur (RBF-NLDA) Bias Ausgabe- Raum Eingabe- raum F I lineareAktivierung Radiale Basisfunktionen-Aktivierung Nichtlineare Transformation Linear Fisher- Diskriminanzanalyse

14. Nichtlineare Fisher-Diskriminanzanalyse Kern-basierte Architektur (Kern-NLDA) Nichtlineare Transformation • Kernfunktion berechnet Skalarprodukt in einem anderen Raum • Keine explizite Anwendung von notwendig Lineare Fisher- Diskriminanzanalyse  Eingabe- raum Ausgabe- Raum Raum H I F : I£I!R 

15. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

16. 1. Setzen der Gewichte nach Fisher-Kriterium 1. Setzen der Gewichte nach Fisher-Kriterium 2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten 3. Anpassung der Gewichte nach Gradientenaufstieg Implementierung Implementierung im NNSIM • Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg

17. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

18. Experimente Experiment I • Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

19. Experimente Vergleich von Klassifikationsraten auf Standarddatensätzen • Fehlerraten des Cancer3-Datensatzes

20. Experimente Experiment II • Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

21. F ? Experimente Lineare Separierung im Ausgabe-Raum Beispiele Mögliche Kriterien: • Euklidischer Abstand zu Klassenzentren • Maximum A Posteriori (MAP) • Klassifizierung durch lineare SVM F ?

22. Experimente Lineare Separierung im Ausgabe-Raum • MAP erlaubt Berücksichtigung eines prior • Anmerkung: • Durchschnittswerte für Cancer1, Cancer2, Cancer3

23. Experimente Experiment III • Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

24. Normal- Verteilung (rot) Exponential- Verteilung (blau) Experimente Robustheit bei unterschiedlichen Klassenstärken • Synthetische Daten mit hoher Überlappung • Variation der Klassenstärke der Exp.-Vert.

25. Experimente Robustheit bei unterschiedlichen Klassenstärken • Analytische Ermittlung der Fehlerrate • Gleiche Berücksichtigung beider Klassen • Anmerkungen: • MLP mit target coding (0,...,0,1,0,...0) • MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

26. max. Division durch Klassengröße Experimente Klassifikation bei unterschiedlichen Klassenstärken Anpassungen des MLP-NLDA: • MAP nimmt uniformen prior an • Modifizierung der unerklärten Streuung

27. Experimente Robustheit bei unterschiedlichen Klassenstärken Prior: Klassenstärke unerklärte Streuung: normal unerklärte Streuung: normal Prior: uniform unerklärte Streuung: modifiziert Prior: uniform

28. Experimente Robustheit bei unterschiedlichen Klassenstärken MLP MLP-NLDA1 Prior: Klassenstärken Unerklärte Streuung: normal MLP-NLDA2 Prior: uniform Unerklärte Streuung: normal MLP-NLDA3 Prior: uniform Unerklärte Streuung: modifiziert

29. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

30. Zusammenfassung • Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten. • Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza. • Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

31. Ende • Vielen Dank für Ihre Aufmerksamkeit Literatur: Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998