Analiza dyskryminacji

1. Analiza dyskryminacji

2. Analiza dyskryminacji • Zbiór metod mających na celu jak najlepsze (w zdefiniowanym sensie) opisanie różnic pomiędzy klasami (populacjami). • Zagadnienia analizy dyskryminacyjnej obejmują m.in.: • Klasyfikację pod nadzorem np. chaid • Analizę skupień

3. LinearDiscriminant Analysis (LDA) • Metoda zaproponowana przez R.A. Fischera w 1936 r., rozwinięta przez R.C. Rao w 1948 r. • W wersji oryginalnej: • Założenie, że X jest macierzą obserwacji z p-wymiarowej przestrzeni euklidesowej (faktyczne pole zastosowań znacznie szersze); • Zmienna objaśniana: klasa przynależności obserwacji (jedna z dwóch – bo fisher założył że mamy tylko 2 ale może być więcej); • Celem reguła decyzyjna oparta na funkcji liniowej.

4. LDA Fischera (przypadek dwóch klas) • Zadanie Fishera sprowadza się do znalezienia takiego kierunku a w przestrzeni X, który najlepiej rozdziela dwie klasy. • Konstrukcja LDA opiera się na informacji o wskaźnikach położenia i rozproszenia dla obserwacji z dwóch klas: • Estymatora wartości oczekiwanej E(X|g=i); - położenia • Estymatora macierzy kowariancji Cov(X|g=i) - rozproszenia.

5. LDA Fischera (przypadek dwóch klas) • Estymator wartości oczekiwanej X , k = 1, 2. • Estymator macierzy kowariancji dla każdej klasy

6. LDA Fischera (przypadek dwóch klas) • Ponieważ w ogólności mamy: • Próbkową miarą zmienności wewnątrzgrupowej wzdłuż kierunku a jest:

7. LDA Fischera (przypadek dwóch klas) • - jeż

8. LDA Fischera (przypadek dwóch klas) • Rozwiązanie: • a* - pierwszy wektor kanoniczny • a*Tx – pierwsza zmienna kanoniczna odpowiadająca wektorowi X.

9. LDA Fischera (przypadek dwóch klas)

10. Uogólnienie na przypadek g klas • Problem: , gdzie:

11. Uogólnienie na przypadek g klas • B – macierz wariancji międzygrupowej • W – macierz wariancji wewnątrzgrupowej • Można pokazać, że: • Gdzie:

12. Uogólnienie na przypadek g klas • Rozwiązanie: a* (wektor maksymalizujący wariancję międzygrupową) jest wektorem własnym macierzy W-1B, odpowiadającym największej wartości własnej tej macierzy. • W praktyce problem rozwiązuje się poprzez rozwiązanie problemów dla dwóch klas.

13. Uogólnienie na przypadek g klas

14. Uogólnienie na przypadek g klas • Związki pomiędzy LDA a analizą kanoniczną. • Uchylenie założenia o jednakowych macierzach kowariancji. • UWAGA: metoda została opracowana dla zmiennych mierzonych na skali interwałowej (dla których sensowna jest metryka euklidesowa), ale sprawdza się również dla zmiennych o charakterze porządkowym czy nominalnym.

15. Literatura • Fisher R.A., „The Use of Multiple Measurements in Taxonomic Problems”, Annals of Eugenics, 7 (2): 179-188. • Rao R.C., „The utilization of multiple measurements in problems of biological classification”, Journalof the Royal Statistical Society, Series B10 (2): 159–203. • Koronacki J., Ćwik J., Statystyczne systemy uczące się, Wydawnictwo Naukowo Techniczne, Warszawa 2005. • Hastie T., R.Tibshirani, J.Friedman, The Elements of Statistical Learning. Springer (zwłaszcza rozdz. 4) → poszukać wersji elektronicznej pdf • M.Krzyśko, W.Wołyński, T.Górecki,M.Skorzybut: Systemy uczące się. + wcześniejsze prace M.Krzyśko o analizie dyskryminacyjnej • McLachlan, G. J. (2004). Discriminant Analysis and Statistical PatternRecognition. Wiley. • Duda, R. O.; Hart, P. E.; Stork, D. H. (2000). PatternClassification (2nd ed.). Wiley