Metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu • Wady metody Eigenfaces • Alternatywne metody • Metoda EBGM (Elastic Bunch Graph Matching) • Falki Gabora (Gabor Wavelets) • punkty charakterystyczne twarzy • porównywanie wektorów cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Etapy rozpoznawania Detekcja Normalizacja Porównywanie wektorów cech Porównywanie wektorów cech Ekstrakcja cech Ekstrakcja cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Główne wady Eigenfaces • Twarz traktowana jako wektor • utrata informacji 2D • Podejście holistyczne • twarz jako niepodzielna całość • Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Metody ekstrakcji cech • Bazujące na PCA • uwzględnianie charakteru cech • wykorzystanie informacji 2D • uwzględnienie topologii twarzy • Oparte o podobieństwo punktów charakterystycznych • metody falkowe • porównywanie kształtów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Algorytm EBGM • Przybliżona lokalizacja punktów charakterystycznych • Analiza częstotliwościowa otoczenia punktów • wiele falek „gasnących” • wartość splotu falki i obrazu • Porównywanie wektorów cech • znalezienie dokładnej lokalizacji punktów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Transformata falkowa • Transformata Fouriera • dziedzina częstotliwościowa • Dodanie rozkładu Gaussa • Lokalna analiza częstotliwościowa • długość fali () • kierunek fali () • promień Gaussa () • Zbiór wielu różnych falek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Obliczanie falki • Punkt (x0, y0) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Można inaczej... • Eliminacja części urojonej • Modyfikacja przesunięcia fazowego Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Falki – przykłady Zmiana kierunku () Zmiana długości fali () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Falki – przykłady Zmiana fazy () Zmiana promienia () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Splot falki i obrazu • Splot liczony dla otoczenia punktu • C jest liczbą zespoloną • Wynik zapisany w postaci biegunowej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech • Przygotowany zbiór falek • różne własności • falki tablicowane – optymalizacja • Zbiór punktów charakterystycznych na obrazie • Splot każdej falki z obrazem w każdym punkcie charakterystycznym • Wektor cech: wartości splotów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie splotów • Korelacja • N – liczba falek • a – wartość splotu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie splotów • Kowariancja Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie splotów • Korelacja z korektą przemieszczenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przemieszczenia • Wpływ na przesunięcie fazowe • przemieszczenie mniejsze od /2 • Szacowanie przemieszczenia • obliczanie splotu dla każdego punktu i porównywanie wyników • znalezienie maksymalnej korelacji w zależności od wektora d Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rysunek... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maksimum korelacji • Aproksymacja szeregiem Taylora • Rozwiązanie analityczne Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maksimum korelacji • Działa tylko dla małych przemieszczeń • maksymalne dopuszczalne przemieszczenie zależy od długości fali • najpierw liczyć dla niskich częstotliwości • Powrót do rysunku Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Detekcja punktów twarzy Zbiór wykrytych punktów Przybliżonepołożenie punktu Dodaniepunktudo zbioru Dokładne położeniepunktu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Szacowanie położenia • Średnie zależności • Wpływ cech na przybliżone położenie • zależny od odległości • położenie znanych cech brane z wagami Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Położenie dokładne • Dane wzorcowe (na podstawie obrazów „wyklikanych”) • Przesunięcie dla każdego wzorca • Przesunięcie końcowe: • średnie przesunięcie dla wzorców o najwyższej korelacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
EBGM raz jeszcze • Pozycje przybliżone punktów • Dla każdego punktu: • splot z każdą falką • znalezienie przesunięcia (zastosowanie przy detekcji) • poprawienie wartości wektora cech • Porównywanie wektorów: • korekta przesunięcia dla dwóch obrazów • całość porównywana przez SVM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Normalizacja obrazu • Standardowe techniki • normalizacja geometryczna • operacje na histogramie + filtry • Rozmiar: 128x128 • Wygładzone brzegi • eliminacja zaburzeń częstotliwości Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Znormalizowane obrazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie • Metoda czasochłonna • Wysoka skuteczność • Odmienna zasada działania od PCA • można zyskać łącząc wyniki • Zastosowanie przy detekcji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę! • Za tydzień: • wykorzystanie koloru do detekcji oraz ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
