Wykorzystanie koloru przy rozpoznawaniu twarzy

1. Wykorzystanie koloru przy rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • Przestrzenie kolorów • model YCbCr • Detekcja twarzy i cech • mapa oczu • mapa ust • Wykorzystanie do ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Przestrzenie kolorów • Sposób reprezentacji piksela • kanały • głębokość bitowa • Konwersje • stratne • bezstratne (odtwarzalne) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Skala szarości • ang. grayscale (gs) • Format wykorzystywany w rozpoznawaniu twarzy • Jeden kanał • 8 bitów -> 256 poziomów szarości • Konwersja z RGB: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Przestrzenie kolorów • Ludzkie oko • trójwymiarowa przestrzeń kolorów • Stosowane modele • uproszczenie rzeczywistości • 3, 4 wymiary • nie pokrywają całego zakresu światła widzialnego • Diagram kolorów CIE • (International Commision on Illumination) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Diagram kolorów CIE Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Najpopularniejsze modele • RGB • czerwony, zielony, niebieski • CMYK • morski, karmazynowy, żółty, czarny • HLS, HSV • kolor, oświetlenie, nasycenie • YCbCr • intensywność (GS), niebieski, czerwony Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. RGB • Model addytywny • punkt wyjścia – kolor czarny • Szeroko rozpowszechniony • Często niewygodny: • konieczna identyczna rozdzielczość kanałów • modyfikacja obrazu wymaga modyfikacji każdego kanału • ciężki w interpretacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. CMYK • Model subtraktywny • punkt wyjścia – kolor biały • Stosowany do drukowania • Odjęcie C, M i Y w praktyce nie zawsze daje czarny • dodanie składowej K • dodatkowy czarny pojemnik z tuszem Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. RGB i CMYK Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. HSV • Kolor jako kąt • Model zbliżony do interpretacji barw przez człowieka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. YCbCr • Wykorzystywany w technikach cyfrowego zapisu video (JPEG, MPEG) • Konwersja z RGB (jeden z wariantów): Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Wybór modelu • Zdefiniowanie wymagań • Ograniczenia sprzętowe • np. CMYK • Udogodnienia algorytmiczne • np. HLS Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Detekcja twarzy • Oparta o model YCbCr • Wcielenie zasad heurystycznych • Główne etapy: • kompensacja jasności • maska twarzy • stworzenie mapy oczu i ust • wyznaczenie położenia cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Kompensacja jasności • Definicja koloru białego • 5% najjaśniejszych pikseli (kanał Y) • Rozciągnięcie histogramu w przestrzeni RGB • piksele „białe” -> (255, 255, 255) • reszta przeskalowana liniowo • Przejście na YCbCr Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Maska twarzy • Cel: znalezienie pikseli należących do twarzy • Zdefiniowanie koloru twarzy • skóra posiada charakterystyczne własności • Trening na bazie dużej próbki • podprzestrzeń CbCr – błąd nadmiaru • podprzestrzeń Cb/Y – Cr/Y – błąd niedomiaru Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Twarz w YCbCr • Przykłady 1 – 5 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Mapa oczu • Mapa C (barwna): • Mapa L (jasności): • Mapa końcowa – iloczyn mapy C i L • Dodatkowe progowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Dylatacja i erozja • Element strukturalny • „kotwica” • Dylatacja – rozbudowa obiektów na obrazie • Erozja – zniszczenie elementówna obrazie • Przykład 6 i 7 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Mapa ust • Progowanie • Dylatacja • Erozja Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Położenie cech oko (P): (15, 24) oko (L): (49, 24) usta: (32, 58) Środek masy dla każdej mapy Mapa oczu – środek dla każdej połówki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Ekstrakcja cech • Lokalizacja cech – informacja topograficzna (położenie punktów) • metody analizy lokalnej (EBGM, Lokalne PCA) • maski dla Eigenfaces • Mapa – informacja o dystrybucji cech na obrazie • maski dla Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Tworzenie maski • Ogólne zasady: • wzmocnienie okolic oczu i nosa • osłabienie okolic ust • Dwa podejścia: • obraz -> mapy -> punkty -> maska • obraz -> mapy -> maska Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Punkty -> maska • Wyznaczenie pozycji nosa • średnia ważona pozycji oczu i ust • Maski oczu, nosa i ust sumowane z różnymi wagami oko (P): (15, 24) oko (L): (49, 24) usta: (32, 58) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. Punkty -> maska • Oddziaływanie pojedynczego punktu • R – promień, Wmax – maksymalna waga • Maska – suma oddziaływań punktów • oczy, nos – wagi dodatnie • usta – waga ujemna Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. Mapy -> maska • Wykorzystanie mapy bezpośrednio do wygenerowania maski • Połączenie dwóch technik Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Przykłady obrazów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Wpływ na wyniki • Maski poprawiają skuteczność rozpoznawania • jak na razie nie bardziej niż maska różnicowa • Kolor niesie istotne informacje dotyczące charakteru obszaru Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29. Podsumowanie • Modele barw • Mapy twarzy, oczu i ust • Detekcja • Maska do rozpoznawania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30. Dziękuję za uwagę! • Za tydzień: Śledzenie obiektów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006