«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

1. «Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας» Ιωάννης Ρήγας Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών Επιβλέπων : Γεώργιος Οικονόμου Καθηγητής Τμ. Φυσικής. Παν. Πατρών Σεπτέμβριος 2013

2. «Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας» Ανθρωποκεντρική Καταγραφή & Επεξεργασία ΑνθρωποκεντρικούΣήματος ΜοντελοποίησηΑνθρώπινης Προσοχής & Αντίληψης Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος

3. Διάρθρωση Παρουσίασης Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

4. Διάρθρωση Παρουσίασης Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

5. Διάρθρωση Παρουσίασης Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

6. Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης Μοντελοποίηση Οπτικής Προσοχής Χάρτες Οπτικού Ενδιαφέροντος (Saliency Maps) • Μέθοδοι Κατασκευής Χαρτών Ενδιαφέροντος • Γνωστικά Μοντέλα • (ανθρώπινη αντίληψη) • Μοντέλα Θεωρίας της Πληροφορίας • (εντροπία, αυτό-πληροφορία) • Μοντέλα Θεωρίας Αποφάσεων • (διαχωριστική ανάλυση) • Μοντέλα Φασματικού Πεδίου • (χαρακτηριστικά φάσης) • Μοντέλα Αραιής Αναπαράστασης • (αραιή κωδικοποίηση) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 01/42

7. Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης Αναπαράσταση Αραιής Κωδικοποίησης V1: Πρωτοταγής Οπτικός Φλοιός (Primary Visual Cortex) Ιδιότητες Βιολογικών Προτύπων Αναπαράστασης α. Κατευθυντικότητα β. Χωρικός Εντοπισμός γ. Ζωνοδιαβατή Συμπεριφορά V3Α V3 V2 V1 V2 V3 V3Α V4 V5 Υπολογιστική Μοντελοποίηση Αναπαράσταση Αραιής Κωδικοποίησης Principal Component Analysis(PCA) Υπερπλήρες Λεξικό α. Κατευθυντικότητα β. Χωρικός Εντοπισμός γ. Ζωνοδιαβατά α. Κατευθυντικότητα β. Χωρικός Εντοπισμός γ. Ζωνοδιαβατά Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 02/42

8. Διάρθρωση Παρουσίασης Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

9. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης ΕξαγωγήΧαρακτηριστικών Αραιής Κωδικοποίησης Generalized Sparse Coding Neural Gas (GSCNG) Σχήμα Ασθενούς Ανταγωνισμού (Soft Competitive) ΠαράμετροιΕκπαίδευσης Λεξικού μέγεθος τμήματος = 6x6 pixels (x3) N = 10000 τυχαία τμήματα M = 350 οπτικές λέξεις k = 10 ενεργά στοιχεία εκπαίδευση offline Εξαγωγήτων Αναπαραστάσεων Αραιής Κωδικοποίησης ICOPP - Intensity Color OPPonent Αλγόριθμος Batch-OMP Ενεργοποίηση Μη-ενεργοποίηση Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 03/42

10. Σύγκριση των Αναπαραστάσεων Αραιής Κωδικοποίησης Τμήμα 1 Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης Τμήμα 1 - Τμήμα 2 Τμήμα 2 - Τμήμα 3 Τμήμα 1 - Τμήμα 3 Τμήμα 2 Σύγκριση Χαρακτηριστικών- Μορφοποίηση Τελικού Χάρτη Σύγκριση με την Απόσταση Hamming Τμήμα 3 Ενεργ. Αραιών Συνιστωσών Ηam_dist12 = 16 Ηam_dist23 = 16 Ηam_dist13 = 6 Sp1 = Ηam_dist12 + Ηam_dist13 = 22 Sp2 = Ηam_dist12 + Ηam_dist23 = 32 Sp3 = Ηam_dist23 + Ηam_dist13 = 22 Καθολική Απόσταση Hamming Μη-γραμμικό Φιλτράρισμα + Φιλτράρισμα με Gaussian Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 04/42

11. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης Υπολογιστικό Κόστος Αλγόριθμου Μέσος Χρόνος (sec.) Κατασκευής Χάρτη (για διαστάσεις εικόνας 240x320) * • ΥλοποίησηΣταθερού Τμήματος (Fixed Size) • Εκπαίδευση Γενικού Λεξικού Offline • Δυνατότητα Χρήσης του Batch-OMP • Σύγκριση με Απόσταση Hamming [LZXYY09] [HZD11] προτ. * IntelCore2Quad, 2.83 GHz, 4 GB RAM [LZXYY09] Y. Li, Y. Zhou, L. Xu, X. Yang, and J. Yang, ‘Incremental sparse saliency detection’, in: IEEE Int. Conf. on Image Process. (ICIP), pp. 3093-3096, (2009) [HZD11] B. Han, H. Zhu, and Y. Ding, ‘Bottom-Up Saliency Based on Weighted Sparse Coding Residual’, in: Proc. ACM International Conference on Multimedia (MM '11), pp. 1117-1120, (2011) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 05/42

12. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης Πειραματική Αξιολόγηση Μεθόδου - Τεχνητές Εικόνες Εικόνες ψυχοφυσικού ερεθίσματος Χρώμα Προσανατολισμός Πυκνότητα Συμπαγή Σχήματα Φαινόμενα Ενεργοποίησης Ακμών [προτ.] [ΗΗΚ12] [HHK12] X. Hou, J. Harel, and C. Koch, ‘Image Signature: Highlighting sparse salient regions’, IEEE Trans. Pattern Anal. Machine Intell. (PAMI), 34 (1), pp. 194-201, (2012) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 06/42

13. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης Toronto Προτεινόμενη Μέθοδος:SSCH Toronto Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Toronto AUC Score (μ.ο. για 120 εικόνες) Toronto -Διαφορετικά λεξικά Gaussian σ AUC Score (μ.ο. για 120 εικόνες) Gaussian σ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 07/42

14. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης C1 -Μεγάλες Περιοχές Ενδιαφέροντος Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal AUC Score (μ.ο. για 50 εικόνες) C2-Μεσαίες Περιοχές Ενδιαφέροντος Gaussian σ AUC Score (μ.ο. για 80 εικόνες) Gaussian σ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 08/42

15. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης C3-Μικρές Περιοχές Ενδιαφέροντος Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal AUC Score (μ.ο. για 60 εικόνες) C4-Στοιχεία Περίσπασης Gaussian σ AUC Score (μ.ο. για 15 εικόνες) Gaussian σ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 09/42

16. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης C5-Αταξία στο Υπόβαθρο Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal AUC Score (μ.ο. για 15 εικόνες) C6-Μικρές και Μεγάλες Περιοχές Ενδιαφέροντος Gaussian σ AUC Score (μ.ο. για 15 εικόνες) Gaussian σ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 10/42

17. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης Συγκεντρωτική Αξιολόγηση Μεθόδου - Συμπεράσματα Πίνακας Βέλτιστων AUC scores Βέλτιστη Επίδοση στις Μεσαίες Κλίμακες Βέλτιστος Μ.Ο. = Σταθερή Συμπεριφορά σε Ποικιλία Συνθηκών Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 11/42

18. Διάρθρωση Παρουσίασης Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

19. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης Σφάλμα Αραιής Κωδικοποίησης Σφάλμα Αναδόμησης Εικόνας: Εrr_R → 7.11 Τμηματοποίηση Err_G → 7.35 Err_B → 7.84 Err_R → 3.14 Err_G → 2.71 Err_B → 1.91 Αλγόριθμος Batch-OMP Err_R → 0.19 Err_G → 0.11 Err_B → 0.12 Σφάλμα σε κάθε Χρωματικό Επίπεδο Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 12/42

20. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης Κανονικοποίηση Ενδιάμεσων Χαρτών Ενδιαφέροντος Συνολική Ενεργοποίηση στο Επίπεδο του κάθε Χρωματικού Χάρτη Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 13/42

21. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης Δημιουργία Βάσης Δεδομένων Αεροφωτογραφίας OrthoimageryDataset, Earth Resources Observation and Science (EROS), United States Geological Survey (USGS) 100 εικόνες αεροφωτογραφίας διαστάσεις: 2000x3000 Κατάλληλη Μάσκα Ενδιαφέροντος (Δυαδικός Χάρτης) Ακατάλληλη Βάση Δεδομένων: 50 εικόνες αεροφωτογραφίας κλιμάκωση: 854x1280 http://www.upcv.upatras.gr/projects/saliency_on_aerial_imagery/index.html Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 14/42

22. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης Πειραματική Αξιολόγηση στη Βάση Δεδομένων Αεροφωτογραφίας Καμπύλες ROC (μ.ο. από 50 εικόνες) True Positive Rate (TPR) Πίνακας AUC scores False Positive Rate (FPR) Συμπεράσματα Ικανοποιητική Συμπεριφορά των Μεθόδων Κατασκευής Χαρτών Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας Βέλτιστη Συμπεριφορά της Προτεινόμενης Μεθόδου σε Σύγκριση με τις Υπόλοιπες Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 15/42

23. Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης Παραδείγματα Χαρτών Ενδιαφέροντος Χάρτης Ενδιαφέροντος Αρχική Εικόνα Μάσκα Ενδιαφέροντος a-1 a-22 Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 16/42

24. Διάρθρωση Παρουσίασης Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

25. Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων Τροποποιημένο Ιστόγραμμα Ενδιαφέροντος ? Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 17/42

26. Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων Μελέτη Απλών Στατιστικών Μεγεθών των Χαρτών Ενδιαφέροντος Βάση Δεδομένων: Αεροφωτογραφίες Χρήσης Γης-Κάλυψης Γης UC Merced LULC database 20 κατηγορίες, 100 εικόνες/κατηγορία Χαμηλές τιμές agricultural beach forest chaparral dense residential golf course baseball diamond forest chaparral agricultural beach buildings freeway harbor Ενδιάμεσες τιμές baseball diamond freeway golf course Μέση Τιμή Ενεργοποίησης Μεγάλες τιμές buildings dense residential harbor Διακύμανση Ενεργοποίησης Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 18/42

27. baseballdiamond agricultural beach buildings chaparral denseresidential forest freeway golfcourse harbor intersection mediumresidential mobilehomepark river runway sparseresidential storagetanks tenniscourt overpass parkinglot Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων Πειραματική Αξιολόγηση Τροποποιημένου Ιστογράμματος Ενδιαφέροντος μπλε - απλό ιστόγραμμα κόκκινο - τροποποιημένο ιστόγραμμα 11 κατηγορίες βελτιώθηκαν 6 κατηγορίες χειροτέρευσαν 3 μείναν στα ίδιαποσοστά dense residential sparse residential mean variance Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 19/42

28. Διάρθρωση Παρουσίασης Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

29. άνω λοξός κεντρικό βοθρίο Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών άνω ορθός έξω ορθός έσω ορθός Σύστημα Οφθαλμικής Κίνησης και Συσκευές Καταγραφής Οφθαλμικών Κινήσεων Σύστημα Κεντρικής Όρασης • Cambridge Research Systems (CRS) • Video Eye-Tracker, 50 Hz • Καταγραφή Κόρης και Διπλού Ίχνους Purkinje • Υπέρυθρη κάμερα / Δίοδοι Υπέρυθρου • Ακρίβεια Καταγραφής 0.1250-0.250 • οριζόντιο/κάθετο εύρος καταγραφής ±400/±200 κάτω ορθός κάτω λοξός Οφθαλμοκινητικοί Μύες Ίχνη Purkinje Κινήσεις Προσήλωσης (Fixations) Σακκαδικές Κινήσεις (Saccades) Ομαλή Παρακολούθηση (Smooth Pursuit) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 20/42

30. Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών Χαρακτηριστικά Βιομετρικής Αναγνώρισης από τις Οφθαλμικές Κινήσεις Θεωρία Οπτικών Μονοπατιών - Scanpath Theory (Noton & Stark) • Περιεχόμενο • Νοητική Εργασία • Ιδιοσυγκρασία • Διάθεση Πεδίο Χώρου - Κατανομές Δειγμάτων Πεδίο Χρόνου - Δυναμικά Χαρακτηριστικά Ταχύτητα Επιτάχυνση Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 21/42

31. Διάρθρωση Παρουσίασης Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

32. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χώρου - Πείραμα Καταγραφής Οπτικό Ερέθισμα: Εικόνες Προσώπων • Στοιχεία Κατασκευής Βάσης Δεδομένων • 15 Άτομα • 10 ΕικόνεςΠροσώπων • 4 sec./Εικόνα • 8 Πειραματικές Επαναλήψεις/Άτομο • Αντιμετώπιση Φαινομένων Εκμάθησης • Διαφορετική Σειρά Εμφάνισης Εικόνων • Χρονικός Διαχωρισμός Πειραματικών Επαναλήψεων Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 22/42

33. δείγματα προσήλωσης Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χώρου - Εξαγωγή Χαρακτηριστικών εσφαλμένα δείγματα Ελάχιστο Διασυνδετικό Δένδρο (ΕΔΔ) Δύο Σταδίων (two round - MST) Outlier Factor of Clusters Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 23/42

34. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών Σύγκριση Κατανομών Οφθαλμικής Κίνησης με το Wald-Wolfowitz Test • Κατασκευή Κοινού Ελαχίστου Διασυνδετικού Δένδρου Δείγμα Α • Υπολογισμός Στατιστικών Μεγεθών Ομοιότητας από το ΕΔΔ Κοινό ΕΔΔ Runs Δείγμα Β ακμή ενώνει δείγματα ίδιας ταυτότητας αλλιώς Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 24/42

35. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών Διαφορετικά Άτομα Ίδιο Άτομο subject 1- sample 1 subject 1- sample 1 κοινό ΕΔΔ κοινό ΕΔΔ subject 3- sample 1 subject 1- sample 4 Rb= 12 Ra= 19 Wb= - 2.89 Wa= - 0.64 Ra > Rb Wa> Wb Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 25/42

36. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χώρου - Αποτελέσματα Βιομετρικής Αναγνώρισης FAR (False Acceptance Rate) FRR (False Rejection Rate) Equal Error Rate 30 % Καλύτερες Επιδόσεις ΚΝΝ (k=3) • Soft Βιομετρικό • Συμπεριφορικά Χαρακτηριστικά • Μικρή Βάση Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 26/42

37. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών Τμηματοποίηση Χρονικής Καταγραφής Οπτικό Ερέθισμα Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 27/42

38. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών Αλγόριθμος Τμηματοποίησης τμήμα που αντιστοιχεί σε προσήλωση Αλλαγή Θέσης Ερεθίσματος + Κατώφλι Ταχύτητας κορυφές που αντιστοιχούν σε σακκαδικές κινήσεις συντεταγμένες θέσης Ανίχνευση Σακκαδικής Κίνησης ταχύτητα οφθαλμικών κινήσεων περιοχή έρευνας κορυφών Φιλτράρισμα Υψηλών Συχνοτήτων Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 28/42

39. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών Ταχύτητα Επιτάχυνση • 8-D XώροςXαρακτηριστικών • Δεξιός-Aριστερός Οφθαλμός • Ταχύτητα x-y • Επιτάχυνση x-y Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 29/42

40. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Σύγκριση Χαρακτηριστικών Σύγκριση με το Wald-Wolfowitz test Ra= 96 Wa= - 0.63 Δείγμα 5-1 Ίδιο Άτομο Κατασκευή κοινού ΕΔΔ Δείγμα 5-1 Δείγμα 5-3 Κατασκευή κοινού ΕΔΔ Δείγμα 16-20 Διαφορετικά Άτομα Rb= 68 Wb= - 5.6 Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 30/42

41. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Αποτελέσματα Βιομετρικής Αναγνώρισης EMVIC 2012 (Eye Movements Verification and Identification Contest) Dataset A 37 subjects - 979 samples Dataset B 79 subjects - 4168 samples Unlabeled Samples Dataset ADataset B 326 1390 Labeled Samples Dataset ADataset B 623 2778 Training/Testing 50/50 Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 31/42

42. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Πεδίο του Χρόνου - Παραμετρική Ανάλυση Χρήση Πληροφορίας Δύο Οφθαλμών Χρήση Παραγώγων Ανώτερης Τάξης Ποσοστό Αναγνώρισης ACC1 (%) • Βελτίωση των Ποσοστών με την Χρήση και των Δύο Οφθαλμών • Ποσοστά Δεξιού Οφθαλμού>Αριστερού Οφθαλμού τάξη παραγώγου σήματος • Μικρή Μεταβολή στα Ποσοστά • Ταχύτητα/Επιτάχυνση: Καλό trade-off Επιδόσεων και Διαστάσεων Χ.Χ. Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 32/42

43. Διάρθρωση Παρουσίασης Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

44. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις Κατασκευή Χαρτών Ενδιαφέροντος από το Περιεχόμενο Εικόνας Μέρος Α Κατασκευή Χαρτών Οφθαλμικής Κίνησης δειγματοληψία στον χρόνο παράμετροι καταγραφής (hp x wp), (hs x ws), ds Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 33/42

45. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις σ = 0.008 σ = 0.016 Μικρό σ Αποτυχία Ενσωμάτωσης σε Πιθανολογικό Πλαίσιο σ = 0.032 σ = 0.064 Μεγάλο σ Αφομοίωση Περιοχών Ενεργοποίησης Πειραματική Μελέτη της Επίδρασης του σ στην Διαμόρφωση του Βιομετρικού Χαρακτηριστικού Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 34/42

46. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Σύγκριση Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις sMap 9-1 sMap 10-1 Βαθμός Ομοιότητας (Similarity Score) SimScα = 0.69 Απόκλιση Kullback-Leibner (KL-Divergence) sMap 9-4 sMap 27-4 SimScβ = 0.49 πυκνότητες πιθανότητας κατανομών Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 35/42

47. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Αποτελέσματα Βιομετρικής Αναγνώρισης - Συμπεράσματα Ταξινόμηση Βιομετρικών Προτύπων ΚΝΝ PCA στους Πίνακες Αποστάσεων + Πίνακας KL-divergence Μη-συμμετρικός Προβολή σε Ευκλείδειο Χώρο Βέλτιστο ‘Mapping ‘των Σχέσεων των Δειγμάτων Επιλογή Διαστάσεων Χώρου Με την PCA βελτίωση μέχρι και 28% Βάσεις Δεδομένων Σύγκριση με προηγούμενη μέθοδο ‘Πρόσωπα’ ‘Ακολουθίες Βίντεο’ Trailer Ταινιών : δυναμικό ερέθισμα Ημι-καθοδηγουμενες οφθαλμικές κινήσεις ‘Κείμενα’ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 36/42

48. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Αποτελέσματα Βιομετρικής Αναγνώρισης • Περιοχή Λειτουργίας Βιομετρικού Προτύπου • σ = 0.004-0.016 • Υπεροχή Απόκλισης-KL • Βελτίωση Ποσοστών στο Σετ ‘Πρόσωπα’ • Χειρότερες Επιδόσεις στο σετ ‘Κείμενα’ Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 37/42

49. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Αποτελέσματα Βιομετρικής Αναγνώρισης Βαθμός Ομοιότητας (Similarity Score) ‘Πρόσωπα’ ‘Ταινία 1’ False Acceptance Rate (FAR) False Acceptance Rate (FAR) EER • ‘Πρόσωπα’: 29.8% • ‘Ταινία 1’ : 24.3% • ‘Ταινία 2’ : 23.6% • ‘Κείμενα’ : 23% False Rejection Rate (FRR) False Rejection Rate (FRR) ‘Κείμενα’ ‘Ταινία 2’ False Acceptance Rate (FAR) False Acceptance Rate (FAR) False Rejection Rate (FRR) False Rejection Rate (FRR) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 38/42

50. Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος Αποτελέσματα Βιομετρικής Αναγνώρισης Απόκλιση Kullback-Leibner(KL-Divergence) ‘Πρόσωπα’ ‘Ταινία 1’ False Acceptance Rate (FAR) False Acceptance Rate (FAR) EER • ‘Πρόσωπα’: 25.1% • ‘Ταινία 1’ : 27.5% • ‘Ταινία 2’ : 28.9% • ‘Κείμενα’ : 25.8% False Rejection Rate (FRR) False Rejection Rate (FRR) ‘Κείμενα’ ‘Ταινία 2’ False Acceptance Rate (FAR) False Acceptance Rate (FAR) • Βελτίωση EER για ‘Πρόσωπα’ • Σταθερότητα για Διαφορετικά Οπτικά Ερεθίσματα False Rejection Rate (FRR) False Rejection Rate (FRR) Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 39/42