Επεξεργασία Εικόνας

1. Επεξεργασία Εικόνας

2. Τι είναι εικόνα; Για τους σκοπούς μας, μια εικόνα είναι: • Ένας 2D χώρος • Με δείγματα σε τακτά χρονικά διαστήματα (σχεδόν πάντα σε ευθύγραμμο πλέγμα) • Οι τιμές των οποίων αποτελούν αποχρώσεις του γκρι χρώματος, χρώματα, ή opacity (πχ η πυκνότητα των ιστών σε μαγνητική τομογραφία) Κοινή τύπους εικόνας περιλαμβάνουν τα εξής: • 1 δείγμα ανά σημείο (B & W ή Grayscale) • 3 δείγματα ανά σημείο (κόκκινο, πράσινο, μπλε) • 4 δείγματα ανά σημείο (κόκκινο, πράσινο, μπλε, και το «Alpha») • 5 δείγματα ανά σημείο (αν προστεθεί το «βάθος»)

3. Channels Κάθε ένα από αυτά τα πλάνα είναι ένα“channel”. 3 samples per pixel Red Channel of Image,1 sample per pixel Blue Channel of Image,1 sample per pixel Green Channel of Image,1 sample per pixel

4. Το Alpha Channel • Εκτός από τα R, G, B κανάλια μιας εικόνας, προσθέτουμε ένα τέταρτο κανάλι, που ονομάζεται α • Το Alpha κυμαίνεται μεταξύ 0 και 1 • Το 1 αντιπροσωπεύει ένα εντελώς αδιαφανές pixel • Το 0 είναι εντελώς διαφανές pixel • Χρήσιμο για την ανάμειξη εικόνων (α=0.6)

5. Διάγραμμα ροής: τα στάδια της επεξεργασίας εικόνας Σημείωση: Δεν απαραίτητο να είναι όλα τα στάδια παρόν. Δύο ή τρία στάδια μπορεί να ενοποιούνται

6. Στάδιο 1: κτήση Εικόνας • Σύνθεση: εικόνες που δημιουργήθηκαν σε υπολογιστή • ζωγραφισμένες (π.χ., CorelPainter, Ζωγραφική της Microsoft) • ψηφιακές εικόνες προορίζεται να δημιουργήσει μια ρεαλιστική αναπαράσταση φυσικών στοιχείων • Σύλληψη: εικόνες από το "πραγματικό κόσμο» • Πρέπει να μετατραπεί σε ψηφιακή πληροφορία, αντί αναλογικού σήματος • Η μέθοδο ψηφιοποίησης καθορίζεται από την αρχική μορφή της εικόναςκοινές μέθοδοι περιλαμβάνουν: • ψηφιακή φωτογραφική μηχανή • δορυφορική μετάδοση δεδομένων • σαρωτή

7. Στάδιο 2 – Preprocessing • Κάθε εικόνα είναι προσαρμοσμένη ώστε να αντιστοιχεί σε συγκεκριμένο ύφος, μέγεθος, σχήμα, κλπ., για να ταιριάξει με άλλες εικόνες • Μπορούμε να κάνουμε ένα σύνολο ανόμοιων εικόνες παρεμφερή, ή παρόμοια μέρη μιας εικόνας να εμφανίζονται ανόμοια • Τεχνικές προεπεξεργασίας: • προσαρμογή της καμπύλης του χρώματος • Περικοπή • masking (αποκοπή τμήματος μιας εικόνας που χρησιμοποιείται σε μια σύνθεση, ή να αφήσει μια τρύπα στην αρχική εικόνα) • Υπερδειγματοληψία ή υπο δειγματοληψία • blurring και sharpening • ανίχνευσης ακμών / ενίσχυση • φιλτράρισμα και antialiasing

8. Στάδιο 3 – Mapping • Mapping είναι ένα στάδιο όπου συνδυάζονται πολλές εικόνες, ή εφαρμόζονται γεωμετρικοί μετασχηματισμοί • Οι Μετασχηματισμοί περιλαμβάνουν: • Περιστροφή • Κλίμακα • Stretching (Τέντωμα) • Σύνθεση: • βασική επικάλυψη εικόνας • ομαλή ανάμειξη με άλφα

9. Στάδιο 4 – Postprocessing • Art effects • Posterizing • «γήρανση» της εικόνας • "out-of-focus» • “impressionist” • Texturizing • Τεχνικά αποτελέσματα • ενίσχυση αντίθεσης • B & W μετατροπή • εξισορρόπηση αντίθεσης

10. Στάδιο 5 – Αρχειοθέτηση και Εμφάνιση • Η Επιλογή της μέθοδου εμφάνισης / αρχείο μπορεί να επηρεάσει προηγούμενα στάδια της επεξεργασίας • Η έγχρωμη εκτύπωση τονίζει ορισμένα χρώματα περισσότερο από άλλα • τα χρώματα της οθόνης έχουν διαφορετικές γκάμες και HSV τιμές από τα χρώματα που εκτυπώνονται • Τεχνολογία Απεικόνισης • Οθόνες • έγχρωμοι εκτυπωτές • φιλμ / βιντεοκασέτες • αρχείων στο δίσκο • Χάρτες υφής 3D renderer

11. Παράδειγμα – Ανίχνευση Ακμών • Αποσκοπεί να καταστήσει τις ακμές σε μια εικόνα πιο εμφανείς • Γίνεται με τη χρήση ενός φίλτρου που επιτείνει τις αλλαγές πάνω από ορισμένο όριο • Τα pixels με υψηλότερες τιμές είναι οι περιοχές όπου η αρχική εικόνα αλλάζει με ταχείς ρυθμούς

12. Παράδειγμα – Ενίσχυση MRI Εικόνας • Οι αποχρώσεις του γκρι αντιπροσωπεύουν την πυκνότητα των ιστών • Χρησιμοποιώντας το φίλτρο από την προηγούμενη διαφάνεια, υπολογίζουμε νέα εικόνα. • Και πάλι, νέα φωτεινότερη εικόνα όταν MRI εικόνας τιμές του γκρι αλλάζουν γρηγορότερα • Οι διαφορετικές πυκνότητες θα εμφανιστούν με τα φωτεινά όρια ανάμεσα Original MRI Image of a Dog Heart Edge Detection Image

13. Παράδειγμα - Δικανική Εικόνα • Η ενίσχυση εικόνας έχει χρησιμοποιηθεί από τους εγκληματολόγους για να τραβήξει πληροφορίες από φαινομενικά ανέλπιστες εικόνες. • Έχουμε ένα βίντεο από κάμερα ασφαλείας ενός αυτοκίνητου που είχε χρησιμοποιηθεί σε μια ληστεία • Η εικόνα είναι πολύ σκοτεινή και θορυβώδη για την αστυνομία για να πάρει τον αριθμό αδείας • Η Επεξεργασίας εικόνας όπως αυτή χρησιμοποιείται πολύ και στα μέσα μαζικής ενημέρωσης τα τελευταία χρόνια • Αυτές οι τεχνικές έχουν χρησιμοποιηθεί για να βρουν μικρά χαρακτηριστικά σε δορυφορικές εικόνες

14. Ενίσχυση Εικόνας

15. Ενίσχυση Εικόνας Βήμα πρώτο: Πάρτε το πλαίσιο ψηφιοποιημένο Αν και οι άνθρωποι μπορούν να διακρίνουν συχνά μια εικόνα χαμηλής ποιότητας, το φιλτράρισμα μπορεί να καταστήσει ευκολότερο για έναν αλγόριθμο αναγνώρισης να αποκρυπτογραφήσει τα ενσωματωμένα συμβόλα

16. Ενίσχυση Εικόνας Βήμα δεύτερο: Crop out υλικό, που φαίνεται να μην έχει ενδιαφέρον • Αυτό το βήμα μπορεί να επιταχύνει τη διαδικασία, εφαρμόζοντας τα βήματα επεξεργασίας εικόνας σε λιγότερα pixels

17. Ενίσχυση Εικόνας Βήμα τρίτο: Χρήση φίλτρου για ακόνισμα ακμής για να προσθέσουμε αντίθεση • Αυτό το βήμα ενισχύει τις ακμές με την αύξηση των ασυνεχειών σε κενά φωτεινότητας στην εικόνα

18. Ενίσχυση Εικόνας Βήμα τέταρτο: κάνει remap τα χρώματα για την ενίσχυση της αντίθεσης μεταξύ των αριθμών και της ίδιας της πινακίδας • Αυτό το στάδιο προβάλει την εικόνα – αντιστοιχώντας τα χαμηλής τιμής pixel σε φωτεινό λευκό, και σχεδόν όλα τα υπόλοιπα στο μαύρο.

19. Σύνθεση Εικόνας Η σύνθεση εικόνας είναι πολύ δημοφιλής στον κόσμο της τέχνης, καθώς και στα ΜΜΕ • Λαμβάνει τμήματα από μερικές εικόνες και δημιουργεί ενιαία εικόνα. Είναι δύσκολο να δημιουργήσουμε φυσικό αποτέλεσμα. • Καλλιτέχνες το χρησιμοποιούν για να δημιουργήσουν κολάζ και πολυεπίπεδα αποτελέσματα • Τα ΜΜΕ το χρησιμοποιούν για τη δημιουργία «Φωτογραφιών« πραγμάτων που δεν έγιναν ποτέ

20. Σύνθεση Εικόνας Reuters photo of Beirut Chinese press photo of Tibet railway Tom Hanks and JFK

21. Σύνθεση Εικόνας Βήμα 1: Απόκτηση εικόνων

22. Σύνθεση Εικόνας Βημά 2 – Κόψιμο αντικειμένων από original εικόνες/βιντεο

23. Σύνθεση Εικόνας Βήμα 3 - Φιλτράρισμα των εικόνων για να φαίνονται παρόμοιες, και επικόλληση • Tου Boris θολώνεται και φωτίζεται, για να απαλλαγούμε από halftoning γραμμές. Επίσης τη μικραίνουμε ώστε να είναι ίδιο μέγεθος με τον Lars • Του Lars θολώνεται και προστίθεται θόρυβος για να ταιριάζει με την ποιότητα της εικόνας του Boris

24. Σύνθεση Εικόνας

25. Τελική Εικόνα • Δημιουργήθηκε ένας απλός, φόντος δύο χρωμάτων και προστέθηκε θόρυβος για να ταιριάξει στο υπόλοιπο της εικόνας • Τοποθετηθήκαν τα δύο θεμάτων πάνω από το φόντο • Αυτό άφησε ένα λευκό φωτοστέφανο περίπου 3 pixels πλάτος γύρω από τα θέματα, οπότε χρησιμοποιήθηκε ένα “Rubber Stamp” εργαλείο για την εξάλειψη των ραφών

26. Computer Vision • Η ενίσχυση εικόνας χρησιμοποιείται κι στην τεχνητή όραση • Ο υπολογιστής κάνει όλη την επεξεργασία, χωρίς ανθρώπινη παρέμβαση • Οι τεχνικές επεξεργασίας πρέπει να είναι γρήγορες. • Αν είναι αργές, θα προστεθεί υστέρηση στο σύστημα camera-to-reaction • Κοινές τεχνικές επεξεργασίας για μηχανική όραση, συμπεριλαμβάνουν ενίσχυση ακμών, ανίχνευση περιοχής, ενίσχυση αντίθεσης, κλπ.. • Ο υπολογιστής πρέπει να εξάγει συγκεκριμένες πληροφορίες από την εικόνα, όπως θέση και προσανατολισμό

27. Computer Vision • Η επεξεργασία εικόνας καθιστά την πληροφορία πιο εύκολη να βρεθεί • Η ανίχνευσης και αναγνώριση προτύπων είναι ξεχωριστά πεδία • Ανίχνευσης: ψάχνει για χαρακτηριστικά και περιγράφει το περιεχόμενο της εικόνας σε ένα υψηλότερο επίπεδο • Αναγνώριση προτύπων: ταξινόμηση συλλογών χαρακτηριστικών και ταίριασμα τους με αποθηκευμένα πρότυπα. (Π.χ., αλφαριθμητικούς χαρακτήρες, βιομετρικά στοιχεία) • Υπολογιστική όραση μπορεί να χρησιμοποιηθεί ως μέρος ενός UI

28. Jaggies λόγω Aliasing • Εκπροσωπώντας μια γραμμή με διακριτικές τιμές pixel σημαίνει δειγματοληψία • Τα Jaggies είναι μια εκδήλωση του δειγματοληπτικόυ σφάλματος και απώλεια πληροφορίας (aliasing) • Ο διπλασιασμός των δειγμάτων μειώνει μόνο το πρόβλημα • Τετραπλασιάζει το κόστος μνήμης, το εύρος ζώνης και το χρόνο σάρωσης! (a) Standard midpoint line on a bilevel display. (b) Same line on a display that has twice the linear resolution

29. Γραμμή 1-Pixel πλάτους • Midpoint αλγόριθμο: επιλέξτε ένα pixel που βρίσκεται πλησιέστερα προς την κεντρική γραμμή (0 <κλίση <1). • Μόνο μία τιμή της έντασης χρησιμοποιείται ανεξάρτητα από το ύψος της αλληλεπικάλυψης μεταξύ κάθε pixel και ορθογώνιου γραμμής. Συνεπώς, όλα πλην ενός pixel σε κάθε στήλη είναι “off", και όλα έχουν την ίδια (max) φωτεινότητα.

30. Πρώτη Antialiasing Προσπάθεια • Ρυθμίζουμε την τιμή έντασης κάθε pixel ανάλογα με την επικάλυψη • Περισσότερα από ένα pixel / στήλη • Αυτή είναι μια μορφή μη-σταθμισμένης δειγματοληψίας περιοχής • μόνο τα εικονοστοιχεία που καλύπτονται από την περιοχή συμβάλουν • μόνο το συνολικό ποσό της επικάλυψης μετράει, ανεξάρτητα από την απόσταση του από το κέντρο του pixel • Λειαίνει την απότομη μετάβαση

31. “Box Filter” Αστάθμητη περιοχή δειγματοληψίας W • Η συνάρτηση βάρους W (x, y) δίνει το βάρος για την περιοχή dA με κέντρο (x, y) • Το φίλτρο είναι σταθερό για όλη την περιοχή και μεγέθους ένα pixel, αλλά μπορεί να ποικίλλει σε πλάτος • Η συνολική ένταση των εικονοστοιχείων πάνω από την περιοχή της επικάλυψης είναι: W(x, y) dA

32. Φίλτρο Κώνου • Η επικάλυψη μεταξύ φίλτρο και πρωτόγονης περιοχής σταθμίζεται έτσι ώστε οι υπο-περιοχές με dA πιο κοντά στο κέντρο του pixel να μετρούν περισσότερο W

33. Σταθμισμένη περιοχή δειγματοληψίας Pixel center (+) 2-unit circular support of filter Area of overlap between support and primitive Primitive Differential area dA1 Differential area dA2 W

34. Σταθμισμένη περιοχή δειγματοληψίας • 2 μονάδες στήριξης συνεπάγεται μέχρι 3 pixels / στήλη • Σταθμισμένη περιοχή δειγματοληψίας κάνει καλύτερη δουλειά από την αστάθμιστη δειγματοληψία

35. Προβλήματα δειγματοληψίας

36. Μη-σταθμισμένη περιοχή δειγματοληψίας • Το κουτί φίλτρου θέτει ένταση ανάλογη της περιοχή επικάλυψης

37. Σταθμισμένη περιοχή δειγματοληψίας • Το φίλτρο πυραμίδας προσεγγίζει τον κυκλικό κώνο και τονίζει την περιοχή επικάλυψης κοντά στο κέντρο του pixel ανάλογα με το εμβαδόν επικάλυψης

38. (b) Σταθμισμένη περιοχή δειγματοληψίας • Το φίλτρο συμμετρικού κώνου μεγαλύτερο του pixel προσφέρει μεγαλύτερη ομαλότητα

39. Ψευδοκώδικας for each pixel p place filter centered over p; for each pixel q under filter weight = filter value over q; intensity_p += weight * intensity_q; aliased antialiased

40. Antialiasing Τεχνικές original, aliased Φίλτρο θόλωσης - σταθμισμένος μέσος όρος των γειτονικών pixels Supersampling - μέσα σε ένα δεδομένο pixel και το μέσο είναι το αποτέλεσμα Supersampling και Φίλτρο θόλωσης

41. Δειγματοληψία εικόνων • Βηματικές Συναρτήσεις: αντιπροσωπεύουν χωρικές συχνότητες που προκαλούν aliasing όταν δεν δειγματοληπτούνται σωστά  

42. Δειγματοληψία εικόνων

43. Σύνθεση Κυματομορφής

44. Spectrum συχνότητας σήματος • Πολλά προβλήματα επιλύονται ευκολότερα με τη μετατροπή τους σε άλλο πρόβλημα • Χαρακτηρίζουμε ένα σήμα με το φάσμα συχνοτήτων του • Τα πεδία σήματος και η συχνότητας εκπροσωπούν τις ίδιες πληροφορίες. • Το πεδίο της συχνότητας διευκολύνει το φιλτράρισμα σε σχέση με του σήματος

45. Spectrum συχνότητας σήματος • Το ημιτονοειδές σήμα έχει εύρος και συχνότητα • Συχνότητα ημιτονοειδούς σήματος είναι ο αριθμός των κύκλων ανά δευτερόλεπτο για τον ήχο, ή ο αριθμός των κύκλων ανά μονάδα μήκους (π.χ., μεταξύ των pixel) για εικόνες • Μπορούμε να χαρακτηρίσουμε μία κυματομορφή από το εύρος και τη συχνότητα όλων των συστατικών της (μετασχηματισμός Fourier) • Αυτό καταγράφεται ως «φάσμα συχνοτήτων», γνωστός και ως φάσμα ισχύος, (αγνοούμε αρνητικές τιμές)

46. Θεώρημα Nyquist Πρέπει να λαμβάνουμε δείγματα σε ένα ποσοστό υψηλότερο από το διπλάσιο της υψηλότερης συχνότητας του σήματος (όριο Nyquist) • Here is an approximate analog sine wave:

47. Αλλιώς Aliasing • Here is our analog sine wave again • Here is the sine wave sampled at too low a rate

48. Στο όριο Nyquist

49. Aliasing • Ο τετραγωνικός παλμός έχει άπειρες συχνότητες ημιτόνου, ακριβώς στην μετάβαση από χαμηλά σε υψηλά και υψηλά προς χαμηλά. Πώς μπορούμε να δείγματοληπτήσουμε σωστά; • Δεν μπορούμε. ∞• 2 = ∞, και δεν μπορούμε να δείγματοληπτήσουμε σε άπειρο ρυθμό • Δυστυχώς, άπειρες συχνότητες αποτελούν τον κανόνα στον τομέα των συνθετικών γραφικών του υπολογιστή - μεταβάσεις μεταξύ γειτονικών pixel) 25 125 5

50. Άπειρες Συχνότητες • Έτσι, κάνουμε την αντίστροφη λειτουργία. Αντί για αύξηση της συχνότητας δειγματοληψίας: • Φιλτράρουμε τις υψηλές συχνότητες που δεν μπορούμε να δείξουμε • Το σήμα είναι εγγυημένο να αποτελείται μόνο από τις συχνότητες που μπορούμε να ανακατασκευάσουμε με εύλογη ακρίβεια • Αυτό δεν είναι ίδιο σήμα που ήρθε, αλλά είναι πιο κοντά από ό, τι η έκδοση που θα προκαλέσει aliasing • Η αναπαράσταση του προ-φιλτραρισμένου σήματος κατά προσέγγιση θα αποφέρει ένα καλύτερο αποτέλεσμα από την ανακατασκευή, του αρχικού σήματος • Οσο πιο υψηλές οι συχνότητες του προ-φιλτραρίσματος τόσο χαμηλότερη είναι η συχνότητα δειγματοληψίας, αλλά τόσο το λιγότερο το φιλτραρισμένο σήμα μοιάζει με το αρχικό