Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und

1. Comparison of Interest Point DetectorsVortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“ Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp

2. Gliederung • Grundlagen • Algorithmen • Implementierung 1

3. 1. Grundlagen • Points of Interest • Digitale Bilder • Merkmalsextraktion • Transformationen 2

4. Points of Interest • „interessante Punkte“  zielabhängig • Eigenschaften • Informativ • Wenige Punkte • Reproduzierbar & nachvollziehbar • Detektierte Punkte repräsentieren lokale Umgebung • Deskriptoren nutzen Punkte zur Lösung einer Aufgabe • Hier: Detektion von POIs • Häufig POIs  Eckpunkte bzw. Punkte, bei denen sich die 2D Struktur signifikant ändert 3

5. Beispielanwendung: Image Retrieval 4

6. …Beispielanwendung • Matching durch Vergleich lokaler Regionen 5

7. Digitale Bilder • Pixel  Rasterdarstellung • Endlich, diskreter Wertebereich 6

8. Merkmalsextraktion • Kante genau zwischen zwei Pixelreihen 7

9. Merkmalsextraktion • Kante schneidet eine Pixelreihe 8

10. Merkmalsextraktion • Stufen-Kante genau zwischen den Pixelreihen 9

11. Merkmalsextraktion • Stufen-Kante schneidet die Pixelreihen 10

12. Intensitätsvektor Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten 11

13. Kantentypen • Sprungkante – Dachkante - Linienkante 12

14. Faltung • Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben • Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt • Eine Maske spiegelt die gesuchten Eigenschaften eines Bildmerkmals wieder • Je genauer dies Maske auf den ausgewählten Bildabschnitt passt, desto größer ist die Summe der Multiplikation (Elementweise). Beispiel Masken 13

15. Faltung • Beispiel: elementweise Skalarmultiplikation Bildausschnitt 14

16. Intensitätsfunktion • Jeder Bildausschnitt hat für jede Maske eine Intensität • Intensitätsfunktion mit Masken • Lesevektor wird in einem Winkel über das Bild gelegt • anhand einer Maske wird die Intensitäten bestimmt 15

17. Ableitung der Kantenfunktion • Am Wendepunkt befindet sich die Kante • Bildung der ersten Ableitung • Kante befindet sich beim lokalen Maximum • Kante leichter zu erkennen 16

18. Rauschen • Rauschen führt zu falschen Merkmalen • Filter glätten eine Bild • weniger falsche Merkmale 17

19. Kantenreduktion • Non-Maximum Unterdrückung • Problem: • Kante wird mehrfach gefunden • Ziel: • Nur die kräftigste Kante soll dargestellt werden 18

20. Kantenreduktion • Non-Maximum Unterdrückung • Lösung • Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert. 19

21. Schwellenwert • Einfache Schwellenwert-Operation • Oft nicht ausreichend • Es gibt verbesserte Versionen (Hysterese Schwellenwert-operation) Beispiel : Schwellenwert = 20 20

22. Transformationen • Geometrisch • Lage von Punkten / Körpern in der Darstellungsebene wird verändert • Fotometrisch • Änderung der Intensität der Bildpunkte • Betrifft Lichtwahrnehmung des menschlichen Auges 21

23. Geometrische Transformationen • Pixelkoordinaten aus diskretem Wertebereich • Ungenauigkeiten durch Verschieben von Pixeln • Beispiel Rotation: • Rotierter Körper schneidet mehrere Pixel im Zielbild • Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?  Verlust von Bildinformationen • Translation, Skalierung, … 22

24. Fotometrische Transformationen • darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich  verlustbehaftet Ausgangsbild, Helligkeits- und Kontraständerung 23

25. 2. Algorithmen • Harris • Kovesi • SUSAN 24

26. Harris Detektor • Ecken sind Points of Interest • Detektion auf Basis von Itensitätswechseln • Kanten werden zu Ecken „verknüpft“ • Bewertung jedes Bildpunktes bzgl. seiner Umgebung • Pixel repräsentiert seine Umgebung 25

27. Harris Detektor • Gradient der Intensität • Approximiert durch Faltung mit Maske • Je für „x“- und „y“-Richtung der Pixelmatrix • Für alle Richtungen => Kovarianzmatrix 26

28. Harris Detektor Ix2 Iy2 Ixy 27

29. Harris Detektor • Kovarianzmatrix M enthält alle Intensitätsänderungen • Eigenvektoren zeigen in die Richtung des stärksten Anstiegs • sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor. 28

30. Harris Detektor • Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden • Harris: • Noble: 29

31. Ausgangsbild Mit Eckenbewertung Harris Detektor 30

32. Harris Detektor • Bewertung jedes Pixels nicht gewünscht: • Non-maximum-Unterdrückung • Schwellenwert-Hysterese • => Nur ein POI innerhalb eines gewählten Radius. 31

33. Kovesi • Problem • Kein optimaler Merkmalsdetektor vorhanden • Ziel • Verbesserung der gegebenen Algorithmen in den Punkten: • Eindeutige Identifizierung der Merkmale • Genauere Lokalisation • Weniger Parameter Justierung • Rauschkompensation 32

34. Ansatz • Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht 33

35. Dynamik der Fourier-Transformation • Funktion für die Transformation Phasenverschiebung Amplitudendämpfung 34

36. Darstellung der Fourier-Transformation • 3 unterschiedliche Amplitudendämpfung • 180° Phasenverschiebung in jedem Bild • Phasenverschiebung • Stärke der Ausprägung derMerkmale • Amplitudendämpfung • Andere Klassifizierung durch Änderung der Schärfe Gittermodell 35

37. Phasenkongruenz ( Deckungsgleichheit ) • In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen • Die Intensität ( Energie ) dieser Punktewird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt • auch gewichtete mittlere Phasenverschiebung genannt 36

38. Bestimmung der lokalen Energie • Energie der Vektoren im Punkt x Vektorkette im komplexen Raum 37

39. Auswertung von PC2 • Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° ) • 0 aufsteigende Stufe • ½ Pi helle Linie • Pi absteigende Stufe • 3/2 Pi dunkle Linie • Es wird zwischen auf- /absteigend und hell/dunkel nicht unterschieden ( Wertebereich bei der Auswertung zusammengefasst ) 38

40. Phase Congruency 2 • Eigenschaften • keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung • Verbesserte Identifizierung der Merkmale • Zuordnung und Unterscheidung von Linien und Kanten • Verbesserte Lokalisierung der Merkmale • Kompensation von Rauschen 39

41. SUSAN Eckendetektor Smallest Univalue Segments Assimilating Nucleus 40

42. USAN – Univalue Segments Assimilating Nucleus 41

43. Kern …USAN • approximierte Kreisfläche mit 37 Pixeln • dem Kern ( ) ähnliche Pixel werden abgezählt: + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 42

44. Kern …USAN • Größe des USAN: • Beispiel:  Größe = 34 Größe = 13 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 43

45. SUSAN Principle • Aussagen über die Struktur anhand der USAN-Größe: Der Kern liegt • in einer Fläche bei maximalem USAN, • auf oder nahe einer Kante, wenn das USAN die Hälfte des maximalen Wertes annimmt und • bei kleineren Werten innerhalb einer Ecke. • Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden  Smallest USAN • Fokus im Weiteren: SUSAN Eckendetektor 44

46. Ausnahmen I. Zwischenstufen oder Linien  Größe = 14 II.Rauschen  Größe = 7 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 45

47. Bereinigung um falsche Einträge I. • Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein Schwerpunkt + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 46

48. Bereinigung um falsche Einträge II. • Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein • Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 47

49. Bedeutung der Parameter • Geometrischer Grenzwert • Qualitativ: Welcher Punkt wird als Ecke erkannt? • Ähnlichkeitswert • Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich dem Kern? 48

50. Anpassung der Indikatorfunktion • Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 49