Verfolgung von farblich markierten Objekten

1. Verfolgungvon farblich markierten Objekten Sascha Lange http://cvtk.sourceforge.net

2. Gliederung • Bildanalyse • (Extrem) kurze, oberflächliche Einführung in die Bildanalyse • Computer Vision Tool Kit • Vorstellung meiner Bachelor Arbeit

3. Bildanalyse

4. Bildverarbeitung (Image Processing) “Image processing is a collection of techniques for numerical operation on the pixel data. These include image enhancement for presentation to a human observer and the extraction of features for futher analysis.” (Computer Vision Research – Introduction) Gliederung: Bildbearbeitung und Bildanalyse Machine Vision / Computer Vision “The use of devices for non-contact sensing to automatically receive and interpret an image of a real scene in order to obtain information  and/or control machines or processes“ (SME) Besonderes Gewicht auf dem Aspekt der Prozessüberwachung und / oder –kontrolle (ev. aber auch nur Überinterpretation) Definitionen Bildanalyse (Image Analysis) • “Generierung einer bedeutungsvollen Beschreibung eines in einem oder mehreren Bildern zu einem Zeitpunkt oder in einem Zeitraum dargestellten räumlichen Teils der näheren oder ferneren Umgebung mit Hilfe von Computern.” (Verfasser unbekannt) • Von der Ikonische Darstellung zu symbolischen Beschreibungen

5. Anwendungen • Medizin • Tomographie, Radiologie, Gewebeschnitte • Industrielle Automatisierung • Qualitätskontrolle, Sortierung, Transport • Überwachung • Gebäudeüberwachung, Suchen in Menschenmengen • Vermessungswesen & Fernerkundung • Landvermessung, Satellitenbildauswertung, Radarbilder • Human Computer Interfaces • Gesture Recognition • Biometrie • Fingerabdrücke, Authentifizierung • Archivierung • Content Based Image Retrieval

6. “Arbeiten” in der Computer Vision • Keine klare, allgemeine Standardmethode • Derzeit relativ unstrukturierte Sammlung von Verfahren • Ingenieurwissenschaftliche Herangehensweise: • Auswahl geeigneter Verfahren zur Lösung einer speziellen Problemstellung • Aktuelle Schlagworte: • Active Vision: Aktive Kontrolle des Sichtfeldes • Exemplar-based vision

7. Modellgestütze Segmentierung ModellfreieSegmentierung Bildsymbolverarbeitung Symbolische Verarbeitung Klassische Bildverarbeitung (Einzelbild) Bilderfassung Bildverbesserung Haus Busch vor Haus Baum vor Haus

8. Zusammenfassung der klassischen Bildverarbeitung • Ausgangspunkt: Ikonische Bildrepräsentierung • Ziel: Symbolische Bildbeschreibung • Bildverbesserung • Häufiges Zwischenziel: Regionenbild • Objekterkennung

9. Anwendungen ohne bedeutungsvolle symbolische Beschreibung / Modell • Beispiel Biometrie • Direkter Vergleich von “Feature Points” • Beispiel Image Based Retrieval • Query by example (Farbe, Textur, Anordnung) http://elib.cs.berkeley.edu/photos/blobworld/

10. Viele Wege führen nach Rom… • Auf dem Weg zum Regionenbild • Kantenbasierte Segmentierung • Thresholding • Regionenbasierte Segmentierung

11. “Zusammenmultiplizieren” von 2 Matrizen verschiedener Dimensionen Die größere Matrix ist hier das Bild Die kleinere wird “Kernel” genannt Verschieben des Kernels über jeden einzelnen Bildpunkt Dabei wird jeder Eintrag im Kernel mit dem darunter liegenden Pixel multipliziert Die Summe der Produkte wird als Resultat dieser Stelle gespeichert Diskreter Fall: Für Bildmatrix FM,N und Kernel KA,B Resultierende Matrix: GM-A+1,N-B+1 Anwendung: Anwendung eines “Filters” auf jedes Pixel Lokale Operatoren (im Gegensatz zu globalen und Punktoperatoren) Faltung (Convolution)

12. Kantendetektion I • Detektion von Kanten anhand von Änderungen in der Helligkeit (1. Ableitung, Helligkeitsgradient) • Sobel Kantendetektoren • Je ein Kernel für horizontale und vertikale Kanten • Absolutbetrag des Gradienten durch Kombination: • Je größer der Gradient desto größer das „Ansprechen“ • Problem: • Anfällig für Rauschen • Thresholding • Breite, diffuse Linien

13. Kantendetektion II:Zero-Crossings der 2. Ableitung • Laplace-Operator • Berechnet 2. Ableitung der Grauwerte • Isotropher Operator • Erhöht Rauschen • LoG Operator • „Laplace of Gaussian“, Marr-Hildreth Operator • Erst Glätten, dann Laplace Operator • Bestimmung der „Zero-Crossings“ • Dünner Kantenverlauf • Feinheit kontrolliert durch Standardabweichung der Gaußglocke • Entfernung der Kanten, die nicht durch 1. Ableitung unterstützt werden

14. Farbsegmentierung: Constant thresholding Bildfunktion: f(x,y) = (r,g,b) Luminosität: l(r,g,b) = [0..255] Segmentierung: s(l) = [0,1] mit s(l) = 0 für alle l <= t und s(l) = 1 für alle l > t • Constant thresholding • Starker Beleuchtungsgradient constant threshold t

15. Farbsegmentierung: Adaptive Thresholding • Adaptive thresholding • Funktioniert auch bei starkem Gradient in der Beleuchtung • Local thresholding: • Für jedes Pixel in bestimmter Umgebung statistisch den Threshold bestimmen: • median, mean, (max-min)/2 • t = median-c • Parameter: Umgebungsgröße, c • Chow und Kaneko: • Bild aufteilen • Wahrscheinlichkeit für uniforme Beleuchtung sei höher • Threshold für jedes Teilbild bestimmen • Für jedes Pixel einen lokalenSchwellwert durch Interpolation finden • schneller

16. Maximale Homogenitätsbedingung: H(Ri) = TRUE, für alle Regionen Ri H(RiURj) = FALSE, für alle i<>j und Ri ist Nachbar von Rj Homogenitätskriterien: Helligkeit Farbe Textur Form Oder Kombination daraus Direkt auf Pixelbild oder vorsegmentiertem Bild Region merging Start mit übersegmentiertem Bild (z.B. Pixelbild) Verschmelzungskriterium z.B. mit Hilfe von H(RiURj) Region splitting Start mit untersegmentiertem Bild (z.B. Bild als ein Segment) Unter Umständen anderes Ergebnis als merging Aus Gründen der Effizienz: Datenstruktur zur Adjazenzrepräsentierung Split and Merge Baut gleichzeitig einen Quadtree auf Regiongrowing

17. Ikonische Darstellung der Regionen Übergang zur symbolischen Verarbeitung Verminderung des Speicher- und Rechenaufwandes Formrepräsentierungen: Konturbasiert (Kettenkodes, Fourierdeskriptoren, B-Splines) Regionenbasiert (Skelettierung, Dekomposition -> Graph) Regionenbeschreibungen: Reichen für die Analyse ev. auch aus Möglichst topologisch Invariante Beschreibungen Kontur basiert: Curvature Kantenlänge (Umfang) Biegungsenergie Regionenbasiert Fläche, Zentrum, Höhe, Breite Exzentrizität: Verhältnis zwischen Haupt- und Nebenachse „Elongatedness“: größter Durchmesser / Fläche „Rechteckigkeit“ Kompaktheit: (Umfang / Fläche) Zwischenschritt: Regionenrepräsentierung und -beschreibung

18. Ziel: Objekt Klassifizierung „Welt“wissen nötig Über verarbeitete Objekte Über Objektklassen Verschiedene Techniken: Statistic Pattern Recognition Neural Nets Syntactic pattern recognition Graphmatching Optimierungstechniken Objekterkennung

19. Vom Einzelbild zur Bildfolge • Feature Point, bzw. Objektverfolgung • Active Vision

20. t-1 t Feature Point Tracking • Ziel: „Trajektorien“ • Vorgehen: • Pfadkohärenzfunktion, die eine Zuordnung bewertet • Finden des globalen Optimums • Probleme: • Constraints für die Pfadkohärenzfunktion • Widersprüchliche Constraints • Physikalisches Modell des beobachteten Systems nötig Minimierung des Abstands reicht nicht aus:

21. Pfad Koherenz Funktion (nach Sethi und Jain) • Bewertet Richtungsänderungen und Geschwindigkeitsänderungen • Dazu 2 Richtungsvektoren von t-2 über t-1 bis t • 1. Term berechnet den Kosinus (0 wenn senkrecht zueinander) • 2. Term bestraft Längenunterschiede • Probleme: • Gewichtung zwischen Geschwindigkeit und Richtung • Zusammen- oder Abprallen und andere Verletzungen des zugrunde liegenden Modells

22. Active Vision • Aktive Kontrolle der Kamera und des Systems • Um mehr Daten zu erlangen • Intelligente Datenakquisition • Kontrolliert durch die partiell interpretierte und bemessene Szene • Genau die Daten erlangen, die benötigt werden • Kontinuierliche, „Real-Time“ Operation • „Vision as Process“

23. Keine Verarbeitung bis zur symbolischen Beschreibung des Bildes Kein Szenenmodell Stattdessen Bilddatenbank Verschiedene Ansichten der Objekte „Prototypen“ der Objektklassen Ganze Szenen Steuerungssignal ev. direkt mit Szenen gekoppelt (z.B. IBR) Ähnlichkeitsoperationen, die direkt auf den Bildern arbeiten ? EROSAL www.cogsci.uni-osnabrueck.de/~erosal/ Exemplar Based Image Recognition

24. Computer Vision Tool Kit

25. Motivation • Vorlesung „Intelligente Robotersteuerung“ WS2000/2001 • „global vision system“ für die Small Size League • andere Messungen in künstlichen Umgebungen • Stab balancieren • Pendelschwingung

26. Aufgabenstellung • Bibliothek, die folgendes unterstützt: • „tracking“ von farblich markierten Objekten in künstlichen Umgebungen • Ausgabe von: Objekttyp, Position, Orientierung, Geschwindigkeit • Echtzeitverarbeitung eines Videostroms • Kalibrierung

27. Jede Schicht kapselt einen Algorithmus Datenstrukturen zwischen den Schichten sind definiert vom Bild zu höheren Repräsentationen Bottom-Up Analyse cvtk.h Schichten - Architektur RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Low - Level Vision Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen High - Level Vision Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

29. Farbsegmentierung • Bildquelle:f(x,y) = (r,g,b) • Verwendung einer Lookup - Tabelle: • Funktion l:(r,g,b)  c in einer Tabelle gespeichert • Berechnung von s(x,y)=l°f(x,y)durch einfache Nachschlageoperation (im Voraus berechnet) lookuptable.hcolorsegmentation.cpp RGB-Matrix Lookup Tabelle Farbsegmentierung Farbklassen-Matrix Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

30. Kettenkodierung • Kodieren: • Beschreibung der Kontur nach Freeman • 4er, 8er Nachbarschaft • Sequenz von Nummern, die Richtung der Kontur kodieren • Reduktion der Datenmenge • schnell zu berechnen • einfache Berechnung von: • Zentrum • Fläche • umgebendes Rechteck chaincoding.hchaincoding.cpp RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

31. Fläche Allgemein: A =  b(x,y) dx dy Diskrete Integration nach einer Achse Differenz zwischen Integral der oberen und unteren Kante ist die Fläche Zentrum der Fläche Allgemein: X =  x b(x,y) dx dy / b(x,y) dx dy Analog zur Fläche Beim Integrieren mit x multiplizieren Kettenkodierung(2)

32. Objekterkennung • Objekt - Schablonen: • object id center (col, area), axis (col, area, dist), mark (col, area, dist, orien)end • Naiver Suchalgorithmus • Toleranzgrenzen • „Harte“ Matches (keine Wks) • Ausgabe: Liste von Objekt-Eimern mit „Instanzen“ RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Connected Regions Kettencode-Listen Objekt-Templates Template Matching Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

33. Objektverfolgung • Ziel: • Zuordnung der gefundenen Instanzen zur richtigen „Instanzgeschichte“ • Einfacher Fall: • Objekte eindeutig identifiziert • Schwieriger Fall: • Mehrere Instanzen pro Schablone • Innerhalb jedes Eimers „tracking“ - Algorithmus RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

34. Trackingalgorithmus • Optimierung eines globalen, konfigurierbaren Kriteriums • Uniform Cost Search (oder A*, wenn Heuristic für Kriterium vorhanden) • Kosten h(node) = Kriterium • Knoten sind mögliche Paarungen • In jeder Ebene wird ein Objekt mehr zugeordnet h(k1) = 0 h(k2) = c xt,1 – xt-1,i1 h(k3) = d ≥ c xt,1 – xt-1,i1 xt,2 – xt-1,i2 xt,1 – xt-1,i1 xt,2 – xt-1,i3 xt,1 – xt-1,i1 xt,2 – xt-1,i4 xt,1 – xt-1,i1 xt,2 – xt-1,i2 xt,3 – xt-1,i3 xt,1 – xt-1,i1 xt,2 – xt-1,i2 xt,2 – <unmatched>

37. Berechnung der Ausgabe • Berechnung der benötigten Werte anhand der Instanzgeschichte • Orientierung: • Winkel der Strecke center / axis zur x-Achse • Richtung / Geschwindigkeit • aus der Geschichte • Z.Zt. Ungeglättet • „Einfache“ Glättung? • Kalmann-Filter zum Ausgleich der Meßfehler? • Subpixelgenauigkeit RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

38. Vorverarbeitung wie Glättung, Helligkeit Morphologische Operatoren wie Opening / Closing Region merging Koordinatentransformation Erweiterungen RGB-Matrix Farbsegmentierung Lookup Tabelle Farbklassen-Matrix Connected Regions Kettencode-Listen Template Matching Objekt-Templates Objektklassen-Listen Object Tracking Objektinstanz-Liste object(Position, [Orientierung], Richtung, Geschwindigkeit)

39. Ausblick • Einsatz der Bibliothek in der Midsize-League • 3D, Messung von Entfernungen • Karlsruhe / Dortmund • Bereitstellung verbesserter Kalibrierungswerkzeuge