Die Aufgaben der Bildauswertung

1. Die Aufgaben der Bildauswertung Auswertungsaufgaben • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation (Klassifikation) • Analyse TODO Berücksichtigung des zeitlichen Zusammenhangs der einzelnen Bilder: Bildfolgenauswertung Computer Vision 1_Seite 1

2. Bildfolgen Informationsgewinnung Statische Kamera Bewegte Kamera Aufgaben: • Detektion sich bewegender Objekte • Lokalisierung sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand von Bewegungsmustern Zeit Zeit Aufgaben: • Detektion sich bewegender Objekte • Lokalisierung sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand von Bewegungsmustern • Eigenbewegungsschätzung Wie kann die Information über Bewegung in ein System eingebracht werden? Computer Vision 1_Seite 2

3. Prädiktion Generische räumliche Beschreibung Generische zeitliche Beschreibung (parametrisierte Modelle für Objekt-, Szenen-, Beleuchtungs-, Sensordynamik) Prädiktion Bildauswertung Modellwelt Generische räumliche Beschreibung Generische räumliche Beschreibung Signal- verarbeitung . . . Bildauswertung Modellwelt Bildauswertung Modellwelt Bildsensor Signal- verarbeitung t0 + n*d Signal- verarbeitung Bildsensor Die Nutzung der Mehrinformation (aus Bildfolgen) geht an zwei Stellen ein: • Generische zeitliche Beschreibung • Signalverarbeitung (genauer: Merkmalsextraktion) t0+d Bildsensor t0 Interpretationszyklus für Bildfolgen Szeneninterpretation Computer Vision 1_Seite 3

4. Raum-Zeit-Kanten Bildfolgen: Raum-Kanten Informationsgewinnung Raumkantenbild Grauwertbild Flugzeug- Modell Raumkanten Raum-Zeit-Kantenbild Original Computer Vision 1_Seite 4

5. Bildfolgen: Raum-Kanten Informationsgewinnung Beispiel für Raum-Zeit-Kanten: Infrarotbild (Luftbild) eines Ausschnitts der Meeresoberfläche Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Computer Vision 1_Seite 5

6. Bildfolgen: Raum-Kanten Informationsgewinnung Bildstapel: Im Bildstapel statischer Kameras ergeben • statische Objektpunkte: senkrechte Geraden und • bewegte Bildpunkte mit • gleichförmiger Bewegung: geneigte Geraden • beschleunigter Bewegung: gekrümmte Geraden Computer Vision 1_Seite 6

7. Bildfolgen: Bewegungssegmentierung Informationsgewinnung Differenzbild Empfindlich gegen • Beleuchtungsänderungen • Rauschen • Periodische Vorgänge / Muster Abhilfe: • Betrachte mehr als ein Bild aus der Vergangenheit Differenzbilder für statischen Hintergrund mitsich bewegenden Fahrzeugen Computer Vision 1_Seite 7

8. Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: • Betrachte die letzten M Bilder für jeden Bildpunkt einzeln (x,y): g(t) = g(x,y,t) • Eine bewegungsbedingte Änderung im Bildpunkt (x,y) zeigt sich z.B. als „Sprung“. • Liegt keine Änderung vor, so sind die Grauwerte „konstant“. g(t) t Konstant mit Rauschen g(t) t Einmaliges Ereignis Computer Vision 1_Seite 8

9. Histogrammbildung h(q) h(q) h(q) h(q) h(q) ge q q q q q Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: g(t) g(t) g(t) g(t) g(t) t t t t t Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung Computer Vision 1_Seite 9

10. Bildfolgen: Bewegungssegmentierung Informationsgewinnung Betrachtung der Vergangenheit: • Anpassen einer Summe von N Gaußfunktionen (= Modellierung der Grauwerthistorie): • Für ein aktuelles Bild: Entscheidung für eine Änderung, wenn für den aktuellen Grauwert g gilt: h(q) h(q) h(q) h(q) h(q) ge q q q q q Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung Computer Vision 1_Seite 10

11. ... Bildfolgen: Bewegungssegmentierung Informationsgewinnung Übersicht: Für jeden Bildpunkt: • Berechnung des Histogramms aus den M letzten Bildern. • Modellierung des Histogramms durch Summe von Gaußfunktionen • Gilt für den aktuellen Grauwert g: ? • Nein: Eintrag als Hintergrundbildpunkt (z.B. 0) • Ja: Eintrag als (Bewegt-) Objektbildpunkt (z.B. 1) Letzte M Bilder aktuelles Bild Bewegungssegment-Bild Im Modell Im Modell ... Histogramm für jedes Pixel Computer Vision 1_Seite 11

12. Bildfolgen: Bewegungsschätzung Informationsgewinnung Verfolgung von Merkmalen durch Blockmatching (Schablonenanpassung) t + Bild zur Zeit t+t Bild zur Zeit t t+ t Computer Vision 1_Seite 12

13. Bildfolgen: Bewegungsschätzung Das Prinzip der Schablonenanpassung Bild zur Zeit t+t Bild zur Zeit t Bild zur Zeit t+t An welcher Stelle „passt“ die Schablone am besten? Die Suche wird beschränkt auf den Suchbereich um die Schablonenposition im Bild zur Zeit t. Die Position im Bild zur Zeit t+D, an der die Schablone der Bildstruktur am Ähnlichsten ist. Schablone zur Suche imnächsten Bild ausschneiden. Für die Suche nach der optimalen Position wird ein Ähnlichkeitsmaß benötigt! Computer Vision 1_Seite 13

14. Bildfolgen: Ähnlichkeitsmaße Informationsgewinnung Lokale Ähnlichkeitsmaße zwischen einem Bild g der Größe BxH und einer Schablone h: • Euklidische Distanz: • City-Block-Distanz: • Kreuzkorrelation: Schablone h: Position (m,n)=(4,3) Bild g Computer Vision 1_Seite 14

15. Bildfolgen: Normierte Kreuzkorrelation Informationsgewinnung Die Normierung der Kreuzkorrelation bezüglich der Bildtransparenzen liefert die normierte Kreuzkorrelation • Die NKK liegt zwischen 0 (völlig ungleiche Muster) und 1 (identische Muster). • Erinnerung: Faltung von g mit Kern K Computer Vision 1_Seite 15

16. Bildfolgen: Normierte Kreuzkorrelation Informationsgewinnung Beispiel: Bild g und Schablone h NKK Computer Vision 1_Seite 16

17. Bildfolgen: Bildstabilisierung Informationsgewinnung Anwendung der Kreuzkorrelation: Bildstabilisierung („Wackelkompensation“) z.B. bei Handycams Voraussetzungen: • Nur wenige Objekte in der Szene bewegen sich. • Translationen der Kamera sind vernachlässigbar. • Drehungen erfolgen um die Achsen des Bildsensors. Keine Rotation um den Sehstrahl (Rollwinkel), nur Gier und Nickwinkel. F Kamera-drehung Verschiebung (Translation) im Bildbereich!! Bild Bild Bildsensor Feste Szenengegenstände Computer Vision 1_Seite 17

18. Bildfolgen: Bildstabilisierung Informationsgewinnung Vorgehen • Schätzung der Verschiebung (x, y) im Bildbereich durch Berechnung des Kreuzkorrelationsmaximums der Bilder, z.B. durch die Fouriertransformation. • Korrektur der Verschiebung ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: xmax, ymax Computer Vision 1_Seite 18

19. Detektionsmechanismen: dynamisch Informationsgewinnung Videosequenz: Hindernisdetektion mit optischem Fluss Lokal geschätzte Flussvektoren1 1) Ein Flussvektor ist ein Vektor, der (in der Bildebene) beschreibt, wie sich die Position eines Szenenpunkts zwischen zwei zeitl. aufeinander folgenden Bildern verschoben hat. Computer Vision 1_Seite 19

20. Bildfolgen: Optischer Fluss Informationsgewinnung Bewegungsschätzung durch optischen Fluss • Suche für jeden Bildpunkt (x,y) einen Verschiebungsvektor (vx(x,y), vy(x,y)), so dass (x+vx(x,y) y+vy(x,y)) die Position des Szenenpunktes ist, der zuvor auf Bildposition (x,y) abgebildet war. • Allgemeine optische Flussgleichung: • Problem: Unterbestimmtheit, so z.B. kommt jeder Grauwert in einem 512x512 Grauwertbild (8 Bit) durchschnittlich 1024 mal vor! • Dies macht zusätzliche Einschränkungen nötig, z.B. • Glattheit des Flussvektorfeldes • „Kleine“ Flussvektoren Computer Vision 1_Seite 20

21. Bildfolgen: Optischer Fluß Informationsgewinnung Die Lösung der allgemeinen optischen Flussgleichung erfolgt durch eine Taylor-Entwicklung von unter Vernachlässigung quadratischer und höherer Glieder Umgeformt ergibt sich pro Bildpunkt eine Gleichung Diese Gleichung hat jedoch zwei Unbekannte führt also zu einem unterbestimmten Gleichungssystem. Bestimme den jeweiligen Flussvektor unter Betrachtung einer kleinen Umgebung R von (x,y) (Glattheitsbedingung). Dies führt zu einem überbestimmten Gleichungssystem, daher erfolgt die Bestimmung des Flussvektors durch Minimierung von des Fehlers Computer Vision 1_Seite 21

22. Skripte http://www.home.fh-karlsruhe.de/~laas0002/Skripte/ Computer Vision 1_Seite 22