1. Segmentation basedMulti-View Stereo fxlange@inf.fu-berlin.de stefan.otte@gmail.com Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011

2. MVS allgemein vs. Segmentation  Based MVS Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper: • nutzt homogene Flächen • benötigt nur wenig Features pro Fläche • Flächen werden über Farbsegmentierung gefunden • "Nebenprodukt": gute Performance Annahme: • Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen

3. Kamera-Kalibrierung Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus Farbsegmenten und 3D Seeds nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR) Pipeline / Inhalt

4. Farbsegmentierung Eigenschaften: • Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes   • vielseitig einsetzbar, wenn effizient berechenbar Ziel: • charakteristische homogene Regionen Probleme: • großflächige Farb- / Intensitätsverläufe • Regionen mit hohen Schwankungen → lokale Kriterien reichen nicht aus

5. Farbsegmentierung graph-based image segmentation [8]:

6. Farbsegmentierung - Bild als Graph Kantengewichte entsprechen Intensitätsdifferenzen

7. Farbsegmentierung - Hauptkriterium Schmelzkriterium: DIFF(C1,C2) < MINT(C1,C2)                ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))

8. Farbsegmentierung - Algorithmus

9. 3D Seeds 3D-Seeds durch guided matching Gegeben: • Bilder Ziel: • Initiale 3D-Seeds Schritte: • Features • Matching • Triangulation • Clustering

10. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

11. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

12. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

13. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

14. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

15. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

16. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

17. 3D-Seed erzeugen: klassische StereoVision Tiefeninformation aus Disparität 3D Seeds - Triangulation

18. Clustern: viele 3D-Seeds für gleichen Punkt Cluster von Seedsdurch einen 3D-Seed ersetzen 3D Seeds - Clustering

19. Segmentation Based MVS (SBMVS) Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel: • 3D Segmente erstellen Schritte: • aus Farbsegmente und 3D Seeds • aus nicht zugeordneten Farbsegmenten

20. Zuordnung zwischen: 3D Seed X Farbsegment si SBMVS - Optimale 3D Segmente

21. Normalvektor n über durchtesten abschätzen  (pro Achsen zwischen 0° und 180° in 18° Schritten) gegeben: 3D Koordinate - Fixpunkt 2D Form (Segment) gesucht: Normalvektor n der Fläche / des Segments SBMVS - Optimale 3D Segmente

22. SBMVS - Optimale 3D Segmente

23. im Detail: alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden SBMVS - Optimale 3D Segmente

24. Gradientenabstieg von bester Abschätzung aus Abschätzung und Optimierung über alle Targetbilder It genau ein 3D Segment pro Farbsegment SBMVS - Optimale 3D Segmente

25. SBMVS - freie Farbsegmente explored        -    unexplored    -    explored

26. SBMVS - freie Farbsegmente • Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed • Abschätzung und Optimierung von n => 3D Segment

27. Oberflächkonstruktion mit PSR Poisson Surface Reconstruction gegeben: • Oberflächen-Samples gesucht: • 3D-Mesh umbauen Idee: • Indikatorfunktion:Aussen < 0 < Innen Hintergrund: • Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung. • Octree als Datenstruktur

28. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

29. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

30. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

31. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

32. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

33. Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus Farbsegmente und 3D Seeds nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR) Was bisher geschah ...

34. Ergebnisse Aussagen der Autoren: • Homogene Farb-Regionen werden gut erkannt • Genauigkeit mit anderen Verfahren vergleichbar • Gute Performance: 35 min vs 3h pro Bild Unsere Bewertung: • Vergleich der Performance relativ nichtssagend • Genauigkeit nur in einem nicht erklärten Plot erklärt • Algorithmen im Fließtext erklärt

35. Fragen? Besten Dank!

36. Resources Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/ [1] http://people.cs.uchicago.edu/~pff/segment/ [8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher.  Efficient graph-based image segmentation. In IJCV, 2004. [9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007. [10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998. [11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003. [16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.