G É OMÉTRIE ET VISION ARTIFICIELLE

1. GÉOMÉTRIE ET VISION ARTIFICIELLE Jean Ponce “Hauts du DI” Email: ponce@di.ens.fr Web: http://www.di.ens.fr/~ponce Référence: “Computer Vision: A Modern Approach” par D.A. Forsyth et J. Ponce (Prentice-Hall, 2002)

2. Informations pratiques • Présentations :http://www.di.ens.fr/~ponce/geomvis/lect1.ppt http://www.di.ens.fr/~ponce/geomvis/lect1.pdf • Séminaires : http://www.di.ens.fr/~ponce/seminaires.html • Exceptionnellement, le cours du jeudi 20 Octobre est déplacé au lundi 24 Octobre, 17h45—19h45.

3. (Nalwa, 1993)

4. Human/Felix Bug Barbara Steele Face Joe Camel Problem: • Recognizing instances • Recognizing categories

6. They are formed by the projection of 3D objects. Images are two-dimensional patterns of brightness values.

8. How do we perceive depth?

9. (Binocular) Fusion

10. (Devernay and Faugeras, 1994)

11. (Furukawa & Ponce, 2005)

12. Koenderink (1984) • True in oriented projective geometry • (Lazebnik & Ponce, 2003) • True in plain projective geometry?

13. (Rousson and Deriche, 2002)

14. (Kushal and Ponce, 2006)

15. What is an object?

16. The interaction of light and matter

17. ILM Toyota What is it all for?

18. Copan Courtesy of S. Leigh Courtesy of G. Robinson & M.S. Sharma

19. CONTENU: Le but de la vision artificielle est l'interprétation automatique par un ordinateur du contenu d'une image (photographie) ou d'un ensemble d'images (photographies multiples, vidéos). Son champ d'applications est très riche: imagerie médicale; infographie et effets spéciaux dans le cadre du cinéma, de la télévision et des jeux vidéo; modélisation de la vision animale et humaine; robotique en milieu hostile et dans l'espace; surveillance et sécurité; etc. Ce cours est consacré à un aspect fondamental de la vision artificielle---la modèlisation géométrique du processus de formation des images. On y étudie différents types de caméras, ainsi que les contraintes géométriques qui relient points, droites, plans, et surfaces à leurs images, qu'elles soient observées dans une photographie ou dans une vidéo. Le cours est destiné aux informaticiens, qui y trouveront un cadre rigoureux pour le développement d'algorithmes appliqués à l'infographie, la métrologie, et même l'anthropologie; aux mathématiciens, qui y trouveront une application concrète de concepts géométriques élémentaires mais non triviaux; et, de manière plus générale, aux élèves intéressés par les aspects géométriques de la vision, qu'elle soit animale ou artificielle.

20. PLAN DU COURS: 1. Introduction générale 2. Caméras Euclidiennes :perspective centrale, projection parallèle; modèles non standard---rétines sphériques, perspective non centrale, caméras omnidirectionnelles; paramètres intrinsèques et extrinsèques; mires et étalonnage Euclidien. 3. Caméras projectives : éléments de géométrie projective et de géométrie des droites; projection et projection inverse de points et de droites. 4. Ensembles de caméras :géométrie épipolaire; tenseur trifocal; étalonnage projectif; applications à la stéréovision. 5. Analyse du mouvement :caméras étalonnées et mouvement Euclidien; caméras générales et mouvement affine ou projectif. 6. Étalonnage Euclidien sans mire :la conique absolue de Chasles et ses cousines; applications à la modélisation de scènes à partir de vidéos. 7. Les surfaces Euclidiennes lisses et leurs silhouettes :éléments de géométrie différentielle descriptive; le théorème de Koenderink et les graphes d'aspects. 8. Les surfaces projectives lisses et leurs silhouettes :éléments de géométrie différentielle projective orientée; les enveloppes visuelles; applications à la modèlisation d'objets à partir de plusieurs images. 9. Perspectives.

21. Euclidean Cameras Pinhole perspective projection Orthographic and weak-perspective models Non-standard models A detour through sensing country Intrinsic and extrinsic parameters Strong (Euclidean) calibration

22. Animal eye: a looonnng time ago. Photographic camera: Niepce, 1816. Pinhole perspective projection: Brunelleschi, XVth Century. Camera obscura: XVIth Century.

24. Pompei painting, 2000 years ago. Brunelleschi, 1415 Van Eyk, XIVth Century Massaccio’s Trinity, 1425

25. Pinhole Perspective Equation NOTE:z is always negative..

26. Affine projection models: Weak perspective projection is the magnification. When the scene relief is small compared its distance from the Camera, m can be taken constant: weak perspective projection.

27. Affine projection models: Orthographic projection When the camera is at a (roughly constant) distance from the scene, take m=1.

28. Planar pinhole perspective Orthographic projection Spherical pinhole perspective

29. Diffraction effects in pinhole cameras. Shrinking pinhole size Use a lens!

30. Lenses Snell’s law n1 sina1 = n2 sin a2 Descartes’ law

31. Paraxial (or first-order) optics Snell’s law: n1 sina1 = n2 sin a2 Small angles: n1a1¼n2 a2

32. Thin Lenses

33. Thick Lens

34. Spherical Aberration Distortion Chromatic Aberration

35. A compound lens

36. E=(P/4) [ (d/z’)2 cos4a ] L

37. Vignetting

38. Photography (Niepce, “La Table Servie,” 1822) • Milestones: • Daguerréotypes (1839) • Photographic Film (Eastman, • 1889) • Cinema (Lumière Brothers, • 1895) • Color Photography (Lumière • Brothers, 1908) • Television (Baird, Farnsworth, • Zworykin, 1920s) CCD Devices (1970)

39. Image Formation: Radiometry The light source(s) The sensor characteristics The surface normal The surface properties The optics What determines the brightness of an image pixel?

40. Quantitative Measurements and Calibration Euclidean Geometry

41. Euclidean Coordinate Systems

42. Planes

43. Coordinate Changes: Pure Translations OBP = OBOA + OAP ,BP = AP + BOA

44. Coordinate Changes: Pure Rotations

45. Coordinate Changes: Rotations about the z Axis

46. A rotation matrix is characterized by the following properties: • Its inverse is equal to its transpose, and • its determinant is equal to 1. Or equivalently: • Its rows (or columns) form a right-handed • orthonormal coordinate system.

47. Coordinate Changes: Pure Rotations

48. Coordinate Changes: Rigid Transformations

49. Rigid Transformations as Mappings

50. Rigid Transformations as Mappings: Rotation about the k Axis