Traitements d'images et Vision par ordinateur

1. Traitements d'images et Vision par ordinateur Calibration Alain Boucher - IFI aboucher@ifi.edu.vn

2. Calibration de la caméra Projection perspective Coordonnées homogènes Transformations

3. Étalonnage de la caméra • L’étalonnage (ou calibration) de la caméra consiste à déterminer les paramètres de la transformation entre les coordonnées du monde et les coordonnées image (et vice-versa). Rayon lumineux dans la scène Point dans l'image Vision par ordinateur - Alain Boucher

4. Paramètres de l'étalonnage • Deux types de paramètres à prendre en compte : • Paramètres intrinsèquesIls décrivent les propriétés optiques et géométriques internes de la caméra. • Paramètres extrinsèquesIls décrivent la relation qui existe entre le référentiel monde et le référentiel image. Vision par ordinateur - Alain Boucher

5. Projection perspective Vision par ordinateur - Alain Boucher

6. Projection perspective 3D  2D • Un point de l'image est un rayondans l'espace projectif • Chaque point(x,y) du plan est representé par un rayon(sx,sy,s)dans l’espace. • Tous les points du rayon sont équivalents : (x, y, 1)@ (sx, sy, s) Source : devernay.free.fr/cours/vision Vision par ordinateur - Alain Boucher

7. Projection perspective • En projection perspective, on perd la notion de taille et de distance des objets. • Chaque point de l’espace est toujours connu à un facteur d’échelle près. Vision par ordinateur - Alain Boucher

8. Rappel sur les transformations • Transformation rigide • Implique seulement les translations et les rotations. • Aucune propriété géométrique de l’objet n’est modifiée. • Transformation affine • Implique les translations, les rotations et les mises à l’échelle. • Préserve les lignes parallèles. • Cette transformation est réversible. • Transformation projective • Correspond à une projection d’un espace à N dimensions à M dimensions (où M < N : ici N = 3 et M = 2). • Les plus utilisées sont les transformations orthogonales et perspectives. • Cette transformation est irréversible. Vision par ordinateur - Alain Boucher

9. Coordonnées homogènes • Coordonnées homogènes • Forme plus compacte pour représenter certaines transformations. • On ajoute une dimension correspondant à un facteur d’échelle. • Permet de représenter les points à l'infini, les homographies, la projection perspective, les relations multi-vues Vision par ordinateur - Alain Boucher

10. Transformations et coordonnées homogènes • Translation et rotation en coordonnées homogènes : … Vision par ordinateur - Alain Boucher

11. Transformations et coordonnées homogènes • Matrices de rotation : Rotation de  degrés autour de l’axe des X : Rotation de  degrés autour de l’axe des Y : Rotation de  degrés autour de l’axe des Z : Vision par ordinateur - Alain Boucher

12. Transformations et coordonnées homogènes • Plusieurs transformations successives : On crée une matrice de transformation globale en multipliant toutes les autres matrices en ordre inverse (pré-multiplication): On veut appliquer les transformations T1 suivie de T2 et finalement de T3 Vision par ordinateur - Alain Boucher

13. Les différents référentiels Pe est référencé par rapport à Re Pi est référencé par rapport à Ri Source : http://www.gpa.etsmtl.ca/cours/gpa669/ Vision par ordinateur - Alain Boucher

14. Les différentes transformations • Première transformationRéférentiel environnement  Référentiel caméra Pe est référencé par rapport à Rc Vision par ordinateur - Alain Boucher

15. Notationmatricielle : Coordonnéeshomogènes : Les différentes transformations • Première transformation : C’est une transformation rigide qui est décrite par les paramètres extrinsèques (R et T) Vision par ordinateur - Alain Boucher

16. Les différentes transformations • Deuxième transformationProjection de l’espace sur un plan Pe’ est référencé par rapport à Rc Vision par ordinateur - Alain Boucher

17. Coordonnéeshomogènes : Les différentes transformations • Deuxième transformation : C’est une transformation projective qui est décrite par la projection perspective f : distance focale de la caméra (paramètre intrinsèque de la caméra) Vision par ordinateur - Alain Boucher

18. Les différentes transformations • Troisième transformationRéférentiel caméra  Référentiel image Pi est référencé par rapport à Ri Vision par ordinateur - Alain Boucher

19. Coordonnéeshomogènes : Les différentes transformations • Troisième transformation : C’est une transformation affine qui est décrite par les paramètres intrinsèques de la caméra • Changement de référentiel • Centre de l’image (Cx et Cy) • Facteur d’échelle des pixels (Sx et Sy) (pixels/m) Vision par ordinateur - Alain Boucher

20. Les différentes transformations • Matrice de projection perspective : • On commence par la matrice des paramètres intrinsèques • On multiplie par f pour minimiser l’impact de ce paramètre dépendant Vision par ordinateur - Alain Boucher

21. Les différentes transformations • Matrice de projection perspective : • Finalement on multiplie par la matrice des paramètre extrinsèques (T1) • On obtient la matrice de projection perspective • Notée aussi : Vision par ordinateur - Alain Boucher

22. Les différentes transformations • Matrice de projection perspective : • On peut évaluer les paramètres intrinsèques et extrinsèques à partir de M Note :  représente le produit scalaire et représente le produit vectoriel Vision par ordinateur - Alain Boucher

23. Détermination de M • Simplification de M : • Puisque tous les paramètres sont définit à un facteur d’échelle près, on pose tz = 1 (m34 = 1). Ce qui revient à diviser M par tz. Vision par ordinateur - Alain Boucher

24. Détermination de M • Dans la matrice M, nous avons 8 inconnues • tx, ty, tz, rx, ry, rz, xet y • Cx et Cy sont connus • Pour la résolution, nous avons besoin d’un minimum de 8 points. • Il est conseillé d’en prendre plus, pour réduire les erreurs de mesure des points. • La résolution se fera par la méthode des moindres carrés ou par une méthode similaire de minimisation d’erreur. Vision par ordinateur - Alain Boucher

25. Mire de calibration • Utilisation d’une mire pour calibrer les caméras. • La mire (ou cible) doit contenir des formes faciles à reconnaître et dont la position est très bien connue selon le référentiel environnement. • On mesure le centre des points blancs qui sont connus à l’avance et facile à identifier. • La cible doit comporter des éléments non coplanaires. Source : cis.poly.edu/cs664 Vision par ordinateur - Alain Boucher

26. À quoi peut servir M ? • Calculer les paramètres intrinsèques et extrinsèques. • Corriger une image. • Connaître les coordonnées image d’un point lorsque les coordonnées environnement sont connues. • Connaître l’équation de la droite où se trouvent les points qui peuvent imager sur un point image connu. Vision par ordinateur - Alain Boucher