1 / 30

3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement

3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement. 1. Représentation du mouvement dans le plan - image 2. Modèles du mouvement 3. Méthodes d’estimation Méthodes directes Méthodes paramétriques Estimation robuste Estimation par bloc

amato
Télécharger la présentation

3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement • 1. Représentation du mouvement dans le plan - image • 2. Modèles du mouvement • 3. Méthodes d’estimation • Méthodes directes • Méthodes paramétriques • Estimation robuste • Estimation par bloc • 4. Méthodes de la segmentation basées mouvement • Méthodes par comparaison du mouvement • Méthodes par des mesures de similarité après la compensation • Approches par projections

  2. 3.2.1.Représentation du mouvement dans le plan - image • Une séquence vidéo est une image 2D du monde 3D en mouvement • On ne perçoit le mouvement que grâce au changement de la luminance / couleur Mouvement Apparent

  3. Z Y X Y Z X Mouvement réel 2D vs mouvement apparent Mouvement réel 2Dest la projection dumouvement 3Dpar le système optique de la caméra à t à t+1 Mouvement apparent _ “flot optique”est observé dans le plan image 2D grâce au changements de la luminance

  4. Mouvement réel 2D vs mouvement apparent (2) Mouvement apparent est dans le cas général différent du mouvement réel 2D a)Insuffisance du gradient spatial MR - oui MA - non b)Changements d’illumination extérieure MR - non MA - oui Néanmoins! Hypothèse: Mouvement Apparent=Mouvement reel 2D

  5. P’ P t t+1 Caractérisation locale du mouvement Vecteur de déplacement élémentaire vecteur vitesse Premier niveau de caractérisation du mouvement consiste à calculer le flot optique ou “champ de déplacement”

  6. 3.2.2. Modèles de mouvement En développant en série de Taylorautour de jusqu’au 1er ordre (9) Ici M Modèle afffine à 6-paramètres

  7. Modèles affines Exprimant =

  8. Hiérarchie des modèles affines

  9. 3.2.3. Méthodes d’estimation Objectif :mesurer le mouvement apparent Applications :indexation vidéo : caractérisation du mouvement de la caméra, suivi des objets Méthodes :-directes (estimation du flot optique) - indirectes (parametriques- estimation du modèle global) Modes :basé-pixel, basé-bloc, basé-région

  10. (x+dx, y+dy) (x, y) (dx, dy) Estimation du mouvement(1) Hypothèse principale :conservation de l’intensité lumineuse d’un point le long du trajectoire n’est jamais nulle à cause du bruit et de changement d’éclairage (12)

  11. Estimation du mouvement(2) Critères à minimiser: EQM, MAD min min Estimation directe Estimation paramétrique

  12. Estimation du mouvement(3) Développant en série de Taylor autour de(x,y,t) et supposant la linéarité deI(x,y,t)on a Du (12) l’équation de contrainte du mouvement apparent (ECMA)

  13. Estimation du mouvement(4) Sous forme vectorielle alors Comme u v ECMA Décomposons , est parallèle au gradient local est orthogonale Estimation du mouvement est un problème mal posé. Uniquement le flot optique normal est observable

  14. Estimation du mouvement(5) Une autre vue • Siu,vsont supposées indépendantes, alors une seule équation pour deux inconnues – • problème d’unicité de la solution – “problème d’ouverture” • Problème du bruit d’acquisition • Problème d’occultation

  15. Estimation du mouvement(4) (1)Illustration du « problème d’ouverture » flot optique normal flot optique réel (3) Illustration du « problème d’occultation » Zone découverte : pas de correspondance des pixels avec l’image précédente

  16. Méthodes pel-récursives(1) Méthodes d’optimisation différentielles de premier ordre (descente de gradient) avec le gain constant Fonctionnelle à minimiser Méthode de Netravali et Robbins Problème du bruit -> préfiltrage gaussien

  17. Méthodes pel-récursives(2) Gain adaptatif en fonction de l’image Méthode de Walker et Rao Méthode of Cafforio and Rocca

  18. Estimation paramètrique(1) Un modèle globale est supposé dans une zone du plan-image (ex. dans un bloc, dans un région, dans le fond de la scène – mvt. de caméra) Méthodes d’estimation : differentielles de 1er ordre ( déscente de gradient), 2nd ordre ( Gauss-Newton), moindres carrés Modèles : affines 1er order ( 4, 6-paramètrs) Example: Modèle:

  19. Estimation paramétrique(2) Fonctionnelle à optimiser : Application de la méthode de Cafforio-Rocca avec le gain adaptatif de même ordre de grandeur que pixels

  20. Approches multi-résolution-multi-échelle 1)Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement commençant par le niveau le plus élevé 3) Propagation r -le facteur de sous-échantillonnage

  21. Estimation robuste (1) • - On suppose le mouvement conforme au modèle paramétrique • On considère • - les mesures observées • - les mesures conformes au modèle • - les résidus • Principe minimiser un critère d’erreur de façon que les valeurs aberrantes de résidus ne perturbent l’estimation

  22. Estimation robuste (2) • Soit la loi discrète de distribution d’erreur dépendant du paramètre . • La vraisemblance du paramètre est définie • Le max-vraisemblance est trouvé en résolvant • Ceci est équivalent à minimiser Pour toutes les valeurs disponibles de r

  23. Estimation robuste (3) est appelé “estimateur” (*) Supposons que r suit (Estimateur gaussien). (*) est l’estimateur aux moindres carrés EstimateurdeLorentz Estimateur de Geman-McClur D. Hasler, L. Sbaiaz, S. Susstrunk, M. Vetterli, « Outlier Modeling in Image Matching », IEEE TRans on PAMI, v. 25, n3, march 2003

  24. Estimation robuste(4) Exemple : Estimateur des moindres carrés médians : Modèle: • avantage : une grande robustesse aux erreurs(50%) • - inconvénient : lourdeur de calcul

  25. Estimation robuste (5) Minimisation problem is posed as a re-weighted least – square minimisation min here

  26. Estimation robuste(2) M-estimateurs r - est opposé de log-vraisemblance des observations conditionnellement au modèle -sont des fonctions d’influence (des outliers) -moindres carrés –l’influence est illimitée -la dérivée d’estimateur de Tuckey

  27. Estimation robuste (3) Estimateur de Tuckey La dérivée

  28. Estimation robuste(3) Estimation par de moindres carrés pondérés Minimiser le critère revient à calculer les dérivées partielles par rapport à chaque paramètre et les égaler à 0 On obtient ainsi les coefficients de pondération du moindre-carré Méthode d’estimation – itérative en recalculant les poids à chaque itération

  29. Estimation par bloc Objectif :obtenir le champ de déplacement éparse Le FO est supposé constant à l’intérieur d’un bloc Le critère à minimiser : ou B It It-dt

  30. Méthode de recherche exhaustive Estimation « au pixel près » B F It-dt It L’inconvénient majeur : coût opératoire Les estimateurs basés-blocs sont utilisés pour tous les standards du codage vidéo cf. UE « Codage Vidéo »

More Related