Download
slide1 n.
Skip this Video
Loading SlideShow in 5 Seconds..
Projet de fin d tudes D veloppement d une plate-forme vid o interactive PowerPoint Presentation
Download Presentation
Projet de fin d tudes D veloppement d une plate-forme vid o interactive

Projet de fin d tudes D veloppement d une plate-forme vid o interactive

226 Vues Download Presentation
Télécharger la présentation

Projet de fin d tudes D veloppement d une plate-forme vid o interactive

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

    1. Projet de fin dtudes Dveloppement dune plate-forme vido interactive Laboratoire des Images et des Signaux LIS Groupe GOTA Sous la direction de Mme Alice Caplier et M. Laurent Bonnaud

    3. Plan 1. Prsentation du projet et du contexte 2. Prsentation de la plate-forme 3. Prsentation des tapes de dveloppement 4. Le travail ralis 5. Limitations, Conclusions et perspectives

    4. 1. Prsentation du projet et du contexte Le LIS Groupe GOTA: analyse et interprtation des signaux et des images Le rseau europen dexcellence SIMILAR: interactions multimodales Le projet ArtLive: 01/2000 05/2002 Ralisation despaces en ralit mixte: ralit virtuelle et ralit augmente Modules crits en C++ - Classes Point de dpart du projet Utilisation des classes ArtLiveYUVImage et ArtLiveDisplay

    5. Plan 1. Prsentation du projet et du contexte 2. Prsentation de la plate-forme 3. Prsentation des tapes de dveloppement 4. Le travail ralis 5. Limitations, Conclusions et perspectives

    6. 2. Prsentation de la plate-forme

    7. 2. Prsentation de la plate-forme Le temps rel: Notion dpendante de lapplication Au sein de la plate-forme: Cas idal:Temps-rel ? traitement des images la vole (30 images/s) Cadence minimum: 15 images/s Latence: dure entre dbut et fin de traitement

    8. 2. Prsentation de la plate-forme Les camras: SONY, DFW-VL 500 Camra IIDC IEEE 1394 -1995 30 images/s ? vido fluide Donnes non compresses Rsolutions: 640x480 ou 320x240 La tourelle: Directed Perception Inc, PTU-D46-70 Connecte par cble srie RS-232 Poids maximum: 4,08 Kg Rsolution: 0,0129

    9. 2. Prsentation de la plate-forme Les applications souhaites: Analyse du comportement global dun sujet humain Les mouvements de la tte et des mains Analyse des expressions du visage Un exemple: le suivi de regard Dtection dun sujet humain Localisation de son visage Dtection des iris et suivi de regard

    10. Plan 1. Prsentation du projet et du contexte 2. Prsentation de la plate-forme 3. Prsentation des tapes de dveloppement 4. Le travail ralis 5. Limitations, Conclusions et perspectives

    11. 3. Les tapes de dveloppement Les outils: Le contrle des camras et lacquisition des images Le contrle de la tourelle Interface utilisateur et optimisation Les utilisations: Lanalyse vido Lasservissement visuel

    12. Plan 1. Prsentation du projet et du contexte 2. Prsentation de la plate-forme 3. Prsentation des tapes de dveloppement 4. Le travail ralis 5. Limitations, Conclusions et perspectives

    13. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    14. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    15. 4.1 Acquisition et contrle des camras Sous Linux, contrle des camras IIDC via les librairies C libdc1394 et libraw1394

    16. 4.1 Acquisition et contrle des camras La conversion de format Effet miroir Le programme dacquisition GrabYUVSequence: 1 ou 2 camra(s) Sauvegarde possible des squences au format YUV 4:2:0 Rglages des paramtres dacquisition et positionnement de la tourelle

    17. Consommations des ressources CPU pour lacquisition des images Consommations ngligeables Limitations: Capacit limite du bus: impossible dacqurir simultanment avec 2 camras en rsolution 640x480 YUV 4:2:2 Latence laffichage lors dune acquisition avec 2 camras: 10 images

    18. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    19. 4.2 Le contrle de la tourelle Pan et Tilt Contrle de la tourelle via une librairie dynamique libPTU.so gnre partir des mthodes fournies avec la tourelle. Utilisation de la librairie au travers dune classe C++: PTU Finalement:

    20. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    21. 4.3.1 Analyse vido: dtection de ttes et de mains Objectif : Dtection de ttes et de mains Principe: Adaptation dun programme existant

    22. 4.3.1 Analyse vido: dtection de ttes et de mains Permettre le traitement direct des squences acquises par les camras Permettre laffichage des images rsultats Permettre les rglages temps rel des paramtres de traitements

    23. 4.3.1 Analyse vido: dtection de ttes et de mains Cadences de traitements sans optimisation: 3 images/s pour une rsolution de 640x480 15 images/s pour une rsolution 320x240

    24. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    25. 4.3.2 Analyse vido: dtection diris Objectif:Dtecter les iris dans un visage Principe: une phase dinitialisation Slection de la zone du visage Mesure du diamtre de liris Une phase de suivi de visage par block-matching puis dtection des iris

    26. 4.3.2 Analyse vido: dtection diris La phase dinitialisation:

    27. 4.3.2 Analyse vido: dtection diris La phase de suivi et de dtection: Centre de liris dtect lorsque : est maximum Cette recherche est limite a 2 zones englobant chaque il:

    28. 4.3.2 Analyse vido: dtection diris class IRIS_DETECTION { public: // Mthode de mesure du diamtre de liris int measure_diameter(ArtLiveYUVImage& image); // Mthodes de recherche des iris COORD left_iris_detection(ArtLiveYUVImage& image, BLOCK zone); COORD right_iris_detection(ArtLiveYUVImage& image, BLOCK zone); // Mthodes de dtection il ouvert/ferm bool open_left_eye(ArtLiveYUVImage& image,COORD iris); bool open_right_eye(ArtLiveYUVImage& image,COORD iris); private: int diameter; // Paramtres de dtection il ouvert/ferm float NGF0_right,NGF0_left,NGFt_right,NGFt_left; float NQL0_left; float NQL0_right; };

    29. 4.3.2 Analyse vido: dtection diris Les rsultats: Cadence de dtection diris acceptable Cadence de suivi trop faible Limitations: Cadences de suivi de 0,5 30 images/s => besoin dune mthode rapide de dtection de visage. La distance entre le visage et la camra doit rester quasi-constante : pas dadaptation de la taille du visage et de liris.

    30. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    31. 4.3.3 Dtection automatique de visage Obtenir une mthode rapide de dtection de visage Adaptation sous forme dune classe C++ FACE_DETECTION dun algorithme existant: Le visage est modlis par une ellipse Segmentation : teinte chair Recherche de la meilleure ellipse

    32. 4.3.3 Dtection automatique de visage class FACE_DETECTION { public: //destructeur // Libration des zone mmoires alloues ~FACE_DETECTION(); // Mthode dinitialisation // 'w' et 'h' sont les dimensions de limage traite void init_face_detection(int w,int h); // Mthode de dtection dun visage // Retourne un pointeur vers les coordonnes du rectangle rsultat // pCoordRect[0] : Xmin; pCoordRectAff[2] : Xmax; // pCoordRect[1] : Ymin; pCoordRectAff[3] : Ymax; int * face_detection(ArtLiveYUVImage& image); // Mthode pour dessiner sur limage le rectangle rsultat void draw_face_box(ArtLiveYUVImage& image,int color1,int color2); private: int * pCoordRect; Des pointeurs vers int, *int, **int,};

    33. 4.3.3 Dtection automatique de visage Les rsultats: Cadence: suprieure 90 images/s Limitations: La largeur des visages est limite: 40 pixels 100 pixels de large Instabilit

    34. 4.3.3 Dtection automatique de visage Dtection de visage et diris: 15 40 images/s La cadence est limite par la recherche des iris Erreurs de dtection

    35. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    36. 4.4 Asservissement visuel La poursuite dun objet en Pan et Tilt Le principe: Rendre nulle lerreur: e = s s* Travaux: Cretual Armel La loi de commande: Or notre tourelle nest pas contrlable directement en vitesse Rglage de vitesse puis ordre de dplacement vers la bute

    37. 4.4 Asservissement visuel La normalisation des coordonnes: Si y constante, alors:

    38. 4.4 Asservissement visuel Les rsultats: La rapidit et la qualit de la convergence dpend dun compromis entre gain et cadence de traitement Des dpassements de position peuvent survenir: 25 images/s : ? < 3 15 images/s :? < 2 5 images /s : ? <1

    39. 4.4 Asservissement visuel Un exemple de recentrage: (? = 1)

    40. Plan 4.Le travail ralis 4.1 Acquisition des images et contrle des camras 4.2 Contrle de la tourelle Pan & Tilt 4.3 Analyse vido 4.3.1 Dtection de ttes et de mains 4.3.2 Dtection diris 4.3.3 Dtection automatique de visage 4.4 Asservissement visuel 4.5 Interface utilisateur et optimisation

    41. 4.5 Interfaces utilisateur et optimisations Crer une interface simple et interactive pour une utilisation intuitive: Librairie Simple Directmedia Layer (SDL) pour laffichage et la gestion des vnements clavier et souris Affichage dune ou deux images et des zones interactives Rglages et positionnement de la tourelle et des camras grce au clavier et/ou la souris Slection de zones sur une image, mesure de distance

    42. 4.5 Interfaces utilisateur et optimisations Optimisation: utilisation de threads

    43. Plan 1. Prsentation du projet et du contexte 2. Prsentation de la plate-forme 3. Prsentation des tapes de dveloppement 4. Le travail ralis 5. Limitations, Conclusions et perspectives

    44. 5. Limitations, conclusions et perspectives Limitation: Blocage noyau bi-processeur lors dun arrt dacquisition par Control-C Conclusions: Outils de base tests et valids Outils danalyse: dtection visage, mains, iris Asservissement visuel: suivi dun objet dintrt Perspectives: Optimisation des cadences Stabilisation de la dtection automatique de visage Asservissement du zoom et du focus Intgration de nouveaux algorithmes