Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

1. Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’Antoine Picot Lundi 9 novembre 2009

2. L’hypovigilance Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso) • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue… • Dégradation des facultés de conduite • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)

3. État de l’art • Deux types d’approches:

4. Situation • Ressenti au volant: • Difficulté à garder les yeux ouverts • Manque de réactivité • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997) • Majorité des systèmes: soit orientés physiologie, soit vidéo Détection d’hypovigilance par fusion des informations cérébrales et visuelles

5. Plan de la présentation • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

6. Détection d’hypovigilance par analyse de l’activité cérébrale

7. Difficultés • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…) • Obtention de données cérébrales d’hypovigilance • Expertise de ces données • S’affranchir des différences interindividuelles

8. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

9. L’électroencéphalogramme (EEG) • EEG: mesure de l’activité électrique du cerveau

10. Description de l’EEG 2s d’EEG • d[0,5-4Hz] Sommeil profond • q [4-8Hz] Méditation et somnolence • a [8-12Hz] Hypovigilance, relaxation et yeux fermés • b [12-26Hz] Concentration active • g [26-100Hz] Fonctions motrices etcognitives

11. L’hypovigilance dans l’EEG • Augmentation de l’activité a et q(Gillberg et al., 1996) • Baisse de l’activité b(Makeig et al, 2000) • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)

12. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

13. Le système de détection • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

14. La comparaison de moyenne (MCT) • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe • La variable suit une loi normale • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT -u1-lMCT/2<u<u1-lMCT/2 x1mi s²1i x2mi s²2i

15. Le système de détection • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

16. Les artéfacts • Artéfacts: perturbation électrique du signal d’origine non cérébrale • Origines: biologiques ou environnementales • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG

17. La comparaison de variances (VCT) • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe • La variable suit une loi de Fisher • Egalité de variances éprouvée par un test bilatéral de seuil lart Flart/2<F<F1-lart/2 s²1i s²2i

18. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

19. La base de données • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg • 60 heures de conduite à partir de 20 conducteurs différents • 2 sessions de conduite de 1h30: • Sans privation de sommeil: le conducteur a dormi une nuit complète • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement

20. Contenu • Conduite sur simulateur • 1 vidéo de contrôle • 4 canaux EEG • 1 canal EOG

21. Expertise • Données expertisée toutes les 20s selon l’échelle OSS • Constitue une vérité de terrain • Attention: pas d’échelle standard (contrairement au sommeil) Échelle OSS (Muzet et al., 2003)

22. Évaluation des performances • Binarisation de la décision experte 3 2 1 Éveillé 0 t(s) Binarisation Fatigué Fatigué Éveillé t(s)

23. Évaluations des performances • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué » Expert 20s 40s 60s t(s) Notresystème 20s 40s 60s t(s)

24. Évaluation des performances • Présentation par courbe COR: • TPrate: taux de bonnes détections • FPrate: taux de fausses alarmes • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)

25. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

26. Choix du canal (résultats obtenus sur la bande a) lMCT=1,5 • Meilleurs résultats pour le canal P3 • Résultats peu dégradés lorsque lMCT varie • Indépendant du conducteur • Pour la suite, on utilise uniquement le canal P3 Classifieur aléatoire lMCT=5

27. Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3) • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude • Ce type d’artéfact ne représente que 2% de la base de données • Pour la suite, on prend en compte la présence d’artéfacts

28. Résultats pour les différentes bandes de fréquence • a est le meilleur indicateur • q n’apporte pas d’informations pertinentes • b et (a+q)/b donnent des résultats corrects Indices: • Alpha • Beta • Theta • Alpha|Theta • (a+q)/b a et b sont les meilleurs indicateurs

29. Détection par fusion floue des informations a et b m(MCTa) m(MCTb) Fuzzification MCTa MCTb & mEEG { DEEG=« fatigué » si mEEG>0,5 DEEG=« éveillé » sinon

30. Résultats de la fusion • Résultats améliorés en fusionnant les informations a et b • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1)) • TPrate=84,6% et FPrate=17,9% Indices: • Alpha • Beta • Fusion

31. Comparaison à la littérature

32. Bilan • Détection par fusion des informations a et b • Fonctionne à partir d’un canal unique (P3) • Détecteur d’artéfact pour évaluer la qualité du signal • Indépendant du conducteur • Performances: TPrate=84,6% et FPrate=17,9%

33. Détection d’hypovigilance par analyse des signes visuels

34. Problématique • Clignements: indicateurs d’hypovigilance • Deux techniques: • EOG: peu ergonomique • Vidéo: plus pratique Dans quelle mesure la vidéo peut elle remplacer l’EOG? Quelle caractérisation d’hypovigilance possible par analyse vidéo?

35. Difficultés • Détection des yeux, quel que soit leur état • Caractériser précisément les clignements • Obtention de données oculaires d’hypovigilance • Expertise de ces données • S’affranchir des différences interindividuelles

36. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

37. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Caractérisation de clignements par analyse vidéo • Comparaison des caractérisations vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

38. Détection de clignements par analyse vidéo • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil (A. Benoit, 2006) Testé sur la base BioID (1521 visages) 97% de bonnes détections

39. Détection des clignements EOPL (contoursstatiques) EIPL (contours mobiles) Clignement validé! SIPL

40. Indicateurs de l’hypovigilance à partir d’un clignement • Plusieurs indicateurs peuvent être extraits des clignements • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements TF TO D EOPL (contours statiques) EIPL (contours mobiles) A D50 P80 EF EO

41. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Caractérisation de clignements par analyse vidéo • Comparaison des caractérisations vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

42. Base de données de comparaison • 14 participants (11 hommes, 3 femmes) • Enregistrements de 1min EOG (250Hz) et vidéo • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps

43. Comparaison entre vidéo et EOG • Détection des clignements par analyse vidéo

44. Comparaison entre vidéo et EOG • L’évolution des différents indicateurs est liée à l’hypovigilance • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière. • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

45. Coefficients de corrélation entre vidéo et EOG

46. Bilan • Intérêt d’utiliser une caméra rapide (200fps) • Variables communes à la vidéo et à l’EOG: • Durée • Durée à 50% • Fréquence • P80 • A/PCV • Variable spécifique à la vidéo: • EF corrélé à la vitesse de fermeture

47. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Analyse des différents variables • Système de détection • Résultats • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

48. Préambule • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables? • Analyse réalisée sur les données EOG de la base de données du CEPA • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée • Base de données du CEPA très riche • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo

49. Méthode EOG Fenêtre d’analyse (20s, 40s ou 60s) Seuil de détection fixeou par apprentissage Variableconsidérée t(s) Fatigué Décision Éveillé t(s)

50. Évaluation des performances • Binarisation des décisions expertes • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué » « Éveillé » « Fatigué »