R é seaux de neurones temporels : dynamique et apprentissage

1. Réseaux de neurones temporels :dynamique et apprentissage Hélène Paugam-Moisy Professeur à l’Université Lyon 2 Institut des Sciences Cognitives hpaugam@isc.cnrs.fr

2. Les réseaux de neurones naturels

3. Cerveau, neurones et intelligence Chez les animaux, la place occupée par le cortex semble être proportionnelle au développement des facultés intelligentes. Le cerveau humain est constitué d’environ 1011 neurones ; en moyenne, chaque neurone a de l’ordre de 104 connexions.

4. Neurones biologiques / naturels Les neurones forment des réseaux de communication complexes, chaque neurone établissant de très nombreuses connexions avec d'autres. vibrisses du rat :neurones sensitifs => thalamus (White et Peters )neurones thalamiques => cortex

5. Neurones biologiques / naturels gallerie de photos...

6. Neurones biologiques / naturels Première schématisation du neurone (Dieters, 1865) Enregistrement d’un neurone vivant : micro-électrode de verre Neuropuce(Infineon) : 16 384 capteurs au mm2 pour enregistrer tout signal électrique émis par un neurone vivant, ici celui d’une “limace de boue” [Lymnaea stagnalis]

7. Neurones biologiques / naturels Schématiquement, un neurone biologique est constitué d’un arbre dendritique, d’un soma et d’un axone. autre dendrite soma axone dendrites connexion synaptique Un neurone peut émettre des impulsions sur son axone. Elles se propagent vers les dendrites des neurones auxquels il est connecté, qui les transmettent au corps cellulaire (ou soma), via des connexions pondérées par des synapses.

8. Connexions synaptiques

9. Connexions synaptiques

10. Plasticité synaptique Loi de renforcement de Hebb (1949) : Postulat physiologique : “quand un axone de la cellule A est assez proche pour exciter une cellule B et quand, de façon repétée et persistante, il participe à son activation, un certan processus de croissance ou un changement métabolique s’installe, dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualité de cellule qui active B, est augmentée”. En résumé : si deux neurones sont souvent excités simultanément, alors ils augmentent la force (le poids) de leur interconnexion . => c’est le principal fondement des règles d’apprentissage, dans les réseaux de neurones artificiels.

11. Les réseaux de neurones artificiels

12. Neurones artificiels Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943). x1 w1 . . . y = 1 siΣwixi>θ = 0 sinon wi xi Σ θ . . . sommation, seuillage wn xn Loi du “ tout ou rien ” : le neurone émet ou non une impulsion sur son axone, selon que la somme pondérée de ses entrées dendritiques dépasse ou non son seuil θ.

13. Réseaux de neurones artificiels Un réseau de neurones artificiels est un ensemble de neurones formels, connectés entre eux selon une certaine architecture / topologie. Les activités se propagent de neurone en neurone selon une certaine dynamique. Les poids des connexions sont modifiés / adaptés par une règle d’apprentissage, à partir d’exemples.

14. Réseaux de neurones artificiels On peut aussi voir un réseau de neurones artificiels comme un outil de modélisation de type “ boîte noire ” : φ X Y RNA vecteur d’entrée vecteur de sortie Le RNA réalise une association d’un espace d’entrée X vers un espace de sortie Y. La “ fonction ” φ est définie par les poids du réseau. Ceux-ci sont ajustés au problème par une règle d’apprentissage, à partir d’une base d’exemples (xk,tk ) [ apprentissage supervisé, si tkest connu]

15. Connexions synaptiques Les poids synaptiques (artificiels) sont des nombres réels. On associe habituellement les poids positifs à des connexions excitatrices et les poids négatifs à des connexions inhibitrices mais... les règles d’apprentissage des modèles connexionnistes classiques peuvent modifier le signe d’un poids synaptique donné, ce qui n’est guère réaliste, sur le plan biologique.

16. Motivation initiale La motivation initiale n’était pas non plus très biologique : l’idée sous-jacente à la définition du neurone formel était de chercher à montrer que la pensée intelligente résultait du fonctionnement des neurones du cerveau... mais, à l’époque, on pensait que : intelligence raisonnement raisonnement logique logique neurones

17. Synthèse des fonctions booléennes Ainsi, les premiers travaux de McCulloch et Pitts ont été de réaliser la synthèse des fonctions booléennes élémentaires à partir de réseaux de neurones formels. Parallèlement, les mathématiciens tentaient de démontrer que tout raisonnement pouvait se formaliser par des combinaisons complexes de règles logiques. donc, dans l’esprit des travaux de Turing : grand reséau de neurones raisonnement complexe, intelligent émergence

18. Modèles connexionnistes “classiques” 1940 } Neurone formel deMcCulloch & Pitts notions fondatrices Loi de renforcement deHebb 1950 Perceptron deRosenblatt Adaline deWidrow 1960 1970 1980 Réseau deHopfield Cartes auto-organisatrices deKohonen Réseaux MLPRumelhart et al. 1990 Réseaux RBFMoody & Darken Support Vector MachinesVapnik 2000 20...

19. x1 y1 ym xn yj = σ ( Σwijxi - θj ) neurone sigmoïde Nj : A k Exemple : un réseau MLP sorties désirées entrées sorties calculées x1k y1k t1k X Y tmk ymk erreur xnk Généralisation, calcul du réseau : • présenter les xi aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yj Apprentissage, par rétro-propagation [ backprop ] : • initialiser les poids wij aléatoirement, sur chaque couche • présenter les xik aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yjk • mesurer l’erreur entre sorties calculées yjk et sorties désirées tjk • en sens inverse, calculer les gradients et modifier les poids wij

20. Modèles connexionnistes “classiques” Les réseaux de neurones artificiels sont devenus des outils de modélisation et de calcul destinés aux ingénieurs : • Reconnaissance des formes, classification, clustering • Prédiction, prévision de séries temporelles • Contrôle, identification de systèmes • Compression de données • Bioinformatique • Robotique Des exemples : repérer l’approche d’une tempête identifier de multiples espèces de fleurs reconnaître une voix dans un téléphone mobile distinguer les raisins utilisés pour faire un bon vin diagnostiquer les conditions d’une conduite dangereuse reconnaître le visage de quelqu’un qu’on n’a pas vu récemment

21. Modèles connexionnistes “classiques” • Calculabilité : plus puissants qu’une machine de Turing • Complexité : NP-complétude du “ loading problem ” • Capacité : MLP et RBF sont approximateurs universels • Théorie statistique de l’apprentissage, PAC-learning Ces RNA sont, d’ailleurs, des outils très performants : mais... les méthodes mises en oeuvre pour les améliorer sont de plus en plus souvent des méthodes déjà connues... et surtout... on s’est beaucoup éloigné de l’inspiration biologique !

22. Les neurones impulsionnelsou“ spiking neurons ”

23. n y = f (Σwixi - θ) i=1 Les neurones “classiques” neurone linéaire (fx identité) neurone à seuil (fx de Heaviside) neurone sigmoïde (exp ; argth) f = I f = σ f = H calculs basés sur le produit scalaire Dans certains modèles (cartes de Kohonen, réseaux RBF) : y = g(|| x - w ||2) calculs basés sur la distance

24. Que représente “ xi ” ? Les algorithmes des réseaux de neurones classiques sont itératifs. A chaque pas de temps, chaque neurone reçoit n valeurs d’entréexi et les traîte selon sa propre formule de calcul et en fonction des valeurs de ses poids synaptiques. xireprésente le taux moyen de décharge provenant du neurone présynaptique Ni Cette moyenne (fréquence) résulte de plusieurs émissions d’impulsions pendant un intervalle de temps donné, mais on ne connaît pas ces impulsions de manière précise. cependant...

25. Neurone impulsionnel Les neurobiologistes ont montré que les neurones encodent l’information dans les instants d’émission des impulsions. impulsion = potentiel d’action = spike spiking neuron Pour une modélisation plus réaliste, il faut prendre en compte les aspects temporels et utiliser de nouveaux modèles de neurones : des “ neurones impulsionnels ”.

26. uj (t) t1(1) t1(2) tj (f) N1 t2(2) t2(1) Nj N2 Dynamique neuronale neurone post-synaptique neurones pré-synaptiques EPSP = potentiel post-synaptique excitateur tj (f) chaque spike pré-synaptique engendre un EPSP(en rouge) ; ceux-ci s’ajoutent (en bleu) ; quand uj (t) atteint le seuil V le neurone post-synaptique Nj émet à son tour un spike. V u [mV] urepos t2(1) t2(2) t1(1) t1(2) t [ms]

27. C R K Na du __ C = - Σ Ik (t) + I (t) k dt 1 _ R Le modèle de Hodgkin-Huxley Le modèle de neurone de Hodgkin-Huxley (1952) tient compte avec précision des canaux ioniques et du processus électro-chimique, au niveau des connexions synaptiques : I (t) courant d’entrée u potentiel de membrane potassium sodium ΣIk = gNam3h(u-ENa) + gKn4(u-EK) + (u-EL) k ... où les variables m, n et h sont elles-mêmes régies par des équations différentielles, en fonction du temps.

28. Le modèle de Hodgkin-Huxley Ce modèle est capable de rendre compte de la dynamique d’émission d’un spike et de se comporter en neurone à seuil réponse du neurone à une impulsion, i.e. un courant d’entrée de courte durée I(t)envoyéà t < 0 Δu(t) [mV] 5 15 0 10 20 t [ms] mais... le modèle de Hodgkin-Huxley est beaucoup trop complexe pour modéliser des réseaux de neurones temporels !

29. I (t) courant d’entrée C = - u (t) + I (t) R C du __ dt 1 _ R Le modèle LIF : “Leaky Integrate and Fire” Le modèle “Leaky Integrate and Fire” est une simplification du modèle de Hodgkin-Huxley : u potentiel de membrane V Un spike est émis à chaque fois que le potentiel de membrane croît jusqu’à dépasser le seuil V du neurone. instant d’émission du spike : t(f) tel que u(t(f)) = Vavec u’(t(f)) > 0

30. ∞ uj (t) = Σηj (t-tj(f)) + ΣΣwijεij (t-ti(f)) + ∫κ(t-tj,s)I(t-s)ds ^ Ni pré- synap tiques spikes de Nj 0 spikes de Ni EPSP = PSP excitateur poids wij positif IPSP = PSP inhibiteur poids wij négatif Le modèle SRM : “Spike Response Model” Le “Spike Response Model” SRM de Gerstner (1995) est une généralisation du LIF, qui intègre le passé du neurone Nj courant extérieur somme des PSP seuil, émission instant d’émission du prochain spike : t(f) tel que u(t(f)) = seuilavec u’(t(f)) > 0

31. s-δabs _____ ηj (s) = - Vexp (- ) H (s-δabs) – K H (s) H (s-δabs) τ s-Δij s-Δij ____ εij (s) = [exp(- ) – exp(- )]H (s-Δij) ____ τm τs Le modèle SRM : “Spike Response Model” Exemple de formule mathématique pour le seuil : variations autour du seuil V et modélisation d’une période réfractaire δabs Exemple de formule pour les réponses aux PSP : oùΔij est le délai de propagation le long de l’axone qui va du neurone Ni vers le neurone Nj

32. ^ uj (t) = Σwijε(t-ti-Δij) Ni pré- synap tiques cette formule dérive d’une intégration de la précédente, sur un court intervalle de temps (1ms), en ne mémorisant que l’instant du dernier spikeémis par Nj et en faisant l’hypothèse que chaque neurone présynaptique Niémet au plus une foisà l’instant ti dans l’intervalle de temps. ^ Le modèle SRM0 On peut simplifier le modèle SRM, tout en conservant l’essentiel de ses propriétés => on obtient le modèle phénoménologique SRM0

33. 1 - s s ____ __ ε(s) = exp ( ) τ τ Le modèle SRM0 Exemple de formule pour les réponses aux PSP : EPSP IPSP oùτ est une constante de temps caractéristique du potentiel de membrane (augmentation puis décroissance) instant d’émission d’un spike, par le neurone Nj : ^ tj(f) ttel que uj(t) = θ(t-ti) avec u’j(t) > 0 ce qui donne une fonction non-linéaire de la variable d’état (potentiel de membrane) uj(t) du neurone Nj

34. Les réseaux de neurones temporelsdynamique, puissance de calcul

35. Les réseaux de neurones temporels Comme pour les neurones classiques, on peut connecter entre eux des neurones temporels selon diverses topologies, simuler leur fonctionnement en réponse à des entrées venant d’un environnement extérieur et récupérer des sorties. SNN =Spiking Neuron Networks cependant : traduction vecteur numérique spikes Une solution, le codage temporel : dans un intervalle de temps fixé, plus le spike est précoce, plus il correspond à une valeur numérique élevée

36. x1 y1 ym xn y1 yn x1 xn Dynamique des RNA “classiques” topologie en couches => dynamique feedforward topologie bouclée => dynamique récurrente La dynamique dépend directement de la topologie...

37. Dynamique des RN temporels La topologie est sous-jacente à la dynamique, mais... toutes les connexions ne sont pas actives à chaque instant des patterns d’activitéémergent ; ils se modifient au cours du temps =>un moyen plus riche de coder l’information Assemblée de neurones : ensemble de neurones qui se synchronisent, en réponse à un stimulus extérieur

38. Assemblées de neurones un stimulus est appliqué en entrée, entre 1000 et 2000 ms [ Meunier ] Certains neurones accroissent leur activité, d’autres cessent momentanément d’émettre.

39. Implémentation des RN temporels Toutes les connexions ne sont pas actives à chaque instant il devient maladroit de programmer une boucle de calcul systématique des états de tous les neurones et de toutes les synapses à chaque itération. L’échelle de temps est très différente (~ temps-réel ) il convient d’implémenter ces réseaux par programmation événementielle EDS = Event-Driven Simulation

40. Nouvelle motivation On a beaucoup progressé sur la compréhension du fonctionnement du cerveau, et l’idée que l’on se fait de l’intelligence a beaucoup évoluéen quelques décennies. maintenant, on pense plutôt que : intelligence mémorisation mémorisation associations associations neurones La synchronisation des assemblées de neurones est une piste extrémement prometteuse...

41. ∞ u εij(t-s) θj(t-t’) s+Δij s t t t’ u εij(t-s) s+Δij s t Puissance de calcul Des résultats théoriques* (Maass, 1997) ont montré que les spiking neurons sont plus puissants que les neurones classiques, même avec des modèles simples type A modélisation du seuil type B * 1 spiking neuron de type B O(n) neurones sigmoïdes O(n log n) neurones à seuil fonctions de réponse aux PSP

42. Puissance de calcul Réseaux de neurones de 3ème génération : spiking neurons 1995 intégration d’informations en continu Réseaux de neurones de 2ème génération : 1985 neurones sigmoïdes, neurones distance entrées et sorties réelles Réseaux de neurones de 1ère génération : 1945 neurones à seuil, à saturation entrées et sorties booléennes

43. Apprentissage et plasticité

44. Apprentissage dans les SNN Les réseaux de neurones temporels, ou SNN (réseaux de spiking neurons) modélisent beaucoup mieux que leurs ancêtres la dynamique des interactions entre neurones. mais : comment réalise-t-on l’apprentissage des poids dans les réseaux de neurones temporels ? devrait-on aussi apprendre les délais ? de nombreux problèmes ouverts

45. Apprentissage dans les SNN Plusieurs chercheurs ont démontré [ Maass, 1997 ; Bohte, 2002 ; Ruf & Schmitt, 2000 ] que l’on pouvait émuler les principaux modèles classiques (réseau de Hopfield, réseau MLP, cartes de Kohonen) avec des réseaux de neurones impulsionnels mais : la simple reproduction des modèles de 2nde génération ne permet pas d’exploiter la pleine puissance de ces modèles de 3ème génération que sont les SNN. on pourrait aussi chercher une inspiration biologique ?

46. wij wij pré pré post post Plasticité synaptique Les neurobiologistes ont observé des potentiations synaptiques quand un neurone pré-synaptique émet juste avant un neurone post-synaptique et des dépressions synaptiques quand un neurone pré-synaptique émet juste après un neurone post-synaptique Ce phénomène de plasticité synaptique est connu sous le nom de STDP = Spike-Time-Dependent Plasticity

47. Mécanismes STDP modification des poids en fonction de Δt = tpost - tpré poids excitateurs, w > 0 poids inhibiteurs, w < 0

48. Difficultés, avec la STDP Les poids synaptiques sont constamment modifiés => inconvénients de l’apprentissage “on-line” : manque de stabilité oubli du passé lointain On retrouve le classique dilemme plasticité / stabilité mis en évidence par Grossberg[ fin des années 80 ] il faudrait combiner la STDP avec une autre méthode d’apprentissage

49. génération 1 Algorithmes évolutionnistes Une autre piste consiste à utiliser des algorithmes génétiques pour optimiser les valeurs des poids synaptiques en adaptant le réseau à son milieu. sélection croisement mutation et ainsi de suite ... génération 2 Les individus sont des réseaux de neurones temporels génération N

50. Algorithmes évolutionnistes et STDP SNN plongé dans un zoo virtuel les poids ne cessent d’evoluer