Réseaux de neurones artificiels « programmation par l’exemple »

1. Réseaux de neurones artificiels« programmation par l’exemple » S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu

2. Plan de Route • études de cas • nez électronique • capteur logiciel • prévision de charge entrante • modélisation de l’écrouissage • Conclusion : programmation à base d’exemples • l’apprentissage simple • une affaire de noyaux ! • qui se ressemble s’assemble • Réseaux de neurones • perceptrons multicouches • fonctions de bases radiales

3. Système d’information pour l’environnement

4. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares

5. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.

6. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Solution • programmation à base d’exemple • précision de la prévision • domaine de validité • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.

7. Quelques exemples

8. Nez électronique • Objectifs • remplacer un capteur coûteux par 6 capteurs « bon marché » • détecter certaines situation critiques • Données disponibles • 280 points de mesures • 12 variables mesurées (pentes et conductance des capteurs) • a priori • phénomènes « réguliers » • coût « absolu » • méthode • S.V.M. (un genre de réseau de neurones) • sélection des variables pertinentes par analyse discriminante • définition des zones d’ambiguïté • définition d’un domaine de validité du domaine • Résultats

9. Nez électronique Classe 1 Classe 3 Ambigus Classe 2 inconnus Régle de décision dans le plan de l’AFD

10. Capteur logiciel • Objectifs • valider les données d’un capteur physique de NH4 • remplacer ce capteur pour la détection • Données disponibles • 4 années, toutes les heures • 24 variables mesurées (pH, température, conductance, turbidité,…) • beaucoup de données manquantes • a priori • phénomènes « réguliers » • coût quadratique • méthode • réseau de neurones • sélection des variables pertinentes • prévision de l’erreur de prédiction par un autre réseau de neurones • définition d’un domaine de validité du domaine • Résultats

11. Capteur logiciel

12. R.P.S. : Consommation journalière en 1988 Consommation en m3 Mois

13. Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain

14. RNA y = W f ( W f (W X) ) 2 1 1 3 2

15. Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain

16. Modèle de type “boite noire” Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Situation : X Information non observable  Y yp = r(x) Algorithme de prévision La consommation du lendemain

17. Prévision de la classe de qualité du bois • But : Minimiser les erreurs de classement • Données : • 550 points de mesures • Entrées : mesures physique sur les planches • Sorties : point de rupture Classe • Informations a priori • nature des classes

18. Prévision de la charge entrante • Objectifs • prévoir quand et quelle quantité de polluant va arriver à . la station d’épuration • Données disponibles • 12 années, toutes les heures • 24 variables mesurées : pluie, charge entrante, température • a priori • phénomènes « réguliers » • coût quadratique • méthode • prévision de la pluie par un réseau de neurones • prévision de la charge par un second réseau de neurones • structurer les réseaux de neurones à priori • définition d’un domaine de validité du domaine

19. Optimisation de la qualité du verre (Saint Gobain) • But : Optimiser la fabrication • Données : • 127 points de mesures (plan d’expérience) • Entrées : quantités de “sables” • Sorties : mesures physiques • Informations a priori • pas de variations brusques (monotonie)

20. Qualité du verre

21. Qualité du verre

22. Qualité du verre

23. Écrouissage • Objectif • prévoir le comportement de l’alliage en fonction des forces • Données disponibles • simulations logiciel dans un premier temps • données réelles ensuite • a priori • phénomènes temporels à mémoire • coût quadratique • méthode • réseau de neurones récurrents (bouclés) • approche incrémentale • Résultats

24. Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps

25. Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique Pour une même valeur du couple (F,D) le futur est imprédictible Il faut connaître le passé du système f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps

26. Écrouissage : le modèle « statistique » e(t) = e(t-1) + D (f(t)-f(t-1)) z-1 Plastique/Elastique sp a-b e sm a+b 1 -a f(t) +1 x 1 -1 Monte/Descend f(t-1) 1 On cherche à « écrire » un programme, qui à partir d’une suite de « forces » calcule la réponse de la pièce

27. Écrouissage

28. Écrouissage : résultats mesure modèle

29. Écrouissage : résultats

30. Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification

31. Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification Modules logiciels

32. Que peut on faire ?

33. Que peut on faire ? • résumer • classer • prévoir

34. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1 Les données

35. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1

36. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1

37. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe (décider) • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn ? + X1

38. + + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1

39. + + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1

40. Modèle « boite noire » Prévision ^ y = r(X) X Entrées Observables erreur CRITERE Système Réel  Entrées Non Observables Y = F(X, )

41. Les différentes étapes d’une application • Recueil des données brutes • génération de caractéristiques • sélection des caractéristiques pertinentes • étiquetage des classes • conception du classifieur • évaluation du système

42. notations espace des sources J coût d ’une règle de décision (erreur de prédiction)

43. Conclusion • C’est un outil dont il ne faut pas se priver • Les méthodes statistiques peuvent dans certains cas • apporter des solution originales à des problèmes « difficiles » • il faut disposer de données • on fait de la programmation à partir de données • la notion de « coût » est fondamentale • il faut disposer d’une bonne méthodologie • il était une fois un concours de prévision...

44. Modèle “Boite Noire”... Innovation Y = r(x) + (x)  • fontion de prévision : r(x) • fonction de précision : (x) X { Système Réel Y = F(X, )  ...Minimise l’erreur de prédiction

45. Variance non constantedistribution non gaussienne P(Y/X=x) r(x) x

46. Variance non constantedistribution non gaussiènne P(Y/X=x) r(x) x

47. Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x

48. Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x

49. Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme

50. Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme • Pas de modèle : • si on veut pourvoir tout apprendre, il faut contrôler la complexité • Représentation des incertitudes : • fusion d’informations incertaines • Méthodologie et applications : • domaine de validité, intervalle de confiance, heuristiques