Résolution de systèmes d’équation non linéaires f ( x )=0

1. Résolution de systèmes d’équation non linéairesf(x)=0

2. Introduction Résolution de systèmes d’équation non linéaires f(x)=0

3. Introduction • Comment résoudre le système suivant ? • Méthodes directes • Méthodes itératives

4. Introduction • Comment résoudre le système suivant ? • Méthodes directes : impossibles • Méthodes itératives

5. Résolution de f(x)=0 • Soit une fonction f : Rn Rn • continue sur ... • Dérivable sur ... • Principe : • trouver une méthode itérative uk+1 = g(uk)qui converge vers la solution

6. Résolution de f(x)=0 • Plusieurs méthodes • Newton • Quasi-Newton (sécante, Broyden, …) • Point fixe • Gradient • Problèmes ? • Convergence • Complexité

7. f(x)=0 lorsque n=1 • Recherche par dichotomie • méthode de la sécante • méthode de point fixe • méthode de Newton-Raphson } Aussi lorsque

8. Recherche dichotomique Théorème : Une idée : prendre c à l’intersection de la sécante et le l’axe des x

9. Méthode de la sécante

10. Méthode de Newton

11. Méthode de Newton • En dimension 1 : • on considère l'approximation affine : • on cherche h tel que f(uk+h)=0 soit si on néglige les terme en h2 • et ainsi

12. Méthode de Newton • Illustration y=tanh(x)cos(x2)+x-2 y(x) y'=(1-tanh2(x))cos(x2) -2tanh(x)sin(x2)x+1

13. Méthode de Newton • Illustration u2= 2.1380 y=tanh(x)cos(x2)+x-2 y'=(1-tanh2(x))cos(x2) -2tanh(x)sin(x2)x+1 u1 = 2.1627 u0 = 2 u1 = 2.1627 u2 = 2.1380 u3 = 2.1378 u4 = 2.1378 u0 = 2

14. Méthode de point fixe • Définition • f(x)=0 et le x = g(x) • exemple • convergence (suite de Cauchy) • théorème de convergence globale • théorème de convergence local • théorème du point fixe

15. Méthode du point fixe • Principe général : • trouver g en fonction de f telle que • f(û)=0  g(û)=û • la suite ukconverge (si u0 est bien choisi) • conditions suffisantes sur g en dimension 1 • g dérivable et |g'(û)| < 1 • conditions suffisantes sur g en dimension n • g différentiable et [g(û)] < 1( = rayon spectral)

16. Méthode du point fixe • Convergence linéaire : • il existe C > 0 tel que • Inconvénient : choix de g de manière algébrique

17. Méthode du point fixe • Exemple en dimension 1 • résolution de x2 - 2 = 0 • choix de g : • g1(x) = 2/x g'1(x) = -2/x2 g'1(û) = -1 • g2(x) = 2x - 2/x g'1(x) = 2+2/x2 g'1(û) = 3 • g3(x) = x/2 + 1/x g'1(x) = 1/2-1/x2 g'1(û) = 0 g1 g2 g3 u0 = 1u1 = 1.5000 u2 = 1.4167 u3 = 1.4142 u4 = 1.4142 u0 = 1u1 = 2 u2 = 1 u3 = 2 u4 = 1 u0 = 0.999u1 = -0.0402 u2 = 49.668 u3 = 99.296 u4 = 198.57 |g'(û)| < 1 convergenceassurée

18. Méthode du point fixe • Exemple en dimension 1 • résolution de x2 - 2 = 0 • choix de g : • g1(x) = 2/x g'1(x) = -2/x2 g'1(û) = -1 • g2(x) = 2x - 2/x g'1(x) = 2+2/x2 g'1(û) = 3 • g3(x) = x/2 + 1/x g'1(x) = 1/2-1/x2 g'1(û) = 0 g1 g2 g3 u0 = 1u1 = 1.5000 u2 = 1.4167 u3 = 1.4142 u4 = 1.4142 u0 = 1u1 = 2 u2 = 1 u3 = 2 u4 = 1 u0 = 0.999u1 = -0.0402 u2 = 49.668 u3 = 99.296 u4 = 198.57 |g'(û)| < 1 convergenceassurée

19. Résumé • Dichotomie • Sécante • Newton • Point fixe Multidimensionnel ? Accélération !

20. Accélération de la convergence • Définition : l’ordre de la convergence • Motivation • Définition du principe de Aitken • Théorème de convergence quadratique • Aitken et Steffensen

21. Méthode de Newton • En dimension n : • une équation, n inconnues : • n équations, n inconnues : Le vecteur gradient La matrice Hessiène La matrice jacobienne

22. Méthode de Newton • En dimension n : • on considère l'approximation affine : • on cherche h tel que f(uk+h)=0soit système linéaire ! • et ainsi

23. Méthode de Newton • Théorème : • s'il existe û tel que • f(û)=0 • f est différentiable dans un voisinage de û • f(û) est inversible • alors il existe  > 0 tel que • si u° vérifie • alors la suite construite par la méthode de Newtonconverge vers û

24. Méthode de Newton • Avantage : convergence quadratique • il existe C > 0 tel que • Inconvénient : calcul de f(x) souvent difficile

25. Exemple

26. Méthodes de Quasi-Newton • Comment se passer du calcul de f(x) ? • En dimension 1 : méthode de la sécante • En dimension n : • le rapport précédent n'a aucun sens (u est un vecteur) • comment approcher f(uk+1) ? Approximationde 1/f '(uk+1)

27. Méthodes de Quasi-Newton • Approximation de f(uk+1) par la matrice Ak • Ak doit vérifier Ak(uk - uk-1)=f(uk) - f(uk-1) • Problème : il existe une infinité de Ak • Méthode de Broyden : • condition supplémentaire : Akz = Ak-1z si (uk - uk-1)'z = 0

28. Méthodes de Quasi-Newton • Méthode de Broyden : algorithme • initialisation de u0 et A0 (différences finies) • itération :

29. Méthodes de Quasi-Newton • Convergence de la méthode de Broyden : • "super-linéaire" • moins rapide que Newton

30. Méthode du point fixe • Principe général : • trouver g en fonction de f telle que • f(û)=0  g(û)=û • la suite ukconverge (si u0 est bien choisi) • conditions suffisantes sur g en dimension 1 • g dérivable et |g'(û)| < 1 • conditions suffisantes sur g en dimension n • g différentiable et [g(û)] < 1( = rayon spectral)

31. Méthode du point fixe • Exemple en dimension 3

32. Méthode du point fixe • Exemple en dimension 3

33. Méthode du point fixe • Exemple en dimension 3 (suite) • valeurs initiales (x0=0.1 ; y0=0.1 ; z0=-0.1) • convergence vers (0.5 ; 0.0 ; -0.5236) • résultat théorique: (0.5 ; 0.0 ; -/6)

34. Méthode du point fixe • Comment essayer d'accélérer la convergence • remplacer les valeurs par leurs "dernières" estimations • (cf. Gauss-Siedel pour les systèmes linéaires) • exemple :

35. Conclusion • Méthodes • Newton : • inconvénient = calcul des dérivées • avantage = convergence quadratique • Quasi-Newton : • inconvénient = convergence super-linéaire • avantage = plus de calcul des dérivées • Point Fixe : • inconvénient = convergence linéaire • inconvénient = choix de g • Problème général : initialisation de la suite !

36. TP • Implémenter sous Matlab : • Newton, Broyden, point fixe (+Gauss Siedel) • pour les problèmes suivants : • comparer le temps de convergence (pour un même seuil)