1 / 19

A.Djeffal (UMKB)

SVM. Support Vactor Machine (Machine à Vecteurs Supports) Supports à Vaste Marge Introduite par Vladimir Vapnik en 1995 Solide base théorique Utilisée notamment dans : La reconnaissance des visages humains, La reconnaissance des caractères manuscrits La bioinformatique,

eliot
Télécharger la présentation

A.Djeffal (UMKB)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SVM • Support Vactor Machine (Machine à Vecteurs Supports) • Supports à Vaste Marge • Introduite par Vladimir Vapnik en 1995 • Solide base théorique • Utilisée notamment dans : • La reconnaissance des visages humains, • La reconnaissance des caractères manuscrits • La bioinformatique, • La médecine, • …. A.Djeffal(UMKB) Data mining - SVM 2012/2013 1/18

  2. SVM - Principe x2 m=2 y=+1 y=-1 x1 Entrée: Un ensemble d’exemple de n dimensions avec leur classification binaire ensemble (Xi,Yi) i:1..N Xi=(xi1,..,xim) Yi= 1 Sortie: Une droite w.x + b = 0 qui sépare les deux classes On cherche w et b Ainsi la fonction de classification sera f(x) = Signe (w.x+b) w.x+b>0 Si m >2 : On cherche un hyperplan w un vecteur de dimension m b un réel w.x+b<0 w.x+b=0 A.Djeffal(UMKB) Data mining - SVM 2012/2013 2/18

  3. SVM - Principe x2 m=2 y=+1 y=-1 x1 Problème:  +ieurs Hyperplans Quel est celui qui sépare le mieux les deux classes ? A.Djeffal(UMKB) Data mining - SVM 2012/2013 3/18

  4. SVM - Principe x2 m=2 y=+1 y=-1 x1 C’est celui qui maximise la marge • L‘hyperplan H doit donc: • 1. Maximiser la marge • ( 2 / ||w||2) • 2. Bien classer les Xi • Yi (w.Xi + b) 1 marge w.x+b=1 H+ w.x+b=0 w.x+b=-1 H H- Problème d’optimisation quadratique avec contraintes A.Djeffal(UMKB) Data mining - SVM 2012/2013 4/18

  5. SVM - Principe • Max ( 2 / ||w||2) • Yi (w.Xi + b) 1 • Min (||w||2 /2 ) • Yi (w.Xi + b) 1 Lagrange: Calculer Lp Où les i constituent les multiplicateurs de Lagrange ( 0) Lp doit être minimisé par rapport à w et b, et il faut que ses dérivées par rapports à w et b soient nulles A.Djeffal(UMKB) Data mining - SVM 2012/2013 5/18

  6. SVM - Principe D’où on tire Ld Ld doit être maximisé par rapport aux i Si on arrive à déterminer les i , on pourra calculer w et b Tout ça c’est le cas où les données son linéairement séparables !!! A.Djeffal(UMKB) Data mining - SVM 2012/2013 6/18

  7. SVM - Principe Dans le cas où les données sont linéairement inséparables On effectue une transformation d’espace pour amener les données dans un espace où elles sont linéairement séparables, et on revient au cas précédent. A.Djeffal(UMKB) Data mining - SVM 2012/2013 7/18

  8. SVM - Principe

  9. SVM - Principe On obtient alors: Pour éviter le calcul de  et du produit scalaire, on utilise une fonction K appelée Fonction noyau (Kernel): Et Ld devient: A.Djeffal(UMKB) Data mining - SVM 2012/2013 9/18

  10. SVM - Principe Et le problème devient: trouver les i tout en respectant: Une fois les i calculés W et b peuvent être déterminés: Où SV est l'ensemble de vecteurs supports. La décision pour un nouvel exemple x peut être calculé comme suit: A.Djeffal(UMKB) Data mining - SVM 2012/2013 10/18

  11. SVM - Principe A.Djeffal(UMKB) Data mining - SVM 2012/2013 11/18

  12. SVM - Principe Pour déterminer les i on utilise une méthode d’optimisation: Initialiser un vecteur des i à 0; L’améliorer progressivement par une heuristique jusqu’à atteindre une solution acceptable Algorithme plus utilisé SMO (Sequential Minimal Optimization): Améliorer à chaque itération deux i 1: Choisir deux points i et j initiaux 2: Calculer leur coefficients i et j 3: Tant que la solution courante n’est pas optimale faire Sélectionner deux nouveaux points Calculer les coefficients associés Fin tantque A.Djeffal(UMKB) Data mining - SVM 2012/2013 12/18

  13. SVM - Principe Plusieurs noyaux sont utilisées: Exemple Linéaire: Polynomial: Gaussien: …. Face à un problème donnée quel noyau choisir ? On ne sait pas encore !!! A.Djeffal(UMKB) Data mining - SVM 2012/2013 13/18

  14. SVM – Cas multi-classes Si les données appartiennent à plusieurs classes: On doit trouver une fonction pour chaque classe (appartient ou non) A la phase de d’utilisation on utilise généralement l’une des méthodes Une contre reste 1vsR Une contre une 1vs1 Listes de vote Graphes de décision Code correcteurs Arbres de décision A.Djeffal(UMKB) Data mining - SVM 2012/2013 14/18

  15. SVM – Cas multi-classes 1VsR 1Vs1 DAG AD A.Djeffal(UMKB) Data mining - SVM 2012/2013 15/18

  16. SVM – Cas mono-classe A.Djeffal(UMKB)

  17. SVM – Autres utilisation x2 x1 En plus de son utilisation pour la classification, tel que vu précédemment, Les SVMs peuvent être utilisés pour la régression: i w i Minimiser W et les i, On utilise le Lagrangien et on se retrouve avec un problème pareil au précédent A.Djeffal(UMKB) Data mining - SVM 2012/2013 17/18

  18. SVM - Autres utilisation x2 x1 En plus de son utilisation pour la classification, tel que vu précédemment, Les SVMs peuvent être utilisés pour la régression: i w i Minimiser W et les i, On utilise le Lagrangien et on se retrouve avec un problème pareil au précédent A.Djeffal(UMKB) Data mining - SVM 2012/2013 18/18

  19. SVM - Autres utilisation Réduction des dimensions des données (ACP) Apprentissage semi – supervisé Apprentissage non supervisé (Clustering) A.Djeffal(UMKB) Data mining - SVM 2012/2013 19/18

More Related