270 likes | 629 Vues
Classification non supervis?e. Id?e: identifier une partition des donn?es telle que les objets d'une m?me classe se ressemblent le plus possible et que des objets de classes diff?rentes soient le plus diff?rents possible.. Objectifs. On cherche ? satisfaire deux objectifs simultan?ment:Grande homo
E N D
1. Classification non supervise Objectif:
grouper les donnes en groupes afin de faire de dcouvrir une structure ces donnes.
2. Classification non supervise
Ide: identifier une partition des donnes telle que les objets dune mme classe se ressemblent le plus possible et que des objets de classes diffrentes soient le plus diffrents possible.
3. Objectifs On cherche satisfaire deux objectifs simultanment:
Grande homognt de chaque classe
Bonne sparation des classes
Dans le but de satisfaire ces objectifs, les algorithmes sont souvent implments en utilisant une matrice des dissimilarits
4. La matrice de dissimilarits Indique les dissimilarits entre diffrents objets.
Cette dissimilarit est calcule en utilisant une mtrique ou norme (Ex: euclidienne, de manhattan, etc)
Importance du choix appropri de lchelle car une chelle inapproprie donnera une matrice de dissimilarits non reprsentative des donnes.
5. Illustration de limportance du choix de lchelle
6. Illustration de limportance du choix de lchelle
7. Illustration de limportance du choix de lchelle
8. Critres Minimiser le diamtre de chaque classe
Maximiser la distance entre les objets les plus proches de deux classes diffrentes
Minimiser la variance au sein de chaque classe
Et bien dautres
9. Algorithmes de classification Classification ascendente hierarchique
Classification divisive
Classification avec nombre fix de classes
10. Les mthodes hierarchiques de classification Les mthodes hierachiques de classification sont rcursives, ce qui signifie que les dcisions prises un niveau ne pas modifies au cours de lexecution de lalgorithme, que ces mthodes soient ascendentes ou descendente (divisives).
11. Les algorithmes de classification ascendente hierarchique Les algorithmes de classification ascendentes partent dune partition o chaque objet reprsente une classe.
chaque itration, deux classes sont fusionnes afin de donner une partition avec une classe de moins.
Selon la mthode utilise, le choix des classes fusionner changera.
12. Mthodes de classification ascendente hierarchique Mthode du lien simple
Mthode du lien complet
Mthode de Ward (minimisation de la somme des carre des distances)
Schma gnral qui sappliquera de manire trs similaire pour chacun des critres.
13. Mthode du lien simple chaque itration, la paire dobjets de classes diffrentes les plus proches est choisie et leurs classes sont fusionnes.
14. Mthode du lien simple La mthode du lien simple a la proprit de garantir chaque niveau que lcart entre les classes est maximum (distance entre les objets les plus proches).
Cest une bonne mthode pour la sparation.
15. Illustration de la mthode du lien simple
16. Exemple
17. Partitions
18. Mthode du lien complet chaque itration, nous considrons pour chaque paire de classes la distance entre les objets les plus loigns.
La paire de classes pour laquelle cette distance est minimale est fusionne.
Cest une bonne mthode pour lhomognt, mme si elle nassure pas la partition de diamtre minimum.
19. Illustration de la mthode du lien complet
20. Le dendrogramme partir des tapes dun algorithmes de classification hierarchique, nous pouvons construire un dendrogramme.
Non seulement le dendrogramme indique les objets et classes qui ont t fusionnes chaque itration, mais indiquent aussi la valeur du critre choisi pour chaque partition rencontre
21. Exemple de dendrogramme(cas du lien simple)
22. Dfauts des algorithmes hierarchiques Difficilement utilisables avec de grosses bases de donnes (Data Mining)
Sous optimaux pour la plupart des critres car il est souvent possible, le nombre de classes tant fix, de trouver une partition meilleure (pour le critre choisi).
23. Algorithmes non hierarchiques Le plus connu de ces algorithmes est nomm k-means.
Le critre est de minimiser la somme des carrs des carts aux centroides de chaque classe.
Cet algorithme suppose que nous connaissions le nombre de classes voulu.
24. K-means Initialisation: partitionner les objets par une mthode quelconque (partition alatoire par exemple)
Phase 1: pour chaque classe, calculer le centroide.
Phase 2: affecter chaque objet au centroide dont il est le plus proche. Si au moins un objet a chang de classe, revenir la phase 1 si non: Fin
25. K-means Cette mthode a lavantage dtre rapide converger vers un optimum local
Par contre, loptimum local rencontr dpend fortement de la solution initiale; cest donc pas forcment une bonne solution.
En gnral, afin damliorer la solution, on utilise le multi-start.
26. K-means K-means tel que dcrit plus tt fonctionne assez bien si le nombre de classes voulu est modr.
Ds que le nombre de classes augmente, la solution trouve par lalgorithme est mdiocre, voire carrment mauvaise (2 ou 3 fois moins bonne que la solution optimale)
27. K-means Il y a plusieurs raisons cette contre performance:
La mthode de descente elle-mme qui pousse rester proche de la solution courante en la renforcant par des modifications marginales, ce qui donne une grande inportance la solution initiale.
Le multistart est mauvais si le nombre doptimums locaux est grand
28. K-means amlior Changer lalgorithme de descente nest pas une bonne ide car il est vraiment trs rapide par rapport aux autres qui ne sont simplement pas utilisables pour le Data-mining.
Il faut donc un autre moyen de sortir de loptimum local, par exemple en utilisant des mtaheuristiques.