1 / 18

Hierarchické zhlukovanie sietí na webe

Hierarchické zhlukovanie sietí na webe. Ondrej Pok. Plán prezentácie. Ciele diplomového projektu Prehľad zhlukovacích algoritmov Návrh a implementácia Plán do ďalšieho semestra. Ciele. Implementovať zhlukovací algoritmus použiteľný pre rôzne typy dát

magee
Télécharger la présentation

Hierarchické zhlukovanie sietí na webe

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Hierarchické zhlukovanie sietí na webe Ondrej Pok

  2. Plán prezentácie • Ciele diplomového projektu • Prehľad zhlukovacích algoritmov • Návrh a implementácia • Plán do ďalšieho semestra

  3. Ciele • Implementovať zhlukovací algoritmus • použiteľný pre rôzne typy dát • integrovať do projektu ClusterNavigator • Umožniťhierarchickézhlukovanie (rekurzívnu aplikáciu zhlukovacej metódy )

  4. Analýza existujúcich metód • Hierarchické metódy • Zhora nadol (divisive) • Zdolanahor (agglomerative) • vytvára sa dendrogram * • Rozdeľujúce (partitioning) • k-means, k-medoids

  5. Analýza existujúcich metód • Grid methods • Subspace clustering • Genetické algoritmy • Shared nearest neighbours (Spoloční najbližší susedia)

  6. Analýza existujúcich metód • Veľmi rozšírené sú hierachické metódy a k-means • počet zhlukov ako vstup od používateľa • problém ako zvoliť správny počet ?

  7. Analýza existujúcich metód Metóda Shared Nearest Neighbours • Základom je matica alebo graf podobnosti všetkých inštancií • Nájde prirodzené zhluky bez zadania počtu od používateľa • Pracuje so zoznamom k najbližších susedov (najpodobnejších inštancií)

  8. Analýza existujúcich metód Metóda Shared Nearest Neighbours • Výhody: • Používateľ nezadáva počet zhlukov • Použiteľná na ľubovoľné dáta (za podmienky že je k dispozícii, alebo sa dá vypočítať podobnosť inštancií) • Dokáže nájsť zhluky nepravidelných tvarov a rôznej hustoty

  9. Dáta • Publikácie • citácie = explicitné vzťahy • Pracovné ponuky • žiadne explicitné vzťahy • Sociálne siete • explicitné vzťahy

  10. Návrh • Súčasť projektu Cluster Navigator • Z toho vyplývajú niektoré obmedzenia • programovací jazyk Java • použitie knižnice na prácu s grafmi JUNG ako dohodnutého rozhrania

  11. Návrh - ClusterNavigator

  12. Implementácia • Použité rozhranie GraphClusterer z knižnice JUNG • 2 zhlukovacie algoritmy podľa: • Jarvis-Patrick • Ertöz-Steinbach-Kumar

  13. Overenie • Implementáciu som overoval (zatiaľ len) Unit-testami

  14. Plán do ďalšieho semestra • Overenie: • porovnanie implementovaných algoritmov s inými zhlukovacími algoritmymi v knižnici JUNG • porovnanie vlastností zhlukov nájdených rôznymi metódami v testovacej množine dát

  15. Plán do ďalšieho semestra • Hierarchické zhlukovanie • umožniť rekurzívnu aplikáciu zhlukovacej metódy na nájdené zhluky (s inými parametrami)

  16. Plán do ďalšieho semestra • Učenie klastrov: • umožniť aby si používateľ prispôsobil zhlukovanie podľa svojich kritérií podobnosti • Plánujem spolupracovať s Bc. Ondrejom Dančíkom, ktorý pracuje na vývoji „učiaceho porovnávača“ a použiť jeho výsledky v tejto oblasti

  17. Plán do ďalšieho semestra • Prispôsobenie zhlukovania - učiace porovnávanie • Používateľ zadá pozitívne a negatívne príklady • Porovnávač zmení kritériá podobnosti • Zmení sa ováhovanie hrán v grafe podobnosti

  18. Ciele do ďalšieho semestra • Porovnanie zhlukovacích algoritmov • Umožniť hierarchické zhlukovanie • Prispôsobenie klastrovania – použiť „učiace“ porovnávanie

More Related