SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

Peta-Graph Mining

kizzy avatar
kizzy
25 diapositives · 548 Views · May 18, 2012

Peta-Graph Mining. Christos Faloutsos. Appel, Ana Chau, Polo Leskovec, Jure Kang, U. Prakash, Aditya Shringarpure, Suyash Tsourakakis, Charalampos. Our goal:. One-stop solution for mining huge graphs. Outline. Datasets: Synthetic (‘Kronecker’, ~300M nodes, 1B edges)

Peta-Graph Mining - slide 1
01 / 25Peta-Graph Mining
1 / 17

Télécharger la présentation

Peta-Graph Mining
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. Peta-Graph Mining Christos Faloutsos Appel, Ana Chau, Polo Leskovec, Jure Kang, U Prakash, Aditya Shringarpure, Suyash Tsourakakis, Charalampos Yahoo/Hadoop, 2008

  2. Our goal: One-stop solution for mining huge graphs Yahoo/Hadoop, 2008

  3. Outline • Datasets: • Synthetic (‘Kronecker’, ~300M nodes, 1B edges) • NetFlix (20K movies, ~500K users, 100M edges) Yahoo/Hadoop, 2008

  4. Degree Distributions - NetFlix count Movie in-degree 100 machines - 8min Yahoo/Hadoop, 2008

  5. Degree Distributions - NetFlix count Theoretically expected Movie in-degree 100 machines - 8min Yahoo/Hadoop, 2008

  6. Degree Distributions - NetFlix count User out-degree 100 machines - 8min Yahoo/Hadoop, 2008

  7. Degree Distributions - NetFlix count Theoretically expected Sharp drop below 100 ratings User out-degree 100 machines - 8min Yahoo/Hadoop, 2008

  8. Degree Distributions - Kronecker count degree 100 machines - 6h Nodes:259M - Edges: 1B Yahoo/Hadoop, 2008

  9. Degree Distributions - timings Time (sec) 24 tasks 48 tasks 1 task Yahoo/Hadoop, 2008 Edge file size (MB)

  10. Outline • Datasets: • Synthetic (‘Kronecker’, ~300M nodes, 1B edges) • NetFlix (20K movies, ~500K users, 100M edges) Yahoo/Hadoop, 2008

  11. Diameter Diameter of a graph Maximum shortest path Normally, > O(N**2) ANF : `Approximate Neighborhood function’ [Palmer+02]: O(E) Goal : calculate neighborhood function Neighborhood N(h) : number of pairs of nodes within distance h Yahoo/Hadoop, 2008

  12. Diameter Time (min) 1 node 48 nodes 28 nodes Edge file (MB) • For large jobs, parallelization helps • Unstable results due to shared machines Yahoo/Hadoop, 2008

  13. Diameter / Hop Plot (Netflix) # of reachable pairs within <= h hops h: # of hops Yahoo/Hadoop, 2008

  14. Diameter / Hop Plot (Netflix) # of reachable pairs within <= h hops Diameter: 3 h: # of hops Yahoo/Hadoop, 2008

  15. Outline • Datasets: • Synthetic (‘Kronecker’, ~300M nodes, 1B edges) • NetFlix (20K movies, ~500K users, 100M edges) Yahoo/Hadoop, 2008

  16. Community detection Cross associations [Chakrabarti+ ’04] Yahoo/Hadoop, 2008

  17. Community detection Yahoo/Hadoop, 2008

  18. Outline • Datasets: • Synthetic (‘Kronecker’, ~300M nodes, 1B edges) • NetFlix (20K movies, ~500K users, 100M edges) Yahoo/Hadoop, 2008

  19. Triangles • ‘friends of friends are friends’ Yahoo/Hadoop, 2008

  20. Triangles • ‘friends of friends are friends’ Yahoo/Hadoop, 2008

  21. Triangles • ‘friends of friends are friends’ • Naïve algo: 3-way join (slow) • [Tsourakakis’08]: # triangles ~ sum of cubes of eigenvalues • Thus, super-fast computation of #triangles (100x - 25,000x faster than naïve; >95% accuracy Yahoo/Hadoop, 2008

  22. Triangles • Easy to implement on hadoop: it only needs eigenvalues (to do, with Lanczos) Yahoo/Hadoop, 2008

  23. Outline • Datasets: • Synthetic (‘Kronecker’, ~300M nodes, 1B edges) • NetFlix (20K movies, ~500K users, 100M edges) Yahoo/Hadoop, 2008

  24. Visualization Principled visualization of large graphs (show few most `important’ edges) Yahoo/Hadoop, 2008

  25. Summary Goal: one-stop solution for mining huge graphs Yahoo/Hadoop, 2008