1 / 34

Seminar: Information Management in the Web

Seminar: Information Management in the Web. Vortrag:. Distributed Hash Tables (DHTs) and Plaxton-Type Routing. Vortragende: Désirée Zillmann Betreuer: Dr. Artur Andrzejak, ZIB Vortragsdatum: 08.05.2003. Inhaltsverzeichnis. 1. Distributed Hash Tables 2. Plaxton 3. Pastry

ailsa
Télécharger la présentation

Seminar: Information Management in the Web

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Seminar: Information Management in the Web Vortrag: Distributed Hash Tables (DHTs) and Plaxton-Type Routing Vortragende: Désirée Zillmann Betreuer: Dr. Artur Andrzejak, ZIB Vortragsdatum: 08.05.2003

  2. Inhaltsverzeichnis • 1. Distributed Hash Tables • 2. Plaxton • 3. Pastry • 4. Tapestry • 5. Übersicht • Literatur Désirée Zillmann: DHTs and Plaxton-Type Routing

  3. Distributed Hash Tables • Dateien sind über einen eindeutigen Hash-Schlüssel (key) erreichbar • Knoten bekommen auch einen Schlüssel (z.B. IP-Adresse) aus demselben Namensraum • Die Hash-Funktionen sind jedem Teilnehmer bekannt • Jeder Knoten ist root-Knoten für mehrere Dateien • Jeder Knoten hält eine Tabelle mit (key, Id)- Paaren, wobei Id auf den Knoten zeigt, der die Datei zur Verfügung stellt • Anfragen werden an einen Knoten weitergeleitet, dessen KnotenId dem Schlüssel des Objekts “am nächsten” ist im Gegensatz zu Napster und Gnutella • Suche nach Schlüsselworten • setzen voraus, dass Dateien in erster Linie auf dem Knoten des Publishers gespeichert sind Désirée Zillmann: DHTs and Plaxton-Type Routing

  4. Unterschiede bei DHT-Systemen • Aufbau des Overlay-Netzwerks • Aufrechterhaltung des Netzwerks • Suchalgorithmus lookup(key) • Wichtig: Man kann die lookup-Anfrage an einen beliebigen Knoten schicken, und diese wird an den root-Knoten korrekt weitergeleitet. DHT-Systeme: • Plaxton • Pastry • Tapestry Désirée Zillmann: DHTs and Plaxton-Type Routing

  5. P2P Overlay-Netzwerk P2P-Layer IP-Layer Désirée Zillmann: DHTs and Plaxton-Type Routing

  6. Plaxton Jeder Knoten ist • Server für die bei ihm gespeicherten Objekte • Router, der Nachrichten weiterleitet • Client, von dem Suchanfragen ausgehen Besonderheiten: • Von jedem Objekt gibt es ggf. mehrere Kopien Désirée Zillmann: DHTs and Plaxton-Type Routing

  7. Routing zu dem Knoten mit Schlüssel 5AC84B *****B  ****4B  ***84B  **C84B  *AC84B  5AC84B • Bei jedem Schritt wird von rechts nach links eine Stelle des Schlüssels angepasst. *: zufällige Werte Désirée Zillmann: DHTs and Plaxton-Type Routing

  8. Neighbor table Für Knoten 1032 (b=4): b n -- Stellen, die direkt mit dem lokalen Knoten-Schlüssel übereinstimmen. Bei der Suche kann gleich in die nächste Zeile gesprungen werden. b: Basis des Schlüssels n: Anzahl der Stellen der Schlüssel Désirée Zillmann: DHTs and Plaxton-Type Routing

  9. Beispiel: Routing-Schritt Knoten 1032 erhält eine Nachricht für den Knoten 1232 An welchen Knoten wird die Nachricht weitergeleitet? 1032 <-> 1232 => 0232 Désirée Zillmann: DHTs and Plaxton-Type Routing

  10. Pointer list Ein Zeiger ist ein Tripel (Aid, y, c(x,y) ) aus • dem ID Aid des Objekt • dem Knoten y, welcher eine Kopie des Objektes besitzt • der „Entfernung“ c(x,y) von x nach y (=Kosten für das Senden einer Ein-Wort-Nachricht von x nach y) Désirée Zillmann: DHTs and Plaxton-Type Routing

  11. Wichtige Prozeduren bei Plaxton • Suchen nach einem Objekt • Einfügen eines Objekts • Löschen eines Objekts Désirée Zillmann: DHTs and Plaxton-Type Routing

  12. Suchen nach einem Objekt (Plaxton) root Knoten 197E sucht Objekt 4378 • routed in Richtung root • jeder Knotenüberprüft auf Zeiger auf genügend nahe Kopien des Objekts Désirée Zillmann: DHTs and Plaxton-Type Routing

  13. Einfügen eines Objekts (Plaxton) root Einfügen des Objekts 4378 durch Knoten 39AA (Server) • sendet Wunsch an root • hinterlässt einen Zeiger zu sich bei jedem Schritt (falls neue Kopie näher) Désirée Zillmann: DHTs and Plaxton-Type Routing

  14. Zu guter Letzt (1) • Fehlerbehandlung • Verbindungs- oder Knotenfehler: • ausweichen auf die secondary neighbors • zur Not zurückgreifen auf einen Knoten aus einer niedrigeren Ebene • Ausfall des root-Knotens: • ein echtes Problem, da ohne ihn ein Routing zu einem existierenden Objekt nicht sichergestellt ist Désirée Zillmann: DHTs and Plaxton-Type Routing

  15. Zu guter Letzt (2) • Lokalität • Ausgangsvoraussetzung: • der erste Kontakt zum Netzwerk über e. Knoten in der Nähe • Ausnutzen der Entfernungsfunktion c • Plaxton erreicht eine hohe Wahrscheinlichkeit, dass eine nahe Kopie des Objekts gefunden wird (falls diese existiert). Désirée Zillmann: DHTs and Plaxton-Type Routing

  16. Zusammenfassung Plaxton + Die pointer list ist eindeutig + Versucht, die möglichst nahe Kopie eines Objektes zu finden + ortsunabhängiges Routing (jeder root ist die Wurzel eines spannenden Baumes im Graphen, der die Topologie des Netzwerks beschreibt) - Statische Menge von teilnehmenden Knoten - Viel Vorarbeit, um die Knotenmenge für den Routing-Prozess zu erzeugen - Plaxton geht von gefüllten neighbor tables aus - Fällt ein root-Knoten aus, dann können einige Objekte nicht mehr erreichbar sein Désirée Zillmann: DHTs and Plaxton-Type Routing

  17. Pastry • ähnlich aufgebautes Overlay-Netzwerk wie Plaxton • selbst-organisierend • fehlertolerant Désirée Zillmann: DHTs and Plaxton-Type Routing

  18. Pseudo-Code Pastry Routing-Prozedur (1) (1) if( ){ (2) // D is within range of our leaf set (3) forward to , s.th. is minimal; (4) } else { (5) // use the routing table (6) Let ; (7) if ( ) { (8) forward to ; (9) } Rli: Eintrag in der routing table, i-te Spalte, l-te Zeile Li: i-te nächste KnotenId Désirée Zillmann: DHTs and Plaxton-Type Routing

  19. Pseudo-Code Pastry Routing-Prozedur (2) (10) else { (11) // rare case (12) forward to , s.th. (13) (14) (14) } (16) } Dl : der Wert der l Zeichen im Schlüssel D shl(A,B): Anzahl d. Zeichen des gemeinsamen Präfixes von A u. B Désirée Zillmann: DHTs and Plaxton-Type Routing

  20. Beispiel (Pastry) (1) KnotenId 1023 (b=4): routing table -- Stellen, die direkt mit dem lokalen Knoten-Schlüssel übereinstimmen. (es kann auch leere Einträge geben) Désirée Zillmann: DHTs and Plaxton-Type Routing

  21. Beispiel (Pastry) (2) KnotenId 1023 (b=4): leaf set neighborhood set Die zugehörigen IP-Adressen sind hier nicht mit angegeben. Désirée Zillmann: DHTs and Plaxton-Type Routing

  22. Selbstorganisation bei Pastry • Einfügen eines Knotens • Löschen eines Knotens Désirée Zillmann: DHTs and Plaxton-Type Routing

  23. Zu guter Letzt (1) • Fehlerbehandlung • Ausfall eines Knotens: • Selbstreparatur • Knoten, die eine Nachricht nicht korrekt weiterleiten: • Pastry ist hier anfällig • Abhilfe: mehrmaliges Senden der Nachricht durch client, bis evtl. eine andere Route gefunden • Abhilfe: Erweitern der Selbstorganisation • IP routing Anomalien im Internet: • eine Herausforderung, wenngleich Pastry hier relativ tolerant Désirée Zillmann: DHTs and Plaxton-Type Routing

  24. Zu guter Letzt (2) • Lokalität • ein Knoten sendet eine Nachricht an den (nicht ausgefallenen) Knoten mit einer KnotenID, die dem Schlüssel numerisch am nächsten liegt • alle Einträge der routing table verweisen auf einen nahen Knoten mit geeignetem Präfix Désirée Zillmann: DHTs and Plaxton-Type Routing

  25. Zusammenfassung Pastry • vollständig dezentralisiert • effizient, gut skalierbar • selbstorganisierend • fehlertolerant • anpassungsfähig an Knoten-Fehler • zuverlässig im Senden einer Nachricht an den live Knoten mit einer KnotenID, die dem Schlüssel numerisch am nächsten liegt • gute Lokalität Désirée Zillmann: DHTs and Plaxton-Type Routing

  26. Tapestry • beruht im Wesentlichen auf dem Plaxton-Algorithmus • Zuordnung mehrerer root-Knoten für ein Objekt • Frage nach nahegelegenstem Nachbar bei ähnlichen Kosten • neues Konzept zur Integration neuer Knoten • Verschieben eines Objekts zwischen zwei Knoten Désirée Zillmann: DHTs and Plaxton-Type Routing

  27. Tapestry Routing Mesh Jeder Knoten hat neighbor-Links zu anderen Knoten. Li: Eintrag in der Zeile i der neighbor table Désirée Zillmann: DHTs and Plaxton-Type Routing

  28. Selbstorganisation bei Tapestry (1) • Erzeugung von Ersatz-root-Knoten • Problem: das Netzwerk ist nicht konstant • Ziel: ein Objekt bleibt erreichbar, auch wenn ein root-Knoten ausgefallen ist • Idee: „Löcher“ umrunden, indem man zu dem nächsten Eintrag in derselben Zeile der neighbor table routed • gibt es nur noch einen Eintrag in der Zeile (den aktuellen Knoten), dann ist dieser Knoten der root-Knoten. Désirée Zillmann: DHTs and Plaxton-Type Routing

  29. Selbstorganisation bei Tapestry (2) • Integration mehrerer neuer Knoten gleichzeitig • Problem: x hat ein Loch, wo y hingehört • Lösung: • jeder neue Knoten versendet eine “wish list” (Bit-Vektor der Länge b) von nichterreichbaren Präfixen • jeder Rezipient überprüft, ob er einen der gewünschten Knoten erreichen kann, ggf. sendet er den multicast zurück, Präfix und Löcher können angepasst werden Désirée Zillmann: DHTs and Plaxton-Type Routing

  30. Zusammenfassung Tapestry • Fokussierung auf proximity • findet tatsächlich die ungefähr nächste Kopie eines Objekts und den nahegelegensten Nachbarn • Nachteil: gestiegene Komplexität • Die Frage, welche Bedeutung proximity in einem P2P-System haben sollte, bleibt offen • ermöglicht simultanes Einfügen von Knoten • Berücksichtigung eines weitreichenden Netzwerks • Anpassungsfähigkeit an eine sich verändernde Menge von Knoten Désirée Zillmann: DHTs and Plaxton-Type Routing

  31. Übersicht b: Basis des Schlüssels N: Anzahl der Schlüssel Désirée Zillmann: DHTs and Plaxton-Type Routing

  32. Fazit Es gibt noch viele offene Fragen in P2P-Systemen. Désirée Zillmann: DHTs and Plaxton-Type Routing

  33. Literatur(1) [1] H. Balakrishnan et al.: Looking Up Data in P2P Systems, Communications of the ACM, February 2003/Vo. 46, No. 2 [2] Kirsten Hildrum, John D. Kubiatowicz, Satish Rao, Ben Y. Zhao: Distributed Data Location in a Dynamic Network, Proc. of ACM SPAA, 2002) [3] C. Greg Plaxton, Rajmohan Rajaraman, Andrea W. Richa: Accessing Nearby Copies of Replicated Objects in a Distributed Environment,  ACM Symposium on Parallel Algorithms and Architectures 1997 [4] Antony Rowstron, Peter Druschel: Pastry: Scalable, distributed object location and routing for large-scale peer-to-peer systems, Middleware, 2001 Désirée Zillmann: DHTs and Plaxton-Type Routing

  34. Literatur(2) [5] Julian Bart: Routing in Peer-to-Peer Systemen. Universität Stuttgart. Hauptseminar: Internettechnologien der nächsten Generation. Januar 2003 http://www.informatik.uni-stuttgart.de/ipvr/vs/de/teaching/ ws0203/seminars/NGI/folien/Routing_P2P-Folien.pdf [6] Marko Tomljenovic: Vergleich von Routing-Algorithmen in “Peer to Peer” – und “Mobile Ad Hoc” - Netzwerken. Universität Stuttgart. Hauptseminar: Internettechnologien der nächsten Generation. Januar 2003 http://www.informatik.uni-stuttgart.de/ipvr/vs/de/teaching/ ws0203/seminars/NGI/folien/Vergleich_P2P_Ad-Hoc-Routing.pdf Désirée Zillmann: DHTs and Plaxton-Type Routing

More Related