SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

DiDaS Distributed Data Storage

effiej avatar
effiej
16 diapositives · 196 Views · Jan 07, 2020

Explore the distributed data storage project at Masaryk University in collaboration with CESNET. Learn about the motivation, infrastructure, applications, and future extensions of this innovative network storage solution.

DiDaS Distributed Data Storage - slide 1
01 / 16DiDaS Distributed Data Storage
1 / 17

Télécharger la présentation

DiDaS Distributed Data Storage
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. DiDaSDistributed Data Storage Ludek Matyska Masaryk University, Institute of Comp. Sci. And CESNET, z.s.p.o Ludek.Matyska@muni.cz APAN, Logistical Networking WS

  2. Outline • Motivation • Infrastructure • Applications • Future extensions APAN, Logistical Networking WS

  3. Motivation • Increased need for network storage • Computational Grids • Data Grids • Temporary Data Deposits • Transient Caches • Video deposits • National Library Requirements • Distribution of digitized content APAN, Logistical Networking WS

  4. Requirements • Transparent • Location independent • Good geographical distribution • Providing support for • Access quality (e.g. Streaming) • Reliability (no single point of failure) APAN, Logistical Networking WS

  5. Infrastructure • Data depots • Control: Personal computer • Storage: RAID of IDE disks • Capacity 1,5 TB each • Number: 7 (total capacity  10 TB) • Connectivity • Directly to the backbone • 100 Mb/s or 1 Gb/s APAN, Logistical Networking WS

  6. APAN, Logistical Networking WS

  7. APAN, Logistical Networking WS

  8. Data Layer • IBP (70% capacity) • General use • GridFTP servers (30% capacity) • Grid support • Computer independent temporary data storage • Comparison with IBP based solution APAN, Logistical Networking WS

  9. Traffic optimisation • Network traffic cost function • Inter-depots topology known • Instrumented clients • Measurement from depot to client • Simultaneous data transfer and measurements • Real-time transfer rate prediction • Choose depot • Decision between point and multipoint transfers APAN, Logistical Networking WS

  10. Applications • National Technical Library • Video Streaming • Nonspecific Users APAN, Logistical Networking WS

  11. National Technical Library • Requirements • Program of content digitalisation • Data stored on the central tape robot • Not optimised for distribution • Danger of overload • Model data: old cartographic maps APAN, Logistical Networking WS

  12. National Technical Library • DiDaS role • Cache like storage • Load balancing optimisation • Data transfer reliability (multistreaming) APAN, Logistical Networking WS

  13. Video Streaming • Permanent storage • Specific clients • QoS requirements (pre-caching) • Replica management • Not yet implemented APAN, Logistical Networking WS

  14. Nonspecific Users • Temporary data deposits • Provide data for load balancing • Transfer outside of DiDaS core • Access reliability • Automatic replica generation • Transparent multi-access • Ability to react on connectivity loss APAN, Logistical Networking WS

  15. Future work • New clients development • support for new application areas • Extended and transparent replica management • Full instrumentation • Data for • Load balancing • Replica creation/deletion • User access optimisation APAN, Logistical Networking WS

  16. Thank you for your interest APAN, Logistical Networking WS