SlideServe
Menu
Préférences
© SlideServe · v2026

Bigtable : A Distributed Storage System for Structured Data

baker-nolan avatar
14 diapositives · 278 Views · Nov 12, 2014

Bigtable is a distributed storage system designed for managing petabytes of data across thousands of commodity servers. It emphasizes scalability, high performance, and availability, making it ideal for applications like Google Analytics, Google Earth, and personalized search solutions. Utilizing a unique data model based on row keys, column keys, and timestamps, Bigtable also incorporates a reliable distributed lock service called Chubby. This architecture supports high throughput and flexibility, allowing efficient management of large datasets while minimizing bottlenecks.

Bigtable : A Distributed Storage System for Structured Data - slide 1
01 / 14Bigtable : A Distributed Storage System for Structured Data
1 / 17

Télécharger la présentation

Bigtable : A Distributed Storage System for Structured Data
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation
  1. Bigtable: A Distributed Storage System for Structured Data 0256803 高睿鴻

  2. Introduction • Petabytes of data across thousands of commodity servers. • Goal: wide applicability, scalability, high performance , and high availability. • Product: Google Analytics, Google Earth, Personalized Search ….

  3. Data Model • Row key, column key, timestamp.

  4. Chubby • Highly-available and persistent distributed lock service . • Ensure that there is at most one active master at any time. • Discover tablet servers and finalize tablet server deaths. • Store Bigtable schema information. • Store access control lists.

  5. Tablet • Table consists of a set of tablets. • Tablet contains all data associated with a row range. • 100 ~ 200 MB

  6. Tablet

  7. SSTable • SSTable file format is used internally to store Bigtable data. • Provides a persistent, ordered immutable map from keys to values. • Disk v.s memory

  8. Tablet representation

  9. Compactions • Size of memtable increase • Minor compaction process (old memtable→ SSTable→ GFS) • Merging compaction (old SSTables + memtable→ new SSTable)

  10. Architecture

  11. Performance • A tablet server executes approximately 1200 reads per second. • Significant drop in per-server throughput (1~50)

  12. Performance • Imbalance in load in multiple server configuration • Other processes contending for CPU and network • Throughput 100-fold V.S 500-fold servers • Transfer 64KB block over the network for every 1000byte read

  13. Real Application • Google Analytics • JavaScript, raw click table, summary table • Google Earth • Satellite imagery, imagery table • Personalized search • Web search, images, news

  14. Conclusion • Substantial amount of flexibility from designing their data model for Bigtable • Can remove bottlenecks and inefficiencies