1 / 8

KFKI RMKI Grid Storage fejlesztések

KFKI RMKI Grid Storage fejlesztések. Hernáth Szabolcs hernath@sunserv.kfki.hu. 1. Storage bővítés: miért ATA over Ethernet (AoE)?. KFKI RMKI Grid Storage Roadmap:. Storage Element 2006: Elonex diszkszerver, 2x 3ware PCI RAID (10 port) + 18 x 400 GB PATA diszk (6 TB RAID 5)

malory
Télécharger la présentation

KFKI RMKI Grid Storage fejlesztések

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. KFKI RMKI Grid Storagefejlesztések Hernáth Szabolcs hernath@sunserv.kfki.hu

  2. 1. Storage bővítés: miért ATA over Ethernet (AoE)? • KFKI RMKI Grid Storage Roadmap: • Storage Element 2006: Elonex diszkszerver, 2x 3ware PCI RAID (10 port) + 18 x 400 GB PATA diszk (6 TB RAID 5) • Nem bővíthető (házméret, tápellátás, PATA kapacitás korlátos) • Nem megbízható (3ware kártyát kellett cserélni) • Nem elég gyors (RAID overhead a szervert terheli, PATA átviteli sebesség kevés) • Nagy, rackbe nem szerelhető • Storage Element 2007: standalone szerver + 3 x Coraid SR 1521 fiók + 3 x 15 x 1 TB SATA II diszk (3 x 12 TB AoE RAID 5) • Rugalmasan bővíthető (fiókokkal / diszkekkel) • Teljesítmény / kapacitás jól skálázható • Megbízható: nincs single point of failure • Gyors (RAID overhead megoszlik a fiókok közt, szervert nem terheli, SATA átviteli sebesség elegendő) • Kis helyen elfér, rackbe szerelhető

  3. 2. Coraid SR 1521 jellemzői • Fiókonként max. 15 SATA I / II diszket (max. 1 TB) támogat • Valódi „Hot swap” támogatás • RAID 0, 1, 5, 10 (+ JBOD) vezérlő „Hot spare” támogatással • Duál Gigabit ethernet csatoló (az AoE driver automatikusan használja) • Ethernet „Jumbo Frame” (MTU > 1500) támogatás (az AoE driver automatikusan használja) • Linux alapú „firmware” • MAC cím szűrés • Konzol: RS-232, KVM vagy Etherconsole • Redundáns, hot swap tápegység (3x) és hűtés (6x) • Teljesítmény < 400W, hőterhelés < 1500 BTU • 3U-s méretű, rackbe szerelhető

  4. 3. Sebességteszt I: alapok • Referencia: Coraid által publikált teljesítményadatok (Gib/s) • Forrás: S. Hopkins, M. Ennis: SR Performance Analysis • dd alapú, szintetikus írási / olvasási tesztek (Linux 2.6.18, aoe 6-44 driver, XFS) • Közvetlen (nem switchelt) linkek: • Dual link: Coraid SR 1521 • Single link: Coraid SR 1520 • Kérdés: mit ér a gyakorlatban?

  5. 4. Sebességteszt II: metódus • Cél: valós, kompozit írási / olvasási sebességadatok • Teszttípusok 1. „time dd if=/dev/zero of=./testfile count=6M” (3GB, RAM → Coraid) 2. „time cp ./testfile ./testfile.copy” (előző file, Coraid → Coraid) 3. „time cp ./otherfile ./otherfile.copy” (új file, 3 GB, Coraid → Coraid) 4. „time cp coraid_1:otherfile coraid_2:otherfile.copy” (3 GB, Coraid_1 → Coraid_2) • Linux 2.6.18, aoe 6-49 driver, XFS (RAID 5: 14 + 1 diszk, 12 TB) • Memóriatuning (enélkül OoM kernel panic): • echo 3 > /proc/sys/vm/dirty_ratio • echo 3 > /proc/sys/vm/dirty_background_ratio • echo 5120 > /proc/sys/vm/min_free_kbytes • Sebességadatok a „time (real)” alapján, 3x átlagolva • Eredmények: Gib/sec

  6. 5. Sebességteszt II/a: link-típusok • Kérdés: single vs. dual link, switched vs. direct link, MTU 1500 vs. MTU 4200 hatása a sebességre • Hálózat: 2x alaplapi ethernet (Intel 82541PI, Marvell 88E850), Cisco Catalyst 2960G switch • MTU 4200: • MTU 1500:

  7. 6. Sebességteszt II/b: diszkusszió • Az eredmények jól közelítik a Coraid referencia írási sebességértékeit • Mind a dual link, mind a Jumbo Frame-ek jelentősen növelik a sebességet • 1. és 2. tesztben a nagyobb MTU • 3. tesztben a dual link okoz nagyobb mértékű javulást • A direct link nem hoz jelentős javulást a switchelt kapcsolathoz képest • Konklúzió: dedikált MTU 4200 duál link kell a Coraid-ek számára • Terv: szerver bővítése 2-portos Gb ethernet csatolóval, olcsó Linksys switch használata a „Coraid szegmens” felé

  8. 7. Sebességteszt III: eszközök • Kérdés: Intel PWLA8492MT dual port GB adapter, Linksys SR2024 switch megfelel-e a célnak? • Hálózat: Intel PWLA8492MT → Coraid_1; alaplapi Intel 82541PI → Coraid_2 • Switchek: Linksys SR2024 → Coraid_1; Catalyst 2960G → Coraid_2 • MTU 4200 • MTU 1500: Konklúzó: Intel PWLA8492MT OK, Linksys SR2024 nem OK (nem kezeli a Jumbo Frame-eket, duplex terhelésnél nagyon lelassul)!

More Related