İçerik

1. Grid Hesaplama Temel Kavramlar ve Grid Uzerinde Veri YonetimiFatih TÜRKMENfatih.turkmen@ieu.edu.trhomes.ieu.edu.tr/~fturkmen

2. İçerik Yüksek Performanslı Hesaplama Paralel Hesaplama Dağıtık Hesaplama Grid Hesaplama Elektrik Soketleri Analojisi Neden? Sanal Organizasyonlar Grid Ortamları Grid Son Durum

3. İçerik (devam) Grid Üzerinde Veri Yönetimi Veri Bölümleme Uzak Girdi/Çıktı Örnek : Stork Ekonomi Grid Sistemi (EcoGrid) Karşılaştırma Ortamı (blast) Değerlendirme Sonuçlar

4. Yüksek Performanslı Hesaplama Temel bilimlerde güçlü bilgisayar ihtiyacı ve; Simülasyon, Görüntü işleme, Güvenlik uygulamaları, Veri madenciliği gibi alanlara olan ilginin artması, yüksek hesaplama kapasitesine sahip sistemlerin oluşturulmasına neden olmuştur.

5. Yüksek Performanslı Hesaplama (Devam) Yüksek Performanslı Hesaplama araştırmalarını destekleyen/gerektiren diğer argümanlar; Boş CPU Döngüleri (Cycle) Maksimum CPU kullanımı Çalışması günlerce hatta haftalarca süren deneyler Süper bilgisayarlar tasarlandı : IBM, HP, Cray, Sun

6. Paralel Hesaplama Paralelleştirme CPU seviyesi paralellik Yüzlerce/binlerce bilgisayardan oluşan paralel sistemler PVM (Parallel Virtual Machine), MPI (Message Passing Interface) Kümeleme, Beowulf Kümeleme

7. Dağıtık Hesaplama Merkezi olmayan (decentralized) sistemler Koordinasyona vurgu Internet -> DNS (Domain Name System) SETI (Search for Extraterrestrial Intelligence at Home)  5 milyon SETI@Home kullanıcısı

8. Grid Hesaplama(Elektrik Soketleri Analojisi) Elektriğin hangi barajdan/santral geldiği önemli değil

9. Grid Hesaplama (Neden?) Nükleer araştırma yapan İsviçre CERN laboratuarları, LHC (parçacık hızlandırıcı)’da yapılan CMS (Compact Muon Spectrometer) deneyinin (2007): 1 PB (Peta Byte, 1015 Byte) saf bilgi 2 PB (Peta Byte) olay logu üretmesi bekleniyor.

10. Grid Hesaplama (Devam) Büyük miktarlarda verileri yönetebilecek güçlü sistemler tasarlanmalı Minimum maliyet, en etkin kaynak kullanımı Diğer Kazanımlar : İşbirlikçi Mühendislik (Collaborative Engineering), Yüksek Verimli Hesaplama (High-Throughput Computing), Dağıtık Süper Hesaplama(Distributed Super Computing)

11. Sanal Organizasyonlar (Virtual Organizations) Grid Hesaplama (Devam)

12. Grid Ortamları - Globus OGSA Web Servisleri Gerçekleştirimi - Gerçek standartlar - Çoklu (Multiple) Gerçekleştirim Internet Standartları Globus : de facto standart Globus Toolkit Lokal (custom) çözümler - De Facto Standart - Tek (Single) Gerçekleştirim

13. Ref : www.globus.org

14. Grid Ortamları – Globus (Devam)

15. Grid Ortamları – Globus (Devam) Açık kaynaklı Globus Proje Örnekleri: Condor (Programlayıcı - scheduler) SciDACCoG GridLab GriPhyN

16. Grid Ortamları - GridBus Gridbus : Alternatif, MS .NET desteği Nimrod-G isimli kaynak brokeri (resource broker) Örnek Proje : NeuroGrid

17. Grid Son Durum Potansiyel en büyük Grid : Internet Internet, daha spesifik olarak web standartları desteklenmeli OGSA (Open Grid Services Architecture) ve OGSI (Open Grid Services Infrastructure)’ni son versiyonları, W3C, IETF ve OASIS spesifikasyonlarına uyumlu

18. Anlamsal Grid E-Science Süreçlerin Otomatikleştirilmesi Süreçlerin otomatikleştirilmesi ve makine işlenilebilirliği (machine processability) Özelleşme (Specialization)

19. Yoğun Veri İçeren Uygulamalar(Data-Intensive Applications) Örnekler : CMS (Compact Muon Spectrometer) BLAST (Basic Local Alignment Search Tool) IBIS (Integrated BIosphere Simulator) AMANDA (Antarctic Muon and Neutrino Detector Array ) SETI (Searching for Extra-Terrestrial Intelligence )

20. Blast Basic Local Alignment Search Tool Belirli büyüklükteki verilerin karşılaştırılması ve benzerlik oranlarının bulunması için tasarlanmıştır. Daha çok biyolojik çalışmalarda gen, DNA, protein analizlerinde/karşılaştırılmalarında kullanılır. Kullanım amacına bağlı olarak birçok servis sağlamaktadır. Bazıları: blastp : Amino asit karşılaştırılmasında blastn : Nukleotit karşılaştırılmasında kullanılır.

21. Blast (Devam) Farklı büyüklüklerde birçok veritabanı Hafızaya eşlenmiş (Memory-mapped) dosya kullanımı Neden Blast? Son (end-point) nokta I/O, ara (intermediate) I/O Yapılan çalışmalarda iyileştirmenin son nokta yerine, ara I/O da yapılmasına çalışılması öngörülmüştür. Son nokta girdi/çıktısı en az uygulamalardan birisi

22. Ekonomi Grid Sistemi Kurulabilir 7 bilgisayar, SUSE 9.2  4 bilgisayar SUSE 8.0  3 bilgisayar Grid kurulumu SUSE 9.2 sistemlere yapıldı. Servisler : NFS : Dosya paylasimi DNS (Bind) : Grid ici ad cozumu (is302.ieu bolgesi) Tomcat 5.0.28 versiyon

23. Planlanan truva.is302.ieu 192.168.0.50 CA (Certificate Authority) urartu.is302.ieu 192.168.0.53 Grid Öbeği (Node) Condor Kümesi (Cluster) hitit.is302.ieu 192.168.0.51 Grid Öbeği (Node), NFS Server bergama.is302.ieu 192.168.0.52 Grid Öbeği (Node) 48 portlu switch

24. Ekonomi Grid Sistemi (Devam) Özel Globus gereksinimleri (Sisteme kurulanlar) Java, Apache Ant 1.6.5, JDBC uyumlu veritabani (PostgreSQL), Zlib 1.1.4 Genel Linux Gereksinimleri (sistemde zaten kurulu olan ama konfigure edilmesi gereken yazilimlar):

25. Ekonomi Grid Sistemi (Devam) Genel Linux Gereksinimleri (sistemde zaten kurulu olan ama konfigure edilmesi gereken yazilimlar): sudo, GNU make, GNU sed, GNU tar, gcc

26. Ekonomi Grid Sistemi (Devam) Grid Elemanlari (Nodes) truva 192.168.0.50, grid CA (Certificate Authority) hitit 192.168.0.51, grid node, NFS Server bergama 192.168.0.52, grid node urartu 192.168.0.53/54, grid node

27. Grid Üzerinde Veri Yönetimi Uzak Girdi/Çıktı (Remote I/O) : Veriye uzak noktada erişim

28. Veri Kümesi Veriye sahip Grid Node ya da Depolama (Storage) Sunucusu İş Yöneticisi (Job Manager) İş1 Bu işi yap Grid Öbek 1 Grid Öbek 2 Veriye ihtiyaç oldukça uzaktaki sistemden gerekli olan alınır Uzak Girdi/Çıktı 3 .......

29. Grid Üzerinde Veri Yönetimi (Devam) Data Bölümleme (Data Staging) Ön Bölümleme (Pre Staging): Uygulama çalıştırılmadan (ya da uygulama veriyi istemeden) önce veri getirilir. Geç Bölümleme (Post Staging) : Uygulamanın çalışması bittikten sonra veri talep olmamasına rağmen transfer edilir.

30. Veriye sahip Grid Node ya da Depolama (Storage) Sunucusu İş Yöneticisi (Job Manager) İş1 İş3 İş2 Grid Öbek 1 Grid Öbek 2 Veri Kümesi1 Veri Kümesi2 Veri Bölümleme 3 1 Ön bölümle 2 3 Grid Öbek 3 Bu işi yap 2 2 - Bu iş için veri kümesinin tamamına yakını gerekecek. 4 - Benim çıktım sana lazım olabilir 4 Bu veri parçasına ihtiyacım olacak, kopyalayim 1

31. Değerlendirme Kullanılan veritbanı ecoli.nt (ecoli.nt.gz  1.438.199 Bytes) Her iki sistemde eşdeğer servislere (Unix daemons) sahiptir. Değerlendirme yapılırken sistemin sadece arama işine yöneldiği varsayılır. Uzak Girdi/Çıktı : Truva veriye sahip, bergama nukleotit arar

32. Veri Bölümleme : Truva veriye sahip, bergama bölümleme yaparak arama yapar. Değerlendirme (Devam)

33. Stork Veri Taşıma Programlayıcısı (Data Placement Scheduler) Veri Taşıma İşlemlerinin : Programlanabilmesi İzlenebilmesi Yönetilebilmesi

34. Sonuç “The next big thing”  Grid Hesaplama Grid Hesaplama, Internet’in olası en büyük hesaplama ortamı olarak düşünülmesiyle beraber yeni açılımlara sahip olmuş ve bu, araştırmacıların Internet standartlarını, varolan Grid sistemlerine entegre etmeye çalışmalarına neden olmuştur.

35. Sonuç (Devam) Grid üzerinde birinci sınıf vatandaş olarak tanımlanan ve yüksek performans ihtiyacının doğmasına neden olan, yüksek miktarda veri işleyebilme yeteneği Grid sistemleri üzerinde özel bir öneme sahiptir. Grid üzerinde sadece veri yönetimiyle ilgilenecek, varolan Grid sistemleriyle uyumlu sistemler tasarlanmıştır.

36. Sonuç (Devam) Doğru kullanıldığı zaman veri bölümleme, performansta büyük gelişmeler sağlamaktadır. Yanlış kullanım, gereksiz ağ trafiği yaratacağından Uzak Girdi/Çıktı yönteminden de kötü performansa sebep olur.

37. Teşekkürler

38. Boş CPU Döngüleri Ortalama ofis çalışanı saniyede 10 tuşa basar.100 milyon instruction işleyebilen bir işlemci için bu büyük boş zaman demektir. GlaxoSmithKline (GSK) şirketi yaptığı bir araştırmada, gün içerisinde kullanılmayan işlemci zamanlarının günün herhangi bir anının %95’ine karşılık geldiğini belirlemiş.

39. Top Super Computers 2005 http://www.top500.org