Analisis Kinerja Sistem

1. AnalisisKinerjaSistem EvaluasiKinerja

2. Objektif • DefinisiKinerja • KesalahanUmumDalamEvaluasi • PendekatanSistematik • JenisStudiEvaluasi • AturanValidasi • KlasifikasiAlatBantu untukMetrik

3. DefinisiKinerja • “Suatutingkatandarisistemkomputasi yang diharapkanmanusia.” (Doherty, W.J.(1970), Schedulling TSS/360 for Responsiveness, AFIPS Proc. FJCC, 1970, pp. 97-111) • “Menunjukkankeefektifitasansumber (sistemkomputer ‘host’) yang digunakanbersamaandenganobyeksistemperangkatlunak.” (Graham, R, M. (1973). Performance prediction, Advances Courses on Software Engineering, Springer Verlagn, 1974, pp.395-463.) • Dapatkitadefinisikandengan : “Sejauhmanasuatusistemdapatmembuatkitamelakukanapa yang inginkita lakukan” lalu dapat diartikan “Sejauh mana sistem dapat melakukan apa yang kita harapkan untuk melakukannya"

4. KESALAHAN UMUM DALAM EVALUASI

5. KesalahanUmumDalamEvaluasi • Tidakadatujuan • Tidakada model yang memilikitujuan yang umum. Model dibuatdengantujuan yang jelas. • Sangatsulitmengidentifikasimasalahkinerja, inimembuatsulituntukmendefinisikantujuan (yang biasanyaselaluadaperubahan) • Deskripsikan goal danmendesaineksperimen (Jangantembakdankemudiangambar target)

6. KesalahanUmumDalamEvaluasi • Tujuan yang bias • Menunjukkansistemkamilebihbaikdarisistemmereka. • Analyst kinerjaseringberlakusebagaijuri yang subyektif.

7. KesalahanUmumDalamEvaluasi • Analisistanpamemahamipermasalahan. • Masalah yang dipahamidenganbaikadalahsetengahdaripenyelesaian. • Mendefenisikanmasalah, melihatalternatifpenyelesaian, memilihalternatiftersebut, menginterpretasikannya, lalumenyimpulkan. • Pelangganakhirhanyabutuhjawaban, tidakbutuhsekedar model saja.

8. KesalahanUmumDalamEvaluasi • Metrikkinerja yang tidaktepat • Dalammembandingkankinerja CPU CISC dengan CPU RISC, orang-orangbiasanyamelakukandenganmetrik yang mudahseperti Clock frekuensidalam MHz daripadasesuatu yang lebihrelevan.

9. KesalahanUmumDalamEvaluasi • Beban kerja yang tidak representatif • Workload memilikipengaruh yang sangattinggipadahasil yang dicapai. Sangatbaikuntukmembangun workload yang akuratuntukevaluasi. • Seharusnyarepresentatifdaribagaimanasistembekerjasesungguhnya • Contoh, variasiukuran packet yang dikirimkanmelaluisuatujaringan (besardankecil)

10. KesalahanUmumDalamEvaluasi • Teknikevaluasi yang salah • • Pengukuran • Simulasi • Model analitik • Orang-orangbiasanyamemilih yang merekaketahui yang paling terbaik, daripadamemilih yang paling sesuaidenganpermasalahan yang dihadapi. • 3 teknikberbedadiatasmemilikiperbedaankeuntungandanketerbatasan. • Jangan gunakan palu dan melihat semua sebagaipaku

11. KesalahanUmumDalamEvaluasi • Parameter terlalumendetail • Dalammembuatdaftarkebutuhandarisuatusistemdankarakteristikworkload mesti dapat memastikan untuk tidak melupakan setiap karakteristik yang memungkinkanmemilikipengaruhpadakinerja. • Namuntidaksemuadalamdaftar yang digunakandalamsimulasidananalisis, kita mesti mengetahui mana yang penting saja.

12. KesalahanUmumDalamEvaluasi • Desaineksperimen yang tidaktepat • Desainadalahpertanyaan yang meliputi area parameter. Pemilihandesain yang tepatharuslahberhasilmendapatkaninformasimaksimaldaribeberapa kali eksperimen yang dilakukan.

13. KesalahanUmumDalamEvaluasi • Tidakadaanalisa • Studiberakhirdengankebanjiran data namunkekuranganpenjelasan. • Analisa data tersebutterlebihdahulu! • Semuanya pengukuran, tidak ada analisis.

14. KesalahanUmumDalamEvaluasi • Analisis yang mengandungkekeliruan • Iniadalahkesalahanklasikseperti rata-rata darisuaturasiotertentu, dansebagainya. • Analisis yang tidaksensitif • Ahlikomputerbiasanyamemberiterlalubanyakpenekananpadahasilsebagaisuatufakta, daripadapenekananpadafaktanyaitusendiridanbagaimanamengolahnya. • Analisa adalah bukti bukan kenyataan. • Menentukansensitivitas model untukberbagaivariasipengukuran - janganmemperlakukananalisissebagaisuatufaktatertentu.

15. KesalahanUmumDalamEvaluasi • Mengabaikankesalahanpada input • Kita seringmembutuhkanpengambilan data input yang berasaldarisuatu data lain. • Misalnya kita dapat saja menghitung jumlah paket, namun tidak dapat menghitungbesarpaketnya. Sesuatu yang amatpentingpadaperangkatjaringan. • Denganberfokuspada mean, max atau min, upayauntukmembuatvariabel input yang terkendali (secara statistik) belumlah cukup. Perlu diperhatikan pula variasinya.

16. KesalahanUmumDalamEvaluasi • Perlakuan yang tidakbenarpadafaktorluar (outliers) • Dalammemutuskanfaktorluar yang menjadisifatsuatusistemsangatsulit. Iniadalahsalahsatu yang amatdibutuhkandalammemahamisistemdanmembuatmodelnya. • Jikadisebabkanolehfenomena real, faktorinidapatdipahamidandiambil. Jikatidakdapatdiabaikan. • Harus diputuskan apakah faktor luar itu valid untuk dapat membuat analisissebagaisuatuseni.

17. KesalahanUmumDalamEvaluasi • MengabaikanAsumsidanLimitasi • Misal, mengasumsikankebanyakan traffic TCP, dimanabeberapa link memiliki traffic UDP ygsignifikan

18. KesalahanUmumDalamEvaluasi • Asumsitidakadaperubahandimasa yang akandatang • Masadepanmungkinsajaakanberbeda, analisis yang baikdapatmengatasi perubahan yang yang terjadi. • Perbedaankinerjadapatmenimbulkanperbedaandalampenggunaan. • Contoh : CPU yang lebihcepatberartiorang-orangakanmenggunakansiklus CPU yang lebihbanyak pula. • Perhitungankasarkenaikansiklus CPU jikadidasarkanpada workload yang tetapakanmenghasilkankesalahan.

19. KesalahanUmumDalamEvaluasi • Analisis yang terlalukompleks • Apabilaanalisis yang sederhanaakanmenuntunpadahasil yang sudahpastisama, makadengankepastianiniakanlebihbaikdaripadaanalisisyang terlalukompleks.

20. KesalahanUmumDalamEvaluasi • Penyajianhasil yang tidakpantas • Pemilihan media penyajian, apakanh menggunakan diagram batang, diagram pie atau yang lainnyaharusdapatmenjelaskansistemsecarautuh.

21. PENDEKATAN SISTEMATIK

22. PendekatanSistematik • Nyatakan goal dantentukanbatas • Pilihmetrikkinerja • List parameter sistemdan workload • Pilihfaktordannilai • Pilihteknikevaluasi • Pilih workload • Eksperimendesain • Analisa dan interpretasi data • Berikanhasil. Ulangi.

23. PendekatanSistematik • Nyatakan Goal danTentukan Batas • Hanya dengan “mengukur kinerja” atau “melihatbagaimanakerjanya” adalahterlaluumum • Mis: goal adalahmenentukan ISP manaygmemberikan throughput lebihbaik • Definisisistemdapattergantungdari goal • Mis: jikamengukurkecepataninstruksi CPU, sistemmungkintermasuk CPU + cache • Mis: jikamengukurwakturespons, sistemmungkin termasuk CPU + memory + … + OS + user workload

24. PendekatanSistematik • PilihMetrikKinerja • Kriteriauntukmembandingkankinerja • Secaraumum, berhubungandengankecepatan, akurasidan/atauavailabilitaspelayanansistem • Mis: kinerja network • Kecepatan: throughput dan delay • Akurasi: error rate • Availabilitas: paket data terkirim yang sampai

25. PendekatanSistematik • List Parameter • List semua parameter yang mempengaruhikinerja • Parameter sistem, karakteristik perangkat lunak dan perangkat keras secara umumbiasanyatidakberubah-ubahdiantaraberbagaimacammetodeinstalasisistem. • Mis: tipe CPU, tipe OS, … • Parameter workload, karakteristik yang diminta user biasanya berbeda-beda pada suatu instalasi sistem dengan instalasi yang lainnya. • Mis: Jumlah user, tipe requests

26. PendekatanSistematik • MemilihFaktor • Pemisahan parameter dalam suatu studi dalam klasifikasi tertentu akan meluaskanjangkauanstudi. • Faktoradalah parameter yang berubah-ubahselamaevaluasi, nilaidarisuatufaktordisebutlevel. • Parameter dengan pengaruh yang kuat pada kinerja sistem harus dijadikansuatufaktor.

27. PendekatanSistematik • PilihTeknikEvaluasi • Tergantungdariwaktu, resources dan level akurasi yang diinginkan • PemodelanAnalitik • Cepat, keakuratanlebihrendah • Simulasi • Usaha medium, akurasi medium • Pengukuran • Umumnyausahanyabesar, akurasitinggi • Catatan, semuadiatastipikaltetapidapatkebalikannyadikasustertentu!

28. PendekatanSistematik • PilihTeknikEvaluasi • Pertimbangan: • Ketersediaanwaktu • Ketersediaanalat bantu dankeahlian • Level akurasi, tidakidentikdengankesimpulan yang benar. • Biaya • Jika ini adalah konsep yang baru, maka analisis dan simulasi adalah alternatifpilihannya. (pengukuranlangsungtidakakan valid). • Analisis yang lengkapdidapatjikamodelnyaakurat.

29. PendekatanSistematik • PilihTeknikEvaluasi • Pengukurandapatmemperdayakarenabiasaterdiridaribanyakmacam parameter lingkungan yang terkaitsecaralangsung. • Istilah akurat dan kesimpulan yang benar tidaklah sama: ”Kita dapatmendapatkankesimpulan yang salah, walaudengan data yang akurat.” • Tujuansetiapanalisiskinerjaadalahmempelajariberbagaimacamalternatif. • Seringkalisangatbergunauntukmenggunakanduateknik: • Simulasidan model analitik - masing-masingdapatsalingmemvalidasi. • Simulasilebihberartilagijikadilakukansetelahpengukurandanpengukuran pun dapatdigunakan pula untukmengkalibrasisimulasi.

30. PendekatanSistematik • Pilih Workload • Tentukan service ygdimintasistem • Tergantungdariteknikpengukuran • Model analitikdapatmemilikiprobabilitasberbagai request • Simulasidapatmemilikikesamaanpermintaandari real system • Pengukuranmungkinmemiliki scripts yang menganggutransaksi • Seharusnyarepresentatifuntuk real life

31. PendekatanSistematik • DesainEksperimen • Urutanlangkah (simulasi, pengukuran) harusdapatmemberikaninformasi yang maksimal, cakupanmaksimaldengan minimal upaya. • Melewati 2 fase : • Banyakfaktor, sedikit level. (desaineksperimenfaktorial) Melihatfaktormana yang penting • Mengurangifaktor, menambah level. (analisissensitif) Melihatjangkauanpengaruhuntukfaktortertentu

32. PendekatanSistematik • AnalisadanInterpretasi data • Membandingkanalternatif • Memasukkanvariabilitashasildalampertimbangan • Diuraikandengantidakacakdanberdasarkanvariabeltertentu. • Menafsirkanhasildarianalisis • Mempersiapkankesimpulan • Analisatidakmenghasilkankesimpulan • Beda analyst mungkinbedakesimpulan

33. PendekatanSistematik • Presentasi data secarapantas • Tujuanutamanyaadalah agar hasilpengukuranmudahdipahami. • Dengan spreadsheet, grafikdangambar. • Tidakadaistilahstatistikallagi. • “Tugas scientist tidakhanyamelihat. Melihat, memahami, danmengkomunikasikannya.”

34. JENIS STUDI EVALUASI

35. JenisStudiEvaluasi • EvaluasiPerbandingan (Comparative Evaluation) • Membandingkan sistem yang satu dengan sistem lain yang berbeda (relatif) • Tujuan : menyeleksi layanan komputasi, mengevaluasi perubahan sistem, persiapan untuk melakukan pembelian atau penyewaanperangkatkerasatauperangkatlunak yang baru. • Evaluasianalitik (Analytic Evaluation) • Sistem yang akandievaluasidenganberbagaimacam parameter tertentu . • Tujuan : memperbaiki keberadaan kinerja sistem, memelihara sistemoperasi, mendesaindanmengimplementasikansistembaru.

36. JenisStudiEvaluasi

37. JenisStudiEvaluasi • Karakteristikkinerjadibuatberdasarkanhimpunankuantitas parameter pengukurankinerja. Mengukurkinerjaadalahsesuatu yang ditekankansecaraterusmenerussebagaisuatunilai mean tertentu. • Dalambeberapakasus, nilai mean kadangkalasangattidakmencukupi. Sebagaicontohvariasiwakturespon yang terlalubesar. • Banyaknilaiakuratdihasilkanketikasistemjustrudiukurdalam workload yang nyata, namunkadangkalavariabeltersebuttidaktersedia, jadidigunakanlahsimulasidananalisa.

38. AturanValidasi • Janganpercayahasil model simulasisampaidivalidasioleh model analitikataupengukuran. • Janganpercayahasil model analitiksampaidivalidasiolehsimulasiataupengukuran. • Janganpercayahasilpengukuransampaidivalidasiolehsimulasidan model analitik. • Khususaturan no 3 diatasbiasanyadiabaikan • Paling tidak ada intuisi ahli. • Adalahide yang baikuntukmenggunakanduateknik

39. KlasifikasiAlat Bantu untukMetrik • Lebihtinggilebihbaik – High is better (HB) • Lebihrendahlebihbaik – lower is better (LB) • Nominal lebihbaik – nominal is better (NB) : • Nilaitinggidanrendahtidakmungkinmunculbersamaan • Pertimbangan utilization : • Jikaterlalutinggi, wakturesponmenjadi lama. • Jikaterlalurendah, resource tidakdigunakansecarabaik. • Yang baikadalahpada range 50 – 75 %