1 / 34

Data Warehouse, Data Mart, OLTP & OLAP

Data Warehouse, Data Mart, OLTP & OLAP. Apa Data Warehouse ?. Merupakan database yang berisi data dari beberapa system operasional yang terintegrasi , teragregrasi dan terstruktur sehingga dapat digunakan untuk mendukung analisa dan proses pengambilan keputusan dalam bisnis. Products.

zubaida
Télécharger la présentation

Data Warehouse, Data Mart, OLTP & OLAP

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Data Warehouse, Data Mart, OLTP & OLAP

  2. Apa Data Warehouse ? • Merupakan database yang berisi data daribeberapa system operasional yang terintegrasi, teragregrasidanterstruktursehinggadapatdigunakanuntukmendukunganalisadanprosespengambilankeputusandalambisnis Products Brands Cost Suppliers Mktg Customer Care Sales Information Clients Operational data

  3. Mengapakitaperlu Data Warehouse? • Apakahandamemilikidata detail historiuntuktujuananalisa ? • Berapabulandari data histori yang diperlukanuntukdi-online-kan ? • Apakahandamenyimpan level detail yang benar? • Apakahandadapatmenganalisapenjualanuntuktiapprodukdarisetiapdaerahsebelumdansesudahstrukturpelaporanpenjualandi-reorganisasi ? • Data warehouse dibangundengantujuanmemecahkansemuapersoalantersebut.

  4. Tujuan • Mendukungpengambilankeputusan, bukanuntukmelaksanakanpemrosesantransaksi • Data warehousehanyaberisiinformasi-informasi yang relevanbagikebutuhanpemakai yang dipakaiuntukpengambilankeputusan

  5. TinjauanHistori • Tahun 1970-an aplikasikomersialpertamadibangun => dibangunpadacomputer mainframe • Tahun 70-an danawal 1980 => minicomputers seperti Digital's PDP-11 dan VAX 11/780 membuatharga hardware turundrastis • munculnyadatabase relasional • tahun 1979, Oracle sebagai software komersialpertama • kemunculanPersonal Computer (PC), komputasiberalihdari mainframes kesystem client/server • Tahun 1980-an • system OLTPdibangundenganmenggunakan system relasional

  6. Era Kemunculan Data Warehouse • Dan padaakhirtahun 1980-an danawaltahun 1990-an, mulaidilakukantinjauanbisnissecaramenyeluruh, sehinggamuncullahenterprise data warehouses untukpertamakalinya • Istilah data warehouse dikenalkanpertama kali oleh Bill Inmon

  7. Ciri-ciri Data Warehouse Terdapat4 karateristik data warehouse: • Subject oriented – Data yang disusunmenurutsubyekberisihanyainformasi yang pentingbagipemrosesan decision support. – Database yang semuainformasi yang tersimpandikelompokkanberdasarkansubyektertentumisalnya: pelanggan, gudang, pasar, dsb. – Data-data disetiapsubyekdirangkumkedalamdimensi, misalnya: periodewaktu, produk, wilayah, dsb, sehinggadapatmemberikannilaisejarahuntukbahananalisa.

  8. Ciri-ciri …(contd.) • Integrated – Jika data terletakpadaberbagaiaplikasi yang terpisahdalamsuatulingkunganoperasional, encoding dataseringtidakseragamsehingggabila data dipindahkanke data warehouse maka coding akandiasumsikansamasepertilazimnya. • Time-variant – Data warehouse adalahtempatuntukstoring data selama 5 sampai10 tahunataulebih, data digunakanuntukperbandinganatauperkiraandan data initidakdapatdiperbaharui. • Non volatile – Data tidakdapatdiperbaharuiataudirubahtetapihanyadapatditambahdandilihat

  9. Sifat Data Warehouse • Kelompokvariabelatau parameter disebutDimensionspada On-Line Analytical Processing (OLAP) • Multidimensional yang berartibahwaterdapatbanyaklapisankolomdanbaris (Iniberbedadengantabelpada model relasional yang hanyaberdimensidua) • Berdasarkansusunan data sepertiitu, amatlahmudahuntukmemperolehjawabanataspertanyaanseperti: “Berapakahjumlahproduk 1 terjualdiJawa Tengah padatahun n-3?”

  10. Data warehouse melihatkedalam data untukmenemukaninformasi • Aktifitasutamanyaadalahquery, ataumembaca data. • Aktifitasperubahan (update) hanyaterjadipadasaat data di-load kedalam warehouse. • Materialized views ditambahkan pula sejak Oracle 8iuntukmeningkatkanperformansipadasaatmelakukanaggregasidan summary pada data.

  11. Analisa yang diperolehdari Data Warehouse • Tidakcukuphanyadenganmengetahuikeuntungan yang diperolehtahunini, seoranganalisjugaperlumengetahuikeuntunganpadasetiapperiodewaktutertentuuntuksetiapprodukdisetiaparea geografistertentu. • Seoranganalisperlumembandingkanpenjualanbulaninidenganbulan yang samapadatahunsebelumnya.

  12. Data warehouse membutuhkandesain database yang berbeda • Data warehouses didesainuntukbisamelakukan query secaracepat. • Informasiditurunkandari data lain, dilakukanrolling up data untukdijadikanringkasan (summaries), dilakukanoperasidrilling down untukmendapatkaninformasilebih detail, ataumelihatpola yang menarikataumelihattrend (kecenderungan). • Desain yang sesuaiadalahdenganmenggunakanskema star yang diperkenalkanmulaipertamaoleh Ralph Kimball

  13. Pendekatan dimensional padaskema Star • Mengorganisasi data kedalamtable faktadantabeldimensi. • Dimensi-dimensidalamskema star digunakanuntukmelakukananalisadanmengorganisasi data. • Desainlogikaditampilkandalambentukrepresentasifisik yang akanmengoptimalkanperformansidanmanajemen. • Dalamhalini, Tabel, constraints, indexes, danpartisididefinisikan.

  14. Data warehouses sebagai system terpisah • Mengapakitaperlumengkopi data darisatu system ke system lain untukmembangun warehouse? • Alasan: system operasionaltidakberisi data histori(data time series – atau data yang mengandungdimensiwaktu), sehingga data tidak available untukdianalisa. • Jugaskema data system operational tidakdidesainuntukkeperluanquerikecerdasanbisnis(business intelligence queries).

  15. Data warehouse dibangundari system operasional • Membangun warehouse melibatkanekstraksidata darisystem operasional, dikombinasikandenganinformasitambahandaripihakketiga, mentransformasinyakedalam format yang seragamdandi-load kedalam database. • 80% waktudigunakanuntukproses extraction/ transformation/load (ETL) : menempatkan data, menulis program untukekstraksi; memfilter, danmembersihkan data; mentransformasi data kedalamskemapengkodeanstandart; kemudian me-load data kedalam data warehouse.

  16. Contoh format yang tidaksama • Produkdengankode "1234" disebutdengan “roti” sementaraditempat lain "1234“ disebut “kue” • Kodeprodukdirepresentasikandengankarakter yang dipisahkandengantanda ‘-‘(xxx-xx-xxx) sedangkanditempat lain direpresentasikandengankarakter yang dipisahkandengantandaspasi (xxx xx xxx). • Untukatribut gender pada table customer digunakannilai "0" atau "1." Sedangkandi system lain, digunakan "M" atau "F.“ • Perbedaanmatauang yang tidaksamauntuk data penjualan, digunakan rupiah, dollar atau euro.

  17. Software Data Warehouse • Data warehousedapatdibangunsendiridenganmenggunakanperangkatpengembanganaplikasiataupundenganmenggunakanperangkatlunakkhusus yang ditujukanuntukmenanganihalini • Beberapacontohperangkatlunak yang digunakanuntukadministrasidanmanajemendata warehouse: • HP Intelligent Warehouse (Hewlett Packard) • FlowMark (IBM) • SourcePoint (Software AG)

  18. Data Mart • Data marts adalahsubyekspesifikatauaplikasispesifikdari data warehouses yang berisi data untuksatu line bisnistertentusemisalpenjualanataupemasaran. • Ruanglingkupdata mart lebihkecil, data didapatkandarisumber yang lebihsedikit, danwaktuimplementasinyajugalebihpendek.

  19. Tipe Data Mart • Data marts bisabersifatdependent atauindependent, tergantungpadasumberinformasinya. • Sumberinformasiuntuk data mart yang bersifat dependent adalahdata warehouse itusendiri. • Sedangkan data mart bersifat independent jikatidakterdapat data warehouse, dan data diekstraksecaralangsungdari system operasional.

  20. Data Warehouse & dependent Data Mart

  21. Software Data Mart • SmartMart (IBM) • Visual Warehouse (IBM) • PowerMart (Informatica)

  22. Online Transaction Processing (OLTP) • Suatu class program ygmemfasilitasidanmengaturaplikasiberorientasitransaksi, khususnyauntukdata entry dantransaksipencarianpadasejumlahindustri. • Meliputi banking, airlines, mailorder, supermakets

  23. OLTP Vs Data Warehouse Workload • Data warehouse didesainuntukmenampungquerydalamjumlah yang besar • OLTP hanyamendukungoperasitertentu Data modification • Data warehouse diupdate data secara regular (setiapminggu/ hari) memakaiteknikmodifikasi data shg user tidaksecaralangsungmengupdate data warehouse • Pada OLTP, user melakukanproses update data secararutindanlangsung • v vv

  24. OLTP Vs Data Warehouse (contd.) SkemaDesain: • Data warehouse biasanyaternormalisasisecarasebagianbahkandalamkeadaantidakternormalisasi • OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete danmeningkatkankonsistensi data Typical operation • Data warehouse menjalankan query yang memprosesbanyakbaris(ratusanataumilyaran), contoh :total penjualansemuacustomer pada akhirbulan • OLTP hanyamengkasesrecord tertentu, contoh :mencari data order untuk customer tertentu

  25. OLTP Vs Data Warehouse (contd.) Historical data • Data warehouse menyimpan dataselamabeberapabulanatautahun. Hal inimendukungproses historical analysis • OLTP menyimpan data hanyabeberapamingguataubulan

  26. Online Analytical Processing (OLAP) • Suatujenispemrosesan yang memanipulasidanmenganalisa data bervolumebesardariberbagaiperspektif (multidimensi). OLAP seringkalidisebutanalisis data multidimensi (atributdimensi & ukuran). • Saatini OLAP lebihseringterdengardenganistilah BI (Business Intelligent) • Cara untukmenganalisa data-data perusahaandenganbegitumudahyaitudengancara'Drag & Drop', sehingga data-data tersebutbisamenjadisuatuinformasi yang lebihbernilai

  27. Untukmempermudahandamengingattentang OLAP adalah'Fast Analysis of Shared Multidimensional Information' atau'FASMI'.FASTberartibahwainformasi yang akandilakukansangatcepat, untukmemproses data 1,000,000 transaksihanyamembutuhkanwaktu +/- 2.5 menitdengan 10 dimensidan 3 jenisukuran.ANALYSISberartibahwa system dapatmencakup 'Business Logic' dan data analisastatistik yang relevandengan data-data yang tersedia.

  28. SHAREDberatibahwa system inidiimplementasikandengansuatu system keamananuntukmenjagakerahasiaaninformasi. Sehinggasetiap user dapatdiatursesuaikebutuhan.MULTIDIMENSIONALadalahsuatukuncikebutuhanterhadappenggunaanaplikasi OLAP. Setiapaplikasiiniharusselalumengandungunsur multi dimensi.INFORMATIONadalahsemua data danturunaninformasi yang dibutuhkan, dimanapundanbagaimanapun data ituharuslahberhubungandenganaplikasi.

  29. Contoh data 2-dimensi

  30. Kemampuan OLAP • Konsolidasimelibatkanpengelompokan data. Sebagaicontohkantor-kantorcabangdapatdikelompokkanmenurutkotaataubahkanpropinsi. Transaksipenjualandapatditinjaumenuruttahun, triwulan, bulan, dansebagainya. Kadangkalaistilahrollupdigunakanuntukmenyatakankonsolidasi • Drill-downadalahsuatubentuk yang merupakankebalikandarikonsolidasi, yang memungkinkan data yang ringkasdijabarkanmenjadi data yang lebih detail • Slicing and dicing (ataudikenaldenganistilah pivoting) menjabarkanpadakemampuanuntukmelihat data dariberbagaisudutpandang

  31. Contoh Pivoting Table

  32. SoftWare OLAP • Express Server (Oracle) • PowerPlay (Cognos Software) • Metacube (Informix/Stanford Technology Group) • HighGate Project (Sybase)

  33. Tugas • Caricontohartikelaplikasipenggunaandatawarehouse,datamart, OLAP, OLTP! • Berikanilustrasidalamaplikasiproses-proses: • Slice & dice • Roll up & Drill down • Tugasdikumpulkanminggudepanpadahari yang sama!

More Related