1 / 128

Chapter 3 Meta Data and Electronic Data Interchange

Chapter 3 Meta Data and Electronic Data Interchange. Data Warehouse is a collection of databases that are designed for decision support. หมายถึง ศูนย์รวมของหลักการและวิธีการเพื่อให้ได้มาซึ่ง ข้อมูล วิธีการสร้างผลลัพธ์จากข้อมูลที่มี รวมไป

mckenzie-wall
Télécharger la présentation

Chapter 3 Meta Data and Electronic Data Interchange

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Chapter 3 Meta Data and Electronic Data Interchange Data Warehouse is a collection of databases that are designed for decision support. หมายถึง ศูนย์รวมของหลักการและวิธีการเพื่อให้ได้มาซึ่ง ข้อมูล วิธีการสร้างผลลัพธ์จากข้อมูลที่มี รวมไป ถึงวิธีการดูแลรักษา และวิธีการปรับปรุง ประสิทธิภาพ

  2. Characteristics of data warehouse - subject-oriented - data is integrated from a variety of internal or external to the organization

  3. Subject-oriented The subject orientation of the data warehouse means classical operations systems are organized around the applications of the company. For an insurance company, the applications maybe auto, health, life, and casualty. The major subject areas of the insurance corporation might be customer, policy, premium, and claim.

  4. The data warehouse is integrated Of all the aspects of a data warehouse, integration is the most important. Data is fed from multiple disparate sources into the data warehouse. As the data is fed, it is converted, reformatted, resequenced, summarized, and so forth. The result is that data – once it resides in the data warehouse – has a single physical corporate image.

  5. Characteristics of data warehouse - data is transformed from its original format in the source database - is nonvolatile - time-variant, there is a time dimension to each item of data

  6. Nonvolatile The operational data is regularly accessed and manipulated one record at a time. Data is updated in the operational environment as a regular matter of course, but data warehouse data exhibits a very different set of characteristics.

  7. Nonvolatile (cont.) Data warehouse data is loaded and accessed, but it is not updated. Instead, when data in the data warehouse is loaded, it is loaded in a snapshot, static format. When subsequent changes occur, a new snapshot record is written. In doing so a history of data is kept in the data warehouse.

  8. Time variant Time variancy implies that every unit of data in the data warehouse is accurate as of some one moment in time. In some cases, a record is time stamped. In other cases, a record has a date of transaction. But in every case, there is some form of time marking to show the moment in time during which the record is accurate.

  9. The structure of the data warehouse

  10. Components of a data warehouse - Data Migration Tools - Metadata Repositories - Warehouse Data Stores - Tools for Data retrieval, formatting, and analysis - Management Tools

  11. Data Migration Tools Data migration refers to taking data from source systems and loading them into the data warehouse. Data migration tools can be divided into 3 categories:- - data copying and replication - data transformation - data cleansing

  12. Metadata Repository Metadata is defined as data about data. In the context of data warehousing, metadata is data that describes the data in the data warehouse. The metadata is stored in database called repositories. If data warehouse database likes as heart of data warehouse, then metadata repository likes as brain of data warehouse.

  13. องค์ประกอบระบบคลังข้อมูลองค์ประกอบระบบคลังข้อมูล

  14. There are two categories of data warehousing metadata repositories :- - administrative - end-user Administrative metadata describes data about source databases, data warehouse objects, and how the data from the source databases are transformed before they are moved to data warehouse.

  15. End-user metadata describes help those using the data warehouse form their queries and perform their analyses. For example, an end-user might refer to the repository to determine what a particular item of data is called.

  16. Warehouse Data Stores are the structures used to actually store the data in the data warehouse. Most warehouse data stores take the form of relational databases. However, organizations are increasingly using multidimensional databases.

  17. Database in data warehouse Occasionally, it is necessary to create a different kind of data warehouse. Sometimes there is simply too much data for normal access and analysis. When this happens, special design approaches may be used.

  18. Database in data warehouse (cont.) An interesting hybrid form of a data warehouse is the living sample database, which is useful when the volume of data in the warehouse has grown very large.

  19. Living Sample Database refers to a subset of either true archival data or lightly summarized data taken from a data warehouse. The term “living” stems from the fact that it is a subset – a sample – of a larger database, and the term “sample” stems from the fact that periodically the database needs to be refreshed.

  20. Living Sample Database (cont.) - In some circumstances, a living sample database can be very useful and can save huge amount of resources - there are some severe restrictions - is not a general-purpose database - is just one more way of changing the level of granularity in the data warehouse to accommodate DSS processing

  21. Tools for Data retrieval, formatting, and analysis A wide variety of decision makers utilize the data in a data warehouse. Query tools allow users to retrieve data from the data warehouse. Report generators are an example of formatting tools. Analysis tools include spreadsheet software, statistical analysis software and multidimensional analysis software.

  22. Two emerging developments in the analysis tool category are data mining and data visualization tools. Data mining tools help users discover patterns in the data. With most analysis tools, users know what questions they want to ask before using the tool. With data mining, users do not necessarily need to know what questions to ask; the software uncovers patterns for the user.

  23. Management Tools Data warehouse management tools allow those responsible for the operation of the data warehouse to perform their tasks more effectively. These tasks include controlling access to the data in the data warehouse, performance monitoring, and usage monitoring.

  24. Data Mart (หรือ Data Provisioning Area) คือหน่วยย่อย ๆ ของ data warehouse ทำหน้าที่เก็บฐานข้อมูลหนึ่ง ๆ ไว้ ข้อมูลที่เก็บไว้ส่วนใหญ่จะเป็นข้อมูลระดับหน่วย หรือระดับฝ่ายเท่านั้น การสร้างข้อมูลสำหรับองค์กรอาจสร้าง data warehouse หรือ data mart นั้นขึ้นอยู่กับความพร้อมของหน่วยงาน

  25. ลักษณะของ Data Mart - ข้อมูลเจาะจงไปยังกลุ่มเฉพาะ หรือ หน่วยงานย่อยในองค์กร - ให้ผลตอบแทนที่รวดเร็ว คุ้มค่ากับการลงทุน ด้านเวลา - การบริหารและจัดการข้อมูลสามารถทำได้ โดยง่าย - ช่วยเพิ่มประสิทธิภาพ เนื่องจากการคิวรีถูก แบ่งไปยังข้อมูลแต่ละส่วนของฟังก์ชัน

  26. Dimensional Data Model • หมายถึงแบบจำลองข้อมูลเชิงมิติประกอบด้วย • หลักการต่าง ๆ ดังนี้ • Measure Dimension Facts and Fact Table • การออกแบบ Dimensional Data Model • OLAP (Online Analytic Processing) และ Cubes • การดำเนินการกับ OLAP

  27. Measure Dimension Facts and Fact Table Measure หมายถึงข้อมูลที่ต้องการใช้เพื่อการ วัดทั้งในเชิงปริมาณและเชิงคุณภาพของสิ่งใด สิ่งหนึ่ง เช่น ยอดขายรวม กำไร ค่าธรรมเนียม Dimension หมายถึงข้อมูลที่เป็นมุมมองให้แก่ Measure เพื่อประโยชน์ในการวิเคราะห์ข้อมูล เช่น เวลา จังหวัด อำเภอ Fact หมายถึงชุดของค่าที่เกิดจากการจับคู่กัน ของ Dimension และ Measure ที่ทำให้เกิดค่า ใดค่าหนึ่งที่มีความหมายสามารถวัดได้

  28. การออกแบบ Dimensional Data Model ต้องคำนึงถึง Measure, Dimension และ ความต้องการเพื่อการสร้างโครงสร้างของ Fact ที่สนใจ และนำไปสู่การสร้างโครงสร้างของ Fact table ที่จะเกิดขึ้นต่อไป เราสามารถใช้ Entity-Relational Diagram เพื่อแสดงความสัมพันธ์ระหว่าง Measure และ Dimension และ Fact table ได้ ลักษณะของ Dimensional Data Model สามารถจำแนกได้เป็น 2 แบบ คือ Star Schema และ Snowflake Schema

  29. หลักการทำงานของระบบคลังข้อมูลหลักการทำงานของระบบคลังข้อมูล

  30. โครงสร้าง Data Warehouse (CUBE) • CUBE โมเดลข้อมูลของ Data Warehouseซึ่งเปรียบเสมือน • กับรูปลูกบาศก์ที่มีมุมมองหลากหลาย แต่ละมุมมองจะทำให้เกิด • การคิวรีข้อมูลจาก Data Warehouseได้หลากหลายแบบ

  31. CUBE: โครงสร้างแบบ Star Schema • Star Schema หมายถึง Dimensional Data • Model ที่มี Fact table ขนาดใหญ่เพียงหนึ่ง • เดียวอยู่ตรงกลาง และมี Dimension Table • จำนวนหนึ่งอยู่รายรอบเพื่อกำหนดมุมมองที่จะมี • ต่อข้อมูลใน Fact table นั้น โดยจำนวนมุมมอง • จะเท่ากับจำนวนของ dimension table ที่รายรอบ • อยู่ และเท่ากับจำนวน Dimension ที่เชื่อมต่อโดย • ตรงกับ Fact table

  32. CUBE: โครงสร้างแบบ Star Schema

  33. CUBE: โครงสร้างแบบ Snowflake Schema • Snowflake Schema หมายถึง Dimensional • Data Model ที่มี Fact table ขนาดใหญ่เพียงหนึ่ง • เดียวอยู่ตรงกลาง และมี Dimensional table จำนวน • หนึ่งอยู่รายรอบ โดยจำนวนมุมมองที่ได้จะเท่ากับ • จำนวน Dimension table ที่รายรอบอยู่ แต่จะมาก • กว่าจำนวน Dimension ที่เชื่อมต่อโดยตรงกับ Fact • table และ Dimension ที่ไม่ได้เชื่อมต่อโดยตรงกับ • Fact table นั่นคือแตกต่างจากโครงสร้างแบบ • Star Schema ตรงที่ Dimension table มีหลายระดับ • และมีคีย์ที่โยงไปยัง Dimension table อื่นอีก ดังนั้น • โครงสร้างแบบนี้จะซับซ้อนมากขึ้น รวมทั้งมีผลให้ • การใช้คิวรียากขึ้นอีกด้วย

  34. CUBE: โครงสร้างแบบ Snowflake Schema

  35. EDI - non-Internet-based infrastructure - truly connected organizations for conducting business transactions electronically

  36. EDI trade cycle Search Pre Sale Negotiate • Regular, repeat transactions between commercial trading partners • Examples: • Supermarkets replenishing stocks • Vehicle assemblers purchasing components Order Execution EDI Deliver Invoice Settlement Payment After Sales After Sale

  37. Seller Buyer Purchase order Invoice Acknowledgement of P.O. Shipping notice Receiving report Goods Copy of notice of payment remittance Notice of payment Remittance Transfer of funds Buyer’s bank Seller’s bank Notice of payment remittance

  38. EDI definition • Summarised as:‘Paperless Trading’ • Defined as:‘The transfer of structured data, by agreed message standards, from one computer system to another, by electronic means.’ International Data Exchange Association (IDEA)

  39. EDI definition Structured data • Standardised Document • e.g. Order/Invoice • Codes • e.g. Product Code/Customer Code • (preferably using a common standard e.g. ANA/UPC) • Values • e.g. Quantity Ordered

  40. ORDER From: Pens and Things 123 London Road Kendal Cumberland Address Code: 6464326 To: J. Smiths and Sons Packaging Solutions 257 Manchester Road Blackburn Lancashire Address Code: 1149646 Order Ref: AC6464 Order Date: 15.03.2000 Qty Description Product Code 1,600 Case: Executive Elite – Red PT-1073-R 1,200 Case: Executive Elite – Silver PT-1073-S end of order EDI definition Structured data – an order

  41. EDI definition Agreed message standards • Sectorial standardse.g. Odette • National standardse.g. ANSI X12, Tradercoms • International standardsi.e. EDIFACT

  42. EDI definition Agreed message standards – EDIFACT example UNH+000001+ORDERS:2:932:UN' BGM+220+AC6464' DTM+4:20000305:102' NAD+BY+6464326::91' NAD+SU+1149646::91' UNS+D' LIN+1++PT-1073-R:VP' QTY+21:1600' LIN+2++PT-1073-S:VP' QTY+21:1200' UNT+11+000001'

  43. EDI definition From one computer system to another • EDI messages are (properly) sent: • From one computer’s application,e.g. the customer’s Purchasing System. • To a second computer’s application,e.g. the supplier's Order Processing System. • There is no need read or re-key the data into a computer system.

  44. EDI definition By electronic means • Transmission by: • data communications network • or possibly physical transfer of: • magnetic tape or • floppy disc

  45. Components of EDI - Software :- EDI translation outbound transformation inbound transformation - Standards ANSI ASC X12 EDIFACT WINS TDCC

  46. Components of EDI (cont.) - Telecommunication network Value added networks (VANs) additional services :- store-and-forward messaging protocol conversion speed translating data handling packet assembly and disassembly

  47. Components of EDI (cont.) - Legal Agreements sign a number of legal agreements determining their responsibilities, level of information sharing, a host of other contracting arrangements

  48. Benefits of EDI Shortened ordering time a posted order … printCustomer envelope post room postal service supplier post room key-into order processing systemSupplier … say 7 days between two large organisations an EDI order … CustomerEDI transmissionSupplier … one day, one hour, as quick as you like

More Related