160 likes | 293 Vues
Projekt Ferienclub. Business Intelligence Jan Weinschenker. Jan.Weinschenker@informatik.haw-hamburg.de. Agenda. Ziele und Aufgaben BI-Architektur Datenmodelle Extraktion, Transformation, Laden Vorgehen im Projekt Zusammenfassung und Ausblick. Ziele und Aufgaben.
E N D
Projekt Ferienclub Business Intelligence Jan Weinschenker Jan.Weinschenker@informatik.haw-hamburg.de
Agenda • Ziele und Aufgaben • BI-Architektur • Datenmodelle • Extraktion, Transformation, Laden • Vorgehen im Projekt • Zusammenfassung und Ausblick Jan Weinschenker
Ziele und Aufgaben • Business Intelligence im Ferienclub • Testdaten generieren • Unsere Anwendungsfälle realisieren • Testschema mit Kundendaten • Appointments • (Tracking) Jan Weinschenker
BI-Architektur Jan Weinschenker
Basisdatenbank Jan Weinschenker
Ausgangslage: PTT Jan Weinschenker
Extraktion und Transformation • Extraktion der Daten • Aus Produktivsystem in den Arbeitsbereich • Transformation der Daten • In eine analyseoptimierte Form Jan Weinschenker
Laden der Daten • … in die Basisdatenbank • Dort endgültige Lagerung • Basis für Analysen • Keine Änderungen mehr Jan Weinschenker
Verwendete Werkzeuge Arbeitsbereich und Basisdatenbank BizGres DBMS (ein PostGreSQL-Fork) ETL: Enhydra Octopus Java-basiert Konfiguration über XML Datenbankzugriff per JDBC (kein Bulkload) Diverse JDBC-Treiber Jan Weinschenker
Verwendete Werkzeuge Eclipse-Plugins XMLBuddy QuantumDB Fedora Linux Aqua Data Studio Ant Jan Weinschenker
Vorgehen im Projekt • Installation und Konfiguration der Arbeitsumgebung (MS I) • Erzeugen von Testdaten • Testdaten und Testdatenschema (MS II) • Testdaten für PTT-Schema (MS III) Jan Weinschenker
Vorgehen im Projekt • ETL-Jobs verfassen (XML, SQL) • Definition von • Quell- und Zieldatenbank • Quell- und Zielschema • Kopier- und Transformationsvorgängen • Fehlersuche und Debugging • Eigenheiten von JDBC-Implementierungen • Änderungen an Datenbankschemata Jan Weinschenker
Zusammenfassung und Ausblick • ETL ist Fummelkram • Man kennt die Datenschemata aller Beteiligten • Ich hätte gerne noch • Ein besseres Cleanup derQuelldaten gemacht • Eine SOA-Adminschnittstelle implementiert Jan Weinschenker
Fragen? Jan Weinschenker
Quellen • BizGres DMBS • http://www.bizgres.org • Enhydra Octopus ETL-Tool • http://octopus.enhydra.org • JTDS JDBC-Treiber (für MS SQLServer) • http://jtds.sourceforge.net/ • PostgresQL JDBC-Treiber (für BizGres) • http://jdbc.postgresql.org/ Jan Weinschenker
Quellen • XMLBuddy Eclipse Plugin • http://xmlbuddy.com/ • QuantumDB Eclipse Plugin • http://quantum.sourceforge.net/ • Fedora Linux • http://fedora.redhat.com/ • Aqua Data Studio • http://www.aquafold.com/ • Apache Ant • http://ant.apache.org/ Jan Weinschenker