Quality Control in Data Integration Processes - Challenges, Strategies, and Best Practices

1. Qualitätskontrollevon Datenintegrations-prozessen Christoph Metz WIN – Treffen 02.10.2010

2. Übersicht • Auffrischung • Herausforderungen bei Datenintegrations-Prozessen • Qualitätskontrolle von Datenintegrationsprozessen • Abschließende Bemerkung

3. Data Warehouse Auswertungsschicht Reporting, OLAP Datenhaltungsschicht DWH Integrationsschicht Ladekomponente Transformationskomponente Extraktionsschicht Extraktionskomponente XML ERP/CRM www XML

4. Data Warehouse - ETL Typische Transformationen • Anpassung von Datentypen • Eliminierung von Duplikaten • Anpassung von Datenwerten • Schlüsselanpassungen • Umrechnung von Maßeinheiten • Aggregationen • Anreicherung von Daten • … Daten durchlaufen eine ganze Reihe von Prozessschritten

5. Herausforderungen bei ETL-Prozessen

6. Herausforderungen bei ETL-Tests • Batch-Loads • Zeitverzug • Systemseitige „Eingabe“ • Viele Tests müssen systemseitig implementiert werden. • Einzelne Transaktionen müssen aufwändig zurückverfolgt werden. • Hohes anwachsendes Datenvolumen • Menge der Testdaten steigt • Anzahl der Testszenarien • In DWS sollen alle möglichen Sichten möglich sein. • Traditionelle Test-Methoden auf OLTP ausgelegt

7. Teststrategien für ETL-Prozesse • Datenvollständigkeit • Tupelvergleich, Boundary-Testing, ... • Datentransformation • „stareandcompare“, Datenfluss-Validierung, … • Performance + Skalierung • „Break yoursystem“, „performancemodeling“, … • Integrationstests • Schnittstellen, Ablaufsteuerung, Fehlerprotokolle • User Acceptance Tests • Regressionstests • (Datenqualität)

8. Faktoren der Qualität Formulierung und Erfassung von Anforderungen und Spezifikationen Einhaltung der festgelegten Spezifikation

9. Faktoren der Qualität • Designqualität stellt höchste erreichbare Grenze für die Qualität der Daten dar • Ausführungsqualität drückt Erreichungsgrad der Designqualität aus • Gesamtqualität kann durch mangelnde Design- oder Ausführungsqualität negativ beeinflusst werden

10. Messung der Ausführungsqualität Datenintegration Datenbereitstellung M Datenpool Extraktions-komponente Transformationskomponente Ladekomponente M Datenpool M M Datenpool Datenpool M Datenpool Extraktions-komponente www Extraktions-komponente Data Warehouse M M M Datenpool Datenpool Prozess-schritt Prozess-schritt Prozess-schritt

11. Messung der Ausführungsqualität Grundgedanken: • Messung festgelegter Kennzahlen an den Datenpools • Soll-Ist-Vergleich während des gesamten Prozessverlaufs • Überprüfung der Wirkung von Änderungen an den einzelnen Prozessschritten.

12. Messung der Ausführungsqualität • Zeitverzug Systemseitige Testimplementierung Systemseitige „Eingabe“ Aufwändige Zurückverfolgung Hohes Datenvolumen anwachsendes Datenvolumen

13. Abgrenzung von Datenprodukten Datenprodukt • Darstellung über „Views“ • Einzelner Datensatz • Datensatzgruppe • Komplette Tabelle „Alle Produkte der KategorieNon-Food am 02.10.2010“ „Alle Daten zu Artikelnr 5674846“

14. Datenprodukte im Prozessverlauf Datenintegration Datenbereitstellung Datenpool Trans-formationskompo-nente Lade-komponente Datenpool Extraktions-komponente Datenpool Datenpool A*** B A** A A* Data Warehouse • Vollständigkeit • Redundanzfreiheit • Zeitbezug • Schlüsseleindeutigkeit • ….

15. Sammlung der Messwerte

16. Auswertung der Messungen Kontrolle einzelner Prozessschritte während der Entwicklung Schneller Vergleich von unterschiedlichen Prozessversionen

17. Auswertung der Messungen Verhalten einzelner Prozessschritte in verschiedenen Szenarien • Unterstützung von Regressionstests

18. Auswertung der Messungen Auswertungen Zeitverlauf • Identifizierung von Änderungsbedarf (proaktiv) • Identifizierung von „überflüssigen“ Transformationen

19. Herausforderungen des Ansatzes • Schaffung künstlicher Datenpools • Definition geeigneter Datenprodukte • Definition der Datenprodukte entlang des Prozessverlaufes • Stetige Anpassung aller Datenprodukte • Interpretation der Messergebnisse

20. Fragen?Anregungen?