Tehnologii de integrare a datelor

1. Tehnologii de integrare a datelor Cursul 4 Martie 2014

2. I. Integrarea orientată pe date Menţinerea unor copii ale datelor Federalizarea datelor Integrarea datelor prin intermediul interfeţelor Standarde utilizate la integrarea datelor

3. 1. Menţinerea unor copii ale datelor copii ale BD distribuite la nivelul aplicatiilor, fiecare are propria BD desincronizari datorate intarzierilor in propagarea schimbarilor intre surse REPLICAREA DATELOR Mutarea datelor intre 2 sau mai multe BD BD pot avea proveniente si modele diferite Necesita o INFRASTRUCTURA pentru schimbul de date Ex: solutii middleware care ofera servicii pentru extragerea, transformari ale schemei si continutului, plasarea in BD tinta

4. Aplicaţie Aplicaţie Aplicaţie Replicarea datelor Avantaje: simpla, ieftina Dezavantaje: dc sunt metode atasate datelor Baza de date 1 Replicarea datelor Baza de date 2 Replicarea datelor Baza de date 3 Replicarea datelor

5. Tipuri de replicare • Replicarea snapshot: • datele de pe server suntcopiate in intregimepe un alt server sauintr-o alta BD de peacelasi server • consum mare de timpsiresurse • Replicarea merge: • datele din douasaumaimulte BD suntcombinateintr-unasingura. • pefiecare se pot realizaschimbariindependente, fara o conexiune de reteaactiva. • la reconectare, agentul de replicaremerge verificaschimbarile care apar in seturile de date simodificafiecare din BD in consecinta. • Replicareatranzactionala: • utilizatoriiprimesccopiiinitialeintegraleale a BD • ulterior primescactualizariperiodicepemasuraceaparschimbari ale datelor • un plus de flexibilitate pt. BD care se actualizeazafrecvent.

6. 2. Federalizarea datelor integrarea mai multor BD şi a modelelor asociate într-o singură BD, cu un MODEL UNIFICAT un nivel software (middleware) între BD distribuite fizic şi aplicaţiile care vizualizează datele Conecteaza BD FIZICE prin INTERFETE si le mapeaza intr-o BD VIRTUALA Gestioneaza colectarea si distribuirea datelor din/in BD fizice Avantaje: o singura interfata bine definita, nu se modifica aplicatiile tinta

7. Federalizarea datelor

8. 3. Integrareaprininterfete de aplicatie soluţii de procesare a interfetelor pt integrarea a aplicaţiilor sau pachetelor de aplicatii gestioneaza diferenţele de schemă, conţinut şi semantica aplicaţiei, prin interpretarea informaţiei interschimbată între sisteme utilizat de ERP – adaptori – se conecteaza la aplicatii prin informatiile oferite prin interfete sau la solutii tehnologice ce includ tehnologii middleware si screen scrapere ca pct de integrare avantaj: integrarea > tipuri de aplicatii dezavantaj: logica procesului de afaceri si metodele sistemelor sursa si destinatie

9. Procesarea interfetei

10. 4. Standarde de integrare a datelor XML XSLT ebXML SOAP, WSDL, UDDI

11. a. XML eXtensible Markup Language standard robust pentru interschimbul de informaţie pe Internet aplicaţiile şi BD comunica fără a avea informaţii una despre cealaltă. Avantaje: structurarea datelor – permite modelarea datelor pentru orice nivel de complexitate; extensibilitate - se pot defini noi marcatori daca este nevoie; validitate - se verifica corectitudinea structurala a datelor; oferă utilizatorilor posibilitatea de a-și reprezenta datele într-un mod independent de aplicație; autodescrierea documentului : nu sunt necesare cunostinte anterioare despre aplicatie,încapsuleaza atât datele cât şi metadatele

12. Documentul XML elementul definit prin marcatori (tag-uri) - numele descrie conţinutul elementului, iar structura descrie relaţiile dintre elemente parserul XML(componentă a nivelului middleware) citeşte documente XML şi extrage datele ce urmează a fi accesate de alt program. tehnologia middleware realizează transferul efectiv de mesaje (si XML), gestionează interfeţele cu aplicaţiile sursă şi destinaţie şi mută informaţia. SAP, Oracle-PeopleSoft (Open Integration Framework)-XML ca interfata nativa Producatorii de SGBD (Oracle, Sybase, Informix) – mecanisme care permit citire/ scriere XML direct in BD

13. Parser XML

14. Standarde XML pt integrareadatelor B2B

15. b. XSLT Extensible Stylesheet Language Transformations un limbaj proiectat să transforme un document XML într-un altul, modificând atât schema, cât şi conţinutul, in functie de setul unic de semantici al fiecarei aplicatii poate realiza şi alte tipuri de procesare de text şi operaţii de transformare (ex: creare formate standard gen PDF sau HTML) PASUL 1: transformare structurala (selectare, grupare, sortare, agregare) PASUL 2: formatarea, în care noua structură este adusă în formatul cerut (txt, PDF, HTML,XML)

16. Transformarea documentelor XML prin XSLT

17. c. ebXMLElectronic Business using eXtensible Markup Language construit pe baza XML, pentru comert electronic,automatizare B2B complet: procese, managementul tranzacţiilor, semantici, notaţii, securitate, acorduri, standarde legate de transferul de informaţie şi standarde legate de structurarea informaţiei sistemul de mesaje suportă orice tip de date, tranzacţii EDI şi informaţie binară. poate conţine un depozit/registru pentru a permite accesul simultan la informaţie suportă acorduri de tranzacţionare între parteneri

18. ebXML

19. JSON (JavaScript Object Notation) • standard bazat pe text, proiectat pentru a putea fi citit usor • Independent de platforma • derivat din limbajul JavaScript • este construit pe baza a două structuri: o colecție de perechi de tip cheie-valoare si o lista ordonata de valori • Folosit des pentru serializare si transmiterea datelor in cadrul unei retele de calculatoare. • utilizat pentru a transmite datele de la server la o aplicatie web

20. XML vsJson • JSON • multmaisimplușimai rapid • are o gramaticămultmaisimplășifoloseștestructuri de date din limbajele de programaremoderne. • nu are nevoie de noi tag-urisauatributepentrureprezentareadatelor. • foarte bun pentre reprezentarea obiectelor din limbajele de programare. Ce pot fi convertite rapid și trimiseprinWeb la consumatorii de servicii. • XML • oferă un suport puternic pentru validare, • esteextensibil • un mod mai puternic de descriere a datelor decât JSON.

21. Un exemplu de document JSON • { • "firstName": "John", "lastName" : "Smith", "age" : 25, "address" : • { • "streetAddress": "21 2nd Street", "city" : "New York", "state" : "NY", "postalCode" : "10021" • }, • "phoneNumber": [ • { • "type" : "home", "number": "212 555-1234" • }, • { • "type" : "fax", "number": "646 555-4567" • } • ]

22. d. SOAP, WSDL, UDDI • Simple Object Access Protocol (SOAP)- format XML bazat pe mesaje • folosit de aplicaţiile bazate pe servicii Web • standard pentru codificarea mesajelor în XML şi care permite acces la funcţii în alte aplicaţii • e independent de platforma si lb de programare • similar RPC (Remote Procedure Call)

23. WSDL Web Service Description Language • o colecţie de metadate despre XML bazat pe servicii, folosită pentru descrierea scopului unei afaceri şi a modului de accesare electronică a serviciilor acestora • specifică procedurile pentru descoperirea informaţiei tehnice şi funcţionale despre serviciile Web pe Internet • WSDL oferă un mecanism automat de generare a proxy-urilor pentru serviciile Web folosind un limbaj standard • defineşte o gramatică XML pentru descriereaserviciilor de reţea ca o colecţie de puncte finale de comunicaţie, care pot face transfer de informaţie (operatii si mesaje). • Operatii si mesaje descrise abstract + protocol de retea+format de mesaj= pct final de comunicatie

24. UDDI

26. UDDI • Universal Description, Discovery and Integration • standard pentru catalogarea şi publicarea descrierilor WSDL asociate serviciilor Web, care sunt disponibile pe Internet • Registru UDDI-un mecanism comun pentru publicarea şi căutarea informaţiei prin servicii Web

27. II. Tehnologii informatice de integrare a datelor

28. II. Tehnologii informatice de integrare a datelor • Baze de date centralizate şi distribuite • Depozite de date • Migrarea datelor

29. II.1. Baze de date centralizate şi distribuite • BDD - BD care nu este localizată într-o singură locaţie fizică, ci este dispersată într-o reţea de calculatoare interconectate, putând fi accesată de mai mulţi utilizatori concurenţi. • SGBDD - distribuirea, concurenţa şi eventualele eşecuri să fie transparente, operaţiile de citire / scriere se execută a.i. să nu apară nici o diferenţă faţă de situaţia unei BD cu un singur utilizator

30. Regulile lui Date • R1.Autonomia locală: fiecare nod are control local asupra datelor şi este independent dpdv: securitate, controlul concurenţei, backup şi recuperare. • R2.Independenţa faţă serverul central: fiecare nod trebuie să acţioneze independent, fără să depindă de un server central sau un alt nod. • R3. Continuitatea: fără întreruperi pentru întreţineri sau reparaţii.; • R4. Transparenţalocalizării: nici un utilizator/program are nevoie să ştie unde şi cum sunt amplasate datele folosite. • R5. Independenţa fragmentării: SGBDD va trebui să poată reconstrui automat, în orice moment, o colecţie de date din fragmentele sale. • R6. Independenţa replicării: utilizatorii/programele nu trebuie să ştie dacă datele au fost replicate şi cum anume. • R7. Interogări distribuite: poate fi executata pe orice nod din reţea, pot să participe mai multe noduri • R8. Tranzacţii distribuite: o tranzacţie poate să acceseze şi să modifice date din mai multe noduri, fără ca beneficiarul să fie conştient de acest lucru. • R9. Independenţa faţă de hardware: nodurile pe care se găsesc datele pot fi calculatoare de diferite tipuri şi puteri. • R10. Independenţa faţă de software: nu trebuie să aibă importanţă sistemelede operare care există pe noduri • R11. Independenţa faţă de reţea: BDD şi SGBDD trebuie să poată fi implementate pe orice platformă de reţea corespunzătoare, • R12. Independenţa faţă de SGBD: la nivel de nod local pot “rula” diferite SGBD-uri.

32. a. Distribuirea prin fragmentare • operaţia de descompunere logică a colecţiilor globale în părţi disjuncte numite fragmente, utilizând operatori speciali. • REGULILE • completitudinea • reconstrucţia • disjuncţia • METODELE • orizontalăextragerea unui set de înregistrări, păstrându-se toate câmpurile colecţiei iniţiale • verticalăextragerea unui set de câmpuri, păstrându-se toate înregistrările colecţiei iniţiale • mixtă aplicarea succesivă a metodelor orizontală şi verticală

33. b. Distribuirea prin replicare • operaţia de stocare a unor porţiuni dintr-o BD, sub formă de copii, pe mai multe calculatoare dintr-o reţea • la actualiz. unei copii locale, SGBDD actualizează automat toate copiile acelor date • METODELE (redundanta vs concurenta) • date nereplicate • date replicate parţial • date replicate total

34. c. d. Distribuirea mixta. Incarcarea • Distribuirea mixtăesteoperaţia de aplicare succesivă a fragmentării şi replicării pentru aceeaşi colecţie • Distribuirea prin încărcare este operaţia de copiere periodică a întregii BD centralizate sau a unei porţiuni din ea pe noduri locale