E – HERRAMIENTAS DE DIFUSIÓN DE DATOS SDMX (TI)

1. Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe E – HERRAMIENTAS DE DIFUSIÓN DE DATOS SDMX (TI)

2. E.1.b – Asistente de Mapeo para TI

3. Datos Metadatos Encabezados Componentes DSD SSTSRTD_PROD_M Tablas Locales Listas de Códigos SSTSRTD_IND_M Base de datos de DifusiónExtracción de datos en SDMX (BD Ideal) Anotaciones Columnas Locales Flujos de Datos SSTSRTD_TOVT_Q SQL Infraestructura SDMX Consultas SDMX Salida SDMX

4. Bases de datos en la prácticaAnálisis • Bases de datos NSI reales • Relacional (ej: ISTAT, PC-Axis) • No relacional (ej: ficheros PC-Axis) • Experiencia pasada (ej: DEMOGRAFÍA)

5. Bases de datos en la prácticaProblemas con las BDD Relacionales • Estructurales • MUCHOS esquemas de almacenamiento inherentemente diferentes • De Contenido • Transcodificación • Formatos de fecha y tiempo (texto, tiempofecha) • Información fragmentada en múltiples columnas • Otros datos en las mismas tablas no relacionados con la transmisión solicitada.

6. Bases de datos en la prácticaProblemas PC-Axis • Bases de datos PC-Axis • Estructura de directorio con ficheros .PX • Los ficheros contienen datos/metadatos (variables, listas de códigos, etc) • Metabase PC-Axis • Basada en BD sobre el Modelo de Metadatos SCB • Vinculada a esquemas con interfaz de usuario PC-Axis SQL • Contiene metadatos para datos almacenados en otras bases de datos de difusión • ¿Cuál se ha de soportar? • Ficheros PX: No es una base de datos relacional • MetaBase: No todo el mundo tiene una

7. Bases de datos en la prácticaRequisitos • Mapeos avanzados • Capaces de manejar muchos esquemas de almacenamiento de bases de datos de difusión relacionales • Capaces de manejar PC-Axis • Recuperación de datos • Usando los mapeos realizados • Generación SDMX-ML

8. Esquema de Almacenamiento A (simple)

9. Esquema de Almacenamiento B

10. Tabla “Maestra” Tablas “Dependientes” Esquema de Almacenamiento C FR_006_TABLA GB_002_TABLA IT_001_TABLA GR_001_TABLA

11. Tabla “Secundaria” Tabla “Primaria” Esquema de Almacenamiento D

12. Datos para Italia Datos para España Esquema de Almacenamiento UNION La dimensión de área falta en ambas tablas

13. Tablas “Dependientes” Tabla “Primaria” Tabla “Maestra” “Secundaria” Combinación de Esquemas de Almacenamiento FR_001_003_TABLA GB_002_001_TABLA IT_001_001_TABLA GR_001_001_TABLA

14. Soporte de PC-Axis • Soporte de ficheros PC-Axis • Driver personalizado para ficheros PC-Axis • Parsea/Carga datos en una memoria de BD (SQLite) • Mapeo y consulta • Partes soportadas • Variables, contenido • Subconjunto de Palabras clave (incluidas las de contenido variable)

15. Esquemas de almacenamiento que requieren “UNION” • Tablas con las mismas columnas con una dimensión específica no declarada como columna o valor; • Imposible que se mapee a sí misma ya que no es un objeto físico

16. Problemas • Esquemas de almacenamiento infinitos (caóticos) – consultas personalizadas • Problemas de transcodificación • Problemas de fecha-tiempo • Nivel de atributos – se requiere duplicación • Problemas de rendimiento • Programas externos: permisos limitados en bases de datos de difusión

17. E.1.a – INFRAESTRUCTURA DE REFERENCIA SDMX (TI)

18. Visión general SDMX-RI (diseño antiguo) Proveedor de servicios web Parseador de consulta Recuperador de datos Recuperador de estructura Generador de datos Base de datos de difusión y almacén de mapeo Modelo de datos SDMX

19. Visión general SDMX-RI

20. El Parseador de ConsultasDiseño • API del Parseador XML de mensajes de Consulta SDMX-ML • Cargar la consulta en una memoria de modelo de datos SDMX • Diseñado según el método de bloque de construcción Consulta SDMX-ML consulta (modelo interno) XSDs SDMX-ML Parseador de consultas

21. El Parseador de ConsultasReutilización • Entrada • Consulta SDMX-ML: Tipos de datos (fichero XML) que representa la Consulta SDMX enviada al consumidor de datos • XSDs SDMX-ML: Tipos de datos que representan los Esquemas SDMX usados para validar la Consulta SDMX.

22. El Parseador de ConsultasReutilización • Salida • Consulta SDMX-ML (Modelo SDMX): consulta SDMX-ML representada dentro del Modelo SDMX.

23. El Parseador de ConsultasReutilización • Usa un Parseador XML rápido • SAX para Java • XmlReader para .NET • En la actualidad sólo soporta Consultas de Datos • Elemento de Datos de Lugar • Valida Consultas SDMX-ML entrantes frente a esquemas SDMX-ML

24. El Recuperador de DatosDiseño • Trabaja con Consultas SDMX-ML (Modelo SDMX) • Las traduce a SQL • Devuelve un modelo de datos SDMX-ML (Modelo SDMX) Conexión al almacén de mapeo mensaje de datos(modelo interno) consulta (modelo interno) Recuperador de datos Base de datos de difusión Almacén de mapeo

25. El Recuperador de Datos Reutilización • Dos conexiones de bases de datos: • Mapeos • Base de Datos de Difusión • La única API que dependiente de la base de datos con dos posibilidades: • Base de datos basada en SDMX. • Base de datos local (no basada en SDMX)

26. El Recuperador de Datos Reutilización • Entrada • Consulta SDMX-ML (Modelo SDMX): El resultado del Parseador de Consultas SDMX. Una representación de la Consulta SDMX-ML en el modelo interno. • String (cadena de caracteres) de Conexión entre la Base de datos y el Almacén de mapeo: El string de conexión se encuentra donde está el almacén de mapeo.

27. El Recuperador de Datos Reutilización • Salida • Fichero de Datos SDMX-ML (Modelo SDMX): Una representación del Fichero de Datos SDMX-ML en el Modelo SDMX interno.

28. El Recuperador de Datos Reutilización Consulta (Modelo Interno) Mensaje de Datos(Modelo Interno) Conexión con el Almacén de Mapeo Recuperador de Datos Almacén de Mapeo Base de Datos de Difusión

29. El Recuperador de DatosReutilización • Modular "bajo la superficie” • Modelo de datos y manejo del Almacén de Mapeo • Traducción de la Consulta/Población de "Beans” de datos • En la actualidad se encuentra fuertemente emparejado al Almacén de Mapeo • Recupera datos usando SQL • Vendedores de BD: Oracle, MySQL, MS SQL Server, SQLite

30. El Recuperador de DatosReutillización – PC-Axis • Librería separada • Sirve datos en una base de datos de memoria interna, ej: SQLite • Permite consultar ficheros .px usando SQL • Transparente a sus usuarios • La versión .NET se usa tal cual en el Asistente de Mapeo • El Driver se ha ampliado • Soporte para palabras clave adicionales • Soporte para palabras clave de contenido variable relacionadas

31. El Recuperador de DatosReutilización DataRetriever() Recuperador de Datos retrieveData(Mapping Store Connection, Query):Data Message Internal Model :Data Message Internal Model getDSD():DSD Internal Model :DSD Internal Model

32. El Recuperador de DatosReutilización • Proceso en dos pasos 1. Construir un objeto “DataRetriever” (transmite el “logger” –opcional-) .NET/Java DataRetriever retriever = new DataRetriever(logger);

33. El Recuperador de DatosReutilización • Proceso en dos pasos • 2. Recuperar datos (transmite una Consulta y un Almacén de Mapeo) Java dataset = retriever.retrieveData(query, connection); .NET dataset = retriever.RetrieveData(query, connection);

34. El Recuperador de DatosDependencias • Librería del Modelo SDMX • Maneja Consultas SDMX entrantes • Puebla el Conjunto de Datos SDMX a partir de datos recuperados • Almacén de Mapeo • Identifica el Conjunto de Mapeos • Conecta con la Base de Datos de Difusión • Formula una Consulta SQL basada en un Consulta SDMX + Consulta Inicial SQL + información de Conjunto de Mapeos

35. El Recuperador de EstructurasDiseño • Trabaja con Consultas SDMX-ML (Modelo SDMX) • Las traduce a SQL • Devuelve un modelo de estructura SDMX-ML (Modelo SDMX) Conexión al almacén de mapeo estructura (modelo interno) consulta (modelo interno) Recuperador de estructuras Base de datos de difusión Almacén de mapeos

36. El Recuperador de EstructurasReutilización • Una conexión de base de datos: • Mapeos • La única API dependiente de la base de datos con dos posibilidades: • Base de datos SDMX basada en SDMX. • Base de datos local (no basada en SDMX)

37. El Recuperador de EstructurasReutilización • Entrada • Consulta SDMX-ML (Modelo SDMX): El resultado del Parseador de Consultas SDMX. Una representación de la Consulta SDMX-ML en el modelo interno. • String (cadena de caracteres) de Conexión entre la Base de datos y el Almacén de mapeo: El string de conexión se encuentra donde está el almacén de mapeo.

38. El Recuperador de EstructurasReutilización • Salida • Fichero de Estructuras SDMX-ML (Modelo SDMX): Una representación del Fichero de Estructuras SDMX-ML en el Modelo SDMX interno.

39. El Recuperador de EstructurasReutilización Consulta (Modelo Interno) Mensaje de Estructuras(Modelo Interno) Conexión con el Almacén de Mapeo Recuperador de Estructuras Almacén de Mapeo Base de Datos de Difusión

40. El Recuperador de EstructurasReutilización • Modular "bajo la superficie” • Modelo de datos y manejo del Almacén de Mapeo • Traducción de la Consulta/Población de "Beans” de datos • En la actualidad se encuentra fuertemente emparejado al Almacén de Mapeo • Recupera datos (estructuras) usando SQL • Vendedores de BD: Oracle, MySQL, MS SQL Server, SQLite

41. El Recuperador de EstructurasReutilización StructureRetriever() Recuperador de Estructuras retrieveStructure(Mapping Store Connection, Query):Structure Internal Model Structure Internal Model

42. El Recuperador de EstructurasReutilización • Proceso en dos pasos: 1. Construir un objeto “StructureRetriever” (transmite el “logger” –opcional) .NET/Java StrucutureRetriever retriever = new StructureRetriever(logger);

43. El Recuperador de EstructurasReutilización • Proceso en dos pasos • 2. Recuperar datos (transmite una Consulta y un Almacén de Mapeo) Java structure = retriever.retrieveStructure(query, connection); .NET structure= retriever.RetrieveStructure(query, connection);

44. El Recuperador de EstructurasDependencias • Librería del Modelo SDMX • Maneja Consultas SDMX entrantes • Puebla Estructuras SDMX a partir de datos recuperados (estructura) • Almacén de Mapeo • Identifica el Conjunto de Mapeos • Conecta con la Base de Datos de Difusión • Formula una Consulta SQL basada en un Consulta SDMX + Consulta Inicial SQL + información de Conjunto de Mapeos

45. El Generador de DatosDiseño • Crea mensajes SDMX-ML desde un modelo de datos interno • Trabaja con un modelo interno de DSD y Formato de Mensaje • Produce un documento XML Mensaje de datos (modelo interno) Conjunto de datos SDMX-ML DSD (modelo interno) Tipo de mensaje SDMX-ML Generador de datos

46. El Generador de DatosReutilización • Entrada • Fichero de Datos SDMX-ML (Modelo SDMX): El resultado del Recuperador Datos. Una representación del fichero SDMX-ML en el modelo interno SDMX. • Tipo de Fichero de Datos SDMX-ML: El formato del Fichero de Datos SDMX-ML que se ha de generar. • DSD SDMX-ML: La DSD que describe la estructura del Fichero de Datos SDMX-ML.

47. El Generador de DatosReutilización • Salida • Fichero de Datos SDMX-ML: Se genera un fichero XML, y por su parte el Fichero de Datos SDMX-ML se especifica en el formato de la entrada.

48. El Generador de DatosDependencias • Librería del Modelo SDMX • Maneja Consultas SDMX entrantes • Puebla los Conjuntos de Datos SDMX con datos recuperados

49. El Generador de DatosReutilización • Bloque de construcción reutilizable • Responsible de generar un mensaje SDMX desde el objeto de datos del Modelo SDMX. • Soporta formatos de serie temporal y transversal • Implementaciones .NET y Java

50. El Generador de DatosReutilización Mensaje de Datos (modelo interno) Conjunto de datos SDMX-ML DSD (modelo interno) Tipo de Mensaje SDMX-ML Generador de Datos SDMX