1 / 23

IBM Infosphere CDC

IBM Infosphere CDC. Infosphere CDC. 高性能端到端数据整合方案，解决数据孤岛问题 使用基于日志的变化数据获取 (CDC) 技术，从数据日志中捕获变化数据 在多处理平台间双向整合数据 易于扩展处理大数据量，而不影响重要应用的性能 跨企业数据库系统进行实时数据整合 从生产系统捕获数据，而不影响性能 实时地转换，并将数据应用到目标系统 业务收益 : Business intelligence 无时间窗的 Real-time 报表 e-Business Web 存储和后端操作的双向整合 Master Data Management

pascale-blanchard
Télécharger la présentation

IBM Infosphere CDC

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. IBM Infosphere CDC

  2. Infosphere CDC • 高性能端到端数据整合方案，解决数据孤岛问题 • 使用基于日志的变化数据获取 (CDC)技术，从数据日志中捕获变化数据 • 在多处理平台间双向整合数据 • 易于扩展处理大数据量，而不影响重要应用的性能 • 跨企业数据库系统进行实时数据整合 • 从生产系统捕获数据，而不影响性能 • 实时地转换，并将数据应用到目标系统 • 业务收益: • Business intelligence • 无时间窗的Real-time 报表 • e-Business • Web存储和后端操作的双向整合 • Master Data Management • 跨企业合并和分发数据 • 数据的冗灾

  3. Source (Source) Target (Target) CLIENT CDC架构 Access Server

  4. 数据同步 数据转换 多平台，多节点 支持行过滤，表级复制，计算列，以及其他扩展等。Table level 支持1对多，多对一以及级联同步 对同步的过程可以AUDIT 纠错机制 支持JAVA API 图形化的监控工具 主要功能点

  5. Monitoring and Configuration Database Web Services Message Queue TCP/IP Business Process DB2, Oracle, SQL Server, Teradata,etc Database Logs Source Engine Target Engine Flat files Log-Based Change Data Capture • 主要特征: • 低影响 • 灵活实施 • 支持异构平台 • 易于使用

  6. Replication Modes: Replication Log Continuous (Real Time) Push Engine Net Change (Periodic) Database Table Refresh (Full Copy)

  7. 数据质量问题-实现统一完整视图 • 数据格式的转换(如日期) • 数据类型的转换 • 字段拆分 • 字段合并 • 代码标准化 • 数据清洗(如去除空格) • 多表关联 • 多表拆分 • 衍生数据计算 • 汇总处理 • 记录拆分 • 表合并 • …

  8. 异构平台支持 MESSAGE QUEUE Support DATABASES Source & Target DATABASES Target Only OPERATING SYSTEMS HARDWARE PLATFORMS NETWORK PROTOCOLS JMS IBM System i DB2 / UDB Teradata OS/400 TCP/IP MQ Series Oracle OS/390 IBM System z Netezza Sybase AIX IBM System p TIBCO WebMethods HP-9000 MS SQL Server HP-UX BEA PointBase Solaris Intel MS Windows HP Alpha Linux Sun Itanium

  9. 统一的管理界面

  10. 易于使用 • 基于Java的GUI，配置、管理和监控 • 同一屏幕内管理数据整合流程 • 自动映射，拖拽实现转换 • 事件日志、报警、统计报告

  11. 特点 • 低延迟 一旦提交了对源表进行的修改，并从日志中读取到这些修改，这些变化就立即发送出去。 • 高吞吐量 Q Capture程序始终可以跟踪在源表发生的快速变化，并且Apply程序使用多线程，使得它能够及时跟踪通信通道中的消息。 • 低网络流量 消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少量的数据。 • 异步性 消息队列使得Apply程序可以不连接源数据库或者源子系统就可以接收事务。如果QCapture程序或者Apply程序停止，需要进行处理的消息在程序准备好之后后，将仍然存在于队列中。由于消息是永久的，所以源表和目标表即使在系统或设备故障的情况下仍可以保持同步。 • 基于日志的复制，可忽略对于重要生产系统的影响，不需要时间窗口，不要时间戳来探测变化。不需要改变应用或者表结构，没有额外的硬件需要，只复制变化，意味这最小的网络带宽，交易一发生，就转换发送给目标，增加数据量，缩短处理窗口

  12. 架构（数据源)

  13. 架构(目标端)

  14. Log-Based Replication Feature: 可以读取REDO和ARCHIVE LOG Business Benefits: 实时性，以及对原有系统影响降到最低

  15. 可以复制ORACLE DDL和DML • Table • Sequence • Context • Directory • Dimension • Function • Index • Library • Materialized View • Package • Trigger • Procedure • Profile • Resource Cost • Role • Rollback Segment • Synonym • Tablespace • User • View Oracle 9i,10g, 11g Feature: 支持DDL （数据库对象和SCHEMA的变化可以同步) Business Benefits: 减少错误和减轻管理成本， 支持DDL和DML

  16. 灵活的架构 Feature: 扩展性好，全图形化操作

  17. 某用户灾备方案详细说明及优势 可用于数据容灾 远程控制端 应用＋数据库 online R/W R 生产服务器 冗灾服务器 时间漏斗

  18. 可选择全库或者部分数据的复制 Replicate All…Or Selective 同时支持复制过程数据格式的转换

  19. Proposed IBM Architecture应对复杂场景 Outside SuperValu’s Data Center Inside SuperValu’s Data Center 1000 Pharmacy Servers Data Consolidation MQ ESE DataMirror CDC Server One MQ ESE Central Server Load Balanced High Availability Cluster DataMirror CDC DataMirror CDC MQ ESE Server Two MQ ESE MQ ESE DataMirror CDC

  20. Feature: 一致点的控制，可以和TSM等结合

  21. 图形化的管理

  22. 支持 Oracle 9i,10g and 11g 基于日志的备份 DDL & DML 支持 全量刷新和增量方式 自动纠错 可靠的网络连接 有选择的复制和数据转换 支持RAC环境 提供MASTER TO MASTER的同步，备机仍旧能够提供服务 预警，错误处理 基于JAVA的图形界面 整体工作负载的监控 针对ORACLE的特点

More Related