焦作网站建设哪家权威,中煤第五建设有限公司网站,静态网页图片,十堰秦楚网主页目录
1 概述
2 原理
3 参数 1 概述
将企业生产系统产生的业务数据实时同步到大数据平台#xff0c;通过对业务数据的联机实时分析#xff0c;快速制定或调整商业计划#xff0c;提升企业的核心竞争力。
依据同步数据是否需要加工处理#xff0c;采用不同的技术方案通过对业务数据的联机实时分析快速制定或调整商业计划提升企业的核心竞争力。
依据同步数据是否需要加工处理采用不同的技术方案
如果数据需要清洗、聚合、标准化或其它加工处理可采用ETL软件Beeload或BeeDI进行同步详情可参考文章多源异构数据库实时同步解决方案本文不做阐述。
如数据无需清洗转换目标数据与源数据保持一致可采用数据库复制软件Beedup进行同步。
Beedup除用于双活容灾外凭借异构主从库不同类型、主从对象不同属主模式数据处理能力也可应用于数据同步、数据迁移及数据汇聚项目在同类或异类库间同步数据目标数据可选择与源端不同的属主模式存储。 2 原理
采用Beedup实施数据库同步分为全量和增量二个过程
全量过程遍历源库所有表依次在目标库创建对应表并通过SQL读写方式同步表的历史数据。
增量过程采用日志解析方式从某一时间点顺序读取数据库日志中的事务操作解析还原为目标兼容的DML或DDL以事务为单元在目标库重做操作。
全量过程开始时记录源库当前时间点全量过程结束后增量过程自动从该时间点开始解析日志。也可以跳过全量过程直接指定某一时间点启动增量过程。 3 参数 工作方式 基于联机归档日志解析 目标库支持的操作 Read-Write 支持数据库 Oracle 9i / 10g / 11g / 12c / 18c SQL Server 2005 / 2008 / 2012 / 2014 MySQL 5.6 / 5.7 / 8.0 DB2 9.5 / 9.7 / 10.5 / 11.1 Gbase 8a (8.3) PostgreSQL 10.5 / 11.8 / 12.3 DM 8.1 支持数据类型 所有 支持操作类型 DML/ DDL 可选择性复制 选择整库、用户模式、表为复制单位 支持的主从库平台 无限制 运行操作系统 win7、win2008、win8、win2012、win10 支持多种复制结构 一对一双向一对多多对一
