一种组件化的数据同步方法和装置制造方法及图纸

本发明专利技术涉及数据同步技术领域，提供了一种组件化的数据同步方法和装置。本发明专利技术通过将读取组件、转换组件和装载组件进行组合，得到所需的数据同步任务，使用功能组件以图形化的方式实现设计复杂的数据同步任务；通过读取组件获取数据同步任务所涉及的事务事件日志，将事务事件日志传输至转换组件，通过转换组件对所述事务事件日志进行转换，得到目标数据，将目标数据传输至装载组件；通过装载组件将目标数据入库；本发明专利技术建立了一套包含数据转换的事务同步流程，支持丰富的数据转换操作，使得数据同步系统的可扩展性强，解决现有技术通过属性文件配置实现数据转换操作，不便于操作和维护，易用性较低，任务设计非常不灵活的问题。

【技术实现步骤摘要】

本专利技术涉及数据同步，特别是涉及一种组件化的数据同步方法和装置。

技术介绍

1、数据库管理系统使用日志文件保存数据的变更记录，当执行事件或动作时，包括执行数据变更操作，如写入数据、修改数据、删除数据等数据操纵语言(data manipulationlanguage，简写为dml)操作，还有如修改数据模式，如创建表、修改表等数据定义语言(datadefinition language，简写为ddl)操作，都会被数据库管理系统用文件追加的形式写入至日志文件。数据库管理系统意外崩溃后，重启时通过日志文件恢复数据，保证数据的一致性，这是日志文件被设计引入到数据库管理系统的最初用途。日志文件包含的数据变更的所有细节，这些信息可用于数据同步，特别是增量型数据同步；根据日志文件进行数据同步能够从根本上解决增量式数据同步的难题。

2、现有技术中基于事务日志的增量型数据同步系统一般局限于源端－目的端的架构，即包括源端和目的端两个服务部件，源端用于获取事务事件日志，并发送给目的端，目的端将事务事件日志转换成结构化查询语言(structured query lan本文档来自技高网...

【技术保护点】

1.一种组件化的数据同步方法，其特征在于，包括：

2.根据权利要求1所述组件化的数据同步方法，其特征在于，所述通过读取组件获取所述数据同步任务所涉及的事务事件日志，将所述事务事件日志传输至所述读取组件的所有后续组件包括：

3.根据权利要求2所述组件化的数据同步方法，其特征在于，所述根据传输就绪队列中的就绪事务是否存在并发冲突，选择性地将相应的就绪事务传输至所述所有后续组件；或者将相应的就绪事务挂载至冲突事务队列包括：

4.根据权利要求2所述的组件化的数据同步方法，其特征在于，所述当前事务的事务事件日志处理完毕后，再获取下一个事务的事务事件日志，直至收到...

【技术特征摘要】

1.一种组件化的数据同步方法，其特征在于，包括：

2.根据权利要求1所述组件化的数据同步方法，其特征在于，所述通过读取组件获取所述数据同步任务所涉及的事务事件日志，将所述事务事件日志传输至所述读取组件的所有后续组件包括：

3.根据权利要求2所述组件化的数据同步方法，其特征在于，所述根据传输就绪队列中的就绪事务是否存在并发冲突，选择性地将相应的就绪事务传输至所述所有后续组件；或者将相应的就绪事务挂载至冲突事务队列包括：

4.根据权利要求2所述的组件化的数据同步方法，其特征在于，所述当前事务的事务事件日志处理完毕后，再获取下一个事务的事务事件日志，直至收到停止获取指令包括：

5.根据权利要求1所述的组件化的数据同步方法，其特征在于，转换组件包括转换分发线程和执行转换线程；其中，一个转换组件对应一个转换分发线程，一个转换组件对应至少一个执行转换线程；所述通过至少一个转换组件对所述事务事件日志进行转换，得到目标数据包括：

6.根据权利要求1所述的组件化的数据同步方法，其特征在于，所述将所述目...

【专利技术属性】
技术研发人员：袁松彪，梅纲，张驻西，吕童，
申请(专利权)人：武汉达梦数据库股份有限公司，
类型：发明
国别省市：