【技术实现步骤摘要】
一种基于CMSP的DRDB数据库数据同步的方法
本专利技术涉及包括异源数据库数据类型的自动映射，类型转换，消息构建分发同步方法，组件间协定等技术，尤其涉及一种基于CMSP的DRDB数据库数据同步的方法。
技术介绍
现在主要的数据库同步手段包括离线同步与在线同步两种。离线同步主要是采用持久化为中间文件的方式，具有吞吐量大、通用性强的特点；在线同步一般对于同种数据库之间采用私有协议实现主备，主从副本等方案实现，具有实时性强，性能高等优势。但是两者或多或少的也存在其相应的缺陷。离线同步数据需要周期性持久化为中间文件，不适用于实时性要求较高的场景。虽然可以通过定制持久化时间切片提高实时性，但是切片时间难以确定，切片过大，实时性难以保证。切片过小性能无法保证。对于大多数离线方案，只能实现数据的全量备份，实现增量数据的获取。通过中间文件同步的方式，无法解决不同数据库间，内建类型的差异。存在额外信息丢失的问题，例如时区信息、字段注解等。对于原数据库的附加信息需要人工干预，自动化程度较低。在线同步
【技术保护点】
1.一种基于CMSP的DRDB数据库数据同步系统，其特征在于，/n分为三个模块，/n作为数据采集端的Reader，即从原始数据源获取信息的生产者；/n作为消息投递的Transfer,即负责中间消息的投递者，/n作为消息的最终消费者的Writer，即发挥数据的转换处理、任务构建调度执行的目标库写入者。/n
【技术特征摘要】
1.一种基于CMSP的DRDB数据库数据同步系统，其特征在于，
分为三个模块，
作为数据采集端的Reader，即从原始数据源获取信息的生产者；
作为消息投递的Transfer,即负责中间消息的投递者，
作为消息的最终消费者的Writer，即发挥数据的转换处理、任务构建调度执行的目标库写入者。
2.根据权利要求1所述的方法，其特征在于，
Reader与Writer之间通过消息协议进行通信，包括用于结构化数据的元信息、控制信息、消息信息的负载。
采用CMSP作为消息转发投递的Transfer；
Reader与Writer作为一个统一的抽象称作Processor，即作为数据的处理单元。
3.根据权利要求2所述的方法，其特征在于，
Reader与Writer可以通过进程间内建队列进行通信；
通过定义统一消息交换格式，用于负载相关元信息、控制信息以及数据信息。
4.根据权利要求3所述的方法，其特征在于，
消息负载针对数据库的同步场景，主要提供两种事件消息的抽象，即DDL事件，以及DML事件；DDL主要负责传递表元信息，负载相关的表操作包括删除、创建、变更事件；DML主要负责负载数据记录的变更；DML事件通过元信息标签与DDL事件绑定；编解码单元综合相关源信息与DML记录负载，解析出具体的数据库记录负载，即通常的增、删、改操作记录；将DML进一步划分为两种任务，一种是可并发操作记录，主要用于基准数据的同步，类似离线同步的场景，数据以一种流式的消息在源和目的之间进行传输；非并发消息主要针对的是增量数据的变更。
5.根据权利要求4所述的方法，其特征在于，
对于Reader经由Transfer到达Writer的整个流程，DDL负载的元信息只在必要场景下需要提供，即首次启动信息流，信息流变更；
Reader需要保证DML消息负载的元信息标签对应的元信息先于DML事件被发送。
6.根据权利要求5所述的方法，其特征在于...
【专利技术属性】
技术研发人员：张明，孙思清，李朝铭，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。