一种异构数据库中数据的同步方法技术

技术编号:26170848 阅读:29 留言:0更新日期:2020-10-31 13:40
本发明专利技术公开了一种异构数据库中数据的同步方法,属于数据库技术领域,包括第一数据同步机制和第二数据同步机制,第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中,检测第一数据同步机制的状态;第二数据同步机制用于第一数据同步机制的状态异常时,启用第二数据同步机制,以将源数据库中预定范围的数据同步至目标数据库;启用第二数据同步机制,包括:接收分布式资源管理平台推送的数据同步任务;数据同步任务包括数据恢复时间点及源数据库中的待同步数据库表的标识,检测第二数据同步机制的状态,解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。

A method of data synchronization in heterogeneous database

【技术实现步骤摘要】
一种异构数据库中数据的同步方法
本专利技术涉及数据库
,更具体地说,涉及一种异构数据库中数据的同步方法。
技术介绍
对于异构数据库,目前现有的数据同步手段可通过DRC(DataReplicationCenter,数据同步中心)监听源数据库的binlog日志(这里的源数据库是基于mysql数据库技术),然后通过消息将binlog日志发送到订阅端,订阅端拿到消息后生成相应的ETL(ExtractTransformLoading,数据抽取转化装载规则)任务,然后基于ETL任务将数据同步到目标数据库中。然而,一旦DRC异常(比如宕机)暂时无法自动恢复时,源数据库的增量数据则无法同步到目标数据库。由于增量数据未及时同步到目标数据库,往往也就丧失了其时效性,进而还可能影响基于该目标数据库的系统应用(比如系统无法及时向用户推送最新资讯)。
技术实现思路
针对现有技术的不足,本专利技术的目的在于提供一种异构数据库中数据的同步方法,解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。本专利技术的目的可以通过以本文档来自技高网...

【技术保护点】
1.一种异构数据库的数据同步方法,其特征在于,包括以下步骤:/n包括第一数据同步机制和第二数据同步机制,/n第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中,检测所述第一数据同步机制的状态;/n第二数据同步机制用于第一数据同步机制的状态异常时,启用第二数据同步机制,以将所述源数据库中预定范围的数据同步至所述目标数据库;/n所述启用第二数据同步机制,包括:/n接收分布式资源管理平台推送的数据同步任务;所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识,检测所述第二数据同步机制的状态,检测第二数据同步机制的状态异常时,第二数据同步机制重新定时读取待同步数据库表...

【技术特征摘要】
1.一种异构数据库的数据同步方法,其特征在于,包括以下步骤:
包括第一数据同步机制和第二数据同步机制,
第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中,检测所述第一数据同步机制的状态;
第二数据同步机制用于第一数据同步机制的状态异常时,启用第二数据同步机制,以将所述源数据库中预定范围的数据同步至所述目标数据库;
所述启用第二数据同步机制,包括:
接收分布式资源管理平台推送的数据同步任务;所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识,检测所述第二数据同步机制的状态,检测第二数据同步机制的状态异常时,第二数据同步机制重新定时读取待同步数据库表中数据,并将第二数据同步机制的状态对第二数据同步机制作出标识;
根据所述待同步数据库表的标识,从该待同步数据库表中定时读取,其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表,并将所述临时列表中的数据插入所述目标数据库中对应的数据库表;
所述定时读取接收到由调度中心定时发送的驱动消息时触发,每次...

【专利技术属性】
技术研发人员:方小牛张玄段欢欢陈慧清
申请(专利权)人:安徽华典大数据科技有限公司
类型:发明
国别省市:安徽;34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1