一种数据同步的方法、装置及存储介质制造方法及图纸

技术编号:19549491 阅读:19 留言:0更新日期:2018-11-24 21:36
本发明专利技术公开了一种数据同步的方法,所述方法包括:接收第一节点发送的同步增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号接续所述第二日志流水号时,根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据。本发明专利技术还公开了一种数据同步的装置、以及存储介质。

A Method, Device and Storage Medium for Data Synchronization

The invention discloses a method of data synchronization, which includes receiving a request message of synchronous incremental data sent by the first node, in which a first log pipeline number is carried, and the first log pipeline number is used to characterize the timing of different data in the first node; and judging the first one. Whether the log pipelining number corresponds to the second log pipelining number corresponding to the latest data at the current time of the second node or not; when determining the first log pipelining number to follow the second log pipelining number, according to the first identification information of the first node that generates the first log pipelining number, and the time when the first node becomes the primary node, and Based on the successful matching result of the corresponding setting conditions, the incremental data of active synchronization of the first node is received based on the request message. The invention also discloses a data synchronization device and a storage medium.

【技术实现步骤摘要】
一种数据同步的方法、装置及存储介质
本专利技术涉及分布式数据库领域中的数据同步技术,尤其涉及一种数据同步的方法、装置及存储介质。
技术介绍
目前,在分布式数据库系统中,当主节点出现故障而不能正常提供服务时,对于主节点产生的增量数据需要手动同步到备节点的数据库,然后重新修改配置文件并启动应用程序加载业务数据。这样,使得主节点与备节点之间业务数据同步的操作繁琐,导致备节点不能快速接管主节点的业务,进而出现主节点与备节点之间业务数据失步的现象,大大降低了分布式数据库系统的可靠性,以至于不能提供高性能服务,且相关技术也没有提出其他比较完善的解决方案。
技术实现思路
有鉴于此,本专利技术实施例期望提供一种数据同步的方法、装置及存储介质,至少用以解决相关技术中难以有效实现备节点快速接管主节点的业务数据的问题。为达到上述目的,本专利技术实施例的技术方案是这样实现的:第一方面,本专利技术实施例提供一种数据同步的方法,所述方法包括:接收第一节点发送的同步增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号接续所述第二日志流水号时,根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据。第二方面,本专利技术实施例还提供一种数据同步的方法,所述方法包括:接收第一节点发送的用于获取增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否小于等于第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号小于等于所述第二日志流水号时,根据产生所述第二日志流水号的第二节点的第一标识信息,以及所述第二节点成为主节点的时间与相应设定条件匹配成功的结果,将所述第二节点产生的增量数据发送给所述第一节点;其中,所述第一节点和所述第二节点为跨局数据库节点。第三方面,本专利技术实施例还提供一种数据同步的装置,所述装置包括:第一接收模块、第一判断模块、第二判断模块和第二接收模块;其中,所述第一接收模块,用于接收第一节点发送的同步增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;所述第一判断模块,用于判断所述第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;所述第二判断模块,用于所述第一判断模块确定所述第一日志流水号接续所述第二日志流水号时,判断产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件是否匹配;所述第二接收模块,用于根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据。第四方面,本专利技术实施例还提供一种数据同步的装置,所述装置包括:第三接收模块、第三判断模块、第四判断模块和发送模块;其中,所述第三接收模块,用于接收第一节点发送的用于获取增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;所述第三判断模块,用于判断所述第一日志流水号是否小于等于第二节点当前时刻最新数据对应的第二日志流水号;所述第四判断模块,用于所述第三判断模块确定所述第一日志流水号小于等于所述第二日志流水号时,判断产生所述第二日志流水号的第二节点的第一标识信息,以及所述第二节点成为主节点的时间与相应设定条件是否匹配;所述发送模块,用于根据产生所述第二日志流水号的第二节点的第一标识信息,以及所述第二节点成为主节点的时间与相应设定条件匹配成功的结果,将所述第二节点产生的增量数据发送给所述第一节点;其中,所述第一节点和所述第二节点为跨局数据库节点。第五方面,本专利技术实施例还提供一种数据同步的装置,所述装置包括:存储器,用于存储可执行指令;处理器,用于执行所述可执行指令时,实现本专利技术实施例提供的数据同步的方法。第六方面,本专利技术实施例还提供一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本专利技术实施例提供的数据同步的方法。本专利技术实施例所提供的数据同步的方法、装置及存储介质,当正常集群内主节点(即第一节点)与备节点(即第二节点)之间数据失步时,接收第一节点发送的同步增量数据的请求消息,判断该请求消息中携带的第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;当第一日志流水号接续第二日志流水号时,且产生第一日志流水号的第一节点的第一标识信息,以及第一节点成为主节点的时间与相应设定条件匹配成功时,接收第一节点主动同步的增量数据,根据增量数据更新第二节点中的数据。可见,即使第一节点发生数据变更,第二节点仍可以保证按序同步第一节点的数据,而无需在第一节点切换后手动同步增量数据给第二节点,这样,第二节点能够快速接管第一节点的数据,从而进一步提高分布式数据库系统的可靠性和高性能服务。并且,当主局节点(即第二节点)出现故障,业务即将切换到备局节点(即第一节点)时,接收第一节点发送的用于获取增量数据的请求消息,判断该请求消息中携带的第一日志流水号是否小于等于第二节点当前时刻最新数据对应的第二日志流水号;当第一日志流水号小于等于第二日志流水号时,且产生第二日志流水号的第二节点的第一标识信息,以及第二节点成为主节点的时间与相应设定条件匹配成功时,将第二节点产生的增量数据发送给第一节点。可见,在容灾局接管的场景下,对于主局产生的增量数据也无需手动同步到备局,备局可以快速接管主局的数据,从而进一步提高分布式数据库系统的可靠性和高性能服务。附图说明图1为本专利技术实施例提供的一种数据同步的方法的应用场景示意图;图2为本专利技术实施例提供的一种数据同步的方法的实现流程示意图;图3为本专利技术实施例提供的一种数据同步的方法的具体实现流程示意图;图4为本专利技术实施例提供的另一种数据同步的方法的应用场景示意图;图5为本专利技术实施例提供的另一种数据同步的方法的实现流程示意图;图6为本专利技术实施例提供的另一种数据同步的方法的具体实现流程示意图;图7为本专利技术实施例提供的一种数据同步的装置的功能结构示意图;图8为本专利技术实施例提供的另一种数据同步的装置的功能结构示意图;图9为本专利技术实施例提供的一种数据同步的装置的硬件结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚,下面将结合附图对本专利技术作进一步地详细描述,所描述的实施例不应视为对本专利技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。除非另有定义,本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本专利技术。在对本专利技术进行进一步详细说明之前,先对本专利技术实施例中涉及的名词和术语进行说明,本专利技术实施例中涉及的名词和术语适用于如下的解释。1)日志流水号,对主节点中的本文档来自技高网
...

【技术保护点】
1.一种数据同步的方法,其特征在于,所述方法包括:接收第一节点发送的同步增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号接续所述第二日志流水号时,根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据。

【技术特征摘要】
1.一种数据同步的方法,其特征在于,所述方法包括:接收第一节点发送的同步增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否接续第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号接续所述第二日志流水号时,根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据。2.根据权利要求1所述的数据同步的方法,其特征在于,所述根据产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间与相应设定条件匹配成功的结果,基于所述请求消息接收所述第一节点主动同步的增量数据,包括:判断所述第一标识信息与所述第二节点变更为主节点的第二标识信息是否匹配;确定所述第一标识信息与所述第二标识信息匹配成功时,判断所述第一节点成为主节点的时间,与所述第二节点变更为主节点的时间是否匹配;确定所述第一节点成为主节点的时间与所述第二节点变更为主节点的时间匹配成功时,接收所述第一节点主动同步的增量数据,根据所述增量数据更新所述第二节点中的数据。3.根据权利要求1或2所述的数据同步的方法,其特征在于,在确定产生所述第一日志流水号的第一节点的第一标识信息,以及所述第一节点成为主节点的时间中的至少之一与相应设定条件匹配失败时,所述方法还包括:确定从切换列表中是否查找到所述第一标识信息;确定查找到所述第一标识信息时,判断所述第一节点成为主节点的时间,与所述切换列表中记录的所述第一节点成为主节点的时间是否匹配;确定匹配成功时,判断所述切换列表中记录的所述第一节点最后一条日志流水号是否大于所述第一日志流水号;确定所述切换列表中记录的所述第一节点最后一条日志流水号大于所述第一日志流水号时,基于所述请求消息接收所述第一节点主动同步的增量数据。4.一种数据同步的方法,其特征在于,所述方法包括:接收第一节点发送的用于获取增量数据的请求消息,其中,所述请求消息中携带有第一日志流水号,所述第一日志流水号用于表征所述第一节点中不同数据的时序;判断所述第一日志流水号是否小于等于第二节点当前时刻最新数据对应的第二日志流水号;确定所述第一日志流水号小于等于所述第二日志流水号时,根据产生所述第二日志流水号的第二节点的第一标识信息,以及所述第二节点成为主节点的时间与相应设定条件匹配成功的结果,将所述第二节点产生的增量数据发送给所述第一节点;其中,所述第一节点和所述第二节点为跨局数据库节点。5.根据权利要求4所述的数据同步的方法,其特征在于,所述根据产生所述第二日志流水号的第二节点的第一标识信息,以及所述第二节点成为主节点的时间与相应设定条件匹配成功的结果,将所述第二节点产生的增量数据发送给所述第一节点,包括:判断所述第一标识信息与所述第一节点变更为主节点的第二标识信息是否匹配;确定所述第一标识信息与所述第二标识信息匹配成功时,判断所述第二节点成为主节点的时间,与所述第一节点变更为主节点的时间是否匹配;确定所述第二节点成为主节点的时间与所述第一节点变更为主节点的时间匹配成功时,将所述第二节点产生的增量数据发送给所述第一节点。6.根据权利要求4或5所述...

【专利技术属性】
技术研发人员:王政涛
申请(专利权)人:咪咕文化科技有限公司中国移动通信集团有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1