数据同步方法及相关设备技术

技术编号:20272587 阅读:63 留言:0更新日期:2019-02-02 03:41
本发明专利技术适用于数据处理技术领域,提供了一种数据同步方法及相关设备,所述方法包括:将待发送数据报文推送至MQ发送队列,通过MQ发送队列将待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听数据同步接收方是否返回接收待发送数据报文后的数据处理结果;若通过MQ接收队列监听到数据同步接收方返回所述数据处理结果,根据数据处理结果进行后续处理,或结束、或重推等,解决了现有数据同步发起方无法及时获知数据同步接收方是否已准确无误地接收到全部数据的问题,提高了数据同步时系统的健壮性和可扩展性,也避免了因业务系统间数据不同而引起的业务损失,同时减少了因问题延误发现带来的恶劣影响,适合实际应用。

【技术实现步骤摘要】
数据同步方法及相关设备
本专利技术属于数据处理
,尤其涉及一种数据同步方法及相关设备。
技术介绍
随着各个公司业务的快速发展,公司按照业务线的需求出现了许多相互独立的业务系统,且每个系统都有自己独立的数据库,所有业务系统核心数据需与基础数据源核心库进行数据同步。对于大数据量的数据同步普遍采用MQ方式,但也存在一个问题,即数据同步发起方无法及时获知数据同步接收方是否已准确无误地接收到全部数据,且这样的问题很难被发现,一旦发现也是几天、几星期,甚至几个月之后,且数据修复困难,对公司业务产生不可挽回的损失和影响。
技术实现思路
有鉴于此,本专利技术实施例提供了一种数据同步方法及相关设备,以解决现有数据同步发起方无法及时获知数据同步接收方是否已准确无误地接收到全部数据的问题。本专利技术实施例的第一方面提供了一种数据同步方法,包括:将待发送数据报文推送至消息队列(MessageQueue,MQ)发送队列,通过所述MQ发送队列将所述待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听所述数据同步接收方是否返回接收所述待发送数据报文后的数据处理结果;若通过所述MQ接收队列监听到所述数据同步接收方返回所述数据处理结果,则根据所述数据处理结果判断是否成功完成数据同步;若根据所述数据处理结果判定没有成功完成数据同步,则重新执行所述将待发送数据报文推送至MQ发送队列的步骤。可选的,上述数据同步方法,还包括:若通过所述MQ接收队列没有监听到所述数据同步接收方返回所述数据处理结果,则生成数据同步失败提示。可选的,在所述将待发送数据报文推送至MQ发送队列之前,还包括:根据预设报文格式和待发送信息,生成所述待发送数据报文。本专利技术实施例的第二方面提供了一种数据同步方法,包括:监听数据同步发送方是否通过MQ发送队列发送待发送数据报文;若监听到所述数据同步发送方通过所述MQ发送队列发送所述待发送数据报文,则接收所述待发送数据报文,并在接收成功后,对所述待发送数据报文进行数据校验处理;在校验完成后,通过MQ接收队列将所述待发送数据报文的数据处理结果返回所述数据同步发送方,以使所述数据同步发送方根据所述数据处理结果判断是否成功完成数据同步,并在判定没有成功完成数据同步时,重新将所述待发送数据报文推送至所述MQ发送队列进行发送。可选的,上述的数据同步方法,还包括:若所述数据处理结果为数据异常,则发送报警信息至预设人员,所述报警信息携带所述数据处理结果。可选的,所述对所述待发送数据报文进行数据校验处理包括:对所述待发送数据报文进行奇偶校验、CRC校验、LRC校验、格雷码校验、和校验、异或校验和MD5校验中的任意一种或多种。本专利技术实施例的第三方面提供了一种数据同步装置,包括:报文发送单元,用于将待发送数据报文推送至MQ发送队列,通过所述MQ发送队列将所述待发送数据报文发送至数据同步接收方;结果监听单元,用于同时启动MQ接收队列监听所述数据同步接收方是否返回接收所述待发送数据报文后的数据处理结果;数据同步判断单元,用于若通过所述MQ接收队列监听到所述数据同步接收方返回所述数据处理结果,则根据所述数据处理结果判断是否成功完成数据同步;报文处理单元,用于若根据所述数据处理结果判定没有成功完成数据同步,则重新执行所述将待发送数据报文推送至MQ发送队列的步骤。本专利技术实施例的第四方面提供了一种数据同步装置,包括:报文监听单元,用于监听数据同步发送方是否通过MQ发送队列发送待发送数据报文;报文校验单元,用于若监听到所述数据同步发送方通过所述MQ发送队列发送所述待发送数据报文,则接收所述待发送数据报文,并在接收成功后,对所述待发送数据报文进行数据校验处理;结果返回单元,用于在校验完成后,通过MQ接收队列将所述待发送数据报文的数据处理结果返回所述数据同步发送方,以使所述数据同步发送方根据所述数据处理结果判断是否成功完成数据同步,并在判定没有成功完成数据同步时,重新将所述待发送数据报文推送至所述MQ发送队列进行发送。本专利技术实施例的第五方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。本专利技术实施例的第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是:本专利技术实施例通过MQ发送队列将待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听数据同步接收方是否返回接收待发送数据报文后的数据处理结果,如果有监听到,根据数据处理结果进行后续处理,或结束、或重推等,解决了现有数据同步发起方无法及时获知数据同步接收方是否已准确无误地接收到全部数据的问题,提高了数据同步时系统的及时性、健壮性和可扩展性,也避免了因业务系统间数据不同而引起的业务损失,同时减少了因问题延误发现带来的恶劣影响,适合实际应用。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种数据同步方法的示意流程图;图2是本专利技术另一实施例提供的一种数据同步方法的示意流程图;图3是本专利技术再一实施例提供的一种数据同步方法的示意流程图;图4是本专利技术又一实施例提供的一种数据同步方法的示意流程图;图5是本专利技术又一实施例提供的一种数据同步方法的示意流程图;图6是本专利技术又一实施例提供的一种数据同步方法的示意流程图;图7是本专利技术实施例提供的一种数据同步装置的示意性框图;图8是本专利技术另一实施例提供的一种数据同步装置示意性框图;图9是本专利技术再一实施例提供的一种数据同步装置示意性框图;图10是本专利技术又一实施例提供的一种数据同步装置示意性框图;图11是本专利技术实施例提供的一种数据同步发送设备的示意性框图;图12是本专利技术实施例提供的一种数据同步接收设备的示意性框图。具体实施方式以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本专利技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案,下面通过具体实施例来进行说明。参见图1,图1是本专利技术实施例提供的一种数据同步方法的示意流程图,在该实施例中,以数据同步发送方的角度触发为例进行说明,这里,数据同步发送方与数据同步接收方进行数据同步。如图1所示,在该实施例中,数据同步发送方的处理过程可以包括以下步骤:S101:将待发送数据报文推送至MQ发送队列,通过所述MQ发送队列将所述待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听所述数据同步接收方是否返回接收所述待发送数据报文后的数据处理结果。这里,在将待发送数据报文推送至MQ发送队列之前,数据同步发送方与数据同步接收方按照约定分别建立两个MQ队列,即MQ发送队列,用于发送数据报文,MQ接收本文档来自技高网...

【技术保护点】
1.一种数据同步方法,其特征在于,包括:将待发送数据报文推送至消息队列MQ发送队列,通过所述MQ发送队列将所述待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听所述数据同步接收方是否返回接收所述待发送数据报文后的数据处理结果;若通过所述MQ接收队列监听到所述数据同步接收方返回所述数据处理结果,则根据所述数据处理结果判断是否成功完成数据同步;若根据所述数据处理结果判定没有成功完成数据同步,则重新执行所述将待发送数据报文推送至MQ发送队列的步骤。

【技术特征摘要】
1.一种数据同步方法,其特征在于,包括:将待发送数据报文推送至消息队列MQ发送队列,通过所述MQ发送队列将所述待发送数据报文发送至数据同步接收方,同时启动MQ接收队列监听所述数据同步接收方是否返回接收所述待发送数据报文后的数据处理结果;若通过所述MQ接收队列监听到所述数据同步接收方返回所述数据处理结果,则根据所述数据处理结果判断是否成功完成数据同步;若根据所述数据处理结果判定没有成功完成数据同步,则重新执行所述将待发送数据报文推送至MQ发送队列的步骤。2.如权利要求1所述的数据同步方法,其特征在于,还包括:若通过所述MQ接收队列没有监听到所述数据同步接收方返回所述数据处理结果,则生成数据同步失败提示。3.如权利要求1所述的数据同步方法,其特征在于,在所述将待发送数据报文推送至MQ发送队列之前,还包括:根据预设报文格式和待发送信息,生成所述待发送数据报文。4.一种数据同步方法,其特征在于,包括:监听数据同步发送方是否通过MQ发送队列发送待发送数据报文;若监听到所述数据同步发送方通过所述MQ发送队列发送所述待发送数据报文,则接收所述待发送数据报文,并在接收成功后,对所述待发送数据报文进行数据校验处理;在校验完成后,通过MQ接收队列将所述待发送数据报文的数据处理结果返回所述数据同步发送方,以使所述数据同步发送方根据所述数据处理结果判断是否成功完成数据同步,并在判定没有成功完成数据同步时,重新将所述待发送数据报文推送至所述MQ发送队列进行发送。5.如权利要求4所述的数据同步方法,其特征在于,还包括:若所述数据处理结果为数据异常,则发送报警信息至预设人员,所述报警信息携带所述数据处理结果。6.如权利要求4所述的数据同步方法,其特征在于,所述对所述待发送数据报文进行数据校验处理包括:对所述待发送数...

【专利技术属性】
技术研发人员:董海建
申请(专利权)人:深圳市佰仟金融服务有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1