数据同步方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据同步方法、装置、电子设备及存储介质，该方法包括步骤：获取子业务系统发送的订购数据和主业务系统发送的待同步数据；所述订购数据用于订购所述主业务系统中与所述子业务系统相关的数据；基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据；将所述目标待同步数据发送至所述子业务系统。即本申请降低了子业务系统的负载，进而避免该子业务系统过载宕机。宕机。宕机。

【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质


[0001]本申请涉及数据传输
，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

技术介绍

[0002]分布式系统提供的稳定性、容错性以及伸缩性使用户能更容易地构建出稳定、高效的应用。然而分布式系统的使用非常具有挑战性，特别是不对等业务系统间的数据同步本身就是一项非常巨大的挑战。
[0003]不对等业务系统是指在真实的业务环境中，各个业务系统之间往往性能及处理能力不一致，子业务系统的性能及处理能力不及主业务系统的性能及处理能力的情况。目前，在数据同步时，主业务系统将所有计划同步的待同步数据分别发给每一个子业务系统，其中，所有计划同步的待同步数据包括多个子业务系统对应的待同步数据。可以理解，该所有计划同步的待同步数据的数据量级是相当大的。例如子业务系统的数据量级为十万级，而所有计划同步的待同步数据的数据量级为百万级，是子业务系统的数据量级的十倍。而这巨大的数据量级差距，会导致子业务系统在接收到所有计划同步的待同步数据时，发生数据风暴，使得该子业务系统过载宕机。
[0004]因此，实际应用中需要一种能够降低子业务系统在与主业务系统进行数据同步时的负载的方案。

技术实现思路

[0005]本申请的主要目的在于提供一种数据同步方法、装置、电子设备及存储介质，旨在解决子业务系统在与主业务系统进行数据同步时的负载高的技术问题。
[0006]为实现上述目的，本申请提供一种数据同步方法，所述数据同步方法包括以下步骤：
[0007]获取子业务系统发送的订购数据和主业务系统发送的待同步数据；所述订购数据用于订购所述主业务系统中与所述子业务系统相关的数据；
[0008]基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据；
[0009]将所述目标待同步数据发送至所述子业务系统。
[0010]示例性的，所述获取子业务系统发送的订购数据和主业务系统发送的待同步数据之前，包括：
[0011]获取所述主业务系统发送的配置文件；
[0012]基于所述配置文件对所述待同步数据进行格式转换。
[0013]示例性的，所述基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据之前，包括：
[0014]对所述待同步数据进行融合处理；
[0015]所述基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据，包括：
[0016]基于所述订购数据，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据。
[0017]示例性的，所述基于所述订购数据，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据，包括：
[0018]获取配置参数中的配置元素；所述配置元素从所述主业务系统发送的配置文件中读取；
[0019]基于所述订购数据和所述配置元素，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据。
[0020]示例性的，所述数据同步方法还包括：
[0021]检测所述目标待同步数据的重发请求，对所述重发请求进行持久化。
[0022]示例性的，所述数据同步方法还包括：
[0023]基于分布式的定时任务调度对重发任务进行调度；
[0024]获取所述重发任务对应的重发数据；
[0025]发送所述重发数据至所述重发任务对应的子业务系统。
[0026]示例性的，所述获取订购数据之前，包括：
[0027]接收子业务系统发送的订购数据；
[0028]存储所述订购数据至共享内存中。
[0029]示例性的，为实现上述目的，本申请还提供一种数据同步装置，所述数据同步装置包括：
[0030]第一获取模块，用于获取子业务系统发送的订购数据和主业务系统发送的待同步数据；所述订购数据用于订购所述主业务系统中与所述子业务系统相关的数据；
[0031]匹配模块，用于基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据；
[0032]第一发送模块，用于将所述目标待同步数据发送至所述子业务系统。
[0033]示例性的，为实现上述目的，本申请还提供一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序配置为实现如上所述的数据同步方法的步骤。
[0034]示例性的，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
[0035]与相关技术中，由于巨大的数据量级差距，子业务系统在接收到所有计划同步的待同步数据时，发生数据风暴，使得该子业务系统过载宕机相比。本申请实施例获取子业务系统发送的订购数据和主业务系统发送的待同步数据；所述订购数据用于订购所述主业务系统中与所述子业务系统相关的数据；基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据；将所述目标待同步数据发送至所述子业务系统。即本申请实施例在数据同步时，不将主业务系统中所有计划同步的待同步数据发送至子业务系统，而是从所有计划同步的待同步数据中匹配得到该子业务系统对应的目标待同步数
据，实现按需进行数据同步，并将该目标待同步数据发送至该子业务系统。从而避免子业务系统在接收到所有计划同步的待同步数据时，发生数据风暴，降低了子业务系统的负载，进而避免该子业务系统过载宕机。
附图说明
[0036]图1为本申请数据同步方法一实施例的流程示意图；
[0037]图2为本申请数据同步方法一实施例中不对等系统间数据同步的功能模块架构示意图；
[0038]图3为本申请数据同步方法实施例中配置信息的组成示意图；
[0039]图4为本申请数据同步方法实施例中链路追踪补偿保障引擎的原理示意图；
[0040]图5为本申请数据同步方法实施例的任务调度示意图；
[0041]图6为本申请数据同步方法实施例涉及的两种数据同步方式的同步过程的流程示意图；
[0042]图7为本申请数据同步方法实施例的一可选实施例的流程示意图；
[0043]图8为本申请实施例方案涉及的硬件运行环境的结构示意图。
[0044]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0045]应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0046]参照图1，图1为本申请数据同步方法一实施例的流程示意图。本申请实施例提供了数据同步方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0047]需要说明的是，该数据同步方法可以应用于一独立于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据同步方法包括以下步骤：获取子业务系统发送的订购数据和主业务系统发送的待同步数据；所述订购数据用于订购所述主业务系统中与所述子业务系统相关的数据；基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据；将所述目标待同步数据发送至所述子业务系统。2.如权利要求1所述的数据同步方法，其特征在于，所述获取子业务系统发送的订购数据和主业务系统发送的待同步数据之前，包括：获取所述主业务系统发送的配置文件；基于所述配置文件对所述待同步数据进行格式转换。3.如权利要求1所述的数据同步方法，其特征在于，所述基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据之前，包括：对所述待同步数据进行融合处理；所述基于所述订购数据，从所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据，包括：基于所述订购数据，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据。4.如权利要求3所述的数据同步方法，其特征在于，所述基于所述订购数据，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据，包括：获取配置参数中的配置元素；所述配置元素从所述主业务系统发送的配置文件中读取；基于所述订购数据和所述配置元素，从融合处理后的所述待同步数据中匹配得到所述子业务系统对应的目标待同步数据。5.如...

【专利技术属性】
技术研发人员：刘锦方，文利，庄双林，于月娜，颜无忌，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：