用于同步增量数据的方法、装置、处理器及可读存储介质制造方法及图纸

本发明专利技术实施例提供一种用于同步增量数据的方法、装置、处理器及可读存储介质，属于计算机技术领域。方法包括：基于预设增量取数条件从源数据系统中获取目标增量数据，在得到目标增量数据后，确定该目标增量数据的数据量级，以基于数据量级与预设同步量级范围将目标增量数据同步至目标数据系统，通过预设同步量级范围对数据同步时的数据量级进行限制，合理利用数据同步接口的调用时间，减少接口调用超时或超负荷的情况出现，提升数据同步的效率。提升数据同步的效率。提升数据同步的效率。

【技术实现步骤摘要】
用于同步增量数据的方法、装置、处理器及可读存储介质


[0001]本专利技术涉及计算机
，具体地涉及一种用于同步增量数据的方法、装置、处理器及可读存储介质。

技术介绍

[0002]随着企业信息化进程的不断深入，信息化系统越来越多，尤其面对数据不断更新的场景下，由于数据不断变化，很多企业都面临着同样的一个问题，即如何让新的平台与一些老的或新增加的子系统/子平台默契配合，在保证既有功能的前提下提高系统间信息传递的效率，从而提高企业的生产竞争力。接口可用于实现更新后的增量数据的同步，好的接口会使得系统之间做到无缝连接，有效的整合各系统间的数据，以达到资源共享和协同工作的目的。目前通过接口进行增量数据同步主要有两种方式：定时同步和实时同步。然而，定时同步在一些场景下若因当前同步任务的数据量太大而超出接口负荷，该当前同步任务在同步时将会出现接口超时现象且后续的同步任务也会因此延迟同步，即使调低定时的时间间隔，也会因需同步的字段太多而无法很好规避超时问题，不能从根本解决问题；而实时同步中按照只要有字段修改就立马同步的方式，极易导致接口调用超负荷。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术实施例的目的是提供一种用于同步增量数据的方法、装置、处理器及可读存储介质。
[0004]为了实现上述目的，本专利技术第一方面提供一种用于同步增量数据的方法，包括：
[0005]基于预设增量取数条件从源数据系统中获取目标增量数据；
[0006]确定目标增量数据的数据量级；
[0007]基于数据量级与预设同步量级范围将目标增量数据同步至目标数据系统。
[0008]本专利技术实施例中，基于数据量级与预设同步量级范围将目标增量数据同步至目标数据系统，包括：
[0009]将数据量级与预设同步量级范围进行比较；
[0010]在数据量级小于预设同步量级范围的下限的情况下，等待目标增量数据累积；
[0011]当累积后的目标增量数据的数据量级处于预设同步量级范围内或当前时刻等于预设同步时刻时，将累积后的目标增量数据同步至目标数据系统。
[0012]本专利技术实施例中，还包括：
[0013]在数据量级大于预设同步量级范围的上限的情况下，将目标增量数据基于预设同步量级范围进行拆分，得到多个拆分数据，其中，任一拆分数据的数据量级处于预设同步量级范围之内；
[0014]将各个拆分数据分批次同步至目标数据系统。
[0015]本专利技术实施例中，预设增量取数条件包括预设数据抽取时间范围或预设文档对象，基于预设增量取数条件从源数据系统中获取目标增量数据，包括：
[0016]从源数据系统中获取与预设数据抽取时间范围对应的目标增量数据；
[0017]或，从源数据系统中获取与预设文档对象对应的目标增量数据。
[0018]本专利技术实施例中，基于预设增量取数条件从源数据系统中获取目标增量数据，包括：
[0019]基于预设增量取数条件和更改凭证抬头表确定目标变更对象值和目标文档信息；
[0020]基于目标变更对象值、目标文档信息以及更改凭证项目表确定目标增量数据；
[0021]从源数据系统中获取目标增量数据。
[0022]本专利技术实施例中，基于预设增量取数条件和更改凭证抬头表确定目标变更对象值和目标文档信息，包括：
[0023]基于预设增量取数条件和更改凭证抬头表确定初始变更对象值和初始文档信息；
[0024]确定源数据系统中与初始变更对象值和初始文档信息均对应的第一时间戳；
[0025]确定目标数据系统中与初始变更对象值和初始文档信息均对应的第二时间戳；
[0026]将第二时间戳先于第一时间戳的所有初始变更对象值和初始文档信息作为目标变更对象值和目标文档信息。
[0027]本专利技术实施例中，还包括：
[0028]基于输入的参数信息确定增量更新规则；
[0029]在源数据系统存在数据变更的情况下，基于增量更新规则将数据变更对应的概要信息记录至更改凭证抬头表，其中，概要信息包括变更对象值和文档信息；
[0030]基于增量更新规则将数据变更对应的内容信息记录至更改凭证项目表，其中，内容信息包括增量数据。
[0031]本专利技术实施例中，还包括：
[0032]基于历史同步时间数据的概率分布确定预设同步量级范围。
[0033]本专利技术第二方面提供一种用于同步增量数据的系统，包括：
[0034]数据获取模块，用于基于预设增量取数条件从源数据系统中获取目标增量数据；
[0035]数据量级确定模块，用于确定目标增量数据的数据量级；
[0036]数据同步模块，用于基于数据量级与预设同步量级范围将目标增量数据同步至目标数据系统。
[0037]本专利技术第三方面提供一种处理器，其特征在于，被配置成执行如上述实施例所述的用于同步增量数据的方法。
[0038]本专利技术第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行如上述实施例所述的用于同步增量数据的方法。
[0039]通过上述技术方案，基于预设增量取数条件从源数据系统中获取目标增量数据，在得到目标增量数据后，确定该目标增量数据的数据量级，以基于数据量级与预设同步量级范围将目标增量数据同步至目标数据系统，通过预设同步量级范围对数据同步时的数据量级进行限制，合理利用数据同步接口的调用时间，减少接口调用超时或超负荷的情况出现，提升数据同步的效率。
[0040]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0041]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0042]图1为根据本专利技术一实施例的用于同步增量数据的方法的流程示意图；
[0043]图2为根据本专利技术一实施例的增量数据流向逻辑示意图。
具体实施方式
[0044]以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0045]需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0046]另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于同步增量数据的方法，其特征在于，包括：基于预设增量取数条件从源数据系统中获取目标增量数据；确定所述目标增量数据的数据量级；基于所述数据量级与预设同步量级范围将所述目标增量数据同步至目标数据系统。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据量级与预设同步量级范围将所述目标增量数据同步至目标数据系统，包括：将所述数据量级与所述预设同步量级范围进行比较；在所述数据量级小于所述预设同步量级范围的下限的情况下，等待所述目标增量数据累积；当累积后的目标增量数据的数据量级处于所述预设同步量级范围内或当前时刻等于预设同步时刻时，将所述累积后的目标增量数据同步至目标数据系统。3.根据权利要求2所述的方法，其特征在于，还包括：在所述数据量级大于所述预设同步量级范围的上限的情况下，将所述目标增量数据基于所述预设同步量级范围进行拆分，得到多个拆分数据，其中，任一所述拆分数据的数据量级处于所述预设同步量级范围之内；将各个所述拆分数据分批次同步至目标数据系统。4.根据权利要求1所述的方法，其特征在于，所述预设增量取数条件包括预设数据抽取时间范围或预设文档对象，所述基于预设增量取数条件从源数据系统中获取目标增量数据，包括：从所述源数据系统中获取与所述预设数据抽取时间范围对应的目标增量数据；或，从所述源数据系统中获取与所述预设文档对象对应的目标增量数据。5.根据权利要求1所述的方法，其特征在于，所述基于预设增量取数条件从源数据系统中获取目标增量数据，包括：基于预设增量取数条件和更改凭证抬头表确定目标变更对象值和目标文档信息；基于所述目标变更对象值、所述目标文档信息以及更改凭证项目表确定目标增量数据；从源数据系统中获取所述目标...

【专利技术属性】
技术研发人员：周健，王天卓，王媛，刘擎，陈虎，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：