【技术实现步骤摘要】
周期性数据比对方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理
,尤其涉及一种周期性数据比对方法、装置、电子设备及存储介质。
技术介绍
[0002]目前,在一些业务场景下,需要将一些数据与第三方数据进行比对,然后将比对结果进行汇总展示。这样的比对,可能不是一次性的,而是需要周期性进行的。例如:在系统中不定期上传居民健康信息,与第三方系统数据进行比对,然后刷新比对结果。
[0003]在现有技术中,周期性调用第三方接口拉取数据与本地数据进行比对后进行存储。当数据量太大时,比对一次可能需要耗时2
‑
3天,甚至更长时间。然而,用户期望尽快获得最新数据的比对结果,对于越早的数据,用户关注度越低,数据变化程度也越低。
[0004]因此,现有技术的不足在于:当数据量太大时,比对一次耗时太长,无法满足用户期望尽快获得最新数据的比对结果的需求。
技术实现思路
[0005]本专利技术提供一种周期性数据比对方法、装置、电子设备及存储介质,用以解决现有技术中当数据量太大时,比 ...
【技术保护点】
【技术特征摘要】
1.一种周期性数据比对方法,其特征在于,包括:针对每个预设周期,将当前数据源中的若干数据按照录入时间,生成多个不同历史时间范围分别对应的数据比对任务;其中,所述多个不同历史时间范围互不交叠;执行所述数据比对任务,并输出比对结果。2.根据权利要求1所述的周期性数据比对方法,其特征在于,所述针对每个预设周期,将当前数据源中的若干数据按照录入时间,生成多个不同历史时间范围分别对应的数据比对任务,包括:针对每个预设周期,将当前数据源中的若干数据按照录入时间,划分为多个不同历史时间范围分别对应的数据集,并基于每个所述历史时间范围对应的数据集和第三方数据,生成所述历史时间范围对应的数据比对任务。3.根据权利要求2所述的周期性数据比对方法,其特征在于,所述针对每个预设周期,将当前数据源中的若干数据按照录入时间,划分为多个不同历史时间范围分别对应的数据集,并基于每个所述历史时间范围对应的数据集和第三方数据,生成所述历史时间范围对应的数据比对任务,包括:针对每一天,将当前数据源中录入时间为前一天的数据确定为前一天对应的数据集,并基于所述前一天对应的数据集和第三方数据生成日级数据比对任务;将所述当前数据源中录入时间为所述前一天的前一周的数据确定为所述前一周对应的数据集,并基于所述前一周对应的数据集和所述第三方数据生成周级数据比对任务;将所述当前数据源中录入时间为所述前一周的前一个月的数据确定为所述前一个月对应的数据集,并基于所述前一个月对应的数据集和所述第三方数据生成月级数据比对任务;将所述当前数据源中录入时间为所述前一个月之前的数据确定为所述前一个月之前对应的数据集,并基于所述前一个月之前对应的数据集和所述第三方数据生成全量级数据比对任务。4.根据权利要求3所述的周期性数据比对方法,其特征在于,所述方法还包括:在上一次生成的所述历史时间范围对应的数据比对任务执行完成的情况下,生成当前预设周期的所述历史时间范围对应的数据比对任务。5.根据权利要求4所述的周...
【专利技术属性】
技术研发人员:李良斌,
申请(专利权)人:北京声智科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。