数据的比对方法及装置制造方法及图纸

技术编号:43365823 阅读:36 留言:0更新日期:2024-11-19 17:48
本发明专利技术提供了数据的比对方法及装置。获取排序后的来源数据及排序后的目标数据;每当源数据集为空时,按照数据步进长度从排序后的来源数据中采集数据来更新源数据集;每当目标数据集为空时,按照数据步进长度从排序后的目标数据中采集数据来更新目标数据集;对源数据集,如果其中一个数据与目标数据集中的数据相同,则该数据属于源数据集及目标数据集的交集,从源数据集及目标数据集中删除该数据;对源数据集中当前剩余的各数据,判断该数据是否满足预先设置的差集删除条件,如果满足,则从源数据集中删该数据,如果不满足,则保留;之后,如果源数据集及目标数据集均不为空,则目标数据集中当前剩余的各数据属于目标数据集针对源数据集的差集。本发明专利技术能够更为高效、准确地完成数据对比。

【技术实现步骤摘要】

本专利技术一个或多个实施例涉及大数据技术,尤其涉及数据的比对方法及装置


技术介绍

1、随着科技的发展,在各行各业中都需要使用大数据。大数据技术是如此重要,以至于其数据采集、同步、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题,而数据同步是大数据应用底座构建中非常重要的一环。在很多项目开发和实施过程中,客户与研发人员开始往往更关注数据的治理、挖掘与分析应用等,但后期才发现数据汇聚可能才是最大的难点和最耗时耗力的工作。能够及时、快速、准确、完整的将外部数据抽取到数据平台是很多开发人员面临的难题。

2、数据汇聚同步过程中,为保证目标数据和来源数据完全一致,需要标识出来源数据的新增、修改和删除操作,为了实现以上目的需要将来源数据与目标数据进行比对。另外,数据汇聚同步完成后需要进行数据对账,以便再次核对目标数据和来源数据是否一致,如不一致还需找出差异的数据,进一步进行补数操作,此种情况下同样存在数据之间的数据比对需求。在数据项目实施中,考虑到表的数据量是持续增大的,并且同时会存在多个此类数据同步任务并发运行的情况,因此需要考虑服务本文档来自技高网...

【技术保护点】

1.数据的比对方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据为:文本类型的数据、数字类型的数据或者字符类型的数据;

3.根据权利要求1所述的方法,其特征在于,当确定出一个数据属于源数据集以及目标数据集的交集时,该方法进一步包括:将目标数据中的该数据的值修改为来源数据中的该数据的值。

4.根据权利要求1所述的方法,其特征在于,当确定出源数据集中的一个数据属于源数据集针对目标数据集的差集时,该方法进一步包括:在目标数据中增加该数据。

5.根据权利要求1所述的方法,其特征在于,当确定出目标数据集中当前剩余的各数...

【技术特征摘要】

1.数据的比对方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据为:文本类型的数据、数字类型的数据或者字符类型的数据;

3.根据权利要求1所述的方法,其特征在于,当确定出一个数据属于源数据集以及目标数据集的交集时,该方法进一步包括:将目标数据中的该数据的值修改为来源数据中的该数据的值。

4.根据权利要求1所述的方法,其特征在于,当确定出源数据集中的一个数据属于源数据集针对目标数据集的差集时,该方法进一步包括:在目标数据中增加该数据。

5.根据权利要求1所述的方法,其特征在于,当确定出目标数据集中当前剩余的各数据属于目标数据集针对源数据集的差集时,该方法进...

【专利技术属性】
技术研发人员:李贵振李志谱禚先林王庆明杨贵柽王楠楠李言龙
申请(专利权)人:浪潮云信息技术股份公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1