【技术实现步骤摘要】
本专利技术一个或多个实施例涉及大数据技术,尤其涉及数据的比对方法及装置。
技术介绍
1、随着科技的发展,在各行各业中都需要使用大数据。大数据技术是如此重要,以至于其数据采集、同步、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题,而数据同步是大数据应用底座构建中非常重要的一环。在很多项目开发和实施过程中,客户与研发人员开始往往更关注数据的治理、挖掘与分析应用等,但后期才发现数据汇聚可能才是最大的难点和最耗时耗力的工作。能够及时、快速、准确、完整的将外部数据抽取到数据平台是很多开发人员面临的难题。
2、数据汇聚同步过程中,为保证目标数据和来源数据完全一致,需要标识出来源数据的新增、修改和删除操作,为了实现以上目的需要将来源数据与目标数据进行比对。另外,数据汇聚同步完成后需要进行数据对账,以便再次核对目标数据和来源数据是否一致,如不一致还需找出差异的数据,进一步进行补数操作,此种情况下同样存在数据之间的数据比对需求。在数据项目实施中,考虑到表的数据量是持续增大的,并且同时会存在多个此类数据同步任务并发运行的情
...【技术保护点】
1.数据的比对方法,其特征在于,该方法包括:
2.根据权利要求1所述的方法,其特征在于,所述数据为:文本类型的数据、数字类型的数据或者字符类型的数据;
3.根据权利要求1所述的方法,其特征在于,当确定出一个数据属于源数据集以及目标数据集的交集时,该方法进一步包括:将目标数据中的该数据的值修改为来源数据中的该数据的值。
4.根据权利要求1所述的方法,其特征在于,当确定出源数据集中的一个数据属于源数据集针对目标数据集的差集时,该方法进一步包括:在目标数据中增加该数据。
5.根据权利要求1所述的方法,其特征在于,当确定出目标数
...【技术特征摘要】
1.数据的比对方法,其特征在于,该方法包括:
2.根据权利要求1所述的方法,其特征在于,所述数据为:文本类型的数据、数字类型的数据或者字符类型的数据;
3.根据权利要求1所述的方法,其特征在于,当确定出一个数据属于源数据集以及目标数据集的交集时,该方法进一步包括:将目标数据中的该数据的值修改为来源数据中的该数据的值。
4.根据权利要求1所述的方法,其特征在于,当确定出源数据集中的一个数据属于源数据集针对目标数据集的差集时,该方法进一步包括:在目标数据中增加该数据。
5.根据权利要求1所述的方法,其特征在于,当确定出目标数据集中当前剩余的各数据属于目标数据集针对源数据集的差集时,该方法进...
【专利技术属性】
技术研发人员:李贵振,李志谱,禚先林,王庆明,杨贵柽,王楠楠,李言龙,
申请(专利权)人:浪潮云信息技术股份公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。