【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种同步数据的处理方法和装置。
技术介绍
1、随着实时计算技术的快速发展，对于数据的时效性有着越来越高的要求，特别是大数据领域，对于从数据源端实时同步到大数据端的数据来说，需要在数据不断变化的情况下，保证数据同步的准确性以及完整性。现有的数据验证过程通常是通过人为比对的方式，逐条对同步的数据进行验证，不仅处理效率较低，同时存在一定的人为误差，可能出现数据遗漏的情况，验证效率较差。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种同步数据的处理方法和装置，可以实现自动化获取数据源的业务数据以及大数据端的存储数据并比对的过程，无需人工比对。同时将业务数据和存储数据分别对应的统计值进行比对，可以减少比对的数据量，无需逐条进行比对，提高比对效率。另外，本专利技术实施例在验证不通过的情况下，根据明细数据对数据同步脚本进行更新，可以进一步提高数据同步脚本的准确性以及完整性，相比于人工逐条比对，自动化程度更高，同时具备不断优化的潜力。
2、为实现上述目的，根...
【技术保护点】
1.一种同步数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述业务数据和所述存储数据分别对应的统计值，确定所述存储数据的验证结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述明细数据更新数据同步脚本，包括：
4.根据权利要求1所述的方法，其特征在于，所述业务数据和/或所述存储数据包括业务类型；所述获取业务数据和已同步的存储数据分别对应的统计值，包括：
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标加工算法对所述业务数据和所述存储数据分别进行数据处理，得...
【技术特征摘要】
1.一种同步数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述业务数据和所述存储数据分别对应的统计值，确定所述存储数据的验证结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述明细数据更新数据同步脚本，包括：
4.根据权利要求1所述的方法，其特征在于，所述业务数据和/或所述存储数据包括业务类型；所述获取业务数据和已同步的存储数据分别对应的统计值，包括：
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标加工算法对所述业务数据和所述存储数据分别进行数据处理，得到所述统计值，包括：
6.根据权利要求4所述的方法，其特征在于，所述比对所述业务数据和存储数据分别对应的明细数据，确定出差异数据，包括：
7.根据权利要求6所...
【专利技术属性】
技术研发人员：黄维峰，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。