数据比对系统和方法技术方案

本发明专利技术提出一种数据比对系统和方法，该数据比对系统包括映射模块，用于分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对；合并模块，用于分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果；归约模块，用于判断合并结果中键值对的value值是否相同，得到判断结果，并根据判断结果对待比对的第一数据和第二数据进行比对。通过本发明专利技术能够避免对文件中数据顺序的依赖，有效提升数据比对效率。

Data comparison system and method

A data comparison system and a data comparison system are proposed in the invention, which include a mapping module for mapping the first data and the second data respectively to obtain the first key value pair of the multi-row data in the first data and the second key value pair of the multi-row data in the second data, and a merging module for respectively processing the first key value pair and the second key value pair of the multi-row data in the second data. The first key value pair and the second key value pair are sorted to get the first key value pair after sorting and the second key value pair after sorting. The judgment result is obtained, and the first data and the second data of the comparison are compared according to the judgment result. The invention can avoid dependence on data order in files and effectively improve data comparison efficiency.

【技术实现步骤摘要】
数据比对系统和方法
本专利技术涉及计算机
，尤其涉及一种数据比对系统和方法。
技术介绍
随着计算机领域中大数据技术的发展，在大数据应用和处理的过程中，需要比对两份文件中数据的一致性。一种应用场景例如，原产品线上的一个项目A，升级后需要验证执行的正确性，可以通过比对项目A的原始程序和项目A的升级版本的程序，在接收相同输入情况下，项目A输出的内容一致与否来验证。相关技术中，数据比对方法基于单机进行比对处理，且要求比对的两份输入文件的内容是有序的，例如，文件a中包含三行数据：数据A、数据B，以及数据C，而文件b中包含三行数据：数据B、数据A,以及数据C，在这种示例下，相关技术中的数据比对方法判定：文件a和文件b不一致。这种方式下，在对大数据进行比对的过程中，文件中数据顺序依赖性高，单机执行困难，比对效率低。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种数据比对系统，能够避免对文件中数据顺序的依赖，有效提升数据比对效率。本专利技术的另一个目的在于提出一种数据比对方法。本专利技术的另一个目的在于提出一种数据比对装置。本专利技术的另一个目的在于提出一种非临时性计算机可读存储介质。本专利技术的另一个目的在于提出一种计算机程序产品。为达到上述目的，本专利技术第一方面实施例提出的数据比对系统，包括：映射模块，用于分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；合并模块，用于分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；归约模块，用于判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。本专利技术第一方面实施例提出的数据比对系统，通过分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对，并分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果，判断合并结果中键值对的value值是否相同，得到判断结果，并根据判断结果对待比对的第一数据和第二数据进行比对，能够避免对文件中数据顺序的依赖，有效提升数据比对效率。为达到上述目的，本专利技术第二方面实施例提出的数据比对方法，包括：分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。本专利技术第二方面实施例提出的数据比对方法，通过分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对，并分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果，判断合并结果中键值对的value值是否相同，得到判断结果，并根据判断结果对待比对的第一数据和第二数据进行比对，能够避免对文件中数据顺序的依赖，有效提升数据比对效率。为达到上述目的，本专利技术第三方面实施例提出的数据比对装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。本专利技术第三方面实施例提出的数据比对装置，通过分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对，并分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果，判断合并结果中键值对的value值是否相同，得到判断结果，并根据判断结果对待比对的第一数据和第二数据进行比对，能够避免对文件中数据顺序的依赖，有效提升数据比对效率。为达到上述目的，本专利技术第四方面实施例提出的非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种数据比对方法，所述方法包括：分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。本专利技术第四方面实施例提出的非临时性计算机可读存储介质，通过分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对，并分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果，判断合并结果中键值对的value值是否相同，得到判断结果，并根据判断结果对待比对的第一数据和第二数据进行比对，能够避免对文件中数据顺序的依赖，有效提升数据比对效率。为达到上述目的，本专利技术第五方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行一种数据比对方法，所述方法包括：分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。本专利技术第五方面实施例提出的计算机程序产品，通过分别对待比对的第一数据和第二数据进行映射处理，得到第一数据中多行数据的第一键值对和第二数据中多行数据的第二键值对，并分别对第一键值对和第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对排序后的第一键值对和排序后的第二键值对进行合并，得到合并结果，判断合并结果中键值本文档来自技高网...

【技术保护点】
1.一种数据比对系统，其特征在于，包括：映射模块，用于分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；合并模块，用于分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；归约模块，用于判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。

【技术特征摘要】
1.一种数据比对系统，其特征在于，包括：映射模块，用于分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据的第一键值对和所述第二数据中多行数据的第二键值对；合并模块，用于分别对所述第一键值对和所述第二键值对进行排序，得到排序后的第一键值对和排序后的第二键值对，以及，对所述排序后的第一键值对和所述排序后的第二键值对进行合并，得到合并结果；归约模块，用于判断合并结果中键值对的value值是否相同，得到判断结果，并根据所述判断结果对待比对的所述第一数据和所述第二数据进行比对。2.如权利要求1所述的数据比对系统，其特征在于，所述映射模块包括：第一映射子模块，用于采用预设加密算法对所述第一数据的多行数据中每行数据进行计算，得到每行数据对应的第一加密值，并将所述对应的第一加密值作为第一键值对中的key值，并采用所述预设加密算法对所述第二数据的多行数据中每行数据进行计算，得到每行数据对应的第二加密值，并将所述对应的第二加密值作为第二键值对中的key值；第二映射子模块，用于根据所述第一数据的存储路径和所述第一数据的多行数据中每行数据的数据内容生成所述第一键值对中的value值，并根据所述第二数据的存储路径和所述第二数据的多行数据中每行数据的数据内容生成所述第二键值对中的value值。3.如权利要求1所述的数据比对系统，其特征在于，所述合并结果的个数为至少一个，所述合并模块包括：排序子模块，用于对所述第一键值对中的多个键值对，根据key值进行排序，得到排序后的第一键值对，并对所述第二键值对中的多个键值对,根据key值进行排序，得到排序后的第二键值对；合并子模块，用于对所述排序后的第一键值对和所述排序后的第二键值对中，key值相同的键值对进行合并处理，得到多个合并结果。4.如权利要求2所述的数据比对系统，其特征在于，所述归约模块包括：判断子模块，用于判断所述每个合并结果，键值对的value值中的所述数据内容是否相同，得到与所述每个合并结果对应的判断结果；比对子模块，用于在所述对应的判断结果为所述数据内容相同时，则不生成所述合并结果的比对结果，并在所述对应的判断结果为所述数据内容不相同，或者，所述合并结果中的键值对的数量为一个时，生成所述第一数据和所述第二数据存在差异的比对结果。5.如权利要求4所述的数据比对系统，其特征在于，还包括：显示模块，用于在所述第一数据和所述第二数据存在差异时，对所述存储路径和所述比对结果进行显示。6.如权利要求2所述的数据比对系统，其特征在于，还包括：读取模块，用于从所述存储路径中读取所述第一数据和所述第二数据。7.如权利要求2所述的数据比对系统，其特征在于，所述预设加密算法为消息摘要算法。8.一种数据比对方法，其特征在于，包括：分别对待比对的第一数据和第二数据进行映射处理，得到所述第一数据中多行数据...

【专利技术属性】
技术研发人员：米博会，魏庆滨，张磊，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11