数据校验方法及装置制造方法及图纸

本申请提供数据校验方法及装置，其中数据校验方法包括：获取至少两份待校验数据，并分别针对至少两份待校验数据配置数据源标识；混合至少两份待校验数据，获得混合数据，并基于混合数据中各条数据内容的数据标识字段，对混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；针对各统计数据组，基于数据源标识进行排序统计，确定至少两份待校验数据的数据校验结果。如此，只需要读取一次待校验数据，且只需要进行一次对比校验，减少了数据校验的时间成本和存储成本，并提升了数据校验的计算效率，节省了处理资源，且减少了书写查询语句的工作量成本，减少了由于书写查询语句导致的业务逻辑漏洞，进而提升了校验的准确率。率。率。

【技术实现步骤摘要】
数据校验方法及装置


[0001]本申请涉及数据处理
，特别涉及一种数据校验方法。本申请同时涉及一种数据校验装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着计算机技术和互联网技术的快速发展，为满足人们的工作生活所需，各种线上业务应用而生，涉及到的领域也越来越广泛，相应产生了大量的线上数据，在存储和管理产生的线上数据时，往往需要对数据内容进行校验，以确定数据是否重复。
[0003]现在技术中，对两份数据进行数据校验时，往往是先查询一次两份数据，以第一份数据为基准，确定在第二份数据里面有多少条数据是全等的、多少条数据是不全等的；再查询一次两份数据，以第二份数据为基准，确定在第一份数据里面有多少条数据是全等的、多少条数据是不全等的。综合两次查询得出的结果，进行综合性分析，最终得出两份数据是否全等，获得数据校验结果。
[0004]然而，上述数据校验方法中，查询次数较多，查询的查询语句书写复杂，需要进行多次的字段数据内容是否相等的比较，导致查询性能交叉，且语义不够直白，理解起来困难，业务逻辑复杂，由于需要两次查询，多了一次对两份数据的读取操作，增加了一倍的IO(Input/Output，输入/输出)成本，导致数据校验过程极大耗费处理资源，且校验效率较低。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据校验方法。本申请同时涉及一种数据校验装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的数据校验过程极大耗费处理资源，且校验效率较低的技术问题。
[0006]根据本申请实施例的第一方面，提供了一种数据校验方法，包括：
[0007]获取至少两份待校验数据，并分别针对至少两份待校验数据配置数据源标识；
[0008]混合至少两份待校验数据，获得混合数据，并基于混合数据中各条数据内容的数据标识字段，对混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；
[0009]针对各统计数据组，基于数据源标识进行排序统计，确定至少两份待校验数据的数据校验结果。
[0010]根据本申请实施例的第二方面，提供了一种数据校验装置，包括：
[0011]配置模块，被配置为获取至少两份待校验数据，并分别针对至少两份待校验数据配置数据源标识；
[0012]分组模块，被配置为混合至少两份待校验数据，获得混合数据，并基于混合数据中各条数据内容的数据标识字段，对混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；
[0013]确定模块，被配置为针对各统计数据组，基于数据源标识进行排序统计，确定至少两份待校验数据的数据校验结果。
[0014]根据本申请实施例的第三方面，提供了一种计算设备，包括：
[0015]存储器和处理器；
[0016]存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，以实现下述方法：
[0017]获取至少两份待校验数据，并分别针对至少两份待校验数据配置数据源标识；
[0018]混合至少两份待校验数据，获得混合数据，并基于混合数据中各条数据内容的数据标识字段，对混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；
[0019]针对各统计数据组，基于数据源标识进行排序统计，确定至少两份待校验数据的数据校验结果。
[0020]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意数据校验方法的步骤。
[0021]本申请实施例提供的数据校验方法，获取至少两份待校验数据，并分别针对至少两份待校验数据配置数据源标识；混合至少两份待校验数据，获得混合数据，并基于混合数据中各条数据内容的数据标识字段，对混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；针对各统计数据组，基于数据源标识进行排序统计，确定至少两份待校验数据的数据校验结果。
[0022]这种情况下，获取到至少两份待校验数据后，可以分别为每份待校验数据配置数据源标识，并混合至少两份待校验数据，该数据源标识可以在混合数据中标识数据的来源，然后对混合后的数据进行分组，针对得到的每个统计数据组进行排序统计，确定至少两份待校验数据的数据校验结果。如此，只需要读取一次待校验数据，且只需要进行一次对比校验，减少了数据校验的时间成本和存储成本，并提升了数据校验的计算效率，节省了处理资源，且降低了书写查询语句的工作量成本，减少了由于书写查询语句导致的业务逻辑漏洞，进而提升了校验的准确率。
附图说明
[0023]图1a是本申请一实施例提供的一种以第一份数据为基准的查询代码示意图；
[0024]图1b是本申请一实施例提供的一种以第二份数据为基准的查询代码示意图；
[0025]图2是本申请一实施例提供的一种数据校验方法的流程图；
[0026]图3是本申请一实施例提供的一种数据校验的处理过程示意图；
[0027]图4是本申请一实施例提供的一种数据校验装置的结构示意图；
[0028]图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0029]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0030]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0031]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0032]首先，对本申请一个或多个实施例涉及的名词术语进行解释。
[0033]数据仓库(Data Warehouse)：数据仓库是信息的中央存储库。通常，数据定期从事务系统、关系数据库和其他来源通过提取、转换、加载(ETL)的数据清洗工序引入到数据仓库中，并按照主题域、分层结构将数据归档有序存储在数据模型中。业务分析师、数据工程师、数据科学家和决策者通过商业智能(BI)工具、SQL客户端和其他分析应用程序访问数据仓库中的数据模型进行查询、分析等工作。
[0034]表：数据库中用来存储数据的对象，是有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验方法，其特征在于，包括：获取至少两份待校验数据，并分别针对所述至少两份待校验数据配置数据源标识；混合所述至少两份待校验数据，获得混合数据，并基于所述混合数据中各条数据内容的数据标识字段，对所述混合数据包括的各条数据内容进行分组，获得至少一个统计数据组；针对各统计数据组，基于所述数据源标识进行排序统计，确定所述至少两份待校验数据的数据校验结果。2.根据权利要求1所述的数据校验方法，其特征在于，所述待校验数据的格式为表，所述待校验数据包括至少一个数据字段，每个字段存储相同或不同类型的数据内容。3.根据权利要求2所述的数据校验方法，其特征在于，所述分别针对所述至少两份待校验数据配置数据源标识，包括：针对第一待校验数据中包括的每条数据内容，增加数据源字段，其中，所述第一待校验数据为所述至少两份待校验数据中的任一份；在所述数据源字段中记录所述第一待校验数据的第一数据源标识。4.根据权利要求1所述的数据校验方法，其特征在于，所述基于所述混合数据中各条数据内容的数据标识字段，对所述混合数据包括的各条数据内容进行分组，获得至少一个统计数据组，包括：确定所述混合数据中各条数据内容的数据标识字段的字段内容；将数据标识字段的字段内容相同的目标数据内容划分为一组，获得至少一个统计数据组。5.根据权利要求1所述的数据校验方法，其特征在于，所述针对各统计数据组，基于所述数据源标识进行排序统计，确定所述至少两份待校验数据的数据校验结果，包括：针对第一统计数据组，按照所述第一统计数据组中各条数据内容的数据源标识，对所述第一统计数据组中各条数据内容进行排序，获得第一排序数据组；其中，所述第一统计数据组为所述至少一个统计数据组中的任一个；对各个排序数据组进行统计，确定所述至少两份待校验数据的数据校验结果。6.根据权利要求5所述的数据校验方法，其特征在于，所述对各个排序数据组进行统计，确定所述至少两份待校验数据的数据校验结...

【专利技术属性】
技术研发人员：董子平，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：