一种数据校验系统、方法和电子设备技术方案

本申请实施例提供了一种数据校验系统、方法和电子设备，涉及数据校验技术领域，用以实现全面、灵活和高效地进行批量数据校验。该系统中，包括：数据提取模块、数据存储模块、推送模块和规则引擎；其中，数据提取模块用于接收数据校验请求；数据校验请求中包括待校验数据的查询条件；根据查询条件生成查询请求，并将查询请求发送至数据存储模块；数据存储模块用于根据查询请求，查询符合查询条件的待校验数据，并将待校验数据发送至推送模块；推送模块用于接收待校验数据，并将待校验数据发送至规则引擎；规则引擎用于根据预先存储的校验规则，对待校验数据进行校验，并输出校验结果。并输出校验结果。并输出校验结果。

【技术实现步骤摘要】
一种数据校验系统、方法和电子设备


[0001]本申请涉及数据校验
，特别涉及一种数据校验系统、方法和电子设备。

技术介绍

[0002]数据是企业的重要资产，联机分析处理的目的是从数据中挖掘业务价值，提高业务运营和经营分析能力，推动企业有效决策。数据校验是数据挖掘中必不可少的。
[0003]数据校验是在数据抽取、清洗转换流程完成之后，通过一系列的校验规则，定位到错误数据，并将异常数据推送给下游处理，最终提升数据质量的环节。由于数据校验往往是对批量数据进行校验，传统的批量数据校验方式采用人工或自动测试的方法进行检验，然而人工测试代价高，效果差，几乎无法在批量数据中发现少数异常；自动测试也仅仅是从批量数据中尽量抽取出具有代表性的数据，再通过执行程序语言的方式进行比对。这些方法都不能做到对批量数据的全量校对，无法确保数据校验的准确性。
[0004]在大数据时代，数据庞大而复杂，如何全面、灵活和高效地进行批量数据校验是一个难题。

技术实现思路

[0005]本申请实施例提供了一种数据校验系统、方法和电子设备，用以实现全面、灵活和高效地进行批量数据校验。
[0006]第一方面，本申请实施例提供了一种数据校验系统，包括：数据提取模块、数据存储模块、推送模块和规则引擎；
[0007]其中，所述数据提取模块用于接收数据校验请求；所述数据校验请求中包括待校验数据的查询条件；根据所述查询条件生成查询请求，并将所述查询请求发送至所述数据存储模块；所述数据存储模块用于根据所述查询请求，查询符合所述查询条件的待校验数据，并将所述待校验数据发送至所述数据提取模块；所述数据提取模块还用于将所述待校验数据发送至所述推送模块；所述推送模块用于接收所述待校验数据，并将所述待校验数据发送至所述规则引擎；所述规则引擎用于根据预先存储的校验规则，对所述待校验数据进行校验，并输出校验结果；所述校验结果用于指示所述待校验数据校验通过，或者所述校验结果用于指示所述待校验数据校验失败。
[0008]基于上述方案，用户的数据校验请求通过数据提取模块、数据存储模块、推送模块以及规则引擎模块，可以实现在数据庞大而复杂的情况下，全面、灵活和高效地进行批量数据质量验证。
[0009]一种可能的实现方式，所述数据提取模块根据所述查询条件生成查询请求时，具体用于：解析所述查询条件；在所述查询条件包括所述待校验数据的关联关系时，根据所述关联关系生成关联关系查询请求；将所述关联关系查询请求和所述查询请求发送至所述数据存储模块。
[0010]基于上述方案，通过根据关联关系生成关联关系查询请求，可以解决传统规则引
擎无法实现跨数据表进行规则校验的问题。
[0011]一种可能的实现方式，所述预先存储的校验规则中包括数据集和属性变量，所述数据集用于指示数据标识，所述属性变量用于指示数据内容；其中，至少两个数据集之间具有关联关系，所述关联关系对应数据集和属性变量；所述关联关系对应的数据集包括所述至少两个数据集；所述关联关系对应的属性变量用于指示所述至少两个数据集具有关联关系。
[0012]一种可能的实现方式，所述预先存储的校验规则是可视化配置的。
[0013]基于上述方案，将校验规则可视化配置，避免了以往通过硬编码对批量业务数据进行检验核查的方式，并且业务人员可根据需求的变化情况，方便且快速地对校验规则进行更新，不需要技术人员参与，减少了人力需求并且提高了校验规则的更新效率。
[0014]一种可能的实现方式，所述规则引擎的数量为至少两个；所述推送模块在将所述待校验数据发送至所述规则引擎时，具体用于：所述推送模块通过轮询的方式将所述待校验数据发送至所述至少两个规则引擎。
[0015]基于上述方案，推送模块采用轮询的方式将待校验数据发送给至少两个规则引擎可以简便地实现多个规则引擎同时进行规则校验，可以在数据量大的情况下实现系统稳定运行并提高数据校验的效率。
[0016]一种可能的实现方式，所述数据存储模块为clickhouse集群，所述推送模块为rocketMQ集群。
[0017]基于上述方案，通过clickhouse集群和rocketMQ集群技术的应用，提高了数据校验系统执行的性能，增加了数据校验系统的可扩展性，还增强了数据校验系统的可靠性。
[0018]第二方面，本申请实施例提供了一种数据校验方法，包括：接收数据校验请求；所述数据校验请求中包括待校验数据的查询条件；根据所述查询条件，查询符合所述查询条件的待校验数据；根据预先存储的校验规则，对所述待校验数据进行校验，并输出校验结果；所述校验结果用于指示所述待校验数据校验通过，或者所述校验结果用于指示所述待校验数据校验失败。
[0019]一种可能的实现方式，所述接收数据校验请求，具体包括：解析所述查询条件；在所述查询条件包括所述待校验数据的关联关系时，根据所述关联关系生成关联关系查询请求；将所述关联关系查询请求和所述查询请求发送至所述数据存储模块。
[0020]一种可能的实现方式，所述预先存储的校验规则中包括数据集和属性变量，所述数据集用于指示数据标识，所述属性变量用于指示数据内容；其中，至少两个数据集之间具有关联关系，所述关联关系对应数据集和属性变量；所述关联关系对应的数据集包括所述至少两个数据集；所述关联关系对应的属性变量用于指示所述至少两个数据集具有关联关系。
[0021]一种可能的实现方式，所述预先存储的校验规则是可视化配置的。
[0022]第三方面，本申请实施例提供了一种电子设备，包括：
[0023]存储器，用于存储计算机指令；
[0024]处理器，与所述存储器连接，用于执行所述存储器中的计算机指令，且在执行所述计算机指令时实现如第二方面中任一项所述的方法。
[0025]第四方面，本申请实施例提供了一种计算机可读存储介质，包括：
[0026]所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第二方面中任一项所述的方法。
[0027]第五方面，本申请实施例提供了一种计算机程序产品，包括：
[0028]所述计算机程序产品在被计算机调用时，使得所述计算机执行如第二方面中任一项所述的方法。
[0029]上述第二方面至第五方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
[0030]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
[0031]图1为本申请实施例提供的数据校验方法应用的系统示意图；
[0032]图2为本申请实施例提供的一种数据校验系统的结构示意图之一；
[0033]图3为本申请实施例提供的数据提取模块工作流程示意图；
[0034]图4为本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验系统，其特征在于，包括：数据提取模块、数据存储模块、推送模块和规则引擎；其中，所述数据提取模块用于接收数据校验请求；所述数据校验请求中包括待校验数据的查询条件；根据所述查询条件生成查询请求，并将所述查询请求发送至所述数据存储模块；所述数据存储模块用于根据所述查询请求，查询符合所述查询条件的待校验数据，并将所述待校验数据发送至所述数据提取模块；所述数据提取模块还用于将所述待校验数据发送至所述推送模块；所述推送模块用于接收所述待校验数据，并将所述待校验数据发送至所述规则引擎；所述规则引擎用于根据预先存储的校验规则，对所述待校验数据进行校验，并输出校验结果；所述校验结果用于指示所述待校验数据校验通过，或者所述校验结果用于指示所述待校验数据校验失败。2.根据权利要求1所述的系统，其特征在于，所述数据提取模块根据所述查询条件生成查询请求时，具体用于：解析所述查询条件；在所述查询条件包括所述待校验数据的关联关系时，根据所述关联关系生成关联关系查询请求；将所述关联关系查询请求和所述查询请求发送至所述数据存储模块。3.根据权利要求1或2所述的系统，其特征在于，所述预先存储的校验规则中包括数据集和属性变量，所述数据集用于指示数据标识，所述属性变量用于指示数据内容；其中，至少两个数据集之间具有关联关系，所述关联关系对应数据集和属性变量；所述关联关系对应的数据集包括所述至少两个数据集；所述关联关系对应的属性变量用于指示所述至少两个数据集具有关联关系。4.根据权利要求1所述的系统，其特征在于，所述预先存储的校验规则是可视化配置的。5.根据权利要求1所述的系统，其特征在于，所述规则引擎的数量为至少两个；所述推送模块在将所述待校验数据发送至所述规则引擎时，具体用于：所述推送模块通过轮询的方式将所述待校验数据发送至所述至少两个规则引擎。6.根据权利要求1所述的系统，其特征在于，所述...

【专利技术属性】
技术研发人员：塔长城，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：