自动化数据质量检验的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术属于大数据技术领域，具体涉及一种自动化数据质量检验的方法、装置、设备和存储介质。其中方法包括：触发质检服务，获取数据特征，根据数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；执行每条质检规则，分别校验数据，得到质检结果并存储；将质检结果进行展示。本发明专利技术通过自定义配置质检规则基本解决了大部分生产数据的质检需求，在整个数据生产链路中，接入本发明专利技术后，质检成本更低，质检效率和质量则大幅度提升。升。升。

【技术实现步骤摘要】
自动化数据质量检验的方法、装置、设备和存储介质


[0001]本专利技术属于大数据
，具体涉及一种自动化数据质量检验的方法、装置、设备和存储介质。

技术介绍

[0002]在当前大数据背景下，在进行数据分析之前要对数据进行准确性检查，数据质量是保证数据应用的关键性指标。如何评估数据是否达到预期设定的质量要求，这就需要有一种方式来对数据进行检验。目前最为通用的质检方式有两类：第一类是人工质检，第二类是通过ETL来实现一些质检逻辑以达到数据质检的目的。综上两种都有各自的不足之处。
[0003]在有大量数据需要质检的时候，传统的方式中人工质检显然在效率和准确率上都无法很好的把控。通过ETL脚本也只能实现逻辑相对简单的质检规则，在通用性和扩展性方面也并不理想。

技术实现思路

[0004]本专利技术针对大量数据需要质检时，通过人工质检或ETL脚本无法实现高效准确质检的技术问题，目的在于提供一种自动化数据质量检验的方法、装置、设备和存储介质。
[0005]一种自动化数据质量检验的方法，包括：
[0006]触发质检服务，获取数据特征，根据所述数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；
[0007]执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；
[0008]将质检结果进行展示。
[0009]可选的，所述触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则之前，包括：
[0010]触发质检规则配置服务，展示规则配置页面，所述规则配置页面中包括规则输入窗口、质检分类选项和数据特征选项；
[0011]接收用户自定义的质检规则，用户自定义的所述质检规则包括用户在所述规则输入窗口输入的配置参数、用户选择的质检分类和数据特征；
[0012]根据所述质检分类对所述配置参数进行校验，若校验通过，则按数据特征对所述质检规则进行存储，若校验不通过，则在所述规则配置页面进行错误提示。
[0013]可选的，所述质检分类包括数据非空验证、数值范围验证、正则验证、数据平衡验证、跨期数据验证和高级逻辑质检中的至少一类。
[0014]可选的，触发质检服务，获取数据特征，包括：
[0015]在数据自动化生产流程中，预设有质检步骤，在系统自动生产数据的过程中，自动触发预设的质检服务，触发所述质检服务时将数据的数据特征一起传送给所述质检服务。
[0016]可选的，触发质检服务，获取数据特征，包括：
[0017]通过前端页面手动选择数据，调用预设的质检服务，将数据的数据特征传入所述
质检服务。
[0018]可选的，所述数据特征包括数据分类或数据标签。
[0019]可选的，所述执行每条所述质检规则，分别校验所述数据，得到质检结果并存储，包括：
[0020]根据所述质检规则内的配置参数，过滤所述数据，如果没有对应的数据内容，则质检结果为不适用；
[0021]如果有对应的数据内容，且校验正确，则质检结果为质检成功，否则质检结果为质检失败；
[0022]若所述质检结果为质检失败，则将失败原因及在所述数据对应的位置信息一起存储。
[0023]可选的，将质检结果进行展示，包括：
[0024]触发质检查看服务，展示质检结果查看页面，所述质检结果查看页面包括展示质检结果的查看窗口，所述查看窗口展示有当前数据的质检结果，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。
[0025]可选的，所述质检结果查看页面还包括数据特征选项和质检结果选项；
[0026]接收用户自定义的查询选项，所述查询选项包括用户选项的数据特征及质检结果，根据所述查询选项搜索出所述数据特征及所述质检结果对应的数据，将所述数据的质检结果展示在所述查看窗口，若包含有质检失败的质检结果，则将失败原因及对应的数据内容进行展示。
[0027]可选的，还包括：
[0028]从所述质检结果查看页面再次触发质检服务，接收从所述当前质检结果查看窗口传送的用户修改的数据内容作为修正数据，对所述修正数据再次执行每条所述质检规则，将得到的质检结果再次进行存储和展示。
[0029]一种自动化数据质量检验的装置，包括：
[0030]获取数据及质检规则模块，用于触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则，通过预设的数据查询方式获取需要质检的数据；
[0031]执行质检规则模块，用于执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；
[0032]展示质检结果模块，用于将质检结果进行展示。
[0033]一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述自动化数据质量检验的方法的步骤。
[0034]一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述自动化数据质量检验的方法的步骤。
[0035]本专利技术的积极进步效果在于：本专利技术采用自动化数据质量检验的方法、装置、设备和存储介质，具有如下显著优点：
[0036]1、通过自定义配置质检规则基本解决了大部分生产数据的质检需求，在整个数据生产链路中，接入本专利技术后，质检成本更低，质检效率和质量则大幅度提升；
[0037]2、对于因需求的变化而引起质检逻辑变动适应性更强，基本做到了需求变更质检
逻辑即可进行实时调整；
[0038]3、对于各类质检规则可以进行统一的管理和维护。
附图说明
[0039]图1为本专利技术方法的一种流程示意图。
具体实施方式
[0040]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本专利技术。
[0041]参照图1，一种自动化数据质量检验的方法，包括：
[0042]S1，获取数据及质检规则：触发质检服务，获取数据特征，根据数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据。
[0043]本步骤中的质检规则是预先存储在存储模块中的质检规则，这些质检规则可以采用默认规则，用户也可以根据需要进行自定义配置。
[0044]本步骤中的数据特征包括数据分类或数据标签等能识别不同类型数据的数据特征。一种类型的数据特征可能对应有多条质检规则，包括默认的质检规则，或者用户自定义的质检规则，通过数据特征将这些对应的质检规则都查询获取。然后通过数据源提供的数据查询方式，如restful api等，查询得到需要质检的数据。这样的方式，实现了质检规则可复用，在质检相同类型的数据时，已定义好的质检规则可直接使用，而不需要反复定义，减少冗余，提高效率。
[0045]在一个实施例中，步骤S1之前包括步骤S0，配置质检规则，具体为：
[0046]S01，触发质检规则配置服务，展示规则配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动化数据质量检验的方法，其特征在于，包括：触发质检服务，获取数据特征，根据所述数据特征获取多条预设的质检规则，通过预设的数据查询方式获取需要质检的数据；执行每条所述质检规则，分别校验所述数据，得到质检结果并存储；将质检结果进行展示。2.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述触发质检服务，获取数据特征，根据所述数据特征获取多条质检规则之前，包括：触发质检规则配置服务，展示规则配置页面，所述规则配置页面中包括规则输入窗口、质检分类选项和数据特征选项；接收用户自定义的质检规则，用户自定义的所述质检规则包括用户在所述规则输入窗口输入的配置参数、用户选择的质检分类和数据特征；根据所述质检分类对所述配置参数进行校验，若校验通过，则按数据特征对所述质检规则进行存储，若校验不通过，则在所述规则配置页面进行错误提示。3.如权利要求2所述的自动化数据质量检验的方法，其特征在于，所述质检分类包括数据非空验证、数值范围验证、正则验证、数据平衡验证、跨期数据验证和高级逻辑质检中的至少一类。4.如权利要求1所述的自动化数据质量检验的方法，其特征在于，触发质检服务，获取数据特征，包括：在数据自动化生产流程中，预设有质检步骤，在系统自动生产数据的过程中，自动触发预设的质检服务，触发所述质检服务时将数据的数据特征一起传送给所述质检服务。5.如权利要求1所述的自动化数据质量检验的方法，其特征在于，触发质检服务，获取数据特征，包括：通过前端页面手动选择数据，调用预设的质检服务，将数据的数据特征传入所述质检服务。6.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述数据特征包括数据分类或数据标签。7.如权利要求1所述的自动化数据质量检验的方法，其特征在于，所述执行每条所述质检规则，分别校验所述数据，得到质检结果并存储，包括：根据所述质检规则内的配置参数，过滤所述数据，如果没有对应的数据内容，则质检结果为不适用；如果有对应的数据内容，且校验正确，则质检结果为质检成功，否则质检结果为质检...

【专利技术属性】
技术研发人员：黄夫龙，曹峰，
申请(专利权)人：数库上海科技有限公司，
类型：发明
国别省市：