一种数据质量检测方法及装置制造方法及图纸

本申请公开了一种数据质量检测方法及装置，应用于数据检测技术领域，其中，该方法包括获取第一待检测数据；根据预设的数据格式要求组装所述第一待检测数据，得到第二待检测数据；通过数据质量检测接口获取所述第二待检测数据；根据至少一个数据质量验证标准对所述第二待检测数据进行数据质量检测并生成数据质量检测报告，所述数据质量验证标准包括至少一个数据质量验证规则，所述数据质量验证规则包括至少一个数据质量验证类型；本申请实现了数据质量验证标准的可配置化，从而使得本申请所提供的方案能够适应更多的数据质量检测的应用场景，相较于现有技术具备更高的兼容性。相较于现有技术具备更高的兼容性。相较于现有技术具备更高的兼容性。

【技术实现步骤摘要】
一种数据质量检测方法及装置


[0001]本申请涉及数据检测
，尤其涉及一种数据质量检测方法及装置。

技术介绍

[0002]数据仓库中作为一种数据分析的平台，拥有着庞大的数据量，但随着数据量的不断增加，数据重复、关键数据缺失等数据质量问题层出不穷，从而难以实现对数据仓库中的数据进行统计分析，因此需要对数据质量进行客观的评估，以避免影响数据的统计分析。
[0003]目前市面上对数据质量检测的方案往往都针对于单一的应用场景进行设计，从而导致方案的兼容性差，因此，如何提高数据质量检测的兼容性成为了急需解决的问题。

技术实现思路

[0004]有鉴于此，本申请的主要目的在于提供一种数据质量检测方法及装置，目的在于兼容更多数据质量检测的应用场景。
[0005]本申请第一方面提供了一种数据质量检测方法，该方法包括：获取第一待检测数据；根据预设的数据格式要求组装第一待检测数据，得到第二待检测数据；通过数据质量检测接口获取第二待检测数据；根据至少一个数据质量验证标准对第二待检测数据进行数据质量检测并生成数据质量检测报告，数据质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量检测方法，其特征在于，所述方法包括：获取第一待检测数据；根据预设的数据格式要求组装所述第一待检测数据，得到第二待检测数据；通过数据质量检测接口获取所述第二待检测数据；根据至少一个数据质量验证标准对所述第二待检测数据进行数据质量检测并生成数据质量检测报告，所述数据质量验证标准包括至少一个数据质量验证规则，所述数据质量验证规则包括至少一个数据质量验证类型；其中，所述数据质量验证类型包括如下至少一种：数据字典验证、集合验证、正则表达式验证、JS脚本验证、SQL脚本验证、长度验证、非空验证以及日期验证。2.根据权利要求1所述的方法，其特征在于，所述数据质量验证标准还包括自定义的数据质量验证规则；所述数据质量验证规则还包括自定义的数据质量验证类型。3.根据权利要求2所述的方法，其特征在于，所述自定义的数据质量验证类型包括：身份证实名验证以及人脸验证。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述数据质量检测报告进行分析，并生成分析日志。5.根据权利要求1所述的方法，其特征在于，所述预设的数据格式包括JSON格式。6.根据权利要求1所述的方法，其特征在于，所述数据字典验证包括：判断待验证数据是否在对应的字典项中，如果所述待验证数据不在对应的字典项中，将所述待验证数据写入所述数据质量检测报告中；所述集合验证包括：判断所述待验证数据是否在预设的字符集合中，如果所述待验证数据不在预设的字符集合中，将所述待验证数据写入所述数据质量检测报告中；所述正则表达式验证包括：判断所述待验证数据是否符合预设的正则标准，如果所述待验证数据不符合预设的正则标准，将所述待验证数据写入所述数据质量检测报告中；其中，所述待验证数据为第二待检测数据中的指定字段。7.根据权利要求6所述的方法，其特征在于，所述JS脚本验证包括：将所述待验证数据输入至JS脚本中，通过所述JS脚本判断所述待验证数据是否符合JS脚本预设...

【专利技术属性】
技术研发人员：陈钟武，唐佳，潘海华，徐梓舰，王贤兵，潘艳，陶莹，宋建，
申请(专利权)人：上海数慧系统技术有限公司，
类型：发明
国别省市：