基于标准SQL下的业务系统数据质量检测方法技术方案

本发明专利技术公开了一种基于标准SQL下的业务系统数据质量检测方法，包括如下步骤：进行业务数据和业务规则的基础配置，生成可执行SQL语句；执行生成的SQL语句，获取数据的中间结果；过滤异常数据，进行数据合并和统计。本发明专利技术具有如下有益效果：配置管理的优化；本发明专利技术能够有效的合并几十乃至几百的数据校验规则，实现一条SQL语句检测一个数据视图上的多个数据质量规则，提高了数据质量检测的速度；(3)本发明专利技术通过对数据视图执行标准SQL的方式，在数据质量校验字段上添加相关检测逻辑规则，执行SQL后在SQL语句返回结果的基础上，过滤及分解相关检测逻辑判定有异常的数据，实现对业务系统数据质量校验和异常数据的分离。

【技术实现步骤摘要】
基于标准SQL下的业务系统数据质量检测方法
本专利技术涉及数据库数据质量控制
，尤其是涉及一种能够提高数据质量检测效率，实现业务系统数据质量校验和异常数据分离的基于标准SQL下的业务系统数据质量检测方法。
技术介绍
随着企事业单位数字化程度的提高和企事业单位信息系统的广泛应用，信息系统业务数据的质量问题也日益凸现。数据质量问题轻则影响业务事务的一般处理和统计分析的准确性，重则影响企事业单位决策、客户关系、流程质量，甚至影响行业发展。近年来，数据二次应用的研究在企事业单位广泛展开。通过数据挖掘、数据仓库、在线分析等技术，对业务系统内存储的数据进行提取和分析，为企事业单位管理决策和业务执行提供支持。在数据二次应用中，数据质量问题的影响同样十分严重，因其不但无法再更正，更会造成分析错误，影响企事业单位管理和业务执行决策。目前现有的一些针对数据库数据表单质量检测的解决方案，其主要实现方式也是基于SQL的处理方式，不过不同的地方在于，其主要的规则校验逻辑实现在SQL的WHERE子句层面，这就意味着每个SQL的配置只能满足一个业务规则的校验，本文档来自技高网...

【技术保护点】
1.一种基于标准SQL下的业务系统数据质量检测方法，其特征在于，包括如下步骤：/n(1-1)进行业务数据和业务规则的基础配置，生成可执行SQL语句；/n(1-2)执行生成的SQL语句，获取数据的中间结果；/n(1-3)过滤异常数据，进行数据合并和统计。/n

【技术特征摘要】
1.一种基于标准SQL下的业务系统数据质量检测方法，其特征在于，包括如下步骤：
(1-1)进行业务数据和业务规则的基础配置，生成可执行SQL语句；
(1-2)执行生成的SQL语句，获取数据的中间结果；
(1-3)过滤异常数据，进行数据合并和统计。


2.根据权利要求1所述的基于标准SQL下的业务系统数据质量检测方法，其特征在于，步骤(1-1)的具体步骤如下：
(2-1)将多个数据表格关联，生成数据视图；
(2-2)定义业务模块名称和数据视图名称；
(2-3)制定若干个数据质量校验业务规则，完成“业务模块”，“数据视图”和“业务规则”三者之间的映射；
(2-4)根据数据视图以及制定的各个数据质量校验业务规则，生成可执行SQL语句，完成“业务规则”和“可执行SQL语句”之间的映射。


3.根据权利要求1所述的基于标准SQL下的业务系统数据质量检测方法，其特征在于，步骤(...

【专利技术属性】
技术研发人员：许一南，柳遵梁，刘涛，
申请(专利权)人：杭州美创科技有限公司，
类型：发明
国别省市：浙江;33