数据质量规则统一校验方法技术

本发明专利技术涉及数据处理领域，尤其涉及一种数据质量规则统一校验方法，包括：针对单条数据进行进行一次判定；根据数据的非空率确定是否针对评估分数进行减小调节；针对单条数据是否合格进行二次判定；根据数据的时间点是否处于预设时间范围判定是否针对评估分数进行减小调节；用户自行设定判定规则，判定规则的数量以及最大评估分数；本发明专利技术解决了传统大数据量质量计算通过数据sql语句进行处理，不够直观且上手成本相对较高，且不方便维护的问题。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，尤其涉及一种数据质量规则统一校验方法。

技术介绍

1、数据质量，即是在某个行业、某个场景业务下，符合数据使用者的业务需求、组织方式及展现形式。首先数据使用者利用数据存系统，比如数据库、文件等方式保存了一批数据，此数据可能是使用者的业务系统产生并进行过一定的筛选得到，最终保存到数据存储系统中。而其中数据的内容是否符合某个行业，某个场景业务下的规范，用数据符合规范的分值来权衡数据的质量。但是常存在不够直观且上手成本相对较高，且不方便维护等缺点。

2、中国专利公开号cn116450719a公布了一种数据处理系统及方法，包括：数据交换模块，用于基于用户的项目任务需求进行数据源类型的统一；数据质量校验模块，用于对同一类型的数据源依据预设的校验指标和校验规则进行数据质量校验；scriptis模块，用于配置目标数据分析程序并对进行数据质量校验分析。由此可见，对比文件未考虑到质量校验不够直观且上手成本相对较高，且不方便维护的问题。

技术实现思路

1、为此，本专利技术提供一种数据质量规则本文档来自技高网...

【技术保护点】

1.一种数据质量规则统一校验方法，其特征在于，包括：

2.根据权利要求1所述的数据质量规则统一校验方法，其特征在于，针对单条数据是否合格进行一次判定，若数据的非空率大于单条数据的数据量的10％，则该数据对应评估分数进行减小预设差值；

3.根据权利要求2所述的数据质量规则统一校验方法，其特征在于，针对单条数据是否合格进行二次判定，若数据的时间点处于预设时间范围，则该数据对应评估分数不变；

4.根据权利要求3所述的数据质量规则统一校验方法，其特征在于，预设时间范围为用户自行设定。

5.根据权利要求4所述的数据质量规则统一校验方法，其特征在于，用...

【技术特征摘要】

1.一种数据质量规则统一校验方法，其特征在于，包括：

2.根据权利要求1所述的数据质量规则统一校验方法，其特征在于，针对单条数据是否合格进行一次判定，若数据的非空率大于单条数据的数据量的10％，则该数据对应评估分数进行减小预设差值；

3.根据权利要求2所述的数据质量规则统一校验方法，其特征在于，针对单条数据是否合格进行二次判定，若数据的时间点处于预设时间范围，则该数据对应评估分数不变；

4.根据权利要求3所述的数据质量规则统一校验方法，其特征在于，预设时间范围为用户自行...

【专利技术属性】
技术研发人员：高海玲，高经郡，高松，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：