一种基于校验规则的分类和质检方法及系统技术方案

本发明专利技术公开了一种基于校验规则的分类和质检方法及系统，方法包括，对数据库中的数据表进行监控，根据所述监控的维度建立新的校验规则；将所述校验规则进行重要类型分类，并按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行频率；开启新增的作业，并进行质检；质检是否存在异常数据，若存在，则根据报警规则进行反馈。系统包括：监控模块，规则建立模块，处理模块，质检模块，作业单元以及数据库。本发明专利技术将数据库后台监控实现为平台的可视化操作；并且将繁杂的校验规则通过有效的分类管理，实现了根据重要性的进行分类、定时监控。

【技术实现步骤摘要】

本专利技术属于数据库处理
，涉及一种数据质检系统，尤其涉及金融资讯数据的质检系统；同时，本专利技术还涉及一种上述质检系统的校验规则。
技术介绍
随着金融资讯数据呈现出“几何级数”式的增长，对采集的资讯数据进行及时、有效的质检，保证数据的正确性，对于后续的数据存储、分发、衍生计算及应用起到重要的预警保障作用，是底层数据生产上关键的一环。传统的质检采取人工查询数据库方式，效率低、难以发现问题源、对数据库压力大，对于个别少量问题人工方式尚可，但难以应对大数据环境。
技术实现思路
本专利技术要解决的技术问题是，通过将繁杂的校验规则通过有效的分类管理，实现了根据重要性的进行分类、定时监控并按照周期进行质检。解决上述技术问题，本专利技术提供了一种基于校验规则的分类和质检方法，包括，对数据库中的数据表进行监控，根据所述监控的维度建立新的校验规则；将所述校验规则进行重要类型分类；并按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行频率；开启新增的作业，并进行质检；质检是否存在异常数据，若存在，则根据报警规则进行反馈。更进一步，所述进行监控的方法为，对需要监控的数据库添加数据源。更进一步，新的校验规则按照逐一增加或者EXCEL批量导入。更进一步，所述新的校验规则的属性包括，需要检查的数据表、规则的描述、重要类型分类、对应的检查人员。更进一步，所述执行频率包括，每小时、每天、每月、每年。更进一步，所述检测是否存在异常数据的方法为，对于系统中某一作业，按设定的频率执行，执行成功后，如果校验的数据库中存在违反该作业下某一规则的记录时，则会在质检系统的报警界面出现对应规则及异常数据量信息。更进一步，所述新的校验规则包括：字段与字段之间逻辑关系、记录与记录之间的逻辑关系、表与表之间的逻辑关系，所述字段包括：数值型字段、时间型字段、参数型字段、整数型字段进行重要类型分类；所述记录与记录之间的逻辑关系为：在一同个表中不同记录之间的逻辑关系校验；所述表与表之间的逻辑关系是指：有内在关系的不同表的记录之间的校验。更进一步，将所述校验规则进行重要类型分类包括：及时性校验规则分类、准确性校验规则分类、完整性校验规则分类。本专利技术还提供了一种基于校验规则的分类和质检系统，包括，监控模块，所述监控模块用以对数据库中的数据表进行监控，规则建立模块，所述规则建立模块用以根据所述监控的维度建立新的校验规则；处理模块，所述处理模块用以将所述校验规则进行重要类型分类，并按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行频率；质检模块，所述质检模块用以质检是否存在异常数据，若存在，则根据报警规则进行反馈；作业单元，所述作业单元用以进行新增作业任务；并执行作业任务；数据库，所述数据库用以储存待质检的数据。更进一步，所述规则建立模块建立包括：及时性校验规则、准确性校验规则以及完整性校验规则。本专利技术的有益效果：1)本专利技术的方法将数据库后台监控实现为平台的可视化操作。2)本专利技术的方法将繁杂的校验规则通过有效的分类管理，实现了根据重要性的进行分类、定时监控。3)本专利技术的系统自动化作业质检系统，通过将数据本身的检查转化为对质检校验规则的监控，同时，采取程序自动化执行和人工监测可视化的报警界面，能迅速定位问题点，极大的提升了数据质检的效率和效果。附图说明图1是本专利技术一实施例中的基于校验规则的分类和质检方法流程示意图。图2是图1中新的校验规则的结构示意图。图3是本专利技术一实施例中检测是否存在异常数据的方法流程示意图。图4是本专利技术一实施例中的基于校验规则的分类和质检系统的结构示意图。图5是本专利技术一优选实施例中的基于校验规则的分类和质检方法流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。请参考图1是本专利技术一实施例中的基于校验规则的分类和质检方法流程示意图。在本实施例中的分类和质检方法流程如下：步骤S101对数据库中的数据表进行监控，根据所述监控的维度建立新的校验规则。作为本实施例中的优选，所述进行监控的方法为，对需要监控的数据库添加数据源。比如，可以通过数据入库的时间与数据源或者是三方进行对比，考核同一时间点的入库量差异或者最早的入库记录与数据源最早披露公告的时间差，用以确保及时性校验。步骤S102将所述校验规则进行重要类型分类，作为本实施例中的优选，所述校验规则进行重要类型分类包括：及时性校验规则分类、准确性校验规则分类、完整性校验规则分类，具体地，所述及时性校验规则分类，可以通过数据入库的时间与数据源或者是三方进行对比。比如，ODBC开放数据库互连(OpenDatabaseConnectivity，)采用的是开放服务结构(WOSA，WindowsOpenServicesArchitecture)中有关数据库的一个组成部分，ODBC建立了一组规范，并提供了一组对数据库访问的标准应用程序编程接口API。这些API利用SQL数据库来完成其大部分任务。更进一步，所述新的校验规则按照逐一增加或者EXCEL批量导入。具体地，在步骤S102中，对于web网页需要的配置信息包括：web服务需要的数据源、操作类型(比如，添加、修改、删除或者查询)、请求参数和返回值、结果过滤条件、web服务名称及URL、版本号、服务描述。然后根据配置的操作类型、请求参数、返回值、过滤条件动态生成相关数据库查询语句。接着，生成用于保存单条数据记录的数据模型，进行规则的重要程度分类，根据配置的返回值信息动态生成用于保存单条数据记录的数据模型代码，生成数据模型。步骤S103按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行频率，所述的作业是指将大量零散的校验规则按照统一执行频率、时间进行分类，实现统一管理的执行任务。更进一步，对作业的分类基于：数值型字段、时间型字段、参数型字段、整数型字段。或者按质检的角度划分为：及时性校验规则、准确性校验规则、完整性校验规则。作为本实施例中的优选，对新增的作业设定执行频率包括，每小时、每天、每月、每年。步骤S104开启新增的作业，并进行质检。在设定了执行频率后，可以开始进行质检。本领域技术人员能够明了，对作业进行的质检包括但不限于：负责上市公司、基金、理财、保险、债券、机构、宏观、行业等各类金融数据的审计工作和错误汇总工作(包括日常数据审查和历史数据清理)；或者，负责相关金融数据库表结构技术文档的审查工作。步骤S105质检是否存在异常数据，若存在，则根据报警规则进行反馈。所述质检是否存在异常数据，根据设置的校验规则进行判断，若符合校验规则，则不进行报警。具体地，在步骤S105中，如存在如下规则A：任意一只股票的发行日期必须小于上市日期；那么，所述规则A对应数据库中的对应的表B进行全表检验，本文档来自技高网...

【技术保护点】
一种基于校验规则的分类和质检方法，其特征在于包括，对数据库中的数据表进行监控，根据所述监控的维度建立新的校验规则；将所述校验规则进行重要类型分类；并按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行频率；开启新增的作业，并进行质检；质检是否存在异常数据，若存在，则根据报警规则进行反馈。

【技术特征摘要】
1.一种基于校验规则的分类和质检方法，其特征在于包括，
对数据库中的数据表进行监控，根据所述监控的维度建立新的校验规则；
将所述校验规则进行重要类型分类；
并按照所述重要类型分类对作业进行分类；以及对新增的作业设定执行
频率；
开启新增的作业，并进行质检；
质检是否存在异常数据，若存在，则根据报警规则进行反馈。
2.根据权利要求1所述的基于校验规则的分类和质检方法，其特征在于，
所述进行监控的方法为，对需要监控的数据库添加数据源。
3.根据权利要求1所述的基于校验规则的分类和质检方法，其特征在于，
新的校验规则按照逐一增加或者EXCEL批量导入。
4.根据权利要求3所述的基于校验规则的分类和质检方法，其特征在于，
所述新的校验规则的属性包括，需要检查的数据表、规则的描述、重要类型
分类、对应的检查人员。
5.根据权利要求1所述的基于校验规则的分类和质检方法，其特征在于，
所述执行频率包括，每小时、每天、每月、每年。
6.根据权利要求1所述的基于校验规则的分类和质检方法，其特征在于，
所述检测是否存在异常数据的方法为，对于系统中作业，按设定的频率执行，
执行成功后，如果校验的数据库中存在违反该作业下规则的记录时，则会在
质检报警界面出现对应规则及异常数据量信息。
7.根据权利要求1所述的基于校验规则的分类和质检方法，其...

【专利技术属性】
技术研发人员：黄涛，胡春华，黄俊，鄢坤，
申请(专利权)人：优品财富管理有限公司，
类型：发明
国别省市：湖北;42