一种数据质量检核方法、系统、设备及可读存储介质技术方案

本发明专利技术公开了一种数据质量检核方法，包括：设置质量检核规则及数据权重规则；将质量检核规则与数据分区进行关联；判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果；根据质量检核规则及数据权重规则计算检核结果的质量权重值；判断质量权重值是否大于预设警报值，判断为是，发送质量警报信息及检核结果，并根据质量处理结果进行二次警报处理，判断为否，对数据分区进行更新处理并发送检核结果。相应地，本发明专利技术还公开了一种数据质量检核系统、设备及可读存储介质。采用本发明专利技术，可对数据分区的源数据或更新数据进行量化的质量检核，并对数据质量问题进行警报及跟进督促。

【技术实现步骤摘要】
一种数据质量检核方法、系统、设备及可读存储介质
本专利技术涉及数据库技术，尤其涉及一种数据质量检核方法、系统、设备及可读存储介质。
技术介绍
基于高校现有的数据质量检核，目前采用的技术方法是采用六大质量检核纬度，包括一致性、完整性、准确性、规范性、时效性、关联性等方面，去保障数据质量检核多角度达标。在现有的高校共享数据中心架构中，数据统一由各个业务部门业务系统采集至数据中心前置节点，在此基础上将数据汇入共享数据中心，通过数据中心进行数据质量检核处理，从而提高学校业务数据质量。但是，此种做法对数据质量保障仍有部分安全风险存在。在以往的经验中，数据的安全、可靠依赖于业务部门正确的生产、使用和维护数据。在这个过程中，存在着业务部门对数据误操作的风险，而系统并没有提供相应的数据安全保障机制，一旦出现大规模数据的误操作，将严重影响数据中心前置节点数据安全和可靠，进而严重影响共享数据中心整体数据质量。另外，现有技术还存在以下缺点：(1)无法对源数据进行质量监控。现有的技术方案是先形成数据标准，再进行数据质量检测，质量检核规则需严格符合数据标准，且质量规则也只适用于标准数据，无法对来源于业务系统的原生数据进行直接检测。(2)数据入库规则不清晰，对数据入基础层、集市层的规则不清晰，导致无法保障入库的数据符合相应质量要求。数据入库规则无法量化，需要人工介入，无法做到自动入库。(3)对更新数据缺乏质量验证，无法确保数据更新不出错。现有数据质量检核缺乏对更新后的数据进行检测，无法验证更新过程是否符合规范。(4)数据问题责任不清晰，缺乏线上处理流程。数据进行转换、加工、清洗后，数据责任方不清晰，也无法对质量问题进行线上统一管理、跟进质量问题。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种数据质量检核方法、系统、设备及可读存储介质，可对数据分区的源数据或更新数据进行量化的质量检核，并对数据质量问题及时警报和跟进督促。为了解决上述技术问题，本专利技术提供一种数据质量检核方法，包括：设置质量检核规则及数据权重规则；将质量检核规则与数据分区进行关联；判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果；根据质量检核规则及数据权重规则计算检核结果的质量权重值；判断质量权重值是否大于预设警报值，判断为是，向更新数据的数据提供方发出质量警报信息及检核结果，获取数据提供方的质量处理结果，根据质量处理结果进行二次警报处理，判断为否，根据更新数据对数据分区进行更新处理，并向数据提供方发送检核结果。作为上述方案的改进，设置质量检核规则及数据权重规则的步骤包括：对每个质量检核规则设置规则权重值；对数据权重规则中每个数据项设置对应的数据权重值。作为上述方案的改进，根据质量检核规则及数据权重规则计算检核结果的质量权重值的步骤包括：判断检核结果中是否有数据项未通过任一质量检核规则的检核，判断为是，逐一计算数据项的质量权重值WQ，并以所有数据项的质量权重值作为检核结果的质量权重值：WQ＝WLSUM×WD其中，WQ为数据项的质量权重值，WLSUM为数据项未通过的所有质量检核规则的规则权重值之和，WD为数据项的数据权重值；判断为否，将质量权重值设为预设最小值，预设最小值小于预设警报值。作为上述方案的改进，根据更新数据对数据分区进行更新处理的步骤包括：判断数据分区中更新数据对应的数据项是否为空，判断为是，在数据项中插入更新数据，判断为否，将数据项的数据值修改为更新数据。一种数据质量检核系统，包括：规则设置模块，用于设置质量检核规则及数据权重规则；规则关联模块，用于将质量检核规则与数据分区进行关联；检核模块，用于判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果；权重计算模块，用于根据质量检核规则及数据权重规则计算检核结果的质量权重值；判断处理模块，用于判断质量权重值是否大于预设警报值，判断为是，向更新数据的数据提供方发出质量警报信息及检核结果，获取数据提供方的质量处理结果，根据质量处理结果进行二次警报处理，判断为否，根据更新数据对数据分区进行更新处理，并向数据提供方发送检核结果。作为上述方案的改进，规则设置模块包括：规则权重设置单元，用于对每个质量检核规则设置规则权重值；数据权重设置单元，用于对数据权重规则中每个数据项设置对应的数据权重值。作为上述方案的改进，权重计算模块包括：检核结果判断单元，用于判断检核结果中是否有数据项未通过任一质量检核规则的检核，质量权重计算单元，用于判断为是，逐一计算数据项的质量权重值WQ，并以所有数据项的质量权重值作为检核结果的质量权重值：WQ＝WLSUM×WD其中，WQ为数据项的质量权重值，WLSUM为数据项未通过的所有质量检核规则的规则权重值之和，WD为数据项的数据权重值；最小值设置单元，用于判断为否，将质量权重值设为预设最小值，预设最小值小于预设警报值。作为上述方案的改进，判断处理模块包括：空项判断单元，用于判断数据分区中更新数据对应的数据项是否为空，空项插入单元，用于判断为是，在数据项中插入更新数据，数项更新单元，用于判断为否，将数据项的数据值修改为更新数据。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现上述数据质量检核方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述数据质量检核方法的步骤。实施本专利技术，具有如下有益效果：本专利技术数据质量检核方法、系统、设备及可读存储介质，可对数据分区的源数据或更新数据进行量化的质量检核，并对数据质量问题及时警报和跟进督促。具体来说，设置质量检核规则及数据权重规则并将质量检核规则与数据分区进行关联，从而对包括源数据在内的各种数据进行质量检核，提高数据库整体的数据质量。然后判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果，从而对更新过程中的数据进行质量检核，防止不符合规范的数据更新对数据质量的影响。然后根据质量检核规则及数据权重规则计算检核结果的质量权重值，从而得出一个衡量数据质量的量化指标，再判断质量权重值是否大于预设警报值，如果判断为是，向更新数据的数据提供方发出质量警报信息及检核结果，获取数据提供方的质量处理结果，根据质量处理结果进行二次警报处理，从而对数据质量问题进行及时警报和跟进督促。如果判断为否，根据更新数据对数据分区进行更新处理，并向数据提供方发送检核结果，从而将符合质量规范的数据更新到数据库。附图说明图1是本专利技术数据质量检核方法的总体流程图；图2是本专利技术数据质量检核方法的设置质量检核规则及数据权重规则的流程图；图3是本专利技术数据质量检核方法的根据质量检核规则及数据权重规则计算检核结果的质量权重值本文档来自技高网...

【技术保护点】
1.一种数据质量检核方法，其特征在于，包括：/n设置质量检核规则及数据权重规则；/n将所述质量检核规则与数据分区进行关联；/n判断所述数据分区是否有更新数据输入，判断为是，根据所述数据分区对应的质量检核规则对所述更新数据进行检核处理，生成检核结果；/n根据所述质量检核规则及数据权重规则计算所述检核结果的质量权重值；/n判断所述质量权重值是否大于预设警报值，判断为是，向更新数据的数据提供方发出质量警报信息及所述检核结果，获取所述数据提供方的质量处理结果，根据所述质量处理结果进行二次警报处理，判断为否，根据所述更新数据对所述数据分区进行更新处理，并向所述数据提供方发送所述检核结果。/n

【技术特征摘要】
1.一种数据质量检核方法，其特征在于，包括：
设置质量检核规则及数据权重规则；
将所述质量检核规则与数据分区进行关联；
判断所述数据分区是否有更新数据输入，判断为是，根据所述数据分区对应的质量检核规则对所述更新数据进行检核处理，生成检核结果；
根据所述质量检核规则及数据权重规则计算所述检核结果的质量权重值；
判断所述质量权重值是否大于预设警报值，判断为是，向更新数据的数据提供方发出质量警报信息及所述检核结果，获取所述数据提供方的质量处理结果，根据所述质量处理结果进行二次警报处理，判断为否，根据所述更新数据对所述数据分区进行更新处理，并向所述数据提供方发送所述检核结果。


2.如权利要求1所述数据质量检核方法，其特征在于，所述设置质量检核规则及数据权重规则的步骤包括：
对每个所述质量检核规则设置规则权重值；
对所述数据权重规则中每个数据项设置对应的数据权重值。


3.如权利要求1所述数据质量检核方法，其特征在于，所述根据所述质量检核规则及数据权重规则计算所述检核结果的质量权重值的步骤包括：
判断所述检核结果中是否有数据项未通过任一所述质量检核规则的检核，
判断为是，逐一计算所述数据项的质量权重值WQ，并以所有所述数据项的质量权重值作为所述检核结果的质量权重值：
WQ＝WLSUM×WD
其中，WQ为所述数据项的质量权重值，WLSUM为所述数据项未通过的所有质量检核规则的所述规则权重值之和，WD为所述数据项的数据权重值；
判断为否，将质量权重值设为预设最小值，所述预设最小值小于所述预设警报值。


4.如权利要求1所述数据质量检核方法，其特征在于，所述根据所述更新数据对所述数据分区进行更新处理的步骤包括：
判断所述数据分区中所述更新数据对应的数据项是否为空，判断为是，在所述数据项中插入所述更新数据，判断为否，将所述数据项的数据值修改为所述更新数据。


5.一种数据质量检核系统，其特征在于，包括：
规则设置模块，用于设置质量检核规则及数据权重规则；
规则关联模块，用于将所述质量检核规则与数据分区进行关联；
检核模块，用于判断所述数据分区是否有更新数据输入，判断为...

【专利技术属性】
技术研发人员：王新宇，张健博，刘栋梁，王晋民，卢国资，
申请(专利权)人：三盟科技股份有限公司，
类型：发明
国别省市：广东;44