数据检核方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据检核方法、装置、设备及存储介质。该数据检核方法包括：针对待检核的目标数据集，获取初始检核规则，初始检核规则中包括目标数据使用模块发送的第一检核规则；根据初始检核规则对目标数据集进行预检核，得到第一检核结果；向目标数据使用模块发送第一检核结果，以使目标数据使用模块根据第一检核结果与目标数据生产模块联合确定最终检核规则；根据最终检核规则对目标数据集进行再次检核，得到第二检核结果；若第二检核结果为通过，结束对目标数据集的检核过程。根据本申请实施例，数据检核过程能够满足下游用数需求，有效避免下游用数问题的出现和复现，提早发现问题，避免进行复杂的处理流程，有效减少了问题处理时间。了问题处理时间。了问题处理时间。

【技术实现步骤摘要】
数据检核方法、装置、设备及存储介质


[0001]本申请属于数据处理技术，尤其涉及一种数据检核方法、装置、设备及存储介质。

技术介绍

[0002]在项目开发过程中，用于生产数据的上游模块生产出的数据，由于可能会出现质量问题，因此，导致下游使用该数据的模块可能会出现脚本无法执行或者输出结果有误的问题，此时，的问题。
[0003]为了解决上述问题，传统的数据检核方式主要采用表力度的检核，也即，通过对表结构的审核，对数据进行初步筛选，确保数据格式、长度等与表结构一致。但是，这种表力度的检核要求较低，无法满足下游数据使用模块的用数需求，因此无法避免下游用数问题的出现和复现。另外，出现问题后，下游模块需要对数据问题逐一进行分析定位，从末端数据错误向前追溯问题原因，因此还存在问题发现时间晚、处理流程复杂、耗时久等缺陷。

技术实现思路

[0004]本申请实施例提供一种数据检核方法、装置、设备及存储介质方法、装置、设备及存储介质，能够解决现有技术中无法满足下游数据使用模块的用数需求，无法避免下游用数问题的出现和复现，以及问题发现时间晚、处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检核方法，其特征在于，应用于数据存储模块，所述方法包括：针对待检核的目标数据集，获取初始检核规则；其中，所述初始检核规则中包括目标数据使用模块发送的第一检核规则，所述目标数据使用模块为使用所述目标数据集中数据的模块；根据所述初始检核规则，对所述目标数据集进行预检核，得到第一检核结果；向所述目标数据使用模块发送所述第一检核结果，以使所述目标数据使用模块在所述第一检核结果为不通过或失败的情况下，与目标数据生产模块联合确定最终检核规则；其中，所述目标数据生产模块为生产所述目标数据集中数据的模块；接收所述最终检核规则，根据所述最终检核规则对所述目标数据集进行再次检核，得到第二检核结果；在所述第二检核结果为通过的情况下，结束对所述目标数据集的检核过程。2.根据权利要求1所述的方法，其特征在于，在接收所述最终检核规则，根据所述最终检核规则对所述目标数据集进行再次检核，得到第二检核结果之后，所述方法还包括：在所述第二检核结果为不通过或失败的情况下，返回执行向所述目标数据使用模块发送所述第二检核结果。3.根据权利要求1所述的方法，其特征在于，所述针对待检核的目标数据集，获取初始检核规则，包括：接收所述目标数据使用模块发送的针对所述目标数据集的所述第一检核规则，以及获取与所述目标数据集对应的用于确定数据取值范围的第二检核规则；根据所述第一检核规则和所述第二检核规则，生成所述初始检核规则。4.根据权利要求3所述的方法，其特征在于，所述接收所述目标数据使用模块发送的针对所述目标数据集的所述第一检核规则，包括：根据检核规则对应的规则要素信息，生成检核规则模板；将所述检核规则模板发送至所述目标数据使用模块，以使所述目标数据使用模块的用户根据所述检核规则模板输入与所述目标数据集对应的需求信息，生成所述第一检核规则；接收所述目标数据使用模块发送的所述第一检核规则。5.根据权利要求1所述的方法，其特征在于，在向所述目标数据使用模块发送所述第一检核结果之后，在接收所述最终检核规则，根据所述最终检核规则对所述目标数据集进行再次检核，得到第二检核结果之前，所述方法还包括：接收所述目标数据使用模块发送的协调请求；响应于所述协调请求，向所述目标数据使用模块和所述目标数据生产模块发送协调邀请，所述协调邀请用于指示所述目标数据使用模块与所述目标数据生产模块进行协调，得到协调结果；在所述协调结果为达成一致且修改所述初始检核规则的情况下，向所述目标数据使用模块发送所述协调结果，以使所述目标数据使用模块根据所述协调结果修改所述初始检核规则，得到所述最终检核规则；在所述协调结果为达成一致且不修改所述初始检核规则的情况下，向所述目标数据生产模块发送所述协调结果，以使所述目标数据生产模块根据所述协调结果修改所述目标数
据集中的数据，并将所述初始检核规则作为所述最终检核规则。6.根据权利要求5所述的方法，其特征在于，在响应于所述协调请求，向所述目标数据使用模块和所述目标数据生产模块发送协调邀请之后，所述方法还包括：在所述协调结果为未达成一致的情况下，向模块决策层发送决策请求，所述决策请求用于指示所述模块决策层进行决策，得到决策结果；在所述决策结果为修改所述初始检核规则的情况下，向所述目标数据使用模块发送所述决策结果，以使所述目标数据使用模块根据所述决策结果修改所述初始检核规则，得到所述最终检核规则；在所述决策结果为不修改所述初始检核规则的情况下，向所述目标数据生产模块发送所述决策结果，以使所述目标数据生产模块根据所述决策结果修改所述目标数据集中的数据，并将所述初始检核规则作为所述最终检核规则。7.一种数据检核方法，其特征在于，应用于数据使用模块，所述方法包括：在从数据存储模块获取目标数据集中的数据之前，接收数据存储模块发送的第一检核结果；其中，所述第一检核结果为所述数据存储模块根据所述目标数据集对应的初始检核规则，对所述目标数据集进行预检核得到的检核结果；在所述第一检核结果为不通过或失败的情况下，与目标数据生产模块联合确定最终检核规则；其中，所述目标数据生产模块为生产所述目标数据集中数据的模块；将所述最终检核规则发送至所述数据存储模块，以使所述数据存储模块根据所述最终检核规则对所述目标数据集进行再次检核。8.根据权利要求7所述的方法，其特征在于，所述与目标数据生产模块联合确定最终检核规则，包括：向与所述目标数据集对应的目标数据生产模块发送规则确认请求，所述规则确认请求用于指示所述目标数据生产模块确认所述初始检核规则是否合理，并在确认结果为不合理的情况下，向所述数据使用模块发送反馈信息；根据所述目标数据生产模块发送的所述反馈信息，确定是否修改所述初始检核规则；在确定修改的情况下，根据所述反馈信息...

【专利技术属性】
技术研发人员：陈冠文，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：