数据核查方法、装置、设备及可读存储介质制造方法及图纸

技术编号:33699187 阅读:21 留言:0更新日期:2022-06-06 08:05
本申请实施例提出了一种数据核查方法、装置、设备和存储介质,所述方法包括:在数据流转的核查过程中,从第一数据处理端上获取第一待核查数据和对应的第一核查规则;按照所述第一核查规则对所述第一待核查数据进行核查,得到第一核查结果;在所述第一核查结果为不通过,且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下,按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则;按照所述第二核查规则对所述第二待核查数据进行核查,得到第二核查结果。由于数据核查是按照数据流转的反方向进行的,因此,可以准确且全面地确定出待核查数据中的质量问题。查数据中的质量问题。查数据中的质量问题。

【技术实现步骤摘要】
数据核查方法、装置、设备及可读存储介质


[0001]本申请涉及数据核查技术,尤其涉及一种数据核查方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]相关技术中,提升数据质量的方法主要包括:基于数据仓库技术(Extract

Transform

Load,ETL)的流程,其主要在ETL流程中的节点对数据进行核查。但是,由于该方法只考虑到ETL流程中的数据质量,可能会导致核查结果不准确。

技术实现思路

[0003]本申请实施例期望提供一种数据核查方法、装置、数据核查设备和计算机存储介质。
[0004]第一方面,本申请实施例提供了一种数据核查方法,所述方法包括:在数据流转的核查过程中,从第一数据处理端获取第一待核查数据和对应的第一核查规则;按照所述第一核查规则对所述第一待核查数据进行核查,得到第一核查结果;在所述第一核查结果为不通过,且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下,按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则;本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据核查方法,其特征在于,所述方法包括:在数据流转的核查过程中,从第一数据处理端上获取第一待核查数据和对应的第一核查规则;按照所述第一核查规则对所述第一待核查数据进行核查,得到第一核查结果;在所述第一核查结果为不通过,且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下,按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则;所述数据核查方向与数据流转的方向相反;所述第二数据处理端为所述第一数据处理端的下一数据处理端;按照所述第二核查规则对所述第二待核查数据进行核查,得到第二核查结果。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述第一核查结果为通过的情况下,确定所述第一数据处理端是否为所述数据核查方向上的首个数据处理端;在确定所述第一数据处理端为所述数据核查方向上的首个数据处理端的情况下,确定整个所述数据流转过程中的数据无质量问题。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在所述第一核查结果为通过,且确定所述第一数据处理端不为所述数据核查方向上的首个数据处理端的情况下,确定所述第一待核查数据无质量问题,并输出告警信息;其中,所述告警信息用于表征所述第一数据处理端未向第三数据处理端提供符合第一核查规则的数据,以使得所述第三数据处理端重新从所述第一数据处理端获取数据以重新进行数据流转;所述第三数据处理端为数据核查方向上所述第一数据处理端的上一数据处理端。4.根据权利要求3所述的方法,其特征在于,在输出告警信息后,所述方法还包括:获取所述首个数据处理端上的首个待核查数据和对应的首个核查规则;其中,所述首个待核查数据是数据重新流转到所述首个数据处理端上的待核查数据;按照所述首个核查规则对所述首个待核查数据进行核查,得到首个核查结果。5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:在所述第一核查结果为不通过,且确定所述第一数据处理端为数据核查方向上的最后一个数据处理端的情况下,将所述第一核查结果确定为所述第一待核查数据存在质量问题;将所述第一待核查数据存在质量问题的第一核查结果反馈给源数据方。6.根据权利要求1至4任一项所述的方法,其特征在于,所述数据的流转方向上的数据处理端依次包括源数据端、数据库端、数据接口端和前端页面端,所述数据核查方向上的数据处理端依次包括前端页面端、数据接口端、数据库端和源数据端...

【专利技术属性】
技术研发人员:唐丽雯
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1