System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据校验方法、装置、计算机设备及存储介质制造方法及图纸_技高网

数据校验方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40816883 阅读:6 留言:0更新日期:2024-03-28 19:36
本申请属于大数据领域与金融科技领域,涉及一种数据校验方法,包括:获取业务数据库内的业务元数据;对业务元数据进行标准化处理得到目标数据;确定与目标数据对应的维度信息与度量信息;基于维度信息与度量信息构建事实表;从数据湖中获取与业务元数据对应的贴源业务数据;从应用层中获取与业务元数据对应的待报送数据;基于事实表对贴源业务数据与待报送数据进行数据校验处理,生成对应的数据校验结果。本申请还提供一种数据校验装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,数据校验结果可存储于区块链中。本申请可以应用于金融领域的业务数据比对场景,提高了数据校验的处理效率,且保证了生成的数据校验结果的数据准确性。

【技术实现步骤摘要】

本申请涉及大数据与金融科技领域,尤其涉及数据校验方法、装置、计算机设备及存储介质


技术介绍

1、近些年,数据平台团队新增多个监管报送项目,目的是有效识别金融风险,提升金融企业数据质量的重要手段。目前,保险公司的业务系统数据库采用的是oracle,金融保险业务复杂度高,存在大量理赔、承保等多个场景的管理系统,且不同管理系统间推出的产品多样化,数据入湖,经过大数据加工链路过程中,存在大量任务未能及时适配修改,数据未能有效及时地由源端到应用数据报送端到端打通,如何有效提升报送数据与业务数据的准确性、完整性、一致性,成为监管数据治理中监管报送需迫切解决的重要课题。由于oracle业务数据入湖后,经多层数据预处理且下游存在特殊加工,表模型字段已完全不同,因此,为满足监管的数据一致性要求,需要成立监管数据治理项目,保障报送数据与业务系统数据双验比对一致。

2、现有保险公司所采用的待报送数据与原始业务数据之间的校验方式,是通过人工方式对待报送数据与原始业务数据的数据量、汇总数据进行核对,且由人工查看详细数据进行细项差异检核以得到相应的数据校验结果,这种校验方式需耗费大量人力,处理效率低下,且无法保证生成的数据校验结果的准确度。


技术实现思路

1、本申请实施例的目的在于提出一种数据校验方法、装置、计算机设备及存储介质,以解决现有的保险公司所采用的待报送数据与原始业务数据之间的校验方式需耗费大量人力,处理效率低下,且无法保证生成的数据校验结果的准确度的技术问题。

2、为了解决上述技术问题,本申请实施例提供一种数据校验方法,采用了如下所述的技术方案:

3、获取预设的业务数据库内的业务元数据;

4、对所述业务元数据进行标准化处理,得到对应的目标数据;

5、确定与所述目标数据对应的维度信息与度量信息;

6、基于所述维度信息与所述度量信息构建对应的事实表;

7、从预设的数据湖中获取与所述业务元数据对应的贴源业务数据;

8、从预设的应用层中获取与所述业务元数据对应的待报送数据;

9、基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果。

10、进一步的,所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤,具体包括:

11、获取所述事实表的数据范围信息与粒度信息;

12、基于所述数据范围信息与粒度信息对所述贴源业务数据进行加工,得到加工后的贴源业务数据;

13、基于所述数据范围信息与粒度信息对所述待报送数据进行加工,得到加工后的待报送数据;

14、调用预设的比对代码对所述加工后的贴源业务数据与所述加工后的待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果。

15、进一步的,所述确定与所述目标数据对应的维度信息与度量信息的步骤,具体包括:

16、获取与所述目标数据对应的业务口径信息;

17、基于所述业务口径信息确定与所述目标数据对应的维度信息;以及,

18、基于所述业务口径信息确定与所述目标数据对应的度量信息。

19、进一步的,所述对所述业务元数据进行标准化处理,得到对应的目标数据的步骤,具体包括:

20、获取预设的字段标准化规则;

21、基于所述字段标准化规则对所述业务元数据进行标准化处理,得到处理后的业务元数据;

22、将所述处理后的业务元数据作为所述目标数据。

23、进一步的,在所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤之后,还包括:

24、判断所述数据校验结果是否为校验通过;

25、若是,确定与所述待报送数据对应的目标报送机构;

26、获取所述目标报送机构的报送地址;

27、基于所述报送地址,将所述报送数据发送给所述目标报送机构。

28、进一步的,在所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤之后:

29、判断所述数据校验结果是否为校验未通过;

30、若是,获取所述贴源业务数据与所述业务数据之间的差异数据;

31、存储所述差异数据。

32、进一步的,在所述获取所述贴源业务数据与所述业务数据之间的差异数据的步骤之后,还包括:

33、获取预设的业务人员的通讯信息;

34、基于所述差异数据生成对应的差异修复信息;

35、基于所述通讯信息,将所述差异修复信息发送给所述业务人员。

36、为了解决上述技术问题,本申请实施例还提供一种数据校验装置,采用了如下所述的技术方案:

37、第一获取模块,用于获取预设的业务数据库内的业务元数据;

38、处理模块,用于对所述业务元数据进行标准化处理,得到对应的目标数据;

39、第一确定模块,用于确定与所述目标数据对应的维度信息与度量信息;

40、构建模块,用于基于所述维度信息与所述度量信息构建对应的事实表;

41、第二获取模块,用于从预设的数据湖中获取与所述业务元数据对应的贴源业务数据;

42、第三获取模块,用于从预设的应用层中获取与所述业务元数据对应的待报送数据;

43、校验模块,用于基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果。

44、为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:

45、获取预设的业务数据库内的业务元数据;

46、对所述业务元数据进行标准化处理,得到对应的目标数据;

47、确定与所述目标数据对应的维度信息与度量信息;

48、基于所述维度信息与所述度量信息构建对应的事实表;

49、从预设的数据湖中获取与所述业务元数据对应的贴源业务数据;

50、从预设的应用层中获取与所述业务元数据对应的待报送数据;

51、基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果。

52、为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:

53、获取预设的业务数据库内的业务元数据;

54、对所述业务元数据进行标准化处理,得到对应的目标数据;

55、确定与所述目标数据对应的维度信息与度量信息;

56、基于本文档来自技高网...

【技术保护点】

1.一种数据校验方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的数据校验方法,其特征在于,所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤,具体包括:

3.根据权利要求1所述的数据校验方法,其特征在于,所述确定与所述目标数据对应的维度信息与度量信息的步骤,具体包括:

4.根据权利要求1所述的数据校验方法,其特征在于,所述对所述业务元数据进行标准化处理,得到对应的目标数据的步骤,具体包括:

5.根据权利要求1所述的数据校验方法,其特征在于,在所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤之后,还包括:

6.根据权利要求1所述的数据校验方法,其特征在于,在所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤之后:

7.根据权利要求6所述的数据校验方法,其特征在于,在所述获取所述贴源业务数据与所述业务数据之间的差异数据的步骤之后,还包括:

8.一种数据校验装置,其特征在于,包括:

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据校验方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据校验方法的步骤。

...

【技术特征摘要】

1.一种数据校验方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的数据校验方法,其特征在于,所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤,具体包括:

3.根据权利要求1所述的数据校验方法,其特征在于,所述确定与所述目标数据对应的维度信息与度量信息的步骤,具体包括:

4.根据权利要求1所述的数据校验方法,其特征在于,所述对所述业务元数据进行标准化处理,得到对应的目标数据的步骤,具体包括:

5.根据权利要求1所述的数据校验方法,其特征在于,在所述基于所述事实表对所述贴源业务数据与所述待报送数据进行数据校验处理,生成所述贴源业务数据与所述业务数据之间的数据校验结果的步骤之后,还包括:

6...

【专利技术属性】
技术研发人员:李冠志
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1