【技术实现步骤摘要】
本申请涉及大数据,特别是涉及一种数据处理的校验方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、大数据技术是一系列用于处理和分析海量数据集的技术和方法,通常包括数据采集、存储、处理和分析等过程。大数据技术的发展正在推动许多行业的变革,随着大数据技术的广泛应用,对数据的处理和测试需求也急剧增加。例如,对于金融行业的业务数据处理,由于其业务数据的链路长、加工点多并且点与点之间的关系复杂,因此对于业务数据的质量也提出了更高的要求。进而对于数据处理结果的校验或测试工作是必要的。
2、传统技术方案中,对于数据处理结果的校验测试过程主要侧重于验证数据处理最终输出的结果,针对数据处理结果或数据加工结果的正确性进行校验测试。但是上述的校验测试方案或方法测试单薄而低效,一旦测试结果存在问题,需要从终端往上回溯,逐个链路阶段分析和验证,对问题的定位和解决时间长,沟通成本巨大。综上所述,传统技术方案所提供的数据处理校验方式的可靠性较低。
技术实现思路
1、基于此,有必要针对上述技术问
...【技术保护点】
1.一种数据处理的校验方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述还原所述待校验脚本在数据处理过程中的第一映射规则信息,包括:
3.根据权利要求2所述的方法,其特征在于,在所述根据所述原始数据与所述目标处理结果数据,生成第二映射规则信息之后,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述异常脚本和所述故障定位信息,生成异常告警信息;
6.根据权利要求1所述的方法,其特征在于,所述根据所述原
...【技术特征摘要】
1.一种数据处理的校验方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述还原所述待校验脚本在数据处理过程中的第一映射规则信息,包括:
3.根据权利要求2所述的方法,其特征在于,在所述根据所述原始数据与所述目标处理结果数据,生成第二映射规则信息之后,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述异常脚本和所述故障定位信息,生成异常告警信息;
6.根据权利要求1所述的方法,其特征在于,所述根据所述原始数据与所述目标处理结果数据,生成第二映射规则信息,包括:
7.根据权利要求1所述的方法,其特征在于,在所述获取原始数据之后,所述方法还包括:
8.根据权利要求1-7任意一项所述的方法,其特征在于,所述方法还包括:
9.一种数据处理的校验装置,其特征在于,所述装置包括:
10.根据权利要求9所述的装置,其特征在于,所述数据检核模块还用于根据所述原始数据和所述待校验数据,确定所述待校验脚本中的第一数据流转路径;识别所述第一数据流转路径中的运算处理函数,根据所述运算处理函数的输入数据和输出数据,生成所述第一数据流转路径对应的第一函数运算信息;根据所述第一数据流转路径和所述第一函数运算信息,生成所述待校验脚本在数据处理过程中的第一映射规则信息。
11.根据权利要求10所述的装置,其特征在于,所述脚本检核模块还用于识别所述第二映射规则信息对应的第二数据流转路径中的第二函数运算信息;若所述第二数据流转路径与所述第一数据流转路径相匹配,且所述第二函数运算信息与所述第一函数运算信息相匹配,则确定所述第一映射规则信息与所述第二映射规则信息相匹配。
12.根据权利要求10所述的装置,其特征在于,所述脚本检核模块还用于若所述第二数据流转路径与所述第一数据流转路径不匹配,则根据所述第二数据流转路径与所述第一数据流转路径,确定所述第一数据流转路径...
【专利技术属性】
技术研发人员:魏苹苹,陈琰,李玲玲,胡琳娜,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。