数据检验方法及装置、电子设备和计算机可读存储介质制造方法及图纸

技术编号:22817007 阅读:24 留言:0更新日期:2019-12-14 13:06
本发明专利技术公开了一种数据检验方法及装置、电子设备和计算机可读存储介质,该方法包括:获取数据检验指令;响应于所述数据检验指令,在所述数据检验指令对应的多个数据库中获取多项待检验数据;将所述多项待检验数据输入hadoop数据检验模型;通过所述hadoop数据检验模型中的预定规则对所述多项待检验数据进行并行检验处理。通过该技术方案,实现了不同数据源的数据的并行稽查检验,提升了数据检验系统的兼容性和工作效率,同时,在数据并行稽查检验的过程中,还保证了检验规则的灵活设置和更改,进一步提升了数据稽查检验的灵活性和实用性,有助于提升数据稽查检验的准确程度。

Data inspection methods and devices, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据检验方法及装置、电子设备和计算机可读存储介质
本专利技术涉及计算机
,更具体地,涉及一种数据检验方法及装置、电子设备和计算机可读存储介质。
技术介绍
在数据稽查过程中,往往可以对一定量的数据设置简单的稽查规则,通过稽查规则检验数据是否合乎要求。然而,随着科学技术的发展,不同类型的系统中并发的数据量愈加增多,简单的稽查规则无法应对高迸发的大量数据。同时,由于数据来源多种多样,现有的数据稽查方式只能针对不同数据源的数据分别进行数据稽查。上述数据稽查检验的过程费时费力,消耗成本极高,且收获的检验效率低下。因此,如何提升数据稽查检验的实用性,成为目前亟待解决的技术问题。
技术实现思路
鉴于上述问题,本专利技术提出了一种数据检验方法及装置、电子设备和计算机可读存储介质,针对相关技术中数据稽查检验成本高效率低的技术问题,可通过hadoop框架对不同数据源的数据进行并发检验处理。第一方面,本专利技术实施例提供了一种数据检验方法,包括:获取数据检验指令;响应于所述数据检验指令,在所述数据检验指令对应的多个数本文档来自技高网...

【技术保护点】
1.一种数据检验方法,其特征在于,包括:/n获取数据检验指令;/n响应于所述数据检验指令,在所述数据检验指令对应的多个数据库中获取多项待检验数据;/n将所述多项待检验数据输入hadoop数据检验模型;/n通过所述hadoop数据检验模型中的预定规则对所述多项待检验数据进行并行检验处理。/n

【技术特征摘要】
1.一种数据检验方法,其特征在于,包括:
获取数据检验指令;
响应于所述数据检验指令,在所述数据检验指令对应的多个数据库中获取多项待检验数据;
将所述多项待检验数据输入hadoop数据检验模型;
通过所述hadoop数据检验模型中的预定规则对所述多项待检验数据进行并行检验处理。


2.根据权利要求1所述的数据检验方法,其特征在于,所述响应于所述数据检验指令,在所述数据检验指令对应的多个数据库中获取多项待检验数据的步骤,具体包括:
根据所述数据检验指令中的数据信息,确定所述数据检验指令所请求检验的数据所属的目标数据库;
判断所述目标数据库是否为数据检验系统的已连接数据库;
响应于所述目标数据库为所述已连接数据库,直接从所述目标数据库中获取对应的待检验数据;
响应于所述目标数据库不是所述已连接数据库,通过预定数据源扩展接口建立所述目标数据库与所述数据检验系统的连接,以及,在建立所述连接后从所述目标数据库中获取对应的待检验数据。


3.根据权利要求1所述的数据检验方法,其特征在于,在所述获取数据检验指令的步骤之前,还包括:
根据规则参数调整命令,对所述hadoop数据检验模型中的所述预定规则进行参数调整。


4.根据权利要求1至3中任一项所述的数据检验方法,其特征在于,在所述将所述多项待检验数据输入hadoop数据检验模型的步骤之前,还包括:
根据所述多项待检验数据的属性信息,确定所需的目标验证规则;
判断所述hadoop数据检验模型中的所述预定规则是否包含全部所述目标验证规则;
其中,
响应于所述预定规则包含全部所述目标验证规则,通过所述预定规则对所述多项待检验数据进行并行检验处理;
响应于所述预定规则未包含全部所述目标验证规则,通过预定标准包接口对所述预定规则未包含的若干项所述目标验证规则进行定义。


5.一种数据检验装置,其特征在于,包括:
指令获取单元,用于获取数据检验指令;
数据获取单元,用于响应于所述数据检验指令,在所述数据检验指令对应的多个数据库中获取多项待检验数据;
模型输入单元,用于将所述多项待检验数据输入hadoop数据检验模型;
数据检验...

【专利技术属性】
技术研发人员:巩怀志范寿明刘代钟贾西贝
申请(专利权)人:深圳市华傲数据技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1