【技术实现步骤摘要】
本专利技术实施例涉及数据校验,尤其涉及一种数据处理流程的校验方法、装置、设备及介质。
技术介绍
1、现有技术中的数据处理流程往往采用人工校验的方式,人工成本较高。如etl(extraction-transformation-loading,数据抽取、转换和加载)流程,在实际过程中经常多组etl流程以一种批量的方式导入到系统中进行etl流程的下发、运行。但是批量导入的方式对校验etl流程的技术人员要求较高。因此,如何实现数据处理流程的自动化校验至关重要。
技术实现思路
1、本专利技术提供一种数据处理流程的校验方法、装置、设备及介质,以实现数据处理流程的自动化校验。
2、根据本专利技术的一方面,提供了一种数据处理流程的校验方法,包括:
3、获取至少一个待校验数据处理流程;
4、从预设校验数据中选取当前时刻需要进行校验的目标校验数据;
5、采用所述目标校验数据,对各所述待校验数据处理流程进行校验;
6、根据各所述待校验数据处理流程的校验
...【技术保护点】
1.一种数据处理流程的校验方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述采用所述目标校验数据,对各所述待校验数据处理流程进行校验,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述参考关联数据的存在状态和所述目标校验数据,对各所述待校验数据处理流程进行校验,包括:
4.根据权利要求3所述的方法,其特征在于,所述自身校验类别的目标校验数据包括如下至少一项:内容校验数据、目标落盘校验数据、配置文件校验数据、流程校验数据和权限校验数据;所述对比校验类别的目标校验数据包括:来源校验数据和历史数据校验数据
5....
【技术特征摘要】
1.一种数据处理流程的校验方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述采用所述目标校验数据,对各所述待校验数据处理流程进行校验,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述参考关联数据的存在状态和所述目标校验数据,对各所述待校验数据处理流程进行校验,包括:
4.根据权利要求3所述的方法,其特征在于,所述自身校验类别的目标校验数据包括如下至少一项:内容校验数据、目标落盘校验数据、配置文件校验数据、流程校验数据和权限校验数据;所述对比校验类别的目标校验数据包括:来源校验数据和历史数据校验数据。
5.根据权利要求4所述的方法,其特征在于,若所述目标校验数据为配置文件校验数据,则所述参考关联数据的存在状态为不存在,所述根据所述目标校验数据,对各所述...
【专利技术属性】
技术研发人员:刘冬,项志坚,唐家伟,
申请(专利权)人:北京锐安科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。