一种数据质量检测方法及装置制造方法及图纸

技术编号:32884904 阅读:22 留言:0更新日期:2022-04-02 12:19
本发明专利技术实施例提供一种数据质量检测方法及装置,该方法包括:接收客户端发送的经第一服务端传输的检测请求;所述检测请求是基于用户在客户端输入的函数式指令生成的;基于所述函数式指令对应的检测规则模板,通过建造者模式构造所述函数式指令对应的实体类检测规则,以根据所述实体类检测规则对待检测数据进行数据质量检测。上述方法能够提高检测规则设置的灵活性,降低检测规则扩展的开发周期和开发成本。成本。成本。

【技术实现步骤摘要】
一种数据质量检测方法及装置


[0001]本申请涉及大数据
,尤其涉及一种数据质量检测方法及装置。

技术介绍

[0002]近年来,随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出更高的要求。如,基于计算机技术,金融行业大部分业务应用线上处理方式,加快了业务的处理效率,相应的数据量的生产呈指数增加,又由于增加了更多业务处理功能,进一步加大数据量产生。相应的,海量数据的产生使得数据质量检测技术更具有挑战性。
[0003]现有技术中,一般通过在数据质量检测服务中设置检测规则,如,跨表检测规则、单表检测规则、文件检测规则和多指标检测规则。该方式虽然可以根据多种检测规则分别对数据完成对应的检测,获取待检测数据的数据质量检测结果。但该方式检测规则固定,若加入新的检测规则,还需要开发人员做大量的开发工作,增加开发周期和开发成本。
[0004]因此,现在亟需一种数据质量检测方法,能够提高检测规则设置的灵活性,降低检测规则扩展的开发周期和开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量检测方法,其特征在于,所述的方法包括:接收客户端发送的经第一服务端传输的检测请求;所述检测请求是基于用户在客户端输入的函数式指令生成的;基于所述函数式指令对应的检测规则模板,通过建造者模式构造所述函数式指令对应的实体类检测规则,以根据所述实体类检测规则对待检测数据进行数据质量检测。2.如权利要求1中所述的方法,其特征在于,各函数式指令与各检测规则模板之间的对应关系通过枚举类预先设定;基于所述函数式指令对应的检测规则模板,通过建造者模式构造所述函数式指令对应的实体类检测规则,包括:通过所述枚举类确定所述函数式指令对应的检测规则模板;将所述函数式指令中的各函数参数值与所述函数式指令对应的检测规则模板中的各抽象类,通过建造者模式构造出所述函数式指令对应的实体类检测规则;所述各抽象类包括基础库表属性、数据指标属性、异常数据阈值属性及返回属性。3.如权利要求1中所述的方法,其特征在于,接收客户端发送的经第一服务端传输的检测请求之后,通过建造者模式构造所述函数式指令对应的实体类检测规则之前,还包括:对所述检测请求中的签名解压缩处理,得到第二拼接字段,其中,所述第二拼接字段包括访问令牌和压缩字段;对所述压缩字段进行解压缩处理,得到第一拼接字段,其中,所述第一拼接字段包括应用标识,随机数和时间戳;对所述应用标识、随机数、时间戳和访问令牌进行验证;在验证通过之后,执行所述通过建造者模式构造所述函数式指令对应的实体类检测规则的步骤。4.如权利要求1中所述的方法,其特征在于,所述检测请求是基于用户在客户端输入的函数式指令生成的,包括:基于用户在客户端输入的函数式指令,所述客户端从配置文件中获取所述函数式指令中各函数参数值,从而得到检测规则函数并发送给所述第一服务端;所述第一服务端将所述检测规则函数封...

【专利技术属性】
技术研发人员:周玉壮周可乔一航吴梓煜范筝
申请(专利权)人:深圳前海微众银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1