数据治理方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:37787710 阅读:21 留言:0更新日期:2023-06-09 09:18
本发明专利技术公开了一种数据治理方法、装置、设备、存储介质及程序产品,本发明专利技术涉及数据处理技术领域。该方法包括:通过对当前批次的业务数据进行校验,获得校验结果;校验结果包括正常和异常;根据校验结果生成异常数据信息及异常结果统计信息;根据异常结果统计信息生成合理场景信息;基于合理场景信息对异常数据信息中的业务场景进行标注;基于标注后的异常数据信息和异常结果统计信息对下一批次的业务数据进行治理。本公开实施例,通过对当前批次业务数据进行校验,获得异常数据信息、异常结果统计信息及合理场景信息,并根据异常数据信息、异常结果统计信息及合理场景信息对下一批次的业务数据进行治理的方式,可以提高对数据治理的效率。治理的效率。治理的效率。

【技术实现步骤摘要】
数据治理方法、装置、设备、存储介质及程序产品


[0001]本专利技术实施例涉及数据处理
,尤其涉及一种数据治理方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]随着对数据质量要求的逐渐严格,因此需要金融机构对数据进行全方位的监控,因此,对数据的治理越来越重要。
[0003]目前,数据治理领域的方向包括:数据标准、元数据、数据质量、数据模型、数据分布、数据交换及存储等。伴随着金融(如银行)业务的变化发展,数据治理的侧重也在不断调整。现有的数据治理方案普遍有着,治理效率低,跨组织沟通协调能力差,管理内容与生产内容不一致,不能持续进行有效治理等问题。

技术实现思路

[0004]本专利技术实施例提供一种数据治理方法、装置、设备、存储介质及程序产品,可以提高对数据治理的效率。
[0005]第一方面,本专利技术实施例提供了一种数据治理方法,包括:对当前批次的业务数据进行校验,获得校验结果;其中,所述校验结果包括正常和异常;根据所述校验结果生成异常数据信息及异常结果统计信息;其中,所述异常数据信息包括所述业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据治理方法,其特征在于,包括:对当前批次的业务数据进行校验,获得校验结果;其中,所述校验结果包括正常和异常;根据所述校验结果生成异常数据信息及异常结果统计信息;其中,所述异常数据信息包括所述业务数据对应的业务场景;所述异常结果统计信息包含业务场景反馈信息;根据所述异常结果统计信息生成合理场景信息;基于所述合理场景信息对所述异常数据信息中的业务场景进行标注;基于标注后的异常数据信息和异常结果统计信息对下一批次的业务数据进行治理。2.根据权利要求1所述的方法,其特征在于,对当前批次的业务数据进行校验,获得校验结果,包括:获取各业务数据对应的校验规则;其中,所述校验规则包括如下至少一项:完整性校验、格式校验、数据实体内容校验及关联信息校验;基于所述校验规则对所述业务数据进行校验,获得校验结果。3.根据权利要求2所述的方法,其特征在于,获取各业务数据对应的校验规则,包括:确定所述业务数据所处的数据表;提取所述数据表的关键字段;根据所述关键字段确定所述业务数据对应的校验规则;其中,所述关键字段与校验规则存在对应关系。4.根据权利要求2所述的方法,其特征在于,根据所述校验结果生成异常数据信息,包括:获取校验结果为异常的业务数据,作为异常数据;获取所述异常数据对应的第一相关信息;将所述第一相关信息作为新的字段添加至所述异常数据中,获得异常数据信息。5.根据权利要求4所述的方法,其特征在于,所述第一相关信息包括如下至少一项:数据生成时间、数据源信息、校验规则及业务场景。6.根据权利要求2所述的方法,其特征在于,根据所述校验结果生成异常结果统计信息,包括:对于每条校验规则,确定所述校验规则对应的异常数据;统计所述异常数据的总量,确定各异常数据对应的第二相关信息;基于所述异常数据的总量和所述第二相关信息生成异常结果统计信息。7.根据权利要求6所述的方法,其特征在于,所述第二相关信息包括如下至少一项:数据源、异常原因、业务场景、业务场景反馈信息及数据调整方案。8.根据权利要求1所述的方法,其特征在于,所述业务场景反馈信息包括合理场景,根据所述异常结果统计信息生成合理场景信息,包括:提取所述异常结果统计信息中业务场景反馈信...

【专利技术属性】
技术研发人员:程翎峰徐俊皓
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1