System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于数据编织的数据处理方法、系统、设备及介质技术方案_技高网

一种基于数据编织的数据处理方法、系统、设备及介质技术方案

技术编号:40590739 阅读:3 留言:0更新日期:2024-03-12 21:51
本发明专利技术公开了一种基于数据编织的数据处理方法、系统、设备及介质。其中,该基于数据编织的数据处理方法,包括:根据预设时间间隔获取构建目标模型的元数据,确定所述元数据中存在变更的变更数据,生成所述变更数据对应的元数据变更信息;响应于所述元数据变更信息,确定与所述目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系所述模型的告警信息。本发明专利技术实施例,通过对模型之间的数据血缘关系分析,确定与元数据中存在变更的变更数据关联的模型,生成相应的告警信息,便于业务人员进行数据追溯和分析,保障数据处理的准确性和及时性。

【技术实现步骤摘要】

本专利技术涉及数据管理,尤其涉及一种基于数据编织的数据处理方法、系统、设备及介质


技术介绍

1、数据编织是一种数据架构思想,其通过提供一种统一的方法来管理异构数据工具链,其能够将可信数据从所有相关数据源、以灵活且业务可理解的方式交付给所有相关数据消费者,从而提供比传统数据管理更多的价值。

2、随着数据量的快速增长和数据来源的多样化,企业需要处理的数据越来越多,数据处理的复杂度和难度也越来越高。传统的数据处理方法往往需要大量的人工干预和编写复杂的代码,效率低下、容易出错。当元数据出现变更时,难以及时确定与元数据关联的数据处理过程。故,如何实现数据的溯源与追踪,提高数据处理的效率、准确性和可靠性成为了目前亟待解决的问题。


技术实现思路

1、本专利技术提供了一种基于数据编织的数据处理方法、系统、设备及介质,以解决数据难以的溯源与追踪的问题,提高数据处理的准确性和及时性。

2、根据本专利技术的一方面,提供了一种基于数据编织的数据处理方法,其中,应用于基于数据编织的数据处理系统,该方法包括:

3、通过数据编排模块获取目标模型;

4、通过元数据管理模块根据预设时间间隔获取构建目标模型的元数据确定所述元数据中存在变更的变更数据,生成所述变更数据对应的元数据变更信息;

5、通过血缘分析模块响应于所述元数据变更信息,确定与所述目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系所述模型的告警信息。

6、根据本专利技术的另一方面,提供了一种基于数据编织的数据处理系统,其中,所述基于数据编织的数据处理系统至少包括:数据编排模块、元数据管理模块和血缘分析模块;

7、其中,数据编排模块,用于获取目标模型;

8、元数据管理模块,用于根据预设时间间隔获取构建目标模型的元数据,确定所述元数据中存在变更的变更数据,生成所述变更数据对应的元数据变更信息;

9、血缘分析模块,用于响应于所述元数据变更信息,确定与所述目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系所述模型的告警信息。

10、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:

11、至少一个处理器;以及

12、与所述至少一个处理器通信连接的存储器;其中,

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的基于数据编织的数据处理方法。

14、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的基于数据编织的数据处理方法。

15、本专利技术实施例的技术方案,通过数据编排模块获取目标模型,通过元数据管理模块根据预设时间间隔获取构建目标模型的元数据确定元数据中存在变更的变更数据,生成变更数据对应的元数据变更信息,通过血缘分析模块响应于元数据变更信息,确定与目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系模型的告警信息,实现按照模型之间的数据血缘关系分析,确定与元数据中存在变更的变更数据关联的模型,生成相应的告警信息,便于业务人员进行数据追溯和分析,保障数据处理的准确性和及时性。

16、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种基于数据编织的数据处理方法,其特征在于,应用于基于数据编织的数据处理系统,包括:

2.根据权利要求1所述的方法,其特征在于,在通过数据编排模块获取目标模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述通过元数据管理模块根据预设时间间隔获取构建目标模型的元数据,确定所述元数据中存在变更的变更数据,生成所述变更数据对应的元数据变更信息,包括:

4.根据权利要求1中所述的方法,其特征在于,所述通过血缘分析模块响应于所述元数据变更信息,确定与所述目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系所述模型的告警信息,包括:

5.根据权利要求2所述的方法,其特征在于,在所述通过数据编排模块根据用户需求在元数据仓库中提取初始元数据构建模型之后,还包括:

6.根据权利要求2所述的方法,其特征在于,在通过数据编排模块根据用户需求在元数据仓库中提取初始元数据构建模型之后,还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法,还包括:

8.一种基于数据编织的数据处理系统,其特征在于,所述基于数据编织的数据处理系统至少包括:数据编排模块、元数据管理模块和血缘分析模块;

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于数据编织的数据处理方法。

...

【技术特征摘要】

1.一种基于数据编织的数据处理方法,其特征在于,应用于基于数据编织的数据处理系统,包括:

2.根据权利要求1所述的方法,其特征在于,在通过数据编排模块获取目标模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述通过元数据管理模块根据预设时间间隔获取构建目标模型的元数据,确定所述元数据中存在变更的变更数据,生成所述变更数据对应的元数据变更信息,包括:

4.根据权利要求1中所述的方法,其特征在于,所述通过血缘分析模块响应于所述元数据变更信息,确定与所述目标模型具有数据血缘关系的模型,生成针对具有数据血缘关系所述模型的告警信息,包括:

5.根据权利要求2所述的方法,其特征在于,在所述通过数据编排模块根据...

【专利技术属性】
技术研发人员:李优赵佳祥
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1