一种Nifi数据血缘图谱构建方法、装置、终端及介质制造方法及图纸

技术编号:46568922 阅读:2 留言:0更新日期:2025-10-10 21:16
本发明专利技术涉及数据处理技术领域,具体公开一种Nifi数据血缘图谱构建方法、装置、终端及介质,方法包括调用Nifi的数据接口,获取处理器数据和处理器之间的连接数据;将处理器节点作为处理节点添加到源图,将处理节点之间的连接边添加到源图;遍历源图中的所有处理节点找到起始处理节点,识别起始处理节点中的表以生成起始血缘资源节点;对起始处理节点的所有后继处理节点进行深度优先搜索,生成与起始血缘资源节点关联的血缘关系以完成数据血缘图谱构建。本发明专利技术以图论模型清晰映射Nifi的复杂数据流关系,通过DFS遍历起始节点的所有后继处理节点,构建完整的血缘关系,实现全路径覆盖。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种nifi数据血缘图谱构建方法、装置、终端及介质。


技术介绍

1、在数据治理领域,apachenifi作为一种功能强大的数据处理和分配工具,广泛应用于各类数据集成场景。然而,现有数据治理平台在提取nifi中的数据血缘关系时,面临以下关键挑战。首先是复杂的数据流拓扑结构,nifi的数据处理流程通常涉及多个处理器(processor)、连接(connection)和过程组(processgroup),这些组件之间形成了复杂的数据流拓扑。传统的数据血缘提取方法难以有效识别和解析这种动态变化的数据流关系。其次是缺乏智能化路径分析,当前数据治理平台缺乏智能化的路径分析机制,无法高效地从nifi的数据流拓扑中提取出完整的数据血缘关系,特别是在处理大规模、复杂的数据流图时,容易出现路径遗漏或识别不准确的问题。


技术实现思路

1、为解决上述问题,本专利技术提供一种nifi数据血缘图谱构建方法、装置、终端及介质,以图论模型清晰映射nifi的复杂数据流关系,避免传统方法对动态连接的解析盲区,通过本文档来自技高网...

【技术保护点】

1.一种Nifi数据血缘图谱构建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的Nifi数据血缘图谱构建方法,其特征在于,遍历源图中的所有处理节点找到起始处理节点,识别起始处理节点中的表以生成起始血缘资源节点,具体包括:

3.根据权利要求1所述的Nifi数据血缘图谱构建方法,其特征在于,对起始处理节点的所有后继处理节点进行深度优先搜索,生成与起始血缘资源节点关联的血缘关系,具体包括:

4.根据权利要求3所述的Nifi数据血缘图谱构建方法,其特征在于,继续遍历当前处理节点的后续处理节点,具体包括:

5.根据权利要求2至4任一项所述的...

【技术特征摘要】

1.一种nifi数据血缘图谱构建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的nifi数据血缘图谱构建方法,其特征在于,遍历源图中的所有处理节点找到起始处理节点,识别起始处理节点中的表以生成起始血缘资源节点,具体包括:

3.根据权利要求1所述的nifi数据血缘图谱构建方法,其特征在于,对起始处理节点的所有后继处理节点进行深度优先搜索,生成与起始血缘资源节点关联的血缘关系,具体包括:

4.根据权利要求3所述的nifi数据血缘图谱构建方法,其特征在于,继续遍历当前处理节点的后续处理节点,具体包括:

5.根据权利要求2至4任一项所述的nifi数据血缘图谱构建方法,其特征...

【专利技术属性】
技术研发人员:鲁登科曲建龙范宁房爱印尹曦萌
申请(专利权)人:浪潮智慧科技创新山东有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1