【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种nifi数据血缘图谱构建方法、装置、终端及介质。
技术介绍
1、在数据治理领域,apachenifi作为一种功能强大的数据处理和分配工具,广泛应用于各类数据集成场景。然而,现有数据治理平台在提取nifi中的数据血缘关系时,面临以下关键挑战。首先是复杂的数据流拓扑结构,nifi的数据处理流程通常涉及多个处理器(processor)、连接(connection)和过程组(processgroup),这些组件之间形成了复杂的数据流拓扑。传统的数据血缘提取方法难以有效识别和解析这种动态变化的数据流关系。其次是缺乏智能化路径分析,当前数据治理平台缺乏智能化的路径分析机制,无法高效地从nifi的数据流拓扑中提取出完整的数据血缘关系,特别是在处理大规模、复杂的数据流图时,容易出现路径遗漏或识别不准确的问题。
技术实现思路
1、为解决上述问题,本专利技术提供一种nifi数据血缘图谱构建方法、装置、终端及介质,以图论模型清晰映射nifi的复杂数据流关系,避免传统方法对动态
...【技术保护点】
1.一种Nifi数据血缘图谱构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的Nifi数据血缘图谱构建方法,其特征在于,遍历源图中的所有处理节点找到起始处理节点,识别起始处理节点中的表以生成起始血缘资源节点,具体包括:
3.根据权利要求1所述的Nifi数据血缘图谱构建方法,其特征在于,对起始处理节点的所有后继处理节点进行深度优先搜索,生成与起始血缘资源节点关联的血缘关系,具体包括:
4.根据权利要求3所述的Nifi数据血缘图谱构建方法,其特征在于,继续遍历当前处理节点的后续处理节点,具体包括:
5.根据权利要
...【技术特征摘要】
1.一种nifi数据血缘图谱构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的nifi数据血缘图谱构建方法,其特征在于,遍历源图中的所有处理节点找到起始处理节点,识别起始处理节点中的表以生成起始血缘资源节点,具体包括:
3.根据权利要求1所述的nifi数据血缘图谱构建方法,其特征在于,对起始处理节点的所有后继处理节点进行深度优先搜索,生成与起始血缘资源节点关联的血缘关系,具体包括:
4.根据权利要求3所述的nifi数据血缘图谱构建方法,其特征在于,继续遍历当前处理节点的后续处理节点,具体包括:
5.根据权利要求2至4任一项所述的nifi数据血缘图谱构建方法,其特征...
【专利技术属性】
技术研发人员:鲁登科,曲建龙,范宁,房爱印,尹曦萌,
申请(专利权)人:浪潮智慧科技创新山东有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。