【技术实现步骤摘要】
数据血缘关系生成方法、装置、存储介质和计算机设备
本申请涉及到数据分析
，特别是涉及到一种数据血缘关系生成方法、装置、存储介质和计算机设备。
技术介绍
随着大数据技术的发展与应用，在大数据治理领域出现了数据血缘分析的需求，通过对数据库进行操作的结构化查询语句的分析与处理，可以梳理出数据之间的映射关系，形成数据地图，以便在海量的数据中追踪数据的流向，查看大数据系统中上游数据的来源与下游数据的去向，方便大数据开发人员以及业务分析人员掌握数据的来源和流向，从而更好地管理大数据系统，挖掘出数据血缘关系的价值。但是，现有的数据血缘关系生成方法通过手动连接的方式将一个一个数据按照来源进行连接，以生成数据血缘关系，这导致数据血缘关系生成的效率较低。
技术实现思路
本申请的主要目的为提供一种数据血缘关系生成方法、装置、存储介质和计算机设备，以提高数据血缘关系的生成效率。为了实现上述专利技术目的，本申请提出一种数据血缘关系生成方法，包括：构建输入数据源列表、输出数据源列表及数据关系列表；
【技术保护点】
1.一种数据血缘关系生成方法，其特征在于，包括：/n构建输入数据源列表、输出数据源列表及数据关系列表；/n从所有数据源中获取数据，并确定所述所有数据源的数据的数据源类型；/n根据所述数据源类型将所有数据源的数据分别分配至所述输入数据源列表及输出数据源列表，并确定所述数据之间的节点关系保存至所述数据关系列表；/n将所述输入数据源列表及输出数据源列表进行合并，得到数据表；/n去除所述数据表的重复节点，得到目标数据表；/n循环扫描所述目标数据表，并根据所述数据关系列表判断所述目标数据表是否存在中间节点关系的节点；/n当确定所述目标数据表不存在中间节点关系的节点时，获取所述目标数据...
【技术特征摘要】
1.一种数据血缘关系生成方法，其特征在于，包括：
构建输入数据源列表、输出数据源列表及数据关系列表；
从所有数据源中获取数据，并确定所述所有数据源的数据的数据源类型；
根据所述数据源类型将所有数据源的数据分别分配至所述输入数据源列表及输出数据源列表，并确定所述数据之间的节点关系保存至所述数据关系列表；
将所述输入数据源列表及输出数据源列表进行合并，得到数据表；
去除所述数据表的重复节点，得到目标数据表；
循环扫描所述目标数据表，并根据所述数据关系列表判断所述目标数据表是否存在中间节点关系的节点；
当确定所述目标数据表不存在中间节点关系的节点时，获取所述目标数据表的所有数据，并获取所述数据关系列表的所有数据的节点关系，根据所有数据和节点关系生成数据血缘关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据关系列表判断所述目标数据表是否存在中间节点关系的节点的步骤之后，还包括：
当确定所述目标数据表存在中间节点关系的节点时，获取所述中间节点关系的第一中间节点及第二中间节点；其中，所述第一中间节点及第二中间节点为与存在中间节点关系的所述节点直接连接的两个节点；
判断所述第一中间节点是否为所述第二中间节点的起始节点；
若是，根据所述数据关系列表查询所述第一中间节点的上一起始节点，构建上一起始节点与所述第二中间节点的节点关系；
若否，根据所述数据关系列表查询所述第二中间节点的下一结束节点，构建下一结束节点与所述第一中间节点的节点关系。
3.根据权利要求1所述的方法，其特征在于，所述数据源类型包括输入数据源、中间数据源、输出数据源；所述根据所述数据源类型将所有数据源的数据分别分配至所述输入数据源列表及输出数据源列表，并确定所述数据之间的节点关系保存至所述数据关系列表的步骤，包括：
从所有数据源的数据中筛选出数据源类型为输入数据源的数据，得到输入数据，将所述输入数据保存至所述输入数据源列表，并确定所述输入数据的输入节点和中间节点的输入节点关系保存至所述数据关系列表；
从所有数据源的数据中筛选出数据源类型为中间数据源的数据，得到中间数据，确定所述中间数据在各个中间节点之间的中间节点关系保存至所述数据关系列表；
从所有数据源的数据中筛选出数据源类型为输出数据源的数据，得到输出数据，将所述输出数据保存至所述输出数据源列表，并确定所述输出数据的中间节点和输出节点的输出节点关系保存至所述数据关系列表。
4.根据权利要求1所述的方法，其特征在于，所述根据所述数据关系列表判断所述目标数据表是否存在中间节点关系的节点的步骤...
【专利技术属性】
技术研发人员：熊汉，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。