基于字段级血缘关系的软件资源系统及其建立方法技术方案

一种基于字段级血缘关系的软件资源系统及其建立方法，所述系统包含解析装置、异构环境数据导入装置和功能分类装置；解析装置用于从预定分布式文件系统中获取查询语句，将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得抽象语法树中节点数据，根据节点数据及其关联关系获得查询语句字段级的血缘关系；异构环境数据导入装置用于获取元数据管理系统中源表所对应的异构数据，根据异构数据与血缘关系之间的对应关系，将异构数据补充至血缘关系中；功能分类装置用于根据脚本类别对脚本进行分类，根据各类脚本的功能类别与补充异构数据后的血缘关系之间的逻辑关联，建立生成基于字段级血缘关系的树形结构获得软件资源系统。

【技术实现步骤摘要】
基于字段级血缘关系的软件资源系统及其建立方法
本专利技术涉及大数据领域的结构化查询语言以及针对结构化查询语言的字段级血缘分析工具，尤指一种基于字段级血缘关系的软件资源系统及其建立方法。
技术介绍
随着大数据技术的长足发展，数据无疑已经是每个企业非常重要的资产，利用数据挖掘相关价值信息已经成为经济增长的新动力。此外，随着数据的增长和使用，错误数据、垃圾数据、冗余数据等数据质量问题也日益突出，因此数据治理被确立为了长期的重点工作。然而数据治理是一个系统性的工作，从数据产生到数据最终落地可能经历了好几个相关部门，现有的软件资源系统中，应用开发基本采用烟囱式开发，各应用之间存在了不同程度的技术或者数据壁垒，导致在数据治理过程中存在各应用之间互相不了解对方的技术和逻辑架构，为了应对这些问题，数据治理发起应用通常会开发一些小工具(比如通过常用的字符处理方式粗糙梳理出已方的数据加工的逻辑结构)方便工作人员梳理问题的逻辑脉络，最后再加之人工干预的方式来促进数据治理的进程，随着数据治理的形式越来越严峻，采用一些简单分立的小工具不仅无法连续快速推进数据治理的进度，还会因为数据治理问题的增多而无法达到精准数据治理的目的。为此，业内亟需一种能够加快数据治理的进度和数据治理的精度的软件资源系统，予以联动上下游、业务和科技实现各部门间无障碍联动，以减少开发人员的工作量。
技术实现思路
本专利技术目的在于提供一种基于字段级血缘关系的软件资源系统及其建立方法，予以实现高效精准的大数据治理，通过软件资源系统，可以精确定位问题所属部门及维护人等信息，相关部门负责人接到问题后利用软件资源系统直接梳理问题链条而无需了解复杂的数据组织逻辑，进而快速定位问题原因，且问题修改后实现自动化测试。如此通过软件资源系统便可以实现多部门无障碍联动，快速且精准的通知问题、发现问题、解决问题、测试问题，实现高效精准数据整理。为达上述目的，本专利技术所提供的基于字段级血缘关系的软件资源系统，具体包含解析装置、异构环境数据导入装置和功能分类装置；所述解析装置用于从预定分布式文件系统中获取查询语句，将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据，根据所述节点数据及其关联关系获得查询语句字段级的血缘关系；所述异构环境数据导入装置用于获取元数据管理系统中源表所对应的异构数据，根据所述异构数据与所述血缘关系之间的对应关系，将所述异构数据补充至所述血缘关系中；所述功能分类装置用于根据脚本类别对脚本进行分类，根据各类脚本的功能类别与补充所述异构数据后的所述血缘关系之间的逻辑关联，建立生成基于字段级血缘关系的树形结构获得软件资源系统。在上述基于字段级血缘关系的软件资源系统中，优选的，所述解析装置还包含标记模块，所述标记模块用于通过深度优先遍历算法遍历所述节点数据；当存在子查询表达式时，标记对应节点并通过递归算法遍历所述节点将所有子查询表达式按序存入单向链表。在上述基于字段级血缘关系的软件资源系统中，优选的，所述解析装置还包含分析模块，所述分析模块用于根据所述单向链表中各子查询表达式的数据信息获得子查询表达式的血缘关系；根据所述单向链表中所有子查询表达式的血缘关系获得标记节点的查询语句字段级的血缘关系。在上述基于字段级血缘关系的软件资源系统中，优选的，所述异构环境数据导入装置包含数据提取模块，所述数据提取模块用于根据所述元数据管理系统中源表对应的数据信息建立配置表，根据所述配置表按预设周期提取所述源表所对应的异构数据。在上述基于字段级血缘关系的软件资源系统中，优选的，所述系统还包含测试案例装置，所述测试案例装置用于根据所述树形结构定位错误字段所对应的功能项；对所述功能项进行功能性测试。本专利技术还提供一种基于字段级血缘关系的软件资源系统的建立方法，所述方法包含：从预定分布式文件系统中获取查询语句；将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据，根据所述节点数据及其关联关系获得查询语句字段级的血缘关系；获取元数据管理系统中源表所对应的异构数据，根据所述异构数据与所述血缘关系之间的对应关系，将所述异构数据补充至所述血缘关系中；根据脚本类别对脚本进行分类，根据各类脚本的功能类别与补充所述异构数据后的所述血缘关系之间的逻辑关联，建立生成基于字段级血缘关系的树形结构获得软件资源系统。在上述建立方法中，优选的，将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据还包含：通过深度优先遍历算法遍历所述节点数据；当存在子查询表达式时，标记对应节点并通过递归算法遍历所述节点将所有子查询表达式按序存入单向链表。在上述建立方法中，优选的，根据所述子查询表达式的数据类型将所述子查询表达式按序存入单向链表包含：当所述子查询表达式为单一功能的子查询时，将所述子查询表达式存入单节点链表，节点指针指向NULL，头指针指向标记节点位置；当所述子查询表达式为嵌套子查询时，按查询顺序将所述子查询表达式依次存入存入单向链表，其中所述单向链表中前一个子查询节点的指针指向后一个子查询节点，且头指针指向标记节点位置。在上述建立方法中，优选的，根据所述节点数据及其关联关系获得查询语句字段级的血缘关系包含：根据所述单向链表中各子查询表达式的数据信息获得子查询表达式的血缘关系；根据所述单向链表中所有子查询表达式的血缘关系获得标记节点的查询语句字段级的血缘关系。在上述建立方法中，优选的，获取元数据管理系统中源表所对应的异构数据包含：根据所述元数据管理系统中源表对应的数据信息建立配置表，根据所述配置表按预设周期提取所述源表所对应的异构数据。本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。本专利技术的有益技术效果在于：通过查询语句解析工具并结合深度优先遍历算法和递归算法梳理出基于查询语句的字段级粒度血缘关系，然后打通异构环境获取元数据信息以扩充血缘关系；基于扩充后的血缘关系系统，然后结合功能模块形成技术和业务上的最细粒度的软件资源系统，实现各部门的无障碍联动，从而减少了开发人员的工作量并提高治理效率和精度。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1A为本专利技术一实施例所提供的基于字段级血缘关系的软件资源系统的结构示意图；图1B为本专利技术一实施例所提供的基于字段级血缘关系的软件资源系统的应用结构示意图；图2为本专利技术一实施例所提供的解析装置的结构示意图；图3为本专利技术一实施例所提供的异构环境数据导入装置的结构示意图；图4为本专利技术一实施例所提供的功能分类装置和测试案例装置的功能关系示意图；图5为本专利技术一实施例所提供的基于字段级血缘关系的软件资源系统的建立方法流程示意图；本文档来自技高网...

【技术保护点】
1.一种基于字段级血缘关系的软件资源系统，其特征在于，所述系统包含解析装置、异构环境数据导入装置和功能分类装置；/n所述解析装置用于从预定分布式文件系统中获取查询语句，将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据，根据所述节点数据及其关联关系获得查询语句字段级的血缘关系；/n所述异构环境数据导入装置用于获取元数据管理系统中源表所对应的异构数据，根据所述异构数据与所述血缘关系之间的对应关系，将所述异构数据补充至所述血缘关系中；/n所述功能分类装置用于根据脚本类别对脚本进行分类，根据各类脚本的功能类别与补充所述异构数据后的所述血缘关系之间的逻辑关联，建立生成基于字段级血缘关系的树形结构获得软件资源系统。/n

【技术特征摘要】
1.一种基于字段级血缘关系的软件资源系统，其特征在于，所述系统包含解析装置、异构环境数据导入装置和功能分类装置；
所述解析装置用于从预定分布式文件系统中获取查询语句，将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据，根据所述节点数据及其关联关系获得查询语句字段级的血缘关系；
所述异构环境数据导入装置用于获取元数据管理系统中源表所对应的异构数据，根据所述异构数据与所述血缘关系之间的对应关系，将所述异构数据补充至所述血缘关系中；
所述功能分类装置用于根据脚本类别对脚本进行分类，根据各类脚本的功能类别与补充所述异构数据后的所述血缘关系之间的逻辑关联，建立生成基于字段级血缘关系的树形结构获得软件资源系统。


2.根据权利要求1所述的基于字段级血缘关系的软件资源系统，其特征在于，所述解析装置还包含标记模块，所述标记模块用于通过深度优先遍历算法遍历所述节点数据；当存在子查询表达式时，标记对应节点并通过递归算法遍历所述节点将所有子查询表达式按序存入单向链表。


3.根据权利要求2所述的基于字段级血缘关系的软件资源系统，其特征在于，所述解析装置还包含分析模块，所述分析模块用于根据所述单向链表中各子查询表达式的数据信息获得子查询表达式的血缘关系；根据所述单向链表中所有子查询表达式的血缘关系获得标记节点的查询语句字段级的血缘关系。


4.根据权利要求1所述的基于字段级血缘关系的软件资源系统，其特征在于，所述异构环境数据导入装置包含数据提取模块，所述数据提取模块用于根据所述元数据管理系统中源表对应的数据信息建立配置表，根据所述配置表按预设周期提取所述源表所对应的异构数据。


5.根据权利要求1所述的基于字段级血缘关系的软件资源系统，其特征在于，所述系统还包含测试案例装置，所述测试案例装置用于根据所述树形结构定位错误字段所对应的功能项；对所述功能项进行功能性测试。


6.一种基于字段级血缘关系的软件资源系统的建立方法，其特征在于，所述方法包含：
从预定分布式文件系统中获取查询语句；
将查询语句解析为抽象语法树后通过深度优先遍历算法遍历获得所述抽象语法树中节点数据，根据所...

【专利技术属性】
技术研发人员：单升起，王超，赵鸿斌，吴垠，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11