一种实现数据溯源可视化的方法技术

本发明专利技术提供一种实现数据溯源可视化的方法，属于数据管理领域，本发明专利技术通过对数据采集、治理过程中的SQL脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。本发明专利技术能够提高数据的管理效率，通过数据溯源图，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。风险。风险。

【技术实现步骤摘要】
一种实现数据溯源可视化的方法


[0001]本专利技术涉及数据管理领域，尤其涉及一种实现数据溯源可视化的方法。

技术介绍

[0002]随着数字经济的快速发展，数据已成为重要生产因素。企业进行分析处理的数据，实际大多是经过多次数据处理后的衍生数据，其原始数据来源非常广泛，有可能来自内部的各类信息系统，有可能来自互联网公开信息，有可能通过数据采购由第三方获取。在使用这些海量的数据时，需要对其来源进行有效的管理，便于在数据异常时快速追踪定位异常原因，在业务变更时快速确定变更范围，及时做出响应解决问题。

技术实现思路

[0003]为了解决以上技术问题，本专利技术提供了一种实现数据溯源可视化的方法。可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。
[0004]本专利技术的技术方案是：
[0005]一种实现数据溯源可视化的方法，
[0006]把数据采集、治理过程中使用的SQL脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。
[0007]进一步的，
[0008]记录数据采集、治理过程中用到的SQL脚本，脚本信息包括：
[0009]来源表、目标表、来源字段、目标字段、表映射关系。
[0010]其中：
[0011]来源表：存储原始数据的数据表；
[0012]目标表：存储转换后数据的数据表；
[0013]来源字段：数据转换用到的原始数据表中的数据字段；
[0014]目标字段：数据转换后落入目标数据表中的数据字段。
[0015]表映射关系：来源表来源字段到目标表目标字段的转换关系。
[0016]再进一步的，
[0017]通过解析SQL脚本，提取出来源表、目标表、来源字段、目标字段、表映射关系信息。
[0018]再进一步的，
[0019]将提取出的来源表、目标表、来源字段、目标字段、表映射关系信息，生成数据溯源JSON。
[0020]再进一步的，
[0021]对数据溯源JSON进行解析，以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
[0022]本专利技术的有益效果是
[0023]本专利技术所提出的数据溯源可视化的方法能充分利用数据采集、治理过程中用到的SQL脚本生成可视化数据溯源图表，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险，减少数据管理工作复杂度，提高数据的管理效率。
附图说明
[0024]图1是本专利技术的处理流程图；
[0025]图2数据溯源可视化示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]本专利技术的目的是提供一种数据溯源可视化的方法，旨在辅助数据管理工作，减少数据管理的复杂度，提高数据的管理效率，降低业务变更带来的数据风险。
[0028]本专利技术通过对数据采集、治理过程中的SQL脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
[0029]整个数据溯源可视化的流程示意图如图1所示，该方案的技术主要实现数据表关联关系可视化。具体过程如下：
[0030](1)记录数据采集、治理过程中用到的SQL脚本，脚本信息主要包括：
[0031]来源表：存储原始数据的数据表。
[0032]目标表：存储转换后数据的数据表。
[0033]来源字段：数据转换用到的原始数据表中的数据字段。
[0034]目标字段：数据转换后落入目标数据表中的数据字段。
[0035]表映射关系：来源表来源字段到目标表目标字段的转换关系。
[0036]举例数据如下：
[0037]表1脚本信息表
[0038][0039](2)对(1)中的SQL脚本进行解析，提取来源表、目标表、来源字段、目标字段、表映射关系。举例数据如下：
[0040]表2SQL脚本解析信息
[0041][0042](3)使用(2)解析出的来源表、目标表、来源字段、目标字段、表映射关系，生成易于可视化图表展示的JSON格式数据溯源关系。举例数据如下：
[0043]表3数据溯源关系JSON
[0044][0045](4)根据(3)中生成的数据溯源关系JSON，生成可视化的数据溯源图。如图2。
[0046]以上所述仅为本专利技术的较佳实施例，仅用于说明本专利技术的技术方案，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现数据溯源可视化的方法，其特征在于，把数据采集、治理过程中使用的SQL脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。2.根据权利要求1所述的方法，其特征在于，记录数据采集、治理过程中用到的SQL脚本，脚本信息包括：来源表、目标表、来源字段、目标字段、表映射关系。3.根据权利要求2所述的方法，其特征在于，来源表：存储原始数据的数据表；目标表：存储转换后数据的数据表。4.根据权利要求3所述的方法，其特征在于，来源字段：数据转换用到的原始数据表中的数据字段；目标字段：数据转换后落入目标...

【专利技术属性】
技术研发人员：陈超，马良，张莉，宗娜，
申请(专利权)人：山东浪潮智慧医疗科技有限公司，
类型：发明
国别省市：