一种基于探针的数据溯源系统及其溯源方法技术方案

本发明专利技术涉及一种基于探针的数据溯源系统及其溯源方法，所述的系统包括：生产服务器：生产服务器上嵌入探针，所述的探针连接Span数据结构层，所述的Span数据结构层包括客户端发送请求单元、客户端收到响应单元、服务端收到请求单元和服务端发送响应单元；应用服务器：生产服务器上设置探针匹配单元，所述的探针匹配单元与生产服务器上的业务层链接；所述的应用服务器上探针匹配单元自动捕获所涉及的业务层及业务层上对应的SQL语句；关键字规则库：作为对SQL脚本分解，语法语义分析的前置架构；SQL智能解析单元：将探针工具采集到的SQL脚本，变换为一个描述这个SQL脚本的结构体；将前端与SQL脚本的数据表、数据字段一一映射；将SQL脚本中的关系进行串联。SQL脚本中的关系进行串联。SQL脚本中的关系进行串联。

【技术实现步骤摘要】
一种基于探针的数据溯源系统及其溯源方法


[0001]本专利技术属于计算机信息通信及安全
，具体涉及一种基于探针的数据溯源系统及其溯源方法。

技术介绍

[0002]随着数据中台深入建设，业务系统(本申请的具体对象是PMS2.0业务系统)深化完善应用，业务应用场景建设需求迫切，需要能够提供准确理解数据的业务内涵，正确展现业务的数据支撑，更是数据管理的必然发展和数据应用的重要前置需求。
[0003]针对上述问题，该
研究从源端入手，以在线化、智能化的方法进行数据关系构建，可以从基层、从源端消除数据重复录入、提升数据质量和应用价值，并为挖掘数据资源价值和提升数据运营能力奠定基础。

技术实现思路

[0004]本专利技术目的是提供一种基于探针的数据溯源系统及其溯源方法，基于多种类型的探针技术，设计前后端数据捕获机制。实现数据库日志脚本的智能解析、数据服务及微服务全链路的监测分析能力。支撑数据资产地图的智能构建，支撑数据在线监测和动态感知。为数据源链路关系的呈现，数据血缘关系分析提供基础支撑能力。
[0005]为了实现以上目的，本专利技术采用的技术方案为：一种基于探针的数据溯源系统，包括：
[0006]生产服务器：生产服务器上嵌入探针，所述的探针连接Span数据结构层，所述的Span数据结构层包括客户端发送请求单元、客户端收到响应单元、服务端收到请求单元和服务端发送响应单元；
[0007]应用服务器：生产服务器上设置探针匹配单元，所述的探针匹配单元与生产服务器上的业务层链接；所述的应用服务器上探针匹配单元自动捕获所涉及的业务层及业务层上对应的SQL语句；
[0008]关键字规则库：作为对SQL脚本分解，语法语义分析的前置架构；
[0009]SQL智能解析单元：将探针工具采集到的SQL脚本，变换为一个描述这个SQL脚本的结构体；
[0010]将前端与SQL脚本的数据表、数据字段一一映射，构建业数映射关系；将SQL脚本中的关系进行串联，构建完整的数据链路。
[0011]进一步的，还包括单元模块影响分析层，所述的单元模块影响分析层以单元模块为核心逐层向上下游探察形成模块
‑
数据库用户
‑
模型
‑
字段关系图谱。
[0012]再进一步的，还包括数据热度分析层，所述的数据热度分析层分析各个业务单元的单元模块、模型的使用频度和数据热度。
[0013]再进一步的，还包括同源疑似分析层，所述的同源疑似分析层对系统相同的业务数据实体同源疑似分析。
[0014]一种基于探针的数据溯源系统的其溯源方法，包括如下步骤：
[0015]1)、探针埋点：通过在生产服务器上的应用部署或者嵌入探针的方法进行应用数据采集，探针根据对于业务链条中的每一次请求调用，划分为客户端发送请求单元、客户端收到响应单元、服务端收到请求单元、服务端发送响应单元四个事件单元，并由这四个事件单元组织为Span数据结构层；
[0016]2)、基于面向切面编程执行：通过预编译方法和运行期间动态代理实现单元功能的统一维护；
[0017]3)、通过在业务系统应用服务器中间部署探针单元，当进行系统菜单页面操作时，捕获该菜单页面所涉及的业务层及业务层对应的SQL语句，以获取前后端对应关系信息；
[0018]4)、建立关键字规则库：建立关键字规则库，作为对SQL脚本分解单元，语法语义分析的前置架构；
[0019]5)、SQL智能解析单元解析：将探针工具采集到的SQL脚本，变换为一个描述这个SQL脚本的结构体；包含四个步骤,分别是关键字识别、SQL脚本分解、语义分析和关联关系/血缘关系提取；
[0020]6)、构建业数映射关系及数据链路关系：将前端操作功能菜单与SQL脚本涉及到对数据表、数据字段的操作一一映射，构建业数映射关系；将SQL脚本中提取出的关联关系/血缘关系进行串联，构建完整的数据链路；通过双螺旋模型链模型构建模型关系，识别出模型对应的功能模块之间的链路关系，并以双螺旋模型刻画；
[0021]7)、构建数据关系图谱：关系图谱基于系统以及单元模块、模型、字段之间的关系，以一个系统为核心逐层向外探察而形成的一个复杂关系网络图谱；
[0022]8)、构建单元模块影响分析层：以单元模块为核心逐层向上下游探察形成模块
‑
数据库用户
‑
模型
‑
字段关系图谱，通过单元模块影响分析层，事前在用户系统新建、扩容改造前提供数据参考依据，事后将业务系统已经发生变更的数据内容进行同步展示；
[0023]9)、构建数据热度分析层：分析各个业务单元下的单元模块、模型的使用频度和数据热度，基于数据热度实现数据共享消费数量排行、数据规模排行、数据活性能力数据；
[0024]10)、构建同源疑似分析层：同源疑似分析，提供疑似数据参考。
[0025]进一步的，步骤1)中通过定义Span之间的调用父子关系，对离散的Span数据进行重组，还原完整的调用链条；Span间的关系通过跟踪点编号、父节点编号、标签编号来标识；
[0026]其中，跟踪点编号是一次完整调用链路的唯一标识，父节点编号标识当前Span的前一个调用Span，标签编号用来唯一的标识某一次调用。
[0027]进一步的，步骤2)中利用截取消息的方法，对该消息进行装饰，以取代原有对象行为的执行；采用静态织入的方法，引入特定的语法创建执行单元，从而使得编译器在编译期间织入有关执行单元的代码。
[0028]进一步的，步骤7)中数据关系图谱按需求查询数据关系，包括系统与模块关系、功能与数据关系、数据关联关系、系统集成关系。
[0029]再进一步的，采用均匀网格搜索法或者梯度下降法构建。
[0030]本专利技术的技术效果在于：本专利技术基于多种类型的探针技术，设计前后端数据捕获机制。实现数据库日志脚本的智能解析、数据服务及微服务全链路的监测分析能力。支撑数据资产地图的智能构建，支撑非生产环境下数据在线监测和动态感知。为数据一个源的链
路关系呈现，数据血缘关系分析提供基础支撑能力。
附图说明
[0031]图1为本专利技术主体业务层级结构图：
[0032]图2为本专利技术底层原理结构图：
[0033]图3为本专利技术底层技术架构原理图。
[0034]具体实施方法
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]参照附图，一种基于探针的数据溯源系统，包括：
[0037]生产服务器：生产服务器上嵌入探针，所述的探针连接Span数据结构层，所述的Span数据结构层包括客户端发送请求单元、客户端收到响应单元、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于探针的数据溯源系统，其特征在于，包括：生产服务器：生产服务器上嵌入探针，所述的探针连接Span数据结构层，所述的Span数据结构层包括客户端发送请求单元、客户端收到响应单元、服务端收到请求单元和服务端发送响应单元；应用服务器：生产服务器上设置探针匹配单元，所述的探针匹配单元与生产服务器上的业务层链接；所述的应用服务器上探针匹配单元自动捕获所涉及的业务层及业务层上对应的SQL语句；关键字规则库：作为对SQL脚本分解，语法语义分析的前置架构；SQL智能解析单元：将探针工具采集到的SQL脚本，变换为一个描述这个SQL脚本的结构体；将前端与SQL脚本的数据表、数据字段一一映射，构建业数映射关系；将SQL脚本中的关系进行串联，构建完整的数据链路。2.根据权利要求1所述的一种基于探针的数据溯源系统，其特征在于，还包括单元模块影响分析层，所述的单元模块影响分析层以单元模块为核心逐层向上下游探察形成模块
‑
数据库用户
‑
模型
‑
字段关系图谱。3.根据权利要求2所述的一种基于探针的数据溯源系统，其特征在于，还包括数据热度分析层，所述的数据热度分析层分析各个业务单元的单元模块、模型的使用频度和数据热度。4.根据权利要求1或2或3所述的一种基于探针的数据溯源系统，其特征在于，还包括同源疑似分析层，所述的同源疑似分析层对系统相同的业务数据实体同源疑似分析。5.根据权利要求1
‑
4任意一项所述的一种基于探针的数据溯源系统的其溯源方法，其特征在于，包括如下步骤：1)、探针埋点：通过在生产服务器上的应用部署或者嵌入探针的方法进行应用数据采集，探针根据对于业务链条中的每一次请求调用，划分为客户端发送请求单元、客户端收到响应单元、服务端收到请求单元、服务端发送响应单元四个事件单元，并由这四个事件单元组织为Span数据结构层；2)、基于面向切面编程执行：通过预编译方法和运行期间动态代理实现单元功能的统一维护；3)、通过在业务系统应用服务器中间部署探针单元，当进行系统菜单页面操作时，捕获该菜单页面所涉及的业务层及业务层对应的SQL语句，以获取前后端对应关系信息；4)、建立关键字规则库：建立关键字规则库，作为对SQL脚本分解单元，语法语义分析的前置架构；5)、SQL智能解析单元解析：将探针工具采集到的SQL脚本，变...

【专利技术属性】
技术研发人员：马国瀚，张天毅，常达，王静峰，虎志玺，刘茹，
申请(专利权)人：国网甘肃省电力公司兰州供电公司，
类型：发明
国别省市：