一种数据溯源工具构建方法、数据处理方法、装置及设备制造方法及图纸

本说明书实施例公开了一种数据溯源工具构建方法、数据处理方法、装置及设备，其中，数据溯源工具构建方法中包括：根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。本说明书实施例构建出的数据溯源工具可用于隐私数据的保护。出的数据溯源工具可用于隐私数据的保护。出的数据溯源工具可用于隐私数据的保护。

【技术实现步骤摘要】
一种数据溯源工具构建方法、数据处理方法、装置及设备


[0001]本说明书涉及计算机
，尤其涉及一种数据溯源工具的构建方法、数据处理方法、装置及设备。

技术介绍

[0002]随着数据时代的到来，每天都会产生海量的数据，这些数据作为企业重要的资源，需要进行良好的管理、维护和使用。
[0003]在数据处理过程中，数据与数据之间会串成一条链路，从而自然的形成一种上下游的依赖关系，数据间的这种依赖关系对于数据资产的判重判优、变更影响分析、加工链路溯源及加工口径分析等有着重要的指导作用，是企业数据资产的重要组成部分。
[0004]现阶段，通常在每次产生数据溯源需求时都重新对数据进行溯源处理，例如，当需要对SQL语句(Structured Query Language，结构化查询语言)进行血缘分析时，则对目标SQL语句进行溯源分析，而此时，若还需要对该SQL语句进行其他溯源相关的处理，则需要重新编写程序来对该SQL进行分析处理，费时费力。
[0005]基于此，亟需一种数据溯源工具的构建方法，能够通用于各种溯源相关的处理过程，从而降低人力消耗，提升处理效率。

技术实现思路

[0006]有鉴于此，本说明书实施例提供了一种数据溯源工具的构建方法、数据处理方法、装置及设备,以降低人力消耗，提升数据处理效率。
[0007]本说明书实施例采用下述技术方案：
[0008]本说明书实施例提供一种数据溯源工具构建方法，包括：
[0009]根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
[0010]根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
[0011]通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
[0012]本说明书实施例提供一种利用数据溯源工具进行数据处理的方法，包括：
[0013]利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述溯源工具的构建方法构建得到的溯源模块；
[0014]遍历所述有向无环图进行数据处理。
[0015]本说明书实施例提供一种基于区块链网络进行数据处理的方法，包括：
[0016]利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过前述溯源工具的构建方法构建得到的溯源模块；
[0017]遍历所述有向无环图进行数据处理；
[0018]将处理后获得的数据发送至对应的区块链节点存储。
[0019]本说明书实施例还提供一种数据溯源工具构建装置，包括：
[0020]解析模块，根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；
[0021]构建模块，根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；
[0022]填充模块，通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。
[0023]本说明书实施例还提供一种利用数据溯源工具进行数据处理的装置，包括：
[0024]构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据前述溯源工具的构建方法构建得到的溯源模块；
[0025]处理模块，遍历所述有向无环图进行数据处理。
[0026]本说明书实施例还提供一种基于区块链网络进行数据处理的装置，包括：
[0027]构建模块，利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为区块链网络中布置的智能合约通过上前述溯源工具的构建方法构建得到的溯源模块；
[0028]处理模块，遍历所述有向无环图进行数据处理；
[0029]发送模块，将处理后获得的数据发送至对应的区块链节点存储。
[0030]本说明书实施例还提供一种用于数据溯源工具构建的电子设备，包括：
[0031]至少一个处理器；以及，
[0032]与所述至少一个处理器通信连接的存储器；其中，
[0033]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述溯源工具的构建方法。
[0034]本说明书实施例还提供一种利用数据溯源工具进行数据处理的电子设备，应用于区块链网络，包括：
[0035]至少一个处理器；以及，
[0036]与所述至少一个处理器通信连接的存储器；其中，
[0037]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述利用数据溯源工具进行数据处理的方法。
[0038]本说明书实施例还提供一种基于区块链网络进行数据处理的电子设备，应用于区块链网络，包括：
[0039]至少一个处理器；以及，
[0040]与所述至少一个处理器通信连接的存储器；其中，
[0041]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述基于区块链网络进行数据处理的方法。
[0042]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0043]根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段，构建出的溯源模块能够通用于各种与SQL语句溯源处理相关的数据处理，省时省力，同时，构建出的溯源模块直接映射到原始输入字段，应用时通过溯源模块可以直接获取原始输入字段，操作简便快捷。
附图说明
[0044]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本说明书实施例提供的一种数据溯源工具构建方法以及数据处理方法的系统结构图。
[0046]图2为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
[0047]图3为本说明书实施例提供的一种数据溯源工具构建方法的流程图。
[0048]图4为本说明书实施例提供的一种数据溯源工具的构建流程图。
[0049]图5为本说明书实施例提供的构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据溯源工具构建方法，包括：根据目标SQL语句的抽象语法树和所述目标SQL语句的层次结构，解析出操作语句；根据所述操作语句对应的操作类型为所述操作语句构建溯源模块；通过与所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中，直至构建出的溯源模块的填充字段均映射有原始输入字段。2.如权利要求1所述的方法，还包括：建立目标SQL语句的抽象语法树。所述建立目标SQL语句的抽象语法树包括：使用开源语法分析器对目标SQL语句进行编译后建立抽象语法树。3.如权利要求1所述的方法，所述从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：根据所述抽象语法树判断所述待操作数据的来源是否为原始输入字段；若否,则获取所述待操作数据的填充字段并填充至所述溯源模块中，所述待操作数据的填充字段为所述待操作数据包含的操作语句所对应的溯源模块的填充字段。4.如权利要求3所述的方法，还包括：若是，则从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中。5.如权利要求4所述的方法，所述从元数据中获取所述待操作数据对应的填充字段并填充至所述溯源模块中包括：为所述待操作数据构建Tablescan溯源模块，从元数据中获取待操作数据对应的填充字段填充至所述Tablescan溯源模块中；获取所述Tablescan溯源模块的填充字段并填充至所述溯源模块中。6.如权利要求1所述的方法，当所述操作语句为Join语句时，所述基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：为所述操作语句构建Join溯源模块；所述通过所述溯源模块对应的字段获取方式,从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：分别获取通过Join语句连接的操作语句所对应的填充字段；将获取到的填充字段连接后填充至所述Join溯源模块中。7.如权利要求1所述的方法，当所述操作语句为Union语句时，基于所述操作语句对应的操作类型为所述操作语句构建溯源模块包括：为所述操作语句构建Union溯源模块；所述通过所述溯源模块对应的字段获取方式，从所述操作语句包含的待操作数据中获取填充字段并填充至所述溯源模块中包括：分别获取通过Union语句连接的操作语句所对应的填充字段；将获取到的填充字段叠加后填充至所述Union溯源模块中。8.如权利要求1所述的方法，所述操作语句包括数据查询语句和数据加工语句中的至少一种。9.如权利要求1所述的方法，所述填充字段包括数据列名和数据表名中的至少一种。10.一种利用数据溯源工具进行数据处理的方法，包括：
利用目标SQL语句的抽象语法树构建有向无环图，所述有向无环图以溯源模块为节点，所述溯源模块为根据上述权利要求1
‑
9中任意一项所述的溯源工具的构建方法构建得到的溯源模块；遍历所述有向无环图进行数据处理。11.如权利要求10所述的方法，所述数据处理包括：数据血缘的构建...

【专利技术属性】
技术研发人员：冯煜策，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：