一种数据治理平台和面向数据治理的数据确权方法技术

本发明专利技术涉及计算机技术领域，具体涉及一种数据治理平台及面向数据治理的数据确权方法。该方法包括接收数据治理单元变更的信号；则依次对数据治理平台中数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y；根据第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y，获得第一目标表数据溯源信息数组D1；接收数据来源表的权利主体变更的信号，则依次对数据治理平台中数据治理单元的进行处理，获得第二数组B2；根据第一列变换特征矩阵X、第二数组B2和第二列变换特征矩阵Y，获得第二目标表数据溯源信息数组D2。本发明专利技术实现数据资产表字段级权利主体的自动计算。主体的自动计算。主体的自动计算。

【技术实现步骤摘要】
一种数据治理平台和面向数据治理的数据确权方法


[0001]本专利技术涉及计算机
，尤其涉及一种数据治理平台和面向数据治理的数据确权方法。

技术介绍

[0002]所谓数据确权，就是确定数据的权利属性，最关键的是确定权利主体。确定权利主体是数据资产的交易、定价、保护、共享的重要条件。数据资产的数据确权是数据治理面临的一个重要问题。
[0003]目前现有的数据确权，是由数据管理人员根据经验判断数据资产的权利主体，在系统中给每个数据资产标记出权利主体。缺点：(1)每次新增数据资产都需要手工进行数据资产的确权操作；(2)数据资产的确权，凭经验，缺少依据；(3)一般数据资产的确权粒度是到表，没有到字段，粒度比较粗。

技术实现思路

[0004]为了解决上述现有技术中存在的技术问题，本专利技术提供了一种数据治理平台和一种面向数据治理的数据确权方法，能够在数据治理场景下在生成数据资产时自动进行数据确权的技术方案。
[0005]为实现上述目的，本专利技术实施例提供了如下的技术方案：
[0006]第一方面，在本专利技术提供的一个实施例中，提供了一种数据治理平台，该平台包括：至少一个以上的数据治理单元；所述数据治理单元用于读取数据源中的数据，按照预设的数据治理规则对数据进行标准化处理；
[0007]所述数据治理单元包括SQL解析模块和列变换模块。
[0008]所述SQL解析模块用于对SQL语句进行解析，获取查询结果集的字段名称和数据来源表名称。
[0009]所述列变换模块用于将查询结果集的字段名称的映射到目标表中，以实现数据确权。
[0010]作为本专利技术的进一步方案，所述数据治理单元的输入是一张或多张数据来源表，经过SQL解析模块和列变换模块，将处理结果输出到一张目标表，以实现按照预设的数据治理规则对数据进行标准化处理。
[0011]第二方面，在本专利技术提供的又一个实施例中，提供了面向数据治理的数据确权方法，该方法包括：
[0012]S10、接收数据治理单元变更的信号；其中，所述数据治理单元变更，包括新增数据治理单元、数据治理单元SQL变更和数据治理单元列变换变更；则依次对数据治理平台中数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y；
[0013]S20、根据第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y，获得第一
目标表数据溯源信息数组D1，所述第一目标表数据溯源信息数组D1用于实现第一数据确权；
[0014]S30、接收数据来源表的权利主体变更的信号，则依次对数据治理平台中数据治理单元的进行处理，获得第二数组B2；
[0015]S40、根据第一列变换特征矩阵X、第二数组B2和第二列变换特征矩阵Y，获得第二目标表数据溯源信息数组D2，所述第二目标表数据溯源信息数组D2用于实现第二数据确权。
[0016]作为本专利技术的进一步方案，所述步骤S10、，包括：
[0017]S101、接收数据治理单元变更的信号。
[0018]S102、清空用于储存目标表的第一队列和用于储存数据治理单元的ID的第二队列，且广度优先遍历数据治理单元。
[0019]S103、解析发生变更的数据治理单元的SQL语句，获得数据治理单元的数据来源表和目标表。
[0020]S104、判断所述目标表在第一队列中是否存在，若是，则存在有向环不符合数据治理业务规则，异常退出；若否，则将数据来源表保存到第一队列中。
[0021]S105、将所述发生变更的数据治理单元的ID插入第二队列，以实现数据治理单元的排序。
[0022]S106、基于第二队列中的数据治理单元的ID，依次对数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y。
[0023]作为本专利技术的进一步方案，所述步骤S106，包括：
[0024]S1061、数据治理单元中的SQL解析模块对SQL语句进行解析获得并保存第一列变换特征矩阵X和第一数组B1；
[0025]S1062、列变换模块基于所述目标表获取第二列变换特征矩阵Y。
[0026]作为本专利技术的进一步方案，S106、基于第二队列中的数据治理单元的ID，依次对数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1、第一数据溯源信息数组C1和第二列变换特征矩阵Y，包括：
[0027]S1061、数据治理单元中的SQL解析模块对SQL语句进行解析获得并保存第一列变换特征矩阵X和第一数组B1；
[0028]S1062、列变换模块基于所述目标表获取第二列变换特征矩阵Y。
[0029]6.作为本专利技术的进一步方案，所述第一数组B1通过如下方式获得：
[0030]SQL解析模块处理SQL语句，根据SQL语法树中的表顺序T1、T2...Tn，构建第一数组B1＝[A1,A2,...,An],B1有k1个元素；其中，数据来源表Ti的数据溯源信息数组Ai由元素E构成。
[0031]作为本专利技术的进一步方案，S20、根据第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y，获得第一目标表数据溯源信息数组D1，包括；
[0032]S201、基于所述第一列变换特征矩阵X和第一数组B1,按照C1＝B1X进行矩阵计算得到第一数据溯源信息数组C1；
[0033]S202、基于所述第一数据溯源信息数组C1和第二列变换特征矩阵Y，按照D1＝C1Y进行矩阵计算后得到第一目标表数据溯源信息数组D1，完成权利主体信息计算，返回至S102遍历发生变更的数据治理单元。
[0034]作为本专利技术的进一步方案，S30接收数据来源表的权利主体变更的信号，则依次对
数据治理平台中数据治理单元的进行处理，获得第二数组B2，包括：
[0035]S301、接收数据来源表的权利主体变更的信号；
[0036]S302、遍历第二队列中的数据治理单元的ID，直到遍历结束；
[0037]S303、基于第二队列中的数据治理单元的ID，依次对数据治理单元的SQL语句进行解析，获得第二数组B2。
[0038]作为本专利技术的进一步方案，S40、根据第一列变换特征矩阵X、第二数组B2和第二列变换特征矩阵Y，获得第二目标表数据溯源信息数组D2，包括：
[0039]S401、基于所述第一列变换特征矩阵X和第二数组B2,按照C2＝B2X进行矩阵计算得到第二数据溯源信息数组C2；
[0040]S402、基于所述第二数据溯源信息数组C2和第二列变换特征矩阵Y，按照D2＝C2Y进行矩阵计算后得到第二目标表数据溯源信息数组D2，完成权利主体信息计算，返回至S302遍历数据治理单元。
[0041]本专利技术提供的技术方案，具有如下有益效果：
[0042]本专利技术提供的一种数据治理平台和一种面向数据治理的数据确权方法，本专利技术实现数据资产表字段级权利主体的自动计算；支持四种场景下数据资本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据治理平台，其特征在于，该平台包括：至少一个以上的数据治理单元；所述数据治理单元用于读取数据源中的数据，按照预设的数据治理规则对数据进行标准化处理；其中，所述数据治理单元包括SQL解析模块和列变换模块；所述SQL解析模块用于对SQL语句进行解析，获取查询结果集的字段名称和数据来源表名称；所述列变换模块用于将查询结果集的字段名称的映射到目标表中，以实现数据确权。2.如权利要求1所述的数据治理平台，其特征在于，所述数据治理单元的输入是一张或多张数据来源表，经过SQL解析模块和列变换模块，将处理结果输出到一张目标表，以实现按照预设的数据治理规则对数据进行标准化处理。3.一种面向数据治理的数据确权方法，其特征在于，所述方法应用于权利要求1
‑
2任一所述的数据治理平台；该方法包括：S10、接收数据治理单元变更的信号；其中，所述数据治理单元变更，包括新增数据治理单元、数据治理单元SQL变更和数据治理单元列变换变更；则依次对数据治理平台中数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y；S20、根据第一列变换特征矩阵X、第一数组B1和第二列变换特征矩阵Y，获得第一目标表数据溯源信息数组D1，所述第一目标表数据溯源信息数组D1用于实现第一数据确权；S30、接收数据来源表的权利主体变更的信号，则依次对数据治理平台中数据治理单元的进行处理，获得第二数组B2；S40、根据第一列变换特征矩阵X、第二数组B2和第二列变换特征矩阵Y，获得第二目标表数据溯源信息数组D2，所述第二目标表数据溯源信息数组D2用于实现第二数据确权。4.如权利要求3所述的面向数据治理的数据确权方法，其特征在于，所述步骤S10包括：S101、接收数据治理单元变更的信号；S102、清空用于储存目标表的第一队列和用于储存数据治理单元的ID的第二队列，且广度优先遍历数据治理单元；S103、解析发生变更的数据治理单元的SQL语句，获得数据治理单元的数据来源表和目标表；S104、判断所述目标表在第一队列中是否存在，若是，则异常退出；若否，则将数据来源表保存到第一队列中；S105、将所述发生变更的数据治理单元的ID插入第二队列，以实现数据治理单元的排序；S106、基于第二队列中的数据治理单元的ID，依次对数据治理单元的进行处理，获得并保存第一列变换特征矩阵X、第一数组B1和第二列...

【专利技术属性】
技术研发人员：胡琦，严鹤，王俊，聂仁义，刘建，熊纯，
申请(专利权)人：云启智慧科技有限公司，
类型：发明
国别省市：