基于数据安全识别级别的数据治理方法及系统技术方案

本发明专利技术公开了一种基于数据安全识别级别的数据治理方法，包括：接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；为所述待治理数据创建数据索引，查询所述数据索引中与预设的敏感识别规则匹配的数据索引，然后基于匹配成功的数据索引，生成多个敏感数据并获取每一所述敏感数据的标签属性；根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面，并从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高敏感级别相匹配的数据治理策略；所述数据治理策略包括脱敏策略，与所述数据治理策略对应的标签属性为最优治理标签属性。优治理标签属性。优治理标签属性。

【技术实现步骤摘要】
基于数据安全识别级别的数据治理方法及系统


[0001]本专利技术涉及大数据处理
，尤其涉及一种基于数据安全识别级别的数据治理方法及系统。

技术介绍

[0002]数据是大数据工程的基础和核心，其完整性、及时性以及质量是一切目标的保障条件。在大数据的支撑下经济和技术的发展走向“智慧化”，通过整合各类数据信息对社会各个生产领域的运行状况进行监测，实现安全生产管理工作的改进和优化。
[0003]通过对大数据的数据信息的实时采集、数据存储、数据分析和综合查询，使得各行各业能够高效率的捕捉、发现和分析，能够经济地从类型繁杂、数量庞大的数据中挖掘出有价值的信息，从而为各行各业生产运行综合管理、综合调度、综合协调、综合指挥提供数据支撑。但是因为机构组织、业务系统、数据平台的不同，很多数据组织呈现各自为阵、数据不共用、重复数据，信息互不相连、数据分布不均，数据平台的利用情况不平衡；从数据平台硬件角度看，也就是从数据内容透明的角度看，部分数据因为设备容量问题而更新速度过快，造成关键数据提前主动丢失，而有些数据则无条件保留。
[0004]如何进行大数据的敏感数据安全识别，并基于数据安全识别得到不同数据的级别，配置不同的数据治理策略进行治理，实现敏感数据的差异化防护，是待解决的技术问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于数据安全识别级别的数据治理方法及系统，其能够有效解决现有技术中所存在的上述技术问题。
[0006]为了实现上述目的，本专利技术的一实施例提供了一种基于数据安全识别级别的数据治理方法，包括步骤：
[0007]S1、接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；其中，所述数据治理请求包括用户标识和待治理数据；其中，所述数据治理流程包括数据读取和数据处理；
[0008]S2、为所述待治理数据创建数据索引，查询所述数据索引中与预设的敏感识别规则匹配的数据索引，然后基于匹配成功的数据索引，生成多个敏感数据并获取每一所述敏感数据的标签属性；其中，所述标签属性包括标签类别属性和标签级别属性，所述标签类别属性用于表示所述敏感数据的数据类型，所述标签级别属性用于表示所述敏感数据的敏感级别；
[0009]S3、根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面，并从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高敏感级别相匹配的数据治理策略；其中，所述数据治理策略包括脱敏策略，与所述数据治理策略对应的标签属性为最优治理标签属性；
[0010]S4、通过所述客户端显示所述数据治理配置界面，并根据所述数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并进行连线处理以完成数据治理流程配置；其中，所述配置界面上显示所述数据读取组件和数据处理组件；所述数据处理组件包括多个，当所述数据处理组件的前面连线数据读取组件或数据处理组件时所述数据处理组件作为目标节点，当所述数据处理组件的后面连线数据处理组件时所述数据处理组件作为源节点，不同的数据处理组件所需配置的参数不同，源节点的输出结果可作为目标节点的输入参数；
[0011]S5、通过所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；
[0012]S6、当接收到所述客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理；
[0013]S7、当接收到所述客户端发送的用户请求更新当前数据治理流程配置时，通过所述客户端显示更新界面以使用户进行数据治理流程配置更新操作，并在接收到所述客户端发送的数据治理流程配置更新操作完成时，判断更新后的数据治理流程配置是否与所述最优治理标签属性匹配，若匹配则按照更新后的数据治理流程配置对待治理的数据进行治理以完成数据治理，否则通过所述客户端提示用户再次更新数据治理流程配置直至再次更新后的数据治理流程配置与所述最优治理标签属性匹配；其中，所述数据治理流程配置更新操作包括数据读取组件、数据处理组件的更换、参数及连线的更改；
[0014]S8、通过所述客户端显示数据治理完成后的结果。
[0015]作为上述方案的改进，所述数据治理流程还包括数据发布，所述配置界面上还显示与所述数据发布对应的数据发布组件；所述基于数据安全识别级别的数据治理方法还包括步骤：
[0016]S9、接收客户端发送的响应用户触发的数据治理结果发布请求，根据所述数据治理结果发布请求中用户所选择的数据发布组件将所述数据治理结果对应发布。
[0017]作为上述方案的改进，在所述步骤S3中，当从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高敏感级别相匹配的数据治理策略存在多个时，通过所述客户端显示多个所述数据治理策略以供用户进行选择，并以用户选择的一个数据治理策略作为最后的数据治理策略。
[0018]作为上述方案的改进，在所述步骤S3中，当从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高敏感级别相匹配的数据治理策略存在多个时，将所述多个数据治理策略与从包含最多的标签类别属性所对应的数据治理策略分组中的其他敏感级别相匹配的数据治理策略进行统计，将出现次数最多的一个数据治理策略作为最后的数据治理策略。
[0019]作为上述方案的改进，所述数据治理请求中还包括数据清洗流程信息；所述数据处理组件包括数据清洗组件；所述基于数据安全识别级别的数据治理方法还包括步骤：
[0020]对所述数据清洗流程文件进行解析，以提取数据清洗流程文件对应的工作流应用模型；
[0021]根据所多个工作流应用模型生成对应的数据清洗执行文件；
[0022]对待治理数据进行治理过程中，所述数据清洗组件根据所述数据清洗执行文件待
治理数据进行清洗。
[0023]作为上述方案的改进，所述根据所多个工作流应用模型生成对应的数据清洗执行文件具体包括：
[0024]分别获取多个工作流应用模型对应的数据清洗代码；所述数据清洗代码是SQL语句、调用组件的清洗函数；
[0025]根据所述数据清洗流程文件中的顺序对所述数据清洗代码排序，形成数据清洗执行文件。
[0026]作为上述方案的改进，所述数据处理组件包括冗余数据处理组件；所述冗余数据处理组件包括冗余数据判断单元和冗余数据去除单元，所述冗余数据判断单元用于对待治理数据进行冗余信息判断，并判断冗余信息时通过冗余数据去除单元进行剔除，经所述冗余数据去除单元剔除冗余信息后的数据返回所述冗余数据判断单元继续判断直至判断不存在冗余信息为止。
[0027]作为上述方案的改进，所述冗余数据判断单元的执行过程如下：
[0028]将待治理数据进行数值化；
[0029]将数值化后的数据转化为矩阵，矩阵如下：
[0030][0031]其中，A为m
×
n的多维数据；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据安全识别级别的数据治理方法，其特征在于，包括步骤：S1、接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；其中，所述数据治理请求包括用户标识和待治理数据；其中，所述数据治理流程包括数据读取和数据处理；S2、为所述待治理数据创建数据索引，查询所述数据索引中与预设的敏感识别规则匹配的数据索引，然后基于匹配成功的数据索引，生成多个敏感数据并获取每一所述敏感数据的标签属性；其中，所述标签属性包括标签类别属性和标签级别属性，所述标签类别属性用于表示所述敏感数据的数据类型，所述标签级别属性用于表示所述敏感数据的敏感级别；S3、根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面，并从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属性中的最高敏感级别相匹配的数据治理策略；其中，所述数据治理策略包括脱敏策略，与所述数据治理策略对应的标签属性为最优治理标签属性；S4、通过所述客户端显示所述数据治理配置界面，并根据所述数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并进行连线处理以完成数据治理流程配置；其中，所述配置界面上显示所述数据读取组件和数据处理组件；所述数据处理组件包括多个，当所述数据处理组件的前面连线数据读取组件或数据处理组件时所述数据处理组件作为目标节点，当所述数据处理组件的后面连线数据处理组件时所述数据处理组件作为源节点，不同的数据处理组件所需配置的参数不同，源节点的输出结果可作为目标节点的输入参数；S5、通过所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；S6、当接收到所述客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理；S7、当接收到所述客户端发送的用户请求更新当前数据治理流程配置时，通过所述客户端显示更新界面以使用户进行数据治理流程配置更新操作，并在接收到所述客户端发送的数据治理流程配置更新操作完成时，判断更新后的数据治理流程配置是否与所述最优治理标签属性匹配，若匹配则按照更新后的数据治理流程配置对待治理的数据进行治理以完成数据治理，否则通过所述客户端提示用户再次更新数据治理流程配置直至再次更新后的数据治理流程配置与所述最优治理标签属性匹配；其中，所述数据治理流程配置更新操作包括数据读取组件、数据处理组件的更换、参数及连线的更改；S8、通过所述客户端显示数据治理完成后的结果。2.根据权利要求1所述的基于数据安全识别级别的数据治理方法，其特征在于，所述数据治理流程还包括数据发布，所述配置界面上还显示与所述数据发布对应的数据发布组件；所述基于数据安全识别级别的数据治理方法还包括步骤：S9、接收客户端发送的响应用户触发的数据治理结果发布请求，根据所述数据治理结果发布请求中用户所选择的数据发布组件将所述数据治理结果对应发布。3.根据权利要求2所述的基于数据安全识别级别的数据治理方法，其特征在于，在所述步骤S3中，当从包含最多的标签类别属性所对应的数据治理策略分组中找出与标签级别属
性中的最高敏感级别相匹配的数据治理策略存在多个时，通过所述客户端显示多个所述数据治理策略以供用户进行选择，并以用户选择的一个数据治理策略作为最后的数据治理策略。4.根据权利要求2所述的基于数据安全识别...

【专利技术属性】
技术研发人员：雷军程，刘汉胤，
申请(专利权)人：邵阳学院，
类型：发明
国别省市：