System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于数据集的数据分类分级方法、装置、设备及介质制造方法及图纸_技高网

一种基于数据集的数据分类分级方法、装置、设备及介质制造方法及图纸

技术编号:41198821 阅读:5 留言:0更新日期:2024-05-07 22:26
本申请公开了一种基于数据集的数据分类分级方法、装置、设备及介质,涉及数据安全合规技术领域,包括:获取待分类分级数据中的所有数据字段得到待分类分级数据字段,并基于待分类分级数据字段创建数据集得到目标数据集;识别目标数据集的数据结构得到数据集结构;对目标数据集中的数据进行随机抽样,并获取目标数据集中静态数据集对应的数据字典;基于数据字典和样本数据对目标数据集与数据集分类分级识别规则中的所有标准字段进行匹配以建立映射关系;利用映射关系和识别规则对目标数据集进行标准化匹配评估得到自评估结果,以生成数据评估报告。本申请能够对数据进行动态分类分级,帮助数据拥有方合理规避数据流动风险,从而促进数据合规流动。

【技术实现步骤摘要】

本申请涉及数据基础设施中的数据安全合规,特别涉及一种基于数据集的数据分类分级方法、装置、设备及介质


技术介绍

1、数据分类分级是数据安全治理和数据资产管理的主要措施,是数据要素安全合规使用的基础。例如,按照公共数据遭到破坏的危害程度对公共数据进行分类分级(如一般数据、重要数据、核心数据),从而为数据全生命周期管理的安全策略制定提供依据。并且,数据分类分级不仅能够确保具有较低信任级别的用户无法访问敏感数据,从而保护重要的数据资产,还能够避免对不重要的数据采取不必要的安全措施。

2、目前,主流的数据分类分级方法是以每个数据字段为对象进行识别和评估的,然而这种方式在技术上与大部分数据库等管理工具的管理方式不适配,并且与数据拥有方使用的管理数据的方式也不适配,因此会造成用户极大的困惑,即便实现了某种程度的数据分类分级处理,用户也无法根据评估结果对每个字段进行单独使用和管控。另外,当前的数据分类分级方法以提供评估结果为目标,不考虑评估结束后对用户相关后续操作的支持,而数据分类分级评估是数据流动的前置必要环节,因此数据分类分级与数据流动脱节会对数据拥有方造成不便和新的数据安全合规风险。

3、综上,如何对数据进行分类分级是本领域目前还有待进一步解决的技术问题。


技术实现思路

1、有鉴于此,本申请的目的在于提供一种基于数据集的数据分类分级方法、装置、设备及介质,能够帮助数据拥有方合理规避数据流动风险,促进数据合规流动,解决了传统数据分类分级与数据流动脱节的问题,并为数据全生命周期管理的安全策略制定提供依据。其具体方案如下:

2、第一方面,本申请公开了一种基于数据集的数据分类分级方法,包括:

3、确定包含动态数据和静态数据的待分类分级数据;

4、获取所述待分类分级数据中的所有数据字段,得到待分类分级数据字段,并基于所有所述待分类分级数据字段创建数据集,得到目标数据集;所述目标数据集中包括动态数据集和静态数据集;

5、识别所述目标数据集的数据结构,得到包括数据库、数据表及数据字段的数据集结构;

6、对所述目标数据集中的数据进行随机抽样,得到样本数据,并获取所述目标数据集中的所述静态数据集对应的数据字典;所述数据字典内包括所述静态数据集对应的所述数据集结构中的所有数据库、数据表及数据字段的描述信息;

7、基于所述数据字典和所述样本数据对所述目标数据集与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系;

8、利用所述映射关系和所述数据集分类分级识别规则分别对所述目标数据集进行标准化匹配评估,以得到分级类型为核心数据、重要数据或一般数据的自评估结果,并基于所述自评估结果生成具有法律与司法效应的数据评估报告并将所述数据评估报告发送至数据拥有方。

9、可选的,所述基于所述数据字典和所述样本数据对所述目标数据集与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系,包括:

10、利用nlp算法、大语言模型及加权算法并基于所述数据字典和所述样本数据对所述目标数据集中的数据字段与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系。

11、可选的,分级类型为所述重要数据和所述核心数据的判定条件为所述目标数据集中存在位于所述数据集分类分级识别规则的特定字段组合中的所有数据字段,且所述目标数据集的数据量达到预设数量阈值。

12、可选的,所述基于所有所述待分类分级数据字段创建数据集,得到目标数据集,包括:

13、基于所有所述待分类分级数据字段创建数据集,得到初始数据集;

14、分别从所述初始数据集中的不同数据表中随机获取数据字段,得到多个随机获取字段,并对所有所述随机获取字段进行排列组合,以形成动态数据集;

15、相应的,所述将所述数据评估报告发送至数据拥有方之后,还包括:

16、利用所述映射关系分别对所述动态数据集和所述静态数据集中的所有数据和敏感数据识别规则进行逐一匹配,以识别所述动态数据集和所述静态数据集中的敏感数据;

17、对所述敏感数据进行标记得到标记后数据,并对所述标记后数据进行合规化处理,以得到包含脱敏后数据的脱敏后动态数据集和脱敏后静态数据集;

18、分别将所述脱敏后动态数据集和所述脱敏后静态数据集导出为目标文件类型的文件,得到第一文件,并将所述第一文件发送至数据需求方。

19、可选的,所述将所述第一文件发送至数据需求方之后,还包括:

20、识别所述目标数据集中不包含敏感数据的数据集并导出为所述目标文件类型的文件,得到第二文件;

21、分别对所述第一文件和所述第二文件进行加密存证,得到存证数据,并将所述存证数据发送至所述数据拥有方。

22、可选的,所述分别对所述第一文件和所述第二文件进行加密存证,得到存证数据,包括:

23、利用国密对称算法分别对所述第一文件和所述第二文件进行加密,得到加密后数据;

24、相应的,所述分别对所述第一文件和所述第二文件进行加密存证,得到存证数据之后,还包括:

25、利用摘要算法及时间戳为所述加密后数据生成数字指纹,并将所述数字指纹保存至区块链。

26、可选的,所述基于数据集的数据分类分级方法,还包括:

27、将具有相同数据含义的来自不同数据表中的数据字段作为同一字段,得到多个标准字段;

28、按照不同的组合方式对所述多个标准字段进行组合,得到多组所述特定字段组合,并基于多组所述特定字段组合创建分类分级识别规则,得到所述数据集分类分级识别规则。

29、第二方面,本申请公开了一种基于数据集的数据分类分级装置,包括:

30、数据确定模块,用于确定包含动态数据和静态数据的待分类分级数据;

31、字段获取模块,用于获取所述待分类分级数据中的所有数据字段,得到待分类分级数据字段;

32、数据集创建模块,用于基于所有所述待分类分级数据字段创建数据集,得到目标数据集;所述目标数据集中包括动态数据集和静态数据集;

33、结构识别模块,用于识别所述目标数据集的数据结构,得到包括数据库、数据表及数据字段的数据集结构;

34、随机抽样模块,用于对所述目标数据集中的数据进行随机抽样,得到样本数据;

35、字典获取模块,用于获取所述目标数据集中的所述静态数据集对应的数据字典;所述数据字典内包括所述静态数据集对应的所述数据集结构中的所有数据库、数据表及数据字段的描述信息;

36、匹配模块,用于基于所述数据字典和所述样本数据对所述目标数据集与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系;

...

【技术保护点】

1.一种基于数据集的数据分类分级方法,其特征在于,包括:

2.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,所述基于所述数据字典和所述样本数据对所述目标数据集与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系,包括:

3.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,分级类型为所述重要数据和所述核心数据的判定条件为所述目标数据集中存在位于所述数据集分类分级识别规则的特定字段组合中的所有数据字段,且所述目标数据集的数据量达到预设数量阈值。

4.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,所述基于所有所述待分类分级数据字段创建数据集,得到目标数据集,包括:

5.根据权利要求4所述的基于数据集的数据分类分级方法,其特征在于,所述将所述第一文件发送至数据需求方之后,还包括:

6.根据权利要求5所述的基于数据集的数据分类分级方法,其特征在于,所述分别对所述第一文件和所述第二文件进行加密存证,得到存证数据,包括:

7.根据权利要求1至6任一项所述的基于数据集的数据分类分级方法,其特征在于,还包括:

8.一种基于数据集的数据分类分级装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的基于数据集的数据分类分级方法。

10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于数据集的数据分类分级方法。

...

【技术特征摘要】

1.一种基于数据集的数据分类分级方法,其特征在于,包括:

2.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,所述基于所述数据字典和所述样本数据对所述目标数据集与数据集分类分级识别规则中包含的所有标准字段进行逐一匹配,以建立所述目标数据集与所述标准字段的映射关系,包括:

3.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,分级类型为所述重要数据和所述核心数据的判定条件为所述目标数据集中存在位于所述数据集分类分级识别规则的特定字段组合中的所有数据字段,且所述目标数据集的数据量达到预设数量阈值。

4.根据权利要求1所述的基于数据集的数据分类分级方法,其特征在于,所述基于所有所述待分类分级数据字段创建数据集,得到目标数据集,包括:

5.根据权利要求4所述的基于数据集的...

【专利技术属性】
技术研发人员:田平袁征
申请(专利权)人:杭州数圭通科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1