System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据脱敏方法、装置、设备及可读存储介质制造方法及图纸_技高网

数据脱敏方法、装置、设备及可读存储介质制造方法及图纸

技术编号:42101998 阅读:26 留言:0更新日期:2024-07-25 00:27
本公开涉及一种数据脱敏方法、装置、设备及可读存储介质。通过获取待脱敏的敏感数据,构造出敏感数据的数据血缘关系图,对数据血缘关系图中的各个字段进行识别,得到数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据。相较于现有技术,本公开实施例通过构造数据血缘关系图,对数据血缘关系图中的各个字段进行识别,得到各个敏感字段以及各个敏感字段的类型,采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到脱敏后字段数据,进而可以减少人工参与度,缩短周期,提高数据脱敏效率,提高脱敏处理后的数据质量。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种数据脱敏方法、装置、设备及可读存储介质


技术介绍

1、在有状态的数据服务中,我们很多时候需要保证数据事务的一致性。举一个常见的场景,比如我们经常用到的数据存储服务mysql、redis等等,涉及到事务的一致性。特别是在读多写多这种高并发的场景下,服务的压力很大,我们需要服务可以扛得住这部分流量。

2、为实现这一目标,采用了数据分片的方法,通过对用户id进行哈希拆分,将不同用户id分配到不同的分片服务上。采用哈希分片容易导致个别热点问题,尤其在流量激增时可能需要进行扩容。其次,在面临服务器故障的情况下,哈希映射错误可能会发生,进而导致请求错误的分片。为了解决该问题,引入了一致性哈希算法。

3、一致性哈希算法作为一种解决哈希分片中扩容问题的方案,其特性允许在局部区域进行扩容而不干扰整个集群的分片。由于一致性哈希算法的不通用性,显著限制了其灵活性和可控性。具体而言,一致性哈希算法的自动触发和控制机制较为局限,使得系统管理员难以干预或手动调整分片的过程,增加了人为控制的难度,无法按需调整分片。尤其在需要手动处理分片的特殊业务场景下,需要提供额外的开发工具和个性化的支持。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种数据脱敏方法、装置、设备及可读存储介质,以减少人工参与度,缩短周期,提高数据脱敏效率,提高脱敏处理后的数据质量。

2、第一方面,本公开实施例提供一种数据脱敏方法,所述方法包括:

3、获取待脱敏的敏感数据;

4、构造出所述敏感数据的数据血缘关系图;

5、对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型;

6、采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据。

7、在一些实施例中,所述构造出所述敏感数据的数据血缘关系图,包括:

8、建立血缘关系初始框架;

9、对所述待脱敏的敏感数据进行数据血缘关系探查,得到各个字段之间的流转关系;

10、基于各个字段之间的流转关系,构造出所述敏感数据的数据血缘关系图。

11、在一些实施例中,所述对所述待脱敏的敏感数据进行数据血缘关系探查,得到各个字段之间的流转关系,包括:

12、对所述待脱敏的敏感数据进行实体资产探查,得到所述敏感数据在每个层级中的各个字段;

13、对每个层级中的各个字段进行实体关系探查,得到每个层级中的各个字段之间的流转关系。

14、在一些实施例中,所述对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,包括:

15、基于规则字典数据、分类字典数据、分级字典数据,配置多个识别模版;

16、基于各个字段的规则信息、分类信息、分级信息,确定出各个字段对应的目标识别模版;

17、基于各个字段对应的目标识别模版对各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型。

18、在一些实施例中,所述基于各个字段对应的目标识别模版对各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,包括:

19、基于各个字段对应的目标识别模版对所述各个字段进行字段字典匹配,识别出各个敏感字段以及各个敏感字段的类型;和/或

20、基于各个字段对应的目标识别模版对所述各个字段进行语义特征匹配,识别出各个敏感字段以及各个敏感字段的类型。

21、在一些实施例中,所述脱敏策略包括如下至少一种:

22、取整、偏移、重排、加密、平均值、无效化、随机值、数据替换;

23、在所述采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据之后,所述方法还包括:

24、响应于当前用户的访问请求,基于当前用户的角色类型以及当前的业务场景,从所述脱敏后字段数据中确定出目标脱敏后字段数据,并向当前用户展示所述目标脱敏后字段数据。

25、在一些实施例中,所述响应于当前用户的访问请求,基于当前用户的角色类型以及当前的业务场景,从所述脱敏后字段数据中确定出目标脱敏后字段数据,包括:

26、基于预设的业务场景、预设的角色类型,配置多个字段展示规则;

27、响应于用户的访问请求,获取当前用户的角色类型以及当前的业务场景;

28、确定与当前用户的角色类型以及当前的业务场景对应的目标字段展示规则;

29、基于所述目标字段展示规则,确定当前用户对应的目标脱敏后字段数据。

30、第二方面,本公开实施例提供一种数据脱敏装置,所述装置包括:

31、获取模块,用于获取待脱敏的敏感数据;

32、构造模块,用于构造出所述敏感数据的数据血缘关系图;

33、得到模块,用于对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型;

34、脱敏模块,用于采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据。

35、第三方面,本公开实施例提供一种电子设备,包括:

36、存储器;

37、处理器;以及

38、计算机程序;

39、其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。

40、第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如第一方面所述的方法。

41、第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如第一方面所述的方法。

42、本公开实施例提供的数据脱敏方法、装置、设备及可读存储介质,通过获取待脱敏的敏感数据,构造出所述敏感数据的数据血缘关系图,对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据。相较于现有技术,本公开实施例通过获取待脱敏的敏感数据,构造出所述敏感数据的数据血缘关系图,对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,采用与各个敏感字段的类型对应的脱敏策略对各个敏感字段进行脱敏,得到各个敏感字段对应的脱敏后字段数据,进而可以减少人工参与度,缩短周期,提高数据脱敏效率,提高脱敏处理后的数据质量。

本文档来自技高网...

【技术保护点】

1.一种数据脱敏方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述构造出所述敏感数据的数据血缘关系图,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述待脱敏的敏感数据进行数据血缘关系探查,得到各个字段之间的流转关系,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于各个字段对应的目标识别模版对各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,包括:

6.根据权利要求1所述的方法,其特征在于,所述脱敏策略包括如下至少一种:

7.根据权利要求6所述的方法,其特征在于,所述响应于当前用户的访问请求,基于当前用户的角色类型以及当前的业务场景,从所述脱敏后字段数据中确定出目标脱敏后字段数据,包括:

8.一种数据脱敏装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据脱敏方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述构造出所述敏感数据的数据血缘关系图,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述待脱敏的敏感数据进行数据血缘关系探查,得到各个字段之间的流转关系,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所述数据血缘关系图中的各个字段进行识别,得到所述数据血缘关系图中的各个敏感字段以及各个敏感字段的类型,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于各个字段对应的目标识别模版对各个字段进行识别,得到所述数据血...

【专利技术属性】
技术研发人员:王胜先
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1