一种去除敏感数据敏感性的方法及装置制造方法及图纸

本发明专利技术公开了一种去除敏感数据敏感性的方法，用于提高去除敏感数据敏感性的效率并减少所需额外的存储开销，该方法包括：从M条数据记录中选取其中N条数据记录，记录N条数据记录的数据位置，其中，N、M为大于0的整数，N小于M；将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。本发明专利技术还公开了一种去除敏感数据敏感性的装置。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种去除敏感数据敏感性的方法，用于提高去除敏感数据敏感性的效率并减少所需额外的存储开销，该方法包括：从M条数据记录中选取其中N条数据记录，记录N条数据记录的数据位置，其中，N、M为大于0的整数，N小于M；将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。本专利技术还公开了一种去除敏感数据敏感性的装置。【专利说明】 一种去除敏感数据敏感性的方法及装置
本专利技术涉及数据处理
，具体涉及一种去除敏感数据敏感性的方法及装置。
技术介绍
随着信息化进程的发展，在一些行业的数据库中经常存放着大量具有敏感性的原数据，例如姓名、地址、电话、身份证号、金额等等，这些数据如果泄露会对企业或个人造成恶劣影响。同时，对数据进行测试是测试数据库工作的基础，由于数据库中存储着大量敏感数据，因此在构造测试环境时，需要对这些数据进行“脱敏”处理，以使测试环境中的数据丧失敏感性，避免在数据测试过程中对敏感数据的泄露。在现有技术中，去除敏感数据敏感性可以采用混淆处理的方式，即将所有敏感数据打乱重新存储在原有位置。具体的，现有技术中通常将数据库中的全部包含敏感数据的记录装载到外部存储器中，如数据量为N，第一次从N个记录随机选出一个记录，与第N个记录的数据交换，然后再从N-1个记录中随机选出一个记录，与第N-1个记录的数据交换，循环执行上述步骤N次，完成敏感数据混淆，处理后再将全部记录装载回数据库中对应位置。但是，现有技术的方法使用了记录数量多一倍的额外外存开销，当记录数量巨大时，额外存储开销大，且访问速度慢，同时数据库与外存间多了两次全量磁盘存取，效率较低。
技术实现思路
有鉴于此，本专利技术的主要目的是提供一种去除敏感数据敏感性的方法及装置，以解决现有技术中去除敏感数据敏感性时额外存储开销大且效率较低的问题。为解决上述问题，本专利技术提供的技术方案如下:一种去除敏感数据敏感性的方法，所述方法包括:从M条数据记录中选取其中N条数据记录，记录所述N条数据记录的数据位置，其中，N、M为大于O的整数，N小于M ；将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。相应的，所述从M条数据记录中选取其中N条数据记录，包括:随机选取M条数据记录中的N条数据记录。相应的，所述记录所述N条数据记录的数据位置，包括:当所述M条数据记录存储在数据库时，将所述N条数据记录中每一条数据记录的主键信息存储在线性标记缓存中；当所述M条数据记录存储在数据库导出文件时，将所述N条数据记录中每一条数据记录的入口值存储在线性标记缓存中。相应的，所述将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换，包括:当所述M条数据记录存储在数据库时，顺序获取M条数据记录中每一条数据记录的主键信息，判断该主键信息是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的主键信息，如果否，则将该主键信息对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；当所述M条数据记录存储在数据库导出文件时，顺序获取M条数据记录中每一条数据记录的入口值，判断该入口值是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的入口值，如果否，则将该入口值对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换。相应的，所述从M条数据记录中选取其中N条数据记录，包括:顺序选取M条数据记录中第I条至第N条数据记录。一种去除敏感数据敏感性的装置，所述装置包括:选取单元，用于从M条数据记录中选取其中N条数据记录，其中，N、M为大于O的整数，N小于M ;记录单元，用于记录所述N条数据记录的数据位置；存储单元，用于将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；第一交换单元，用于将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；第二交换单元，用于用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。相应的，所述选取单元具体用于:随机选取M条数据记录中的N条数据记录。相应的,所述记录单元具体用于:当所述M条数据记录存储在数据库时，将所述N条数据记录中每一条数据记录的主键信息存储在线性标记缓存中；当所述M条数据记录存储在数据库导出文件时，将所述N条数据记录中每一条数据记录的入口值存储在线性标记缓存中。相应的，所述第一交换单元具体用于:当所述M条数据记录存储在数据库时，顺序获取M条数据记录中每一条数据记录的主键信息，判断该主键信息是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的主键信息，如果否，则将该主键信息对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；当所述M条数据记录存储在数据库导出文件时，顺序获取M条数据记录中每一条数据记录的入口值，判断该入口值是否存储在所述线性标记缓存中，如果是，则获取M条数据记录中下一条数据记录的入口值，如果否，则将该入口值对应的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换。相应的,所述选取单元具体用于:顺序选取M条数据记录中第I条至第N条数据记录。由此可见，本专利技术具有如下有益效果:本专利技术实施例将M条数据记录中的N条数据记录存储在设置的线性内存缓存中，与数据库或数据库导出文件中的其余数据记录进行随机交换，实现敏感数据敏感性去除，处理速度较快，同时由于内存缓存数据量远小于全量数据量，因此相比现有技术两次全量磁盘存取的效率有较大提高，且额外空间开销为线性内存缓存大小，不需要外部存储器存储开销，额外存储开销较小。【专利附图】【附图说明】图1为本专利技术去除敏感数据敏感性的方法实施例一的流程图；图2为本专利技术去除敏感数据敏感性的方法实施例二的流程图；图3为本专利技术去除敏感数据敏感性的方法实施例三的流程图；图4为本专利技术去除敏感数据敏感性的方法实施例四的流程图；图5为本专利技术去除敏感数据敏感性的方法实施例五的流程图；图6为本专利技术去除敏感数据敏感性的装置实施例的示意图。【具体实施方式】为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本专利技术实施例作进一步详细的说明。本专利技术去除敏感数据敏感性的方法及装置，是针对现有技术中去除敏感数据敏感性时额外存储开销大且效率较低的问题，提出设全部数据记录总数为M，线性缓存大小为N条数据记录的长度，其中N、M为大于O的整数，M远大于N，则本文档来自技高网...

【技术保护点】
一种去除敏感数据敏感性的方法，其特征在于，所述方法包括：从M条数据记录中选取其中N条数据记录，记录所述N条数据记录的数据位置，其中，N、M为大于0的整数，N小于M；将选取的N条数据记录所包含的敏感数据存储在设置的线性内存缓存中；将M条数据记录中每一条未被选取的数据记录所包含的敏感数据与所述线性内存缓存中随机一条数据记录所包含的敏感数据进行交换；用交换后线性内存缓存中的N条数据记录所包含的敏感数据替换记录的数据位置上原有的N条数据记录所包含的敏感数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：周期律，焦伟，蔡仕志，张旭春，于进，孟毅颖，涂晓军，王智忠，牛晔，严晨光，郭丽，周晓聪，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：