【技术实现步骤摘要】
测试数据的处理方法及装置
本专利技术涉及数据处理领域,具体涉及一种测试数据的处理方法及装置。
技术介绍
作为金融科技公司,在日常的项目开发测试中,需要用到海量的测试数据。有些诸如数据仓库这类特殊的项目类型,所涉及数据库表很可能是十万级别的,字段数可以达到百万级别,所存储的生产数据更多。这些生产数据需要经过脱敏后在开发测试环境中使用。项目组在申请生产数据用于开发测试时,对生产数据进行脱敏处理,但往往在字段级别还存在一些遗漏。每次安全抽查或审计,都能发现未按要求脱敏的测试数据,存在信息泄露的风险。为防止敏感信息泄露进行的数据脱敏处理,一般存在两种方式:一种是检查人员登录后台数据库主机,对全部数据库库表或抽样的库表,逐一进行选择操作,之后人工检查判断是否还存在敏感信息,这种人工检查方式费时费力,还存在检查缺漏的问题;另一种方式是采用自动化程序,对所有数据库库表进行全库、全表、全字段扫描,这种方式效率较低。
技术实现思路
有鉴于此,本专利技术提供一种测试数据的处理方法及装置,以解决上述提及的至少一 ...
【技术保护点】
1.一种测试数据的处理方法,其特征在于,所述方法包括:/n获取测试数据,所述测试数据包括:字段名、以及与所述字段名相应的字段数据;/n根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据,所述脱敏配置文件包括:敏感字段名、敏感关键字以及非敏感字段特征值;/n根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作;/n响应于判断结果为包含敏感信息,对所述待脱敏数据进行脱敏处理。/n
【技术特征摘要】
1.一种测试数据的处理方法,其特征在于,所述方法包括:
获取测试数据,所述测试数据包括:字段名、以及与所述字段名相应的字段数据;
根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据,所述脱敏配置文件包括:敏感字段名、敏感关键字以及非敏感字段特征值;
根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作;
响应于判断结果为包含敏感信息,对所述待脱敏数据进行脱敏处理。
2.根据权利要求1所述的测试数据的处理方法,其特征在于,所述方法还包括:
预先根据所述测试数据获取该测试数据的字段命名规则;
根据所述测试数据的字段命名规则设置所述脱敏配置文件。
3.根据权利要求1所述的测试数据的处理方法,其特征在于,根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据包括:
根据所述脱敏配置文件中的敏感字段名获取所述测试数据中的含敏感字段名数据;
根据所述脱敏配置文件中的非敏感字段特征值去除所述含敏感字段名数据中的非敏感数据,以得到所述待脱敏数据。
4.根据权利要求1所述的测试数据的处理方法,其特征在于,所述待脱敏数据包括:文字数据和字符串数据,根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作包括:
对所述文字数据进行分词处理,并根据所述敏感数据关键字对所述分词处理后的文字数据进行敏感信息判断操作;
对所述字符串数据通过正则表达式进行敏感信息判断操作。
5.根据权利要求1所述的测试数据的处理方法,其特征在于,对所述待脱敏数据进行脱敏处理之后,所述方法还包括:
对同一字段名的脱敏后的数据进行抽样检查,以判断该字段名对应的数据是否已完成脱敏。
6.一种测试数据的处理装置,其特征在于,所述装置包括:
测试数据获取单元,用于获取测试数据,所述测试数据包括:字段名、以及与所述字段名相应的字段数据;
待脱敏数据获取单元,用于根据预先设置的脱敏配置文件获取所述测试...
【专利技术属性】
技术研发人员:陈一心,陈琰,李小玲,
申请(专利权)人:中国建设银行股份有限公司,建信金融科技有限责任公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。