测试数据的处理方法及装置制造方法及图纸

本发明专利技术公开了一种测试数据的处理方法及装置，其中，该方法包括：获取测试数据，测试数据包括：字段名、以及与字段名相应的字段数据；根据预先设置的脱敏配置文件获取测试数据中的待脱敏数据，脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值；根据敏感关键字对待脱敏数据执行预定方式的敏感信息判断操作；响应于判断结果为包含敏感信息，对待脱敏数据进行脱敏处理。通过本发明专利技术，可以提高脱敏数据的效率。

Test data processing method and device

【技术实现步骤摘要】
测试数据的处理方法及装置
本专利技术涉及数据处理领域，具体涉及一种测试数据的处理方法及装置。
技术介绍
作为金融科技公司，在日常的项目开发测试中，需要用到海量的测试数据。有些诸如数据仓库这类特殊的项目类型，所涉及数据库表很可能是十万级别的，字段数可以达到百万级别，所存储的生产数据更多。这些生产数据需要经过脱敏后在开发测试环境中使用。项目组在申请生产数据用于开发测试时，对生产数据进行脱敏处理，但往往在字段级别还存在一些遗漏。每次安全抽查或审计，都能发现未按要求脱敏的测试数据，存在信息泄露的风险。为防止敏感信息泄露进行的数据脱敏处理，一般存在两种方式：一种是检查人员登录后台数据库主机，对全部数据库库表或抽样的库表，逐一进行选择操作，之后人工检查判断是否还存在敏感信息，这种人工检查方式费时费力，还存在检查缺漏的问题；另一种方式是采用自动化程序，对所有数据库库表进行全库、全表、全字段扫描，这种方式效率较低。
技术实现思路
有鉴于此，本专利技术提供一种测试数据的处理方法及装置，以解决上述提及的至少一个问题。根据本专利技术的第一方面，提供一种测试数据的处理方法，所述方法包括：获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据；根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据，所述脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值；根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作；响应于判断结果为包含敏感信息，对所述待脱敏数据进行脱敏处理。根据本专利技术的第二方面，提供一种测试数据的处理装置，所述装置包括：测试数据获取单元，用于获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据；待脱敏数据获取单元，用于根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据，所述脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值；判断单元，用于根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作；脱敏单元，用于响应于判断结果为包含敏感信息，对所述待脱敏数据进行脱敏处理。根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述测试数据的处理方法的步骤。根据本专利技术的第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述测试数据的处理方法的步骤。由上述技术方案可知，通过根据预先设置的脱敏配置文件获取测试数据中的待脱敏数据，并根据脱敏配置文件中的敏感关键字对待脱敏数据执行预定方式的敏感信息判断操作，当判断为含有敏感信息时，对待脱敏数据执行脱敏处理，相比于现有技术中的通过人工方式或者自动化程序扫描所有数据的方式来进行脱敏处理，本技术方案通过预先设置的脱敏配置文件来实现对数据的脱敏处理，效率较高，且覆盖度和准确性都较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的测试数据处理方法的流程图；图2是根据本专利技术实施例的测试数据处理方法的详细流程图；图3是根据本专利技术实施例的脱敏检查结果word文本扫描结果截屏图；图4是根据本专利技术实施例的测试数据处理装置的结构框图；图5是根据本专利技术实施例的测试数据处理装置的详细结构框图；图6是根据本专利技术实施例的待脱敏数据获取单元42的结构框图；图7是根据本专利技术实施例的判断单元43的结构框图；图8是根据本专利技术实施例的电子设备的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前对测试数据脱敏采用的人工方式或者自动化程序扫描方式，均存在效率低的问题，基于此，本专利技术实施例提供一种测试数据的处理方案，以提高数据脱敏的效率。图1是根据本专利技术实施例的测试数据处理方法的流程图，如图1所示，该方法包括：步骤101，获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据。步骤102，根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据，所述脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值。在实际操作中，脱敏配置文件可以通过如下方式来设置：预先根据所述测试数据获取该测试数据的字段命名规则；根据所述测试数据的字段命名规则设置所述脱敏配置文件。一般来说，企业在开发应用系统时，往往会对数据库表的字段命名进行规范。通过对这些命名规范的分析，可以筛出大部分与敏感字段无关的字段名，对这些字段就无需进行检查，从而可以提高敏感信息检查程序的检查效率。例如，人员姓名一般带有name或nm字样，地址字段一般带有addr字样，账号字段一般带有acct字样。在脱敏配置文件配置完成之后，可以根据所述脱敏配置文件中的敏感字段名获取测试数据中的含敏感信息字段名(例如，含有实际名称的“客户名称”)数据；并且根据脱敏配置文件中的非敏感字段特征值去除含敏感信息字段名数据中的非敏感数据(例如，文本“产品名称”)，以得到所述待脱敏数据。步骤103，根据敏感关键字对待脱敏数据执行预定方式的敏感信息判断操作。具体地，待脱敏数据可以包括：文字数据和字符串数据。其中，文字数据例如是，字段名为客户名称、住址这类的文本字段数据，字符串数据例如是，邮箱地址、身份证、电话号码等这类的字符串。在实际操作中，对于文字数据，可以先进行分词处理，并根据敏感数据关键字对分词处理后的文字数据进行敏感信息判断操作；对于字符串数据，可以通过正则表达式进行敏感信息判断操作。步骤104，响应于判断结果为包含敏感信息，对所述待脱敏数据进行脱敏处理。通过根据预先设置的脱敏配置文件获取测试数据中的待脱敏数据，并根据脱敏配置文件中的敏感关键字对待脱敏数据执行预定方式的敏感信息判断操作，当判断为含有敏感信息时，对待脱敏数据执行脱敏处理，相比于现有技术中的通过人工方式或者自动化程序扫描所有数据的方式来进行脱敏处理，本专利技术实施例通过预先设置的脱敏配置文件来实现对数据的脱敏处理，效率较高，且覆盖度和准确性都较高。在一个实施例中，对待脱敏数据进行脱敏处理之后，还可以对同一字段名的脱敏后的数据进行抽样检查，以判断该字段名对应的数据是否已完成脱敏。例如，对客户名称字段的数据进行抽样检查，随机抽取10个数据，当通过敏感关键字未获取到敏感数据时，表示本文档来自技高网...

【技术保护点】
1.一种测试数据的处理方法，其特征在于，所述方法包括：/n获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据；/n根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据，所述脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值；/n根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作；/n响应于判断结果为包含敏感信息，对所述待脱敏数据进行脱敏处理。/n

【技术特征摘要】
1.一种测试数据的处理方法，其特征在于，所述方法包括：
获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据；
根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据，所述脱敏配置文件包括：敏感字段名、敏感关键字以及非敏感字段特征值；
根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作；
响应于判断结果为包含敏感信息，对所述待脱敏数据进行脱敏处理。


2.根据权利要求1所述的测试数据的处理方法，其特征在于，所述方法还包括：
预先根据所述测试数据获取该测试数据的字段命名规则；
根据所述测试数据的字段命名规则设置所述脱敏配置文件。


3.根据权利要求1所述的测试数据的处理方法，其特征在于，根据预先设置的脱敏配置文件获取所述测试数据中的待脱敏数据包括：
根据所述脱敏配置文件中的敏感字段名获取所述测试数据中的含敏感字段名数据；
根据所述脱敏配置文件中的非敏感字段特征值去除所述含敏感字段名数据中的非敏感数据，以得到所述待脱敏数据。


4.根据权利要求1所述的测试数据的处理方法，其特征在于，所述待脱敏数据包括：文字数据和字符串数据，根据所述敏感关键字对所述待脱敏数据执行预定方式的敏感信息判断操作包括：
对所述文字数据进行分词处理，并根据所述敏感数据关键字对所述分词处理后的文字数据进行敏感信息判断操作；
对所述字符串数据通过正则表达式进行敏感信息判断操作。


5.根据权利要求1所述的测试数据的处理方法，其特征在于，对所述待脱敏数据进行脱敏处理之后，所述方法还包括：
对同一字段名的脱敏后的数据进行抽样检查，以判断该字段名对应的数据是否已完成脱敏。


6.一种测试数据的处理装置，其特征在于，所述装置包括：
测试数据获取单元，用于获取测试数据，所述测试数据包括：字段名、以及与所述字段名相应的字段数据；
待脱敏数据获取单元，用于根据预先设置的脱敏配置文件获取所述测试...

【专利技术属性】
技术研发人员：陈一心，陈琰，李小玲，
申请(专利权)人：中国建设银行股份有限公司，建信金融科技有限责任公司，
类型：发明
国别省市：北京;11