一种数据脱敏方法、装置与电子设备制造方法及图纸

本发明专利技术公开了一种数据脱敏方法、装置与电子设备；所述方法包括获取数据加载任务指令，根据所述数据加载任务指令利用数据库连接驱动分别连接源数据库与目标数据库；根据所述数据加载任务指令确定待加载数据；利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据；批量抽取所述待加载数据，根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理得到脱敏数据；将所述脱敏数据装载至所述目标数据库。本发明专利技术根据敏感数据模型筛选敏感数据，根据脱敏规则对其进行转换，得到脱敏数据，加载至所述目标数据库中，具有普适性，能够对敏感数据进行高效准确脱敏，且满足数据脱敏后的可用性。

A data desensitization method, device and electronic equipment

【技术实现步骤摘要】
一种数据脱敏方法、装置与电子设备
本专利技术涉及信息数据领域，特别是指一种数据脱敏方法、装置与电子设备。
技术介绍
数据传输过程中，生产库数据库中的敏感数据存在可能泄露的问题。数据库厂商都提供了数据库对外使用时的脱敏方案，为数据库设置数据修改规则，通过各种算法对敏感数据进行修改脱敏，从而消除敏感数据的泄露隐患。然而各个数据库厂商提供的脱敏方案只针对自身数据库，不具备普适性；所采用的数据修改规则简单，无法满足数据脱敏后的可用性；针对大批量数据进行脱敏时，耗时较长且可能存在误差。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种数据脱敏方法、装置与电子设备，具有普适性，能够对敏感数据进行高效准确脱敏，且满足数据脱敏后的可用性。基于上述目的，本专利技术提供了一种数据脱敏方法，包括：获取数据加载任务指令；根据所述数据加载任务指令利用数据库连接驱动分别连接源数据库与目标数据库；根据所述数据加载任务指令确定所述源数据库中的待加载数据；利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据；批量抽取所述待加载数据，根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理，得到脱敏数据；将所述脱敏数据装载至所述目标数据库。此外，本专利技术还提供了一种数据脱敏装置，包括：任务获取模块，被配置为获取数据加载任务指令；连接模块，被配置为根据所述数据加载任务指令利用数据库连接驱动分别连接源数据库与目标数据库；待加载模块，被配置为根据所述数据加载任务指令确定所述源数据库中的待加载数据；识别模块，被配置为利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据；脱敏模块，被配置为批量抽取所述待加载数据，根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理，得到脱敏数据；加载模块，被配置为将所述脱敏数据装载至所述目标数据库。此外，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的方法。从上面所述可以看出，本专利技术提供的数据脱敏方法、装置与电子设备，根据数据加载任务指令利用数据库连接驱动连接源数据库与目标数据库并确定待加载数据，利用敏感数据模型从待加载数据中筛选识别出敏感数据，根据脱敏规则对所述敏感数据进行模糊化处理，最后将得到的脱敏数据加载至所述目标数据库中，具有普适性，能够对敏感数据进行高效准确脱敏，且满足数据脱敏后的可用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的数据脱敏方法流程图；图2为本专利技术实施例的数据脱敏方法中创建目标加载表流程图；图3为本专利技术实施例的筛选敏感数据流程图；图4为本专利技术实施例的敏感数据模糊化处理流程图；图5为本专利技术实施例的数据脱敏装置示意图；图6为本专利技术实施例的数据脱敏电子设备示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。在信息化数据时代，数据量呈现指数增长，大数据技术的出现和发展，能够实现对不断高速增长的数据进行管理和分析，对这些数据的透彻分析能够带来不可估量的价值。以大数据技术为核心的大数据平台将通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为客户提供数据平台、数据产品与数据服务。在大数据平台接入不同数据库以获取数据时，可能涉及有很多用户的隐私和敏感数据，这些数据存在可能泄露的风险。生产库数据库的敏感数据泄露问题，已经引起了数据库厂商的重视，各个厂商都提供了生产库数据对外使用时的脱敏方案，为数据库设置数据修改规则，通过各种算法对敏感数据进行修改脱敏，从而消除敏感数据的泄露隐患，例如oracle数据库中所提供的DataMaskingPack组件提供了数据修改规则实现对敏感数据的修改；SQLServer数据库在Managementstudio中也提供了静态数据屏蔽功能。然而各个数据库厂商所提供的脱敏屏蔽方案只针对自身数据库有效，而不支持其他厂商数据库，相互之间无法兼容，不具备普适性，要实现对类型数据库数据的脱敏会造成投资成本的增加；现有的数据库厂商在对敏感数据进行脱敏时多采用***或简单的数据替换来实现，对于例如银行卡号、身份证号或企业内部身份识别ID等包含信息丰富且多存在校验标识的数据无法满足其脱敏之后的数据可用性的要求；现有的敏感数据脱敏机制中，对于需要进行脱敏处理的数据源基本都依赖管理人员人工指定，所采用的数据脱敏转换策略也大多依赖人工逐步逐项制定，这样的方式在面对大体量数据时，人工指定数据源和逐步逐项制定转换策略非常耗时和单调，可能造成误差，严重影响了数据脱敏的准确率与效率。针对上述问题，本专利技术实施例提供了数据脱敏方案，能够支持对不同厂商数据库进行操作，对待加载的数据进行自动准确筛选识别，并采用有针对性灵活设定的脱敏规则对敏感数据进行脱敏处理，具有普适性，能够对敏感数据进行高效准确脱敏，且满足数据脱敏后的可用性。以下结合附图，详细说明本说明书实施例提供的技术方案。参考图1，本实施例的数据脱敏方法，包括以下步骤：步骤101、获取数据加载任务指令，确定所述数据加载任务所涉及的源数据库与目标数据库。本步骤中，首先获取数据加载任务指令。在日常生产生活、商业活动、企业运行或大数据平台进行数据挖掘等业务过程中对数据进行管理时，经常需要从数据的原存储位置获取数据，将其发送到新的存储位置以便利用这些数据或者对这些数据进行处理。所述数据加载任务指令是指在数据管理过程中获取数据并发送至新的存储位置的任务指令。根据所述数据加载任务指令，能够确定数据来源信息与数据去向信息，同时能够明确所述数据加载任务的目的，即将数据从原存储位置发送至新存储位置之后这些数据的用途。在生产生活、商业活动、企业运行或数据挖掘等业务中，通常利用数据库来完成数据的管理工作，数据的原存储位置与新存储位置就是指数据库。数据库是按照数据结构来组织、存储和管理数据的仓库，数据管理工作中，需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。例如，人事系统和财务系统经常会用到的后台数据库Sqlserver，利用Sqlserver数据库保存单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、住址、简历等)并对这些基本情况信息进行管理；仓库物流管理系统WMS的本文档来自技高网...

【技术保护点】
1.一种数据脱敏方法，其特征在于，包括：/n获取数据加载任务指令；/n根据所述数据加载任务指令利用数据库连接驱动分别连接源数据库与目标数据库；/n根据所述数据加载任务指令确定所述源数据库中的待加载数据；/n利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据；/n批量抽取所述待加载数据，根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理，得到脱敏数据；/n将所述脱敏数据装载至所述目标数据库。/n

【技术特征摘要】
1.一种数据脱敏方法，其特征在于，包括：
获取数据加载任务指令；
根据所述数据加载任务指令利用数据库连接驱动分别连接源数据库与目标数据库；
根据所述数据加载任务指令确定所述源数据库中的待加载数据；
利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据；
批量抽取所述待加载数据，根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理，得到脱敏数据；
将所述脱敏数据装载至所述目标数据库。


2.根据权利要求1所述的方法，其特征在于，所述根据所述数据加载任务指令确定所述源数据库中的待加载数据，包括：
根据所述数据任务加载指令确定所述源数据库中的待加载表，所述待加载数据是指所述待加载表中的数据。


3.根据权利要求2所述的方法，其特征在于，还包括：
获取所述待加载表的表结构信息；
根据所述表结构信息在所述目标数据库中创建相同表结构的目标加载表；
在装载所述脱敏数据时，将所述脱敏数据批量加载到所述目标加载表中。


4.根据权利要求1所述的方法，其特征在于，所述利用敏感数据模型对所述待加载数据进行识别，筛选出敏感数据，包括：
利用分布式样本采集技术从所述待加载数据中采集得到结构完整的样本数据；
对所述样本数据进行深度扫描，确定所述样本数据的数据结构特征；
根据所述数据结构特征，将所述样本数据与所述敏感数据模型进行比对，从所述样本数据中筛选出数据结构特征与所述敏感数据模型相符的敏感数据段；
根据所述敏感数据段与所述样本数据的位置结构关系，从所述待加载数据中筛选出所述敏感数据。


5.根据权利要求1所述的方法，其特征在于，所述根据脱敏规则对所述待加载数据中的所述敏感数据进行模糊化处理，包括：
根据所述敏感数据模型确定所述敏感数据的敏感类型...

【专利技术属性】
技术研发人员：邓伟，林波传，张宁池，朱小娟，张宇，
申请(专利权)人：北京中电飞华通信股份有限公司，国网信息通信产业集团有限公司，
类型：发明
国别省市：北京;11