一种基于大数据的数据信息脱敏方法及系统技术方案

本发明专利技术公开了一种基于大数据的数据信息脱敏方法及系统，包括：在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。本发明专利技术的脱敏方法提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。

A data information desensitization method and system based on big data

【技术实现步骤摘要】
一种基于大数据的数据信息脱敏方法及系统
本专利技术涉及数据脱敏处理
，并且更具体地，涉及一种基于大数据的数据信息脱敏方法及系统。
技术介绍
随着大数据技术的迅猛发展，包含业务、账户等大量敏感信息积累在企业信息系统中，若处理不当，使得这些敏感信息遗失、泄露甚至被窃取，将会对企业造成经济上，甚至声誉上严重的负面影响。企业的正常生产经营极度依赖于信息系统的数据安全保障，一旦信息系统内数据保护不当，导致企业的经营信息、重要人员信息、客户信息、核心产品技术信息等商业机密泄露或被窃取，将造成企业生产经营方面的重大风险与隐患。在常见的数据脱敏体系中，是在数据落地数据库之后再进行脱敏等操作，这样会存在数据泄露等不安全状况。而且在对一些带量纲的数值数据的脱敏上，只是采取一些加减固定值或随机数等简单的方式，后续需要进行的数据分析等工作在使用数据时会产生较大误差。
技术实现思路
本专利技术提出一种基于大数据的数据信息脱敏方法及系统，以解决如何准确、安全地对数据进行脱敏的问题。为了解决上述问题，根据本专利技术的一个方面，提供了一种基于大数据的数据信息脱敏方法，所述方法包括：在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。优选地，其中所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。根据本专利技术的另一个方面，提供了一种基于大数据的数据信息脱敏系统，所述系统包括：第一脱敏处理单元，用于在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；带量纲的待处理数据确定单元，用于根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；统计参数值确定单元，用于计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；第二脱敏处理单元，用于根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。优选地，其中所述第一脱敏处理单元，按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。优选地，其中所述第二脱敏处理单元，根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。优选地，其中所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。本专利技术提供了一种基于大数据的数据信息脱敏方法及系统，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术实施方式的基于大数据的数据信息脱敏方法100的流程图；图2为根据本专利技术实施方式的基于大数据的商品信息脱敏方法的流程图；以及图3为根据本专利技术实施方式的基于大数据的数据信息脱敏系统300的结构示意图。具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。图1为根据本专利技术实施方式的基于大数据的数据信息脱敏方法100的流程图。如图1所示，本专利技术实施方式提供的基于大数据的数据信息脱敏方法，在数据落地之前，从消息中间件消费到数据库的过程中，完成对重要敏感信息如姓名、手机号等数据的识别和脱敏；落地数据库之后，根据对数据的脱敏等级要求，对带量纲的数值数据，按照设定的脱敏策进行脱敏，保证其在需求条件下符合脱敏前的正态分布，进一步提升了数据的安全性，相对以往对数值数据进行简单加减固定数或随机值的脱敏方法，更能保证脱敏后的数据在后续使用中的准确性。本专利技术实施方式提供的基于大数据的数据信息脱敏方法100从步骤101处开始，在步骤101在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中。优选地，其中所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。优选地，其中所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。在本专利技术的实施方式中，在了解了消息中本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据信息脱敏方法，其特征在于，所述方法包括：/n在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；/n根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；/n计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；/n根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。/n

【技术特征摘要】
1.一种基于大数据的数据信息脱敏方法，其特征在于，所述方法包括：
在数据从消息中间件消费到第一数据库的过程中，按照第一脱敏策略对预设字段的数据进行脱敏处理，并将脱敏处理后的数据消费落地到所述第一数据库中；
根据数据进入所述第一数据库的入库时间和预设时间段，确定带量纲的待处理数据；
计算所述带量纲的待处理数据中每个字段的统计参数值，并将所述统计参数值存入第二数据库中；
根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据。


2.根据权利要求1所述的方法，其特征在于，所述按照第一脱敏策略对预设字段的数据进行脱敏处理，包括：
根据脱敏需求，对标识性字段进行全掩码处理或选择性掩码处理。


3.根据权利要求1所述的方法，其特征在于，所述第一数据库为hbase数据库，通过hbase的时间戳标识能够识别数据的入库时间；所述第二数据库为mysql数据库。


4.根据权利要求1所述的方法，其特征在于，所述根据所述统计参数值按照第二脱敏策略对所述带量纲的待处理数据进行脱敏，以获取脱敏数据，包括：
利用所述统计参数值对所述所述带量纲的待处理数据进行归一化处理；
对归一化处理后的数据按照预设比例进行缩放时，以获取噪声项；
根据数据的脱敏等级要求将所述噪声项加入到所述带量纲的待处理数据中，以获取脱敏数据。


5.根据权利要求4所述的方法，其特征在于，所述归一化处理，包括:min-max归一化处理和z-score归一化处理；所述统计参数值包括：最大值、最小值、总体平均值和总体标准差。


6.一种基于大数据的数据信息脱敏系统，其特征在于，所述系...

【专利技术属性】
技术研发人员：李宜谦，任钦正，孙少平，张学军，鲁龙，宋颖，陈晓敏，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11