大数据平台的数据流通与交易的敏感数据保护系统及方法技术方案

一种大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述大数据平台的数据流通与交易的敏感数据保护系统包括在数据采集中发现敏感内容并对敏感内容进行保护处理的数据采集模块、对数据共享过程中的敏感数据进行保护处理的数据共享模块、对数据交换过程中的相对敏感数据配置脱敏策略进行脱敏处理的数据交换模块、在数据获取过程中对数据文件下载链接及存储地址进行保护的数据获取模块、对敏感数据的脱敏及保护处理进行管理和监控以及审计的脱敏管理模块。本发明专利技术还公开了一种大数据平台的数据流通与交易的敏感数据保护方法。

【技术实现步骤摘要】

本专利技术涉及大数据领域，具体地说，涉及大数据平台的数据流通与交易的敏感数据保护系统及方法。
技术介绍
在大数据环境下，数据的汇集、流通、交换共享、交易、分析挖掘等需求越来越强，大量的敏感数据汇集到大数据中心平台，如何在流通、交换共享、交易、分析挖掘等数据使用中保护这些敏感数据，防止用户隐私泄露已成为大数据安全关注的重点。目前，已有的敏感数据保护采用以下四种保护方式：(1)访问控制的方法：通过对用户身份及其所属的安全等级来限制用户对数据的访问，防止敏感数据的未授权访问，实现敏感数据的保护。该方法在一定程度上降低了数据共享的可用性。(2)基于数据失真的敏感数据保护技术：采用扰动、置换、遮挡等方法对敏感数据进行处理，在处理的同时保证数据保留某些统计的特征，以便进行数据分析与挖掘。该方法效率比较高，但是会使数据中的信息丢失。(3)基于数据加密的技术：采用安全多方计算等加密技术对数据进行加密处理，保障数据流通过程中的敏感数据安全。该方法能有效地保障数据流通中数据的准确性和安全性，但是计算的效率相对较低，开销比较大。(4)基于限制发布的技术：依据实际需求，借助差分隐私、k-匿名等算法对发布的数据进行处理，比如不发布数据中的某些属性或者对某些数据型进行泛化，实现敏感数据的保护。该方法能保证共享数据的真实性，但是会存在数据中信息的丢失。综上所述，存在的问题：(1)已有的敏感数据保护方法大都集中在对数据流通的共享与发布环节，缺乏对数据流通整个环节的敏感数据的保护。(2)过度关注用户隐私也会阻碍数据流通，如何结合不同敏感数据保护方法的优缺点为数据流通的不同环节选择恰当的技术，实现敏感数据保护与数据可用性之间的平衡，是亟待解决的问题。(3)关于敏感数据保护技术的大都是直接对敏感数据处理，但是并未考虑到如何发现敏感数据、如何验证脱敏结果的正确性、真实性。因此提供一种大数据平台上数据流通过程中的敏感数据保护机制，保障数据流通过程中的敏感数据安全，平衡隐私保护与数据流通之间的关系，是迫切需要的。
技术实现思路
为了达到上述目的，本专利技术提供一种保障数据流通过程中的数据采集、数据共享、数据交换以及数据获取整个过程敏感数据安全的大数据平台的数据流通与交易的敏感数据保护系统及方法。本专利技术的一种大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述大数据平台的数据流通与交易的敏感数据保护系统包括在数据采集中发现敏感内容并对敏感内容进行保护处理的数据采集模块、对数据共享过程中的敏感数据进行保护处理的数据共享模块、对数据交换过程中的相对敏感数据配置脱敏策略进行脱敏处理的数据交换模块、在数据获取过程中对数据文件下载链接及存储地址进行保护的数据获取模块、对敏感数据的脱敏及保护处理进行管理和监控以及审计的脱敏管理模块。其中，所述数据采集模块包括对上传大数据平台的数据进行数据信息提取为敏感数据保护提供数据准备的元数据提取模块、在所述元数据提取模块提取的数据信息基础上自动发现涉密信息及敏感数据的第一敏感数据发现模块、为所述第一敏感数据发现模块发现的敏感内容配置相应的脱敏算法形成脱敏策略的第一脱敏策略配置模块、通过系统调用所述第一脱敏策略配置模块预定义的脱敏策略对敏感数据实现批量离线脱敏的离线脱敏模块。所述数据共享模块包括对存储于大数据平台中的数据根据数据属性选择采用人工定义和自动发现方式中的一种进行敏感数据发现的第二敏感数据发现模块、在所述第二敏感数据发现模块发现的敏感数据基础上为每一类敏感数据配置脱敏算法形成脱敏策略的第二脱敏策略配置模块、对大数据平台中允许共享的数据进行噪声干扰处理保护敏感数据的敏感数据查询保护模块、对大数据平台中的数据检索结果进行数据脱敏保护的检索结果保护模块。所述数据获取模块包括对文件存储的真实地址进行变换形成新的存储地址达到存储地址保护的文件存储地址变换模块、在所述文件存储地址编号模块对文件真实存储地址进行变换的基础上为有下载需求的数据需求方展示变换后的文件存储地址防止文件存储地址泄露保护下载链接安全的下载链接保护模块。所述脱敏管理模块包括对数据脱敏算法进行添加、删除和修改的脱敏算法管理模块、对数据流通过过程中的数据脱敏策略进行增加、删除和修改的脱敏策略管理模块、对敏感内容和敏感数据特征分析的基础上训练得到机器学习模型并在有敏感数据自动发现需求时对敏感数据进行自动发现的自学习引擎、对数据流通过程中的各个环节的数据脱敏进行实时监控以便及时发现异常的脱敏监控模块、对数据流通和交易过程中的数据脱敏任务进行分析审计的脱敏审计模块、对数据流通和交易过程中敏感数据保护处理进行评价的脱敏效能评估模块。本专利技术的一种大数据平台的数据流通和交易的敏感数据保护方法，采用大数据平台的数据流通和交易的敏感数据保护系统来实现，包括如下步骤：步骤一、资源发布人在数据采集前发现数据中的敏感内容，对数据采集中的敏感数据进行保护处理再将数据上传到大数据平台；步骤二、数据上传到大数据平台后，资源发布人对数据进行共享时，对数据共享中的敏感数据进行保护之后再共享发布；步骤三、数据需求方对资源发布人共享的数据请求交换，资源发布人对数据需求方请求交换的数据中的敏感内容进行定义，对数据交换中的敏感数据进行保护处理后再交换给数据需求方；步骤四、数据需求方请求下载资源发布人共享的数据，对数据下载中的敏感数据存储地址进行保护。其中，所述对数据采集中的敏感数据进行保护包括如下步骤：s11、资源发布人在向大数据平台上传数据前，制定元数据提取标准；进入步骤s12；s12、解析上传的数据，进入步骤s13；s13、通过所述大数据平台的数据流通与交易的敏感数据保护系统中的元数据提取模块根据所述步骤s11中制定的元数据提取标准提取经步骤s12解析后的上传数据的元数据信息，进入步骤s14；s14、根据所述步骤s13中提取的元数据信息进行敏感内容配置，进入步骤s15；s15通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第一敏感数据发现模块根据所述步骤s14中配置的敏感内容，对数据中的敏感内容进行自动识别，进入步骤s16；s16、通过所述大数据平台的数据流通与交易的敏感数据保护系统中的第一脱敏策略配置模块根据所述步骤s15中识别确定的敏感内容的特点，自动配置脱敏算法，形成脱敏策略，进入步骤s17；s17、根据所本文档来自技高网...

【技术保护点】
一种大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述大数据平台的数据流通与交易的敏感数据保护系统包括在数据采集中发现敏感内容并对敏感内容进行保护处理的数据采集模块、对数据共享过程中的敏感数据进行保护处理的数据共享模块、对数据交换过程中的相对敏感数据配置脱敏策略进行脱敏处理的数据交换模块、在数据获取过程中对数据文件下载链接及存储地址进行保护的数据获取模块、对敏感数据的脱敏及保护处理进行管理和监控以及审计的脱敏管理模块。

【技术特征摘要】
1.一种大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述大数据平台的数据流通与交易的敏感数据保护系统包括在数据采集中发现敏感内容并对敏感内容进行保护处理的数据采集模块、对数据共享过程中的敏感数据进行保护处理的数据共享模块、对数据交换过程中的相对敏感数据配置脱敏策略进行脱敏处理的数据交换模块、在数据获取过程中对数据文件下载链接及存储地址进行保护的数据获取模块、对敏感数据的脱敏及保护处理进行管理和监控以及审计的脱敏管理模块。
2.根据权利要求1所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述数据采集模块包括对上传大数据平台的数据进行数据信息提取为敏感数据保护提供数据准备的元数据提取模块、在所述元数据提取模块提取的数据信息基础上自动发现涉密信息及敏感数据的第一敏感数据发现模块、为所述第一敏感数据发现模块发现的敏感内容配置相应的脱敏算法形成脱敏策略的第一脱敏策略配置模块、通过系统调用所述第一脱敏策略配置模块预定义的脱敏策略对敏感数据实现批量离线脱敏的离线脱敏模块。
3.根据权利要求2所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述元数据提取模块提取上传大数据平台的数据的数据背景、数据内容、数据结构、存储位置信息；所述第一敏感数据发现模块通过设定敏感内容的检查范围、敏感内容的背景信息，采用基于规则和数据挖掘的方法自动发现数据中的敏感内容；所述第一敏感内容脱敏策略配置模块根据所述第一敏感数据发现模块发现的敏感内容的属性不同配置相应的脱敏算法形成相应的脱敏策略并同时按照敏感内容属性预定义脱敏策略。
4.根据权利要求1所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述数据共享模块包括对存储于大数据平台中的数据根据数据属性选择采用人工定义和自动发现方式中的一种进行敏感数据发现的第二敏感数据发现模块、在所述第二敏感数据发现模块发现的敏感数据基础上为每一类敏感数据配置脱敏算法形成脱敏策略的第二脱敏策略配置模块、对大数据平台中允许共享的数据进行噪声干扰处理保护敏感数据的敏感数据查询保护模块、对大数据平台中的数据检索结果进行数据脱敏保护的检索结果保护模块。
5.根据权利要求4所述的大数据平台的数据流通与交易的敏感数据保护系统，所述第二敏感数据发现模块采用的人工定义方式发现敏感数据是由资源发布人依据个人经验定义敏感数据，所述自动发现方式是基于专家系统和自然语言处理方式对敏感数据进行自动发现并为资源发布人推荐敏感数据；所述第二脱敏策略配置模块根据敏感数据的特点推荐脱敏算法形成脱敏策略或者自行定制脱敏算法形成新的脱敏策略，并对已形成的脱敏策略进行存储和使用率统计分析以实现后续脱敏策略自动推荐预定义；所述敏感数据查询保护模块对数据需求方在大数据平台中的数据查询结果通过对原始数据、原始数据的转换、统计结果使用拉普拉斯机制和指数机制实现差分隐私添加噪音来达到保护敏感数据的目的；所述检索结果保护模块对大数据平台资源发布人允许共享的数据的检索结果中的敏感信息采用遮挡、置换的方式进行脱敏处理。
6.根据权利要求4所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述数据交换模块包括针对数据需求方进行敏感数据定义的敏感数据定义模块、为所述敏感数据定义模块定义的敏感数据配置相应的脱敏策略的第三脱敏策略配置模块、根据所述第三脱敏策略配置模块配置的脱敏策略对数据执行脱敏处理的数据脱敏引擎、对脱敏结果的正确性和真实性进行验证的脱敏验证模块。
7.根据权利要去6所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，敏感数据定义模块由资源发布人根据已经定义的极敏感数据信息和数据需求方的身份、数据使用权限，修改原先预定义的敏感数据，定义针对于数据需求方的敏感数据；所述第三脱敏策略配置模块确认由所述第二脱敏砗磲配置模块为所述敏感数据定义模块定义的针对于数据需求方的敏感数据配置的脱敏策略并在脱敏策略不合适时进行形成最终脱敏策略；所述数据脱敏引擎根据所述第三脱敏策略模块确定的最终脱敏策略对所述敏感数据定义模块定义的敏感数据进行脱敏处理；所述脱敏验证模块将脱敏前数据与脱敏后数据进行数据格式、长度和完整性的检查，并使用相应脱敏规则对数据进行脱敏得到脱敏结果与所述脱敏引擎脱敏后的数据进行比对验证脱敏的准确性，同时对原有数据的逻辑关系和统计分布进行比对，验证数据脱敏的真实性。
8.根据权利要求1所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述数据获取模块包括对文件存储的真实地址进行变换形成新的存储地址达到存储地址保护的文件存储地址变换模块、在所述文件存储地址编号模块对文件真实存储地址进行变换的基础上为有下载需求的数据需求方展示变换后的文件存储地址防止文件存储地址泄露保护下载链接安全的下载链接保护模块。
9.根据权利要求8所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述文件存储地址变换模块采用散列函数对文件的原始地址进行计算生成新的存储地址。
10.根据权利要求2-9所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述脱敏管理模块包括对数据脱敏算法进行添加、删除和修改的脱敏算法管理模块、对数据流通过过程中的数据脱敏策略进行增加、删除和修改的脱敏策略管理模块、对敏感内容和敏感数据特征分析的基础上训练得到机器学习模型并在有敏感数据自动发现需求时对敏感数据进行自动发现的自学习引擎、对数据流通过程中的各个环节的数据脱敏进行实时监控以便及时发现异常的脱敏监控模块、对数据流通和交易过程中的数据脱敏任务进行分析审计的脱敏审计模块、对数据流通和交易过程中敏感数据保护处理进行评价的脱敏效能评估模块。
11.根据权利要求10所述的大数据平台的数据流通与交易的敏感数据保护系统，其特征在于，所述脱敏算法管理模块向系统添加新的脱敏算法及相应的算法描述并可删除不适用的脱敏算法；所述脱敏策略管理模块对系统中的脱敏策略的使用情况进行挖掘分析添加用户常用的脱敏策略，修改不合适的脱敏策略并删除无用脱敏策略；所述脱敏监控模块对数据流通和交易中敏感数据的脱敏状态、脱敏策略、脱敏结果、数据需求方进行关联分析和挖局，及时发现数据脱敏过程中的异常，以便在发生数据泄露是能实现数据追溯；所述脱敏效能评估模块对数据流通和交易中敏感数据脱敏保护的功能、敏感数据脱敏保护的应用场景、敏感数据脱敏保护的正确性和真实性以及有效性进行综合评价。
12.一种大数据平台的数据流通和交易的敏感数据保护方法，其特征在于，所述大数据平台的数据流通和交易的敏感数据保护方法采用大数据平台的数据流通和交易的敏感数据保护系...

【专利技术属性】
技术研发人员：陈天莹，李全兵，李霄，
申请(专利权)人：中国电子科技网络信息安全有限公司，
类型：发明
国别省市：四川;51