一种大数据平台的动态数据脱敏方法及系统技术方案

技术编号:17796851 阅读:82 留言:0更新日期:2018-04-25 20:21
本发明专利技术属于电力信息大数据动态脱敏领域,特别涉及一种大数据平台的动态数据脱敏方法及系统,通过利用户权限控制策略、数据置换加密方式及敏感字检查方式相结合,从数据加密方面解决大数据平台在数据安全方面的缺陷,提升了大数据平台的安全性,填补大数据平台数据安全防护方面的空缺,有效降低大数据安全管控方面的风险。

A dynamic data desensitization method and system for big data platform

The invention belongs to the field of dynamic desensitization of large data data, especially a dynamic data desensitization method and system for large data platform. By combining the user rights control strategy, data exchange encryption and sensitive word inspection, the defects of data security are solved from data encryption. It improves the security of big data platform, fills the vacancies in data security protection of big data platform, and effectively reduces the risk of big data security control.

【技术实现步骤摘要】
一种大数据平台的动态数据脱敏方法及系统
本专利技术属于电力信息大数据动态脱敏领域,特别涉及一种大数据平台的动态数据脱敏方法及系统。
技术介绍
自国务院发布《关于促进大数据发展的行动纲要》以来,大数据在我国的发展与应用上升到国家战略层面,随着国家大数据战略的推进和大数据应用的逐步深化,电力大数据的发展已进入全新阶段。全球诸多国家政府以及国际组织都认识到了大数据在各个领域的重要价值,大数据正在成为各领域新一轮竞争的重要发力点,随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战—数据信息安全。电力数据信息作为“克强指数”的一项重要,在宏观调控、社会保障等方面的决策中起着及其重要的作用,因此电力数据的安全也备受关注。大数据平台作为支撑国家电网公司信息化建设的重要支撑平台,存储了大量的电网结构化、非结构化、半结构化数据,为了降低数据在存储、传输及使用等环节造成数据泄露的风险,亟须出现一种安全、可靠、快速的数据脱敏方法。我国现阶段国家电网系统主要采用的是Hadoop生态系统作为大数据分布式系统基础架构,Hadoop生态系统的大数据平台随着企业的不断采用及开源组织的持续的优化、增强,已逐渐成为大数据平台建设的标准产品。然而Hadoop最初的设计并未考虑其安全性,这些平台专注于发展数据处理能力,忽视了其他能力的发展,但Hadoop生态系统作为一个分布式系统,承载了丰富的应用,集中了海量的数据,如何管理和保护这些数据充满了挑战,当前市场上,大数据平台在数据本身的安全管控方面普遍存在严重缺失和较大的漏洞。从企业内部来说,大数据平台的安全管控能力缺失,使得平台在数据存储、处理以及使用等各环节造成数据泄露的风险较大,安全风险面广,且缺乏有效的处理机制;另一方面,企业敏感数据的所有权和使用权缺乏明确界定和管理,可能造成用户隐私信息的泄露和企业内部数据的泄露,直接造成企业声誉和经济的双重损失。本方法针对大数据敏感数据信息,通过对敏感数据的模糊化,确保敏感数据信息安全可靠,保证大数据平台安全的建设,填补大数据平台数据安全防护方面的空缺,有效降低大数据安全管控方面的风险。
技术实现思路
本专利技术通过利用户权限控制策略、数据置换加密方式及敏感字检查方式相结合,从数据加密方面解决大数据平台在数据安全方面的缺陷,提升了大数据平台的安全性,填补大数据平台数据安全防护方面的空缺,有效降低大数据安全管控方面的风险;本专利技术一种大数据平台的动态数据脱敏方法,其步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务使用者展示数据;步骤5:根据信息规则库的脱敏方法,利用随机函数进行随机匹配,对需要脱敏的数据进行数据脱敏;步骤6:将脱敏后的数据向使用者展示;上述一种大数据平台的动态数据脱敏方法,步骤4判断敏感数据通过设置敏感数据配置方法,平台自动识别敏感数据,发现敏感数据后产生报警,保障数据在产生阶段安全,敏感数据发现功能包括:信息规则库建立、关系型数据检测、敏感字段、内容描述四个部分;上述一种大数据平台的动态数据脱敏方法,步骤5数据脱敏针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能,保障敏感数据访问安全,同时基于大数据安全分析技术,发现敏感数据访问的异常行为,并提供敏感数据视图,实现全局化数据管理和对各种类别敏感数据脱敏的精细化管理;通过数据脱敏及模糊化功能模块在数据库层面对数据进行屏蔽、加密、隐藏、审计或封锁访问途径的方式,该模块作为一个网关形式部署,所有需要进行敏感数据动态脱敏的应用系统需通过该产品实现对数据库的访问;本专利技术提出的一种大数据平台的动态数据脱敏系统,由数据源模块、存储模块、计算模块、脱敏模块、应用模块组成,其连接方式为顺序连接;数据源模块主要包括用电采集系统和营销业务应用系统的配变负荷数据、配电变压器所属区域数据、设备信息、客户信息数据、电流电压等数据信息;存储模块采用关系数数据库、分布式文件系统、分布式在线数据库等存储技术,提供关系型数据存储、分布式文件存储等数据存储能力,同时提供统一存储访问接口,提高数据存储低成本的横向扩展能力,提高在高并发条件下的快速数据访问响应能力、满足海量数据实时与准实时存储需求;计算模块提供批量计量、流计算等数据处理技术,并支撑SQL查询,满足不同时效性计算需求。批量计算支持大批量数据离线分析,如历史数据报表分析;流计算支持实时处理,如用电数据实时处理、预警;同时提供类似SQL的查询分析技术,将查询语句转译为并行的分布式计算任务;脱敏模块依据数据库用户名、IP、客户端工具类型、访问时间,甚至业务用户身份等多重身份特征进行访问控制,对生产数据库中返回的数据可以进行放行、屏蔽、隐藏、返回行控制等多种脱敏方法;应用模块为电力各业务条线提供按需的应用服务,包括:电量电费应用、智能巡检应用、业务报装应用、物资到货应用、人员分析应用、基建应用、综合计划应用等;与现有技术相比有益效果:本方法针对大数据敏感数据信息,设计并落实敏感数据安全解决方案,实现敏感数据的模糊化,确保敏感数据信息安全可靠,通过大数据平台安全方案的建设,填补大数据平台数据安全防护方面的空缺,有效降低大数据安全管控方面的风险。附图说明图1大数据平台脱敏架构图图2大数据平台数据脱敏流程图图3大数据脱敏框架构图图4敏感词校验模块图具体的实施方式下面结合附图对本专利技术的具体实施方式作进一步的详细说明:本专利技术一种大数据平台的动态数据脱敏方法,其步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务本文档来自技高网
...
一种大数据平台的动态数据脱敏方法及系统

【技术保护点】
本专利技术一种大数据平台的动态数据脱敏方法及系统,其方法步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务使用者展示数据;步骤5:根据信息规则库的脱敏方法,利用随机函数进行随机匹配,对需要脱敏的数据进行数据脱敏;步骤6:将脱敏后的数据向使用者展示;一种大数据平台的动态数据脱敏系统,由数据源模块、存储模块、计算模块、脱敏模块、应用模块组成,其连接方式为顺序连接。...

【技术特征摘要】
1.本发明一种大数据平台的动态数据脱敏方法及系统,其方法步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务使用者展示数据;步骤5:根据信息规则库的脱敏方法,利用随机函数进行随机匹配,对需要脱敏的数据进行数据脱敏;步骤6:将脱敏后的数据向使用者展示;一种大数据平台的动态数据脱敏系统,由数据源模块、存储模块、计算模块、脱敏模块、应用模块组成,其连接方式为顺序连接。2.根据权利要求1中所述,一种大数据平台的动态数据脱敏方法,步骤4判断敏感数据通过设置敏感数据配置方法,平台自动识别敏感数据,发现敏感数据后产生报警,保障数据在产生阶段安全,敏感数据发现功能包括:信息规则库建立、关系型数据检测、敏感字段、内容描述四个部分。3.根据权利要求1所述,一种大数据平台的动态数据脱敏方法,步骤5数据脱敏针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能,保障敏感数据访问安全,同时基于大数据安...

【专利技术属性】
技术研发人员:李钊胡囡崔丙锋丛海洋雷振江王磊陈硕刘鹏宇郑永健王思文黄文思罗义旺李金湖闫春生刘扬
申请(专利权)人:国网辽宁省电力有限公司国网辽宁省电力有限公司电力科学研究院国网信通亿力科技有限责任公司国家电网公司
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1