The invention belongs to the field of dynamic desensitization of large data data, especially a dynamic data desensitization method and system for large data platform. By combining the user rights control strategy, data exchange encryption and sensitive word inspection, the defects of data security are solved from data encryption. It improves the security of big data platform, fills the vacancies in data security protection of big data platform, and effectively reduces the risk of big data security control.
【技术实现步骤摘要】
一种大数据平台的动态数据脱敏方法及系统
本专利技术属于电力信息大数据动态脱敏领域,特别涉及一种大数据平台的动态数据脱敏方法及系统。
技术介绍
自国务院发布《关于促进大数据发展的行动纲要》以来,大数据在我国的发展与应用上升到国家战略层面,随着国家大数据战略的推进和大数据应用的逐步深化,电力大数据的发展已进入全新阶段。全球诸多国家政府以及国际组织都认识到了大数据在各个领域的重要价值,大数据正在成为各领域新一轮竞争的重要发力点,随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战—数据信息安全。电力数据信息作为“克强指数”的一项重要,在宏观调控、社会保障等方面的决策中起着及其重要的作用,因此电力数据的安全也备受关注。大数据平台作为支撑国家电网公司信息化建设的重要支撑平台,存储了大量的电网结构化、非结构化、半结构化数据,为了降低数据在存储、传输及使用等环节造成数据泄露的风险,亟须出现一种安全、可靠、快速的数据脱敏方法。我国现阶段国家电网系统主要采用的是Hadoop生态系统作为大数据分布式系统基础架构,Hadoop生态系统的大数据平台随着企业的不断采用及开源组织的持续的优化、增强,已逐渐成为大数据平台建设的标准产品。然而Hadoop最初的设计并未考虑其安全性,这些平台专注于发展数据处理能力,忽视了其他能力的发展,但Hadoop生态系统作为一个分布式系统,承载了丰富的应用,集中了海量的数据,如何管理和保护这些数据充满了挑战,当前市场上,大数据平台在数据本身的安全管控方面普遍存在严重缺失和较大的 ...
【技术保护点】
本专利技术一种大数据平台的动态数据脱敏方法及系统,其方法步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务使用者展示数据;步骤5:根据信息规则库的脱敏方法,利用随机函数进行随机匹配,对需要脱敏的数据进行数据脱敏;步骤6:将脱敏后的数据向使用者展示;一种大数据平台的动态数据脱敏系统,由数据源模块、存储模块、计算 ...
【技术特征摘要】
1.本发明一种大数据平台的动态数据脱敏方法及系统,其方法步骤如下:步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等;步骤2:抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台;步骤3:存储业务数据结合各类数据特点和大数据平台的存储特点,通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据;步骤4:敏感数据判断在业务应用调用各类数据时,基于数据脱敏的配置方法,根据业务应用使用者所具备的数据查看权限和数据敏感程度,进行敏感数据脱敏判断,如果使用者权限较低或者数据敏感级别较高,则触发数据脱敏处理,如果使用者权限较高或者数据敏感级别较低,未触发数据脱密进程,则直接为业务使用者展示数据;步骤5:根据信息规则库的脱敏方法,利用随机函数进行随机匹配,对需要脱敏的数据进行数据脱敏;步骤6:将脱敏后的数据向使用者展示;一种大数据平台的动态数据脱敏系统,由数据源模块、存储模块、计算模块、脱敏模块、应用模块组成,其连接方式为顺序连接。2.根据权利要求1中所述,一种大数据平台的动态数据脱敏方法,步骤4判断敏感数据通过设置敏感数据配置方法,平台自动识别敏感数据,发现敏感数据后产生报警,保障数据在产生阶段安全,敏感数据发现功能包括:信息规则库建立、关系型数据检测、敏感字段、内容描述四个部分。3.根据权利要求1所述,一种大数据平台的动态数据脱敏方法,步骤5数据脱敏针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能,保障敏感数据访问安全,同时基于大数据安...
【专利技术属性】
技术研发人员:李钊,胡囡,崔丙锋,丛海洋,雷振江,王磊,陈硕,刘鹏宇,郑永健,王思文,黄文思,罗义旺,李金湖,闫春生,刘扬,
申请(专利权)人:国网辽宁省电力有限公司,国网辽宁省电力有限公司电力科学研究院,国网信通亿力科技有限责任公司,国家电网公司,
类型:发明
国别省市:辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。