大数据平台安全防护方法技术

本发明专利技术涉及一种大数据平台安全防护方法,所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计。该安全防护方法不存在单点故障节点，性能可根据需求弹性扩展;Hadoop节点扩展对安全管理没有任何影响，管理方便、简单;客户端使用自有协议的软件与数据权限网关进行通信，支持加密和自动负载均衡，可防止任意设备的单点故障对业务造成影响。

【技术实现步骤摘要】
大数据平台安全防护方法
本专利技术涉及一种大数据平台安全防护方法。
技术介绍
随着近年来信息系统的快速稳定发展的需要，国内应用和研究Hadoop大数据平台的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等，很多科研院所也投入到Hadoop大数据平台的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资源，每个用户或者用户组只能使用某个队列中得资源；（2）HDFS上存有各种数据，有公用的，有机密的，不同的用户可以访问不同的数据。共享集群类似于云计算或者云存储，面临的一个最大问题是安全。到目前为止，Hadoop大数据平台绝大多数安全机制都是基于Kerberos实现的，管理复杂，维护困难。主要存在以下三个缺点：1.Hadoop集群节点数多，配置和维护一个使用kerberos系统高性能，稳定的hadoop集群难度非常高。2.Hadoop中的hdfs是一个文件系统，用户的认证和授权比较复杂，难度不低于linux系统的用户和组管理。加上kerberos后，用户和用户组的管理更加复杂，通常一个合适的用户不能访问hdfs上的文件。3.Hadoop加上kerberos后，通常原来的用户和文件，可能都失效导致数据流失。尤其是一些根目录，往往需要格式化整个系统才能使用。增加一个新用户也是比较难的。因为要考虑各个节点间的访问权限。为解决基于Kerberos的管理复杂的问题，本专利技术提供一种外挂的网关式的安全防护方法。
技术实现思路
本专利技术提供一种大数据平台安全防护方法，本专利技术所采用的技术方案是：所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;所述的方法是将hadoop大数据平台相关组件④使用防火墙⑤与客户端①进行隔离，客户端①与hadoop大数据平台相关组件④通信需通过数据权限网关②进行，由权限管理组件③进行认证、授权和审计;数据权限网关②由网关和zookeeper组成，网关和zookeeper均可根据需求弹性扩展;客户端①使用自有协议的软件与数据权限网关②进行通信，支持加密和自动负载均衡;数据权限网关②中的网关定时向zookeeper报告心跳信息，将状态和负荷信息写入zookeeper。心跳时间可自定义调整，在10毫秒~10秒之间调整;客户端①与数据权限网关②之间采用非对称密钥加密通信方式;客户端①与数据权限网关②通信时支持轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法;权限管理组件③中的平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步。平台权限管理模块从权限信息缓存中获取数据;权限信息缓存的存储方式包括但不限于memcached、redis等NOSQL内存数据库，权限信息持久化的存储方式可以是磁盘文件或者关系型数据库。数据权限网关②与权限管理组件③通信，获得用户的认证信息以及权限信息，向hadoop大数据平台相关组件④获取数据反馈给客户端①;防火墙⑤的防护范围包括数据权限网关②、权限管理组件③、hadoop大数据平台相关组件④;具体步骤如下：1、客户端①向数据权限网关②的zookeeper模块请求访问数据存储，检索网关的心跳状态和负荷信息。2、数据权限网关②返回给客户端①可用网关节点的心跳状态和负荷信息。3、客户端①根据数据权限网关②返回的心跳状态和负荷信息通过负载均衡算法计算并使用加密通道连接数据权限网关②相应的网关4、数据权限网关②向权限管理组件③请求查询权限信息，权限管理组件③通过其存储的权限信息缓存中进行检索。5、权限管理组件③将从权限信息缓存中检索到的数据向数据权限网关②返回权限信息，如果未检索到相应的权限数据，将返回无权操作的标志。6、数据权限网关②根据权限管理组件③返回的权限信息判断权限，并向hadoop大数据平台相关组件④提交数据操作。7-hadoop大数据平台相关组件④执行操作，向数据权限网关②返回结果集或操作成功或者操作失败的标识。8-数据权限网关②向客户端①返回结果集或或操作成功或者操作失败的标识。9-通信结束。与现有技术比较,是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计。该安全防护方法不存在单点故障节点，性能可根据需求弹性扩展。Hadoop节点扩展对安全管理没有任何影响，管理方便、简单;客户端使用自有协议的软件与数据权限网关进行通信，支持加密和自动负载均衡，可防止任意设备的单点故障对业务造成影响。附图说明图1是大数据平台安全防护方法的架构示意图；图中：1-客户端,2-数据权限网关,3-权限管理组件.4-Hadoop组件,5-防火墙,图2是大数据平台安全防护方法的流程示意图；1-请求访问数据存储,2-返回可用网关节点的链接、状态及负荷,3-计算并连接优质的网关,4-请求查询权限信息,5-返回权限信息,6-判断权限，并提交数据操作,7-执行操作，返回结果集或成功标识,8-返回结果集或成功标识。具体实现方式以下结合附图的具体实施例对本专利技术进一步说明.(但不是对本专利技术的限制)。为解决基于Kerberos的管理复杂的问题，本专利技术提供一种外挂的网关式的安全防护方法,是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计。该安全防护方法不存在单点故障节点，性能可根据需求弹性扩展。Hadoop节点扩展对安全管理没有任何影响，管理方便、简单。本专利技术是将hadoop大数据平台相关组件④使用防火墙⑤与客户端①进行隔离，客户端①与hadoop大数据平台相关组件④通信需通过数据权限网关②进行，由权限管理组件③进行认证、授权和审计。数据权限网关②由网关和zookeeper组成，网关和zookeeper均可根据需求弹性扩展。客户端①使用自有协议的软件与数据权限网关②进行通信，支持加密和自动负载均衡，可防止任意设备的单点故障对业务造成影响。数据权限网关②中的网关定时向zookeeper报告心跳信息，将状态和负荷信息写入zookeeper。心跳时间可自定义调整，一般可在10毫秒~10秒之间调整客户端①与数据权限网关②之间采用非对称密钥加密通信方式，保证数据完整性。客户端①与数据权限网关②通信时支持轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法。权限管理组件③中的平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步。平台权限管理模块从权限信息缓存中获取数据。权限信息缓存的存储方式包括但不限于memcached、redis等NOSQL内存数据库，权限信息持久化的存储方式可以是磁盘文件或者关系型数据库。数据权限网关②与权限管理组件③通信，获本文档来自技高网...

【技术保护点】
1.大数据平台安全防护方法, 其特征在于, 所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;数据权限网关由网关和zookeeper组成，网关和zookeeper均可根据需求弹性扩展;客户端使用自有协议的软件与数据权限网关进行通信，支持加密和自动负载均衡;数据权限网关中的网关定时向zookeeper报告心跳信息，将状态和负荷信息写入zookeeper。心跳时间可自定义调整，在10毫秒~10秒之间调整;客户端与数据权限网关之间采用非对称密钥加密通信方式;客户端与数据权限网关通信时支持轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法;权限管理组件中的平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步;平台权限管理模块从权限信息缓存中获取数据;权限信息缓存的存储方式包括但不限于memcached、redis等NOSQL内存数据库，权限信息持久化的存储方式可以是磁盘文件或者关系型数据库。数据权限网关与权限管理组件通信，获得用户的认证信息以及权限信息，向hadoop大数据平台相关组件获取数据反馈给客户端;防火墙的防护范围包括数据权限网关、权限管理组件、hadoop大数据平台相关组件;具体步骤如下：1、客户端向数据权限网关的zookeeper模块请求访问数据存储，检索网关的心跳状态和负荷信息;2、数据权限网关返回给客户端可用网关节点的心跳状态和负荷信息;3、客户端根据数据权限网关返回的心跳状态和负荷信息通过负载均衡算法计算并使用加密通道连接数据权限网关相应的网关;4、数据权限网关向权限管理组件请求查询权限信息，权限管理组件③通过其存储的权限信息缓存中进行检索;5、权限管理组件将从权限信息缓存中检索到的数据向数据权限网关返回权限信息，如果未检索到相应的权限数据，将返回无权操作的标志;6、数据权限网关根据权限管理组件返回的权限信息判断权限，并向hadoop大数据平台相关组件提交数据操作;7‑ hadoop大数据平台相关组件执行操作，向数据权限网关返回结果集或操作成功或者操作失败的标识;8‑数据权限网关向客户端返回结果集或或操作成功或者操作失败的标识;9‑通信结束。...

【技术特征摘要】
1.大数据平台安全防护方法,其特征在于,所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;数据权限网关由网关和zookeeper组成，网关和zookeeper均可根据需求弹性扩展;客户端使用自有协议的软件与数据权限网关进行通信，支持加密和自动负载均衡;数据权限网关中的网关定时向zookeeper报告心跳信息，将状态和负荷信息写入zookeeper。心跳时间可自定义调整，在10毫秒~10秒之间调整;客户端与数据权限网关之间采用非对称密钥加密通信方式;客户端与数据权限网关通信时支持轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法;权限管理组件中的平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步;平台权限管理模块从权限信息缓存中获取数据;权限信息缓存的存储方式包括但不限于memcached、re...

【专利技术属性】
技术研发人员：邹保平，赖伟平，张杨华，林佳能，林笔星，苏志勇，陈明辉，林庆瑞，林宇，徐禄，
申请(专利权)人：国网信通亿力科技有限责任公司，国家电网公司，
类型：发明
国别省市：福建,35