一种基于多协议反向代理的Hadoop平台安全管控方法技术

本发明专利技术公开了一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。本发明专利技术基于实现多种网络协议的反向代理，为hadoop平台提供统一的账号认证及权限管控方案，在兼容多种hadoop版本的同时对hadoop平台本身没有业务侵入性。

A Security Management and Control Method for Hadoop Platform Based on Multi-Protocol Reverse Agent

【技术实现步骤摘要】
一种基于多协议反向代理的Hadoop平台安全管控方法
本专利技术属于平台安全管控领域，具体涉及拦截hadoop平台的网络流量，并按照用户设定的规则进行安全控制方法；及导出hadoop平台的网络流量，用于数据分析与安全审计方法。
技术介绍
开源的apachehadoop平台包含hdfs、yarn、hive、hbase等各类型的服务组件，目前欠缺统一且全面的安全管控措施。常用于hadoop平台的安全管控方案仅支持基于kerberos进行身份认证，与常见的账号系统集成度较差。而权限则由每种服务自身进行管控，其中某些组件(如hive等)会提供插件式的扩展接口，用户可基于该接口定制符合自身需求的权限校验逻辑。目前已有的apacheranger、apachesentry等系统即是基于插件的管控方案。而由于hadoop平台的开源属性，插件式的接口出现时间较晚，很多早期版本不支持此类接口，同时由于插件的方式对hadoop平台有极强的侵入性，容易引发各类安全问题。
技术实现思路
为了解决现有技术中存在的上述技术问题，本专利技术提供了一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。进一步的，每种类型的Hadoop服务以类似的流程单独构建代理服务，并使用相同的账号系统与权限控制规则。进一步的，所述Hadoop平台的hdfs服务具体如下：1.客户端根据配置构建本地访问代理，并初始化账号等信息；2.客户端开始与NameNode的反向代理服务建立tcp连接，并发送用于身份认证的加密串；3.代理服务端接收到建立连接的请求，并获取身份认证信息，根据预定义的规则对用户身份进行认证；4.若认证通过，则通过tcp通道写入成功的响应，正式建立连接；5.客户端开始构造并发送MKDIRS的rpc请求包，其中序列化部分由protobuf框架完成；6.服务端接收到rpc请求之后，用protobuf框架对请求进行反序列化，并解析调用对应的rpc方法：mkdirs；7.mkdirs方法中对请求信息进行解析，并根据预先定义的规则判断该请求是否被允许；8.根据要创建的目录名以及相应的属性，通过客户端向真实的hdfsNameNode发起目录创建的请求并得到响应；9.若远程服务创建目录成功，则返回成功；若真实服务创建失败，则返回失败；若发生异常，则对异常进行捕获之后返回相应的错误说明；10.构造rpc响应，经过protobuf序列化之后写入tcp通道；11.客户端接收到rpc响应，请求完成。本专利技术基于实现多种网络协议的反向代理，为hadoop平台提供统一的账号认证及权限管控方案，在兼容多种hadoop版本的同时对hadoop平台本身没有业务侵入性。附图说明图1是hdfs/yarn反向代理服务示意图；图2是hiveswrver2反向代理服务示意图。具体实施方式下面结合附图对本专利技术作进一步说明。本专利技术的基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。实施例如图1和2所示，下面针对hadoop平台中的hdfs服务，一次典型文件操作(创建目录)的详细流程如下：1.客户端根据配置构建本地访问代理，并初始化账号等信息；2.客户端开始与NameNode的反向代理服务建立tcp连接，并发送用于身份认证的加密串；3.代理服务端接收到建立连接的请求，并获取身份认证信息，根据预定义的规则对用户身份进行认证；4.若认证通过，则通过tcp通道写入成功的响应，正式建立连接；5.客户端开始构造并发送MKDIRS的rpc请求包，其中序列化部分由protobuf框架完成；6.服务端接收到rpc请求之后，用protobuf框架对请求进行反序列化，并解析调用对应的rpc方法：mkdirs；7.mkdirs方法中对请求信息进行解析，并根据预先定义的规则判断该请求是否被允许；8.根据要创建的目录名以及相应的属性，通过客户端向真实的hdfsNameNode发起目录创建的请求并得到响应；9.若远程服务创建目录成功，则返回成功；若真实服务创建失败，则返回失败；若发生异常，则对异常进行捕获之后返回相应的错误说明；10.构造rpc响应，经过protobuf序列化之后写入tcp通道；11.客户端接收到rpc响应，请求完成。通常来说，每种类型的hadoop服务都需要以类似的流程单独构建代理服务，并使用相同的账号系统与权限控制规则。本文档来自技高网...

【技术保护点】
1.一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。

【技术特征摘要】
1.一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。2.如权利要求1所述的基于多协议反向代理的Hadoop平台安全管控方法，其特征在于：每种类型的Hadoop服务以类似的流程单独构建代理服务，并使用相同的账号系统与权限控制规则。3.如权利要求1或2所述的基于多协议反向代理的Hadoop平台安全管控方法，其特征在于：所述Hadoop平台的hdfs服务具体如下：1.客户端根据配置构建本地访问代理，并初始化账号等信息；2.客户端开始与NameNode的反向代理服务建立tcp连接，并发送用于身份认证的加密串；3.代理...

【专利技术属性】
技术研发人员：吴平杰，
申请(专利权)人：全知科技杭州有限责任公司，
类型：发明
国别省市：浙江,33