一种HDFS系统防火墙的实现方法和防火墙系统技术方案

本发明专利技术提供了一种HDFS系统防火墙的实现方法和防火墙系统，HDFS系统防火墙设置在应用服务器和NameNode服务器之间的信道上，该方法包括：接收来自应用服务器的表示向NameNode服务器进行元数据访问的元数据访问请求；对元数据访问请求进行预设细粒度权限认证，得到认证结果；当预设细粒度权限认证通过时，将元数据访问请求发送至NameNode服务器；接收来自NameNode服务器的针对元数据访问请求的元数据信息；将元数据信息返回至应用服务器；当预设细粒度权限认证未通过时，将表示认证未通过的错误信息返回至应用服务器。本发明专利技术通过在客户端向NameNode服务器请求文件的元数据信息时，对客户端访问请求进行细粒度权限检查，能够提升HDFS系统的安全防护能力，并屏蔽集群外部攻击。

Method for implementing HDFS system firewall and firewall system

The present invention provides a method and implementation of a firewall system of HDFS firewall, HDFS firewall system channel is arranged between the application server and the NameNode server, the method comprises: receiving from the application server to the NameNode server to access the metadata access request; the access request is preset fine-grained access authentication of metadata. Get the authentication result; when the preset fine-grained permissions through certification, the metadata access requests are sent to the NameNode server; receiving the metadata access request metadata information from the NameNode server; the metadata information is returned to the application server; when the preset fine-grained authentication fails, the authentication failed error message is returned to the application server. The present invention by requesting the file's metadata information to the NameNode server when the client access requests, fine-grained permissions check on the client, can enhance the protection ability of HDFS system, and shielding cluster external attack.

【技术实现步骤摘要】
一种HDFS系统防火墙的实现方法和防火墙系统
本专利技术涉及分布式文件系统的安全
，特别是涉及一种HDFS系统防火墙的实现方法和防火墙系统。
技术介绍
近年来，随着大数据应用的普及，Hadoop系统(其中，Hadoop是一个由Apache基金会所开发的分布式系统基础架构)以及以Hadoop为底层技术构建的生态体系得到广泛应用，已经成为大数据处理事实上的技术平台代名词。HDFS(Hadoop分布式文件系统)作为一个以Hadoop系统为基础架构的分布式文件系统，是HBase、Hive等数据库的最底层文件存储系统。同时，Hadoop生态中的大多数存储工具都支持HDFS的数据存储。因此，HDFS是大数据处理技术基石中的基石。其中，HDFS:采用主从架构，由NameNode(名字节点)和DataNode(数据节点)两部分构成。其中，NameNode是主节点，用于存储文件的元数据信息，可以是一个或多个；DataNode是从节点，用于存储实际文件块，数量可达上千个。HDFS系统的安全防护是Hadoop生态安全防护的基石。目前，主流的Hadoop版本提供基于操作系统级的弱HDFS权限控制；Ra本文档来自技高网...

【技术保护点】
一种HDFS系统防火墙的实现方法，其特征在于，所述HDFS系统包括NameNode服务器，所述HDFS系统防火墙设置在应用服务器和NameNode服务器之间的信道上，所述方法包括：接收来自所述应用服务器的表示向所述NameNode服务器进行元数据访问的元数据访问请求；对所述元数据访问请求进行预设细粒度权限认证，得到认证结果；当所述预设细粒度权限认证通过时，将所述元数据访问请求发送至所述NameNode服务器；接收来自所述NameNode服务器的针对所述元数据访问请求的元数据信息；将所述元数据信息返回至所述应用服务器；当所述预设细粒度权限认证未通过时，将表示认证未通过的错误信息返回至所述应用服务...

【技术特征摘要】
1.一种HDFS系统防火墙的实现方法，其特征在于，所述HDFS系统包括NameNode服务器，所述HDFS系统防火墙设置在应用服务器和NameNode服务器之间的信道上，所述方法包括：接收来自所述应用服务器的表示向所述NameNode服务器进行元数据访问的元数据访问请求；对所述元数据访问请求进行预设细粒度权限认证，得到认证结果；当所述预设细粒度权限认证通过时，将所述元数据访问请求发送至所述NameNode服务器；接收来自所述NameNode服务器的针对所述元数据访问请求的元数据信息；将所述元数据信息返回至所述应用服务器；当所述预设细粒度权限认证未通过时，将表示认证未通过的错误信息返回至所述应用服务器。2.根据权利要求1所述的方法，其特征在于，所述对所述元数据访问请求进行预设细粒度权限认证，得到认证结果之前，所述方法还包括：对所述元数据访问请求进行解析，得到请求内容；所述请求内容至少包括：数据请求方的用户名、密码、数据请求方所请求的目标元数据的地址、数据请求方在对所述目标元数据对应的目标数据进行操作时的目标操作类型。3.根据权利要求2所述的方法，其特征在于，所述对所述元数据访问请求进行预设细粒度权限认证，得到认证结果，包括：根据预设用户身份信息对所述元数据访问请求中的所述用户名和所述密码进行身份认证；当所述元数据访问请求的身份认证通过时，获取对所述目标数据进行操作时的操作类型为所述目标操作类型的目标用户列表；判断所述元数据访问请求中的所述用户名是否属于所述目标用户列表中的目标用户名，从而确定所述元数据访问请求是否通过鉴权认证；若所述用户名属于所述目标用户列表中的目标用户名，则确定所述元数据访问请求的鉴权认证通过；当所述身份认证和所述鉴权认证均通过时，确定所述元数据访问请求的预设细粒度权限认证通过；当所述身份认证和所述鉴权认证中任意一项认证未通过时，确定所述元数据访问请求的预设细粒度权限认证未通过。4.根据权利要求2所述的方法，其特征在于，所述将所述元数据访问请求发送至所述NameNode服务器之前，所述方法还包括：当所述预设细粒度权限认证通过时，根据所述目标数据的预设安全信息，确定在所述用户名对应的用户对所述目标文件进行所述目标操作类型的操作之前，是否需要对所述目标文件进行预设特殊处理。5.根据权利要求4所述的方法，其特征在于，所述HDFS系统还包括DataNode服务器，当确定需要对所述目标数据进行预设特殊处理时，所述将所述元数据信息返回至所述应用服务器之前，所述方法还包括：获取目标数据经所述预设特殊处理后在所述DataNode服务器上的存储地址；将接收到的所述元数据信息更新为所述存储地址；所述将所述元数据信息返回至所述应用服务器，包括：将更新后的所述元数据信息返回至所述应用服务器。6.一种HDFS系...

【专利技术属性】
技术研发人员：李学进，喻波，王志海，魏力，宋博韬，
申请(专利权)人：北京明朝万达科技股份有限公司，
类型：发明
国别省市：北京,11