基于Ranger策略的HDFS权限收敛灰度上线实现方法技术

技术编号:41568176 阅读:22 留言:0更新日期:2024-06-06 23:49
本发明专利技术涉及一种基于Ranger策略的HDFS权限收敛灰度上线实现方法。本方法包括:在Ranger Admin中设置HDFS ACL黑名单策略,把需要将权限全部收敛到Ranger进行集中管理的用户和用户组配置到HDFS ACL黑名单策略中;用户以指定的用户名访问HDFS的某个资源;确认该HDFS资源当前开启了附加Hadoop认证的功能;确认访问的用户名不在HDFS ACL黑名单列表中;对该用户访问的资源的HDFS ACL权限进行判断。本方法可通过Ranger HDFS Plugin指定策略配置,逐步可控地安全、简单且高效地完成对HDFS集群的灰度权限收敛,本方法还可使同一个HDFS集群同时支持多种权限模型,可满足用户和用户组多种权限场景的应用需求。

【技术实现步骤摘要】

本专利技术属于hdfs权限收敛灰度上线实现方法,尤其涉及一种基于ranger策略的hdfs权限收敛灰度上线实现方法。


技术介绍

1、(一)hdfs权限

2、hdfs作为大数据领域应用最广泛的分布式文件系统,其实现了一套兼容posix的文件权限模型,包括粗粒度的posix ugo模型(user、group、other)和细粒度的posix acls协议。

3、客户端每次进行文件操作时,hdfs会从用户身份认证、用户组映射和数据访问鉴权三个环节进行验证:客户端的操作请求会首先从本地系统获取用户名(namenode.getremoteuser()),然后服务端将用户名匹配上组信息,最后查看所访问的数据是否已经授权给该用户。一旦这个流程中的某个环节出现异常,客户端的操作请求便会失败。下面以hadoop 3.3.1版本为例,介绍hdfs权限管理及权限分配的现状:

4、1.hdfs用户身份认证

5、用户身份认证并不属于hdfs的范畴,也就是说hdfs并不负责用户身份的合法性检查,它只是会依赖相关系统获取用户身份,用于后续本文档来自技高网...

【技术保护点】

1.一种基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,在执行本方法前,首先确认Ranger已开启了附加Hadoop认证功能,对应的配置为xasecure.add-hadoop-authorization=true。

3.根据权利要求1所述的基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,步骤S1中设置的HDFS ACL黑名单策略可在不重启HDFS集群的情况下动态生效;当所有用户和用户组都收敛到Ranger进行集中管理...

【技术特征摘要】

1.一种基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,在执行本方法前,首先确认ranger已开启了附加hadoop认证功能,对应的配置为xasecure.add-hadoop-authorization=true。

3.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s1中设置的hdfs acl黑名单策略可在不重启hdfs集群的情况下动态生效;当所有用户和用户组都收敛到ranger进行集中管理时,管理员可选择将默认的xasecure.add-hadoop-authorization配置改为false。

4.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s4中判断该hdfs资源当前是否开启了附加hadoop认证的功能,如果没有开启该功能,则直接返回,仍采用ranger策略进行权限评估。

5.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s5中判断访问的用户名是否在hdfs acl黑名单列表中,如果在该列表中,则直接返回,仍采用ranger策略进行权限评估。

6.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s6中对该用户访问的资源的hdfs acl权限进行判断,包括:

7.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,本方法中的hdfs acl黑名单策略策略是通过扩展rangerhdfsauthorizer类的功能实现的;rangerhdfsauthorizer类继承自hadoop的抽象类inodeattributeprovider,rangerhdfsa...

【专利技术属性】
技术研发人员:袁东东彭晓强李金鑫
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1