【技术实现步骤摘要】
本专利技术属于hdfs权限收敛灰度上线实现方法,尤其涉及一种基于ranger策略的hdfs权限收敛灰度上线实现方法。
技术介绍
1、(一)hdfs权限
2、hdfs作为大数据领域应用最广泛的分布式文件系统,其实现了一套兼容posix的文件权限模型,包括粗粒度的posix ugo模型(user、group、other)和细粒度的posix acls协议。
3、客户端每次进行文件操作时,hdfs会从用户身份认证、用户组映射和数据访问鉴权三个环节进行验证:客户端的操作请求会首先从本地系统获取用户名(namenode.getremoteuser()),然后服务端将用户名匹配上组信息,最后查看所访问的数据是否已经授权给该用户。一旦这个流程中的某个环节出现异常,客户端的操作请求便会失败。下面以hadoop 3.3.1版本为例,介绍hdfs权限管理及权限分配的现状:
4、1.hdfs用户身份认证
5、用户身份认证并不属于hdfs的范畴,也就是说hdfs并不负责用户身份的合法性检查,它只是会依赖相关系统获
...【技术保护点】
1.一种基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,在执行本方法前,首先确认Ranger已开启了附加Hadoop认证功能,对应的配置为xasecure.add-hadoop-authorization=true。
3.根据权利要求1所述的基于Ranger策略的HDFS权限收敛灰度上线实现方法,其特征在于,步骤S1中设置的HDFS ACL黑名单策略可在不重启HDFS集群的情况下动态生效;当所有用户和用户组都收敛到Ra
...【技术特征摘要】
1.一种基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,在执行本方法前,首先确认ranger已开启了附加hadoop认证功能,对应的配置为xasecure.add-hadoop-authorization=true。
3.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s1中设置的hdfs acl黑名单策略可在不重启hdfs集群的情况下动态生效;当所有用户和用户组都收敛到ranger进行集中管理时,管理员可选择将默认的xasecure.add-hadoop-authorization配置改为false。
4.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s4中判断该hdfs资源当前是否开启了附加hadoop认证的功能,如果没有开启该功能,则直接返回,仍采用ranger策略进行权限评估。
5.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s5中判断访问的用户名是否在hdfs acl黑名单列表中,如果在该列表中,则直接返回,仍采用ranger策略进行权限评估。
6.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,步骤s6中对该用户访问的资源的hdfs acl权限进行判断,包括:
7.根据权利要求1所述的基于ranger策略的hdfs权限收敛灰度上线实现方法,其特征在于,本方法中的hdfs acl黑名单策略策略是通过扩展rangerhdfsauthorizer类的功能实现的;rangerhdfsauthorizer类继承自hadoop的抽象类inodeattributeprovider,rangerhdfsa...
【专利技术属性】
技术研发人员:袁东东,彭晓强,李金鑫,
申请(专利权)人:中电云计算技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。