一种支持hadoop多集群的细粒度数据权限控制方法及系统技术方案

本发明专利技术提供了一种支持hadoop多集群的细粒度数据权限控制方法，包括确定各权限组的权限组名以及所述权限组的相关描述；为所述权限组按特定顺序分配权限；保存分配好权限的所述权限组；给用户分配相应的所述权限组；登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看其有权限的数据权限。本发明专利技术能够在集群账号已有的权限基础上进行分层的细粒度控制，在大数据平台层面对hadoop集群的数据权限进行统一的授权管理，在对数据权限授权时，同一个权限组可跨多个集群的多个集群账号及其特定的权限，用户可切换集群以及切换集群账号身份来操作相关数据服务。本发明专利技术还公开了一种支持hadoop多集群的细粒度数据权限控制系统。

A kind of fine-grained Data permission control method and system supporting Hadoop multi cluster

【技术实现步骤摘要】
一种支持hadoop多集群的细粒度数据权限控制方法及系统
本专利技术涉及数据处理
，尤其涉及一种支持hadoop多集群的细粒度数据权限控制方法及系统。
技术介绍
在大数据平台这类系统中，用户可通过图形化界面对hbase，hive，hdfs文件进行管理，但是当前平台缺乏颗粒级的支持。许多对安全系数要求较高的组织要么将数据置于非保护状态，对于一个集群账号下的权限都可见，要么对所有用户不可见。大多数企业会严格限制对Hadoop数据的访问，且只支持单集群的权限控制。当前优秀的Hadoop的授权组件为Sentry，在HueServer2中使用了Sentry进行细粒度的、基于角色的权限控制。Sentry还支持授予角色只能执行某一类型的SQL查询的权限。相比来说，Sentry的授权更加全面，在hive方面，它做的更好，同样支持hive表列的授权，同时更支持Sql查询类型的授权，在执行真正的操作之前会检索mysql验证是否有权限，但是，Sentry目前并不支持hdfs文件内容的授权，也不支持hbase表列的授权，对集群数据权限的控制没有提供统一的多集群权限授权管理，对已有的集群账号的权限没有分层的概念。Sentry是针对hadoop集群组件本身的权限，通过基于角色的授权可以将访问同一数据集的不同特权级别授予多个组，在数据集本身的权限上进行授权管理，即Sentry是从权限源头支持更细粒度的授权访问控制，并不是在集群账号已有的权限基础上进行分层的细粒度控制。对已有的集群账号的权限，没有进行细粒度的控制，如果需要一个集群账号的部分权限，Sentry会创建一个组，分配相应的角色，再分配给另一个集群账号才能实现，并没有基于当前已有的集群账号的权限进行分层次的更细粒度的分配。Sentry对hadoop的数据权限hbase，hdfs的支持不够细粒度，未支持hbase基于表列级别的权限控制，对有规则的hdfs文件未进行列或内容级别的权限控制。Sentry不支持对用户进行多集群的授权行为，不支持集群的切换及集群账号的切换。
技术实现思路
有鉴于此，本专利技术提供了一种支持hadoop多集群的细粒度数据权限控制方法及系统，能够在集群账号已有的权限基础上进行分层的细粒度控制，在大数据平台层面对hadoop集群的数据权限进行统一的授权管理，在对数据权限授权时，同一个权限组可跨多个集群的多个集群账号及其特定的权限，用户可切换集群及切换集群账号身份来操作相关数据服务。本专利技术提供了一种支持hadoop多集群的细粒度数据权限控制方法，包括：确定各权限组的权限组名以及所述权限组的相关描述；为所述权限组按特定顺序分配权限；保存分配好权限的所述权限组；给用户分配相应的所述权限组；登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。优选地，所述为所述权限组按特定顺序分配权限包括：为所述权限组选取集群；为所述权限组选取所述集群内部的集群账号；为所述集群账号选取待分配的hive权限、hbase权限以及hdfs权限。优选地，所述保存分配好权限的所述权限组包括：将所述权限组的授权信息保存到mysql。优选地，所述登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据前还包括：调用数据权限系统提供的统一验证接口，验证所述从被分配的所述权限组获得的权限是否满足预设条件，若是则：登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。一种支持hadoop多集群的细粒度数据权限控制系统，包括：确定模块，用于确定各权限组的权限组名以及所述权限组的相关描述；第一分配模块，用于为所述权限组按特定顺序分配权限；保存模块，用于保存分配好权限的所述权限组；第二分配模块，用于给用户分配相应的所述权限组；数据管理模块，用于登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限的数据。优选地，所述第一分配模块具体用于：为所述权限组选取集群；为所述权限组选取所述集群内部的集群账号；为所述集群账号选取待分配的hive权限、hbase权限以及hdfs权限。优选地，所述保存模块具体用于：将所述权限组的授权信息保存到mysql。优选地，所述系统还包括：权限验证模块，用于调用数据权限系统提供的统一验证接口，验证所述从被分配的所述权限组获得的权限是否满足预设条件；当所述从被分配的所述权限组获得的权限满足预设条件时，所述数据管理模块用于登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限的数据。从上述技术方案可以看出，本专利技术提供了一种支持hadoop多集群的细粒度数据权限控制方法，首先确定各权限组的权限组名以及所述权限组的相关描述，然后为所述权限组按特定顺序分配权限，保存分配好权限的所述权限组；给用户分配相应的所述权限组，最后登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。本专利技术能够在集群账号已有的权限基础上进行分层的细粒度控制，在大数据平台层面对hadoop集群的数据权限进行统一的授权管理，在对数据权限授权时，同一个权限组可跨多个集群的多个集群账号及其特定的权限，用户可切换集群以及切换集群账号身份来操作相关数据服务。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术公开的一种支持hadoop多集群的细粒度数据权限控制方法实施例1的方法流程图；图2为本专利技术公开的一种支持hadoop多集群的细粒度数据权限控制方法实施例2的方法流程图；图3为本专利技术公开的一种支持hadoop多集群的细粒度数据权限控制系统实施例1的结构示意图；图4为本专利技术公开的一种支持hadoop多集群的细粒度数据权限控制系统实施例2的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，为本专利技术公开的一种支持hadoop多集群的细粒度数据权限控制方法实施例1的方法流程图，所述方法包括：S101、确定各权限组的权限组名以及权限组的相关描述；在进行数据权限分配及控制之前，首先要设计权限组，并确定权限组的组名及该权限组对应权限的相关描述，组是多个集群的集群账号及其各种权限的集合。S102、为权限组按特定顺序分配权限；确定好各权限组的组名及权限组的相关描述之后，则需要为权限组按特定顺序分配权限，一个组可拥有不同集群下的集群账号，且可指定组拥有该集群账号下的某些数据权限。S103、保存分配好权限的权限组；为各权限组分配好权限之后，则需要对分配好权限的各权限组进行缓存。S104、给用户分配相应的权限组；将分配好权限的各权限组缓存后，还需要给用户分配相应的权限组，用户需要本文档来自技高网...

【技术保护点】
一种支持hadoop多集群的细粒度数据权限控制方法，其特征在于，包括：确定各权限组的权限组名以及所述权限组的相关描述；为所述权限组按特定顺序分配权限；保存分配好权限的所述权限组；给用户分配相应的所述权限组；登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。

【技术特征摘要】
1.一种支持hadoop多集群的细粒度数据权限控制方法，其特征在于，包括：确定各权限组的权限组名以及所述权限组的相关描述；为所述权限组按特定顺序分配权限；保存分配好权限的所述权限组；给用户分配相应的所述权限组；登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。2.根据权利要求1所述的方法，其特征在于，所述为所述权限组按特定顺序分配权限包括：为所述权限组选取集群；为所述权限组选取所述集群内部的集群账号；为所述集群账号选取待分配的hive权限、hbase权限以及hdfs权限。3.根据权利要求1所述的方法，其特征在于，所述保存分配好权限的所述权限组包括：将所述权限组的授权信息保存到mysql。4.根据权利要求1所述的方法，其特征在于，所述登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据前还包括：调用数据权限系统提供的统一验证接口，验证所述从被分配的所述权限组获得的权限是否满足预设条件，若是则：登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。5.一种支持h...

【专利技术属性】
技术研发人员：徐保荣，范章海，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：北京,11