一种基于Hue的权限管理系统技术方案

本发明专利技术涉及一种基于Hue的权限管理系统，包括：权限控制模块，用于获取登陆Hue信息，所述登陆Hue信息是指：数据分析人员登录Hue信息，至少包括登陆账号，权限关系表模块，用于记录登录Hue的登陆账号对库、表的访问权限，向权限控制模块提供访问权限信息，数据存储模块，用于存储数据形成相应的库、表，权限控制模块根据访问权限信息，获取登陆账号有权读取的库、表，并由权限控制模块转发给对应的登陆账号。本发明专利技术，基于Hue，通过二次开发，建立一套权限管理系统，用于管理Hive、Impala中库、表的权限，友好的解决了不同的数据分析人员，其对Hive、Impala中库、表的访问权限问题，不同用户可灵活分配库、表的权限。

A privilege management system based on Hue

The invention relates to a privilege management system based on Hue, including: access control module, used to obtain the information of the landing landing Hue, Hue information refers to data analysis staff login Hue information, including at least a login account, permission table module for log Hue login account for library table access provide access to the information access control module, data storage module for storing data to form the corresponding database, table, access control module based on access to information, access login account has the right to read database, table, and the access control module is forwarded to the corresponding login account. The invention, based on Hue, through the two development, establish a set of permissions management system for the management of Hive and Impala in the database, table, friendly solution to the different data analysis, the Hive, Impala database, table access problems, different users can be agile with database, table permissions.

【技术实现步骤摘要】
一种基于Hue的权限管理系统
本专利技术涉及权限管理
，具体说是一种基于Hue的权限管理系统。
技术介绍
Hue是运营和开发Hadoop应用的图形化界面（图形化用户界面）。Hue程序被整合到一个类似桌面的环境，以web程序的形式发布，对于单独的用户来说不需要额外的安装。在大数据时代，因为Hue提供了基于浏览器的图形化界面，所以得到多数大数据公司的钟爱。为了便利数据分析，满足可视化操作的需求，爱卡汽车选择Hue作为数据分析人员处理底层数据的一种接口使用，数据分析人员通过该Hue接口完成以下工作：1，访问HDFS和文件浏览，2，通过web调试和开发Hive以及数据结果展示，3，查询solr和结果展示，报表生成，4，通过web调试和开发Impala交互式SQLQuery，5，Spark调试和开发，6，Pig开发和调试，7，oozie任务的开发，监控，和工作流协调调度，8，Hbase数据查询和修改，数据展示，9，Hive的元数据（metastore）查询，10，MapReduce任务进度查看，日志追踪，11，创建和提交MapReduce，Streaming，Javajob任务，12，Sqoop2的开发和调试，13，Zookeeper的浏览和编辑，14，数据库（MySQL，PostGres，SQLite，Oracle）的查询和展示。Hue可以统一各个开源项目的开发方式在一个接口里，使用起来比较方便（当然，也可以不用Hue，因为各种开源项目都有自己的使用方式和开发接口），不用你一会准备使用Hive，就开一个Hive的cli终端，一会用Pig，你就得开一个Pig的grunt，或者你又想查Hbase，又得需要开一个Hbase的shell终端。你可以在任何时候，只要能上网，就可以通过Hue来开发和调试数据，不用再装Linux的客户端来远程登陆操作了，这也是B/S架构的好处。在Hue现有数据库权限管理中，对Hive、Impala中库、表的权限控制，需要配合其他开源组件共同使用，例如开源组件sentry等。例如：基于sentry权限，Hue访问Hive中库、表时是基于代理用户，Hive来执行相应的数据分析操作，而对后台代码中类似Hive–e这种方式（-e表示后面直接接带双引号的SQL语句），除代理用户外，其他用户将没有对Hive中库、表的执行权限，这将影响到某些脚本任务的执行，例如会影响到通过shell命令调取Hive中库、表的脚本任务的执行；调取Impala中库、表的脚本任务也存在相同的问题；而且，在单独使用sentry的情况下，在Hue中被赋权用户必须在后台Linux中存在相应的用户才有效，这致使通过sentry和Hive、Impala结合，进而实现对Hive、Impala中库、表的管理非常不便。如上所述，可知现有技术存在以下缺点：1.依赖性强，Hive、Impala对于库、表的权限管理基于其他开源组件，如利用sentry，Hue可视化操作用户对库、表的权限，是借助于Hive、Impala代理用户在Hive、Impala中自身的权限。2.底层影响范围广，如基于sentry，后台Linux系统需要有相应的用户，在运行Hive的情况下，只有Hiveserver2的访问方式下，Hive中库、表的权限才有效，同一个分析账户，可以在Hue的web界面上操作某个表，不一定在Linux后台就可以操作，权限分配前后影响后台脚本的调用。本专利技术涉及以下技术术语：Hue：是一个可快速开发和调试Hadoop生态系统各种应用的基于浏览器的图形化用户接口。Hadoop:大数据处理解决的一种方案，是一个开源框架，可编写和运行分布式应用处理大规模数据。Hadoop框架的核心是HDFS和MapReduce。其中HDFS是分布式文件系统，MapReduce是分布式数据处理模型和执行环境。Hive:提供SQL方式让用户进行数据处理，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Impala：基于c语言开发通过SQL操作数据的工具，Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Python：一种编程语言，是一种面向对象的解释型计算机程序设计语言，语法简洁清晰，具有丰富和强大的库，它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。Django：基于Python语言的一种web框架，Django是一个开放源代码的web应用框架，由Python写成。web框架：别人已经设定好的一个web网站模板，你学习它的规则，然后“填空”或“修改”成你自己需要的样子。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于Hue的权限管理系统，基于Hue，通过二次开发，建立一套权限管理系统，用于管理Hive、Impala中库、表的权限，友好的解决了不同的数据分析人员，其对Hive、Impala中库、表的访问权限问题，不同用户可灵活分配库、表的权限。为达到以上目的，本专利技术采取的技术方案是：一种基于Hue的权限管理系统，其特征在于，包括：权限控制模块，用于获取登陆Hue信息，所述登陆Hue信息是指：数据分析人员登录Hue信息，至少包括登陆账号，权限关系表模块，用于记录登录Hue的登陆账号对库、表的访问权限，向权限控制模块提供访问权限信息，数据存储模块，用于存储数据形成相应的库、表，权限控制模块根据访问权限信息，获取登陆账号有权读取的库、表，并由权限控制模块转发给对应的登陆账号。在上述技术方案的基础上，所述库、表包括但不限于：Hive库、表，Impala库、表。在上述技术方案的基础上，所述权限关系表模块中，记录的访问权限信息，由Hue的超级用户或管理员增删改。在上述技术方案的基础上，数据分析人员按所属的部门和职位的不同，分派登陆Hue后，对库、表的访问权限。在上述技术方案的基础上，所属的部门和职位和访问权限的对应关系，预先存储于权限模板中，对权限模板的修改，自动套用到使用该权限模板的登陆账号下并生效。在上述技术方案的基础上，权限模板包括通用权限和专有权限两类，其中：通用权限的修改，自动套用到使用该权限模板的登陆账号下并生效，专有权限的修改，根据Hue的超级用户或管理员的设置，套用到相应的登陆账号下并生效。在上述技术方案的基础上，通用权限和专有权限的内容相同或不同。在上述技术方案的基础上，所述访问权限信息仅限前端，对登陆账号自身权限无侵入；所述访问权限信息仅用于判断登陆账号对库、表的可见性，对其他查询无任何性能影响。在上述技术方案的基础上，所述权限控制模块，基于Djan本文档来自技高网...

【技术保护点】
一种基于Hue的权限管理系统，其特征在于，包括：权限控制模块，用于获取登陆Hue信息，所述登陆Hue信息是指：数据分析人员登录Hue信息，至少包括登陆账号，权限关系表模块，用于记录登录Hue的登陆账号对库、表的访问权限，向权限控制模块提供访问权限信息，数据存储模块，用于存储数据形成相应的库、表，权限控制模块根据访问权限信息，获取登陆账号有权读取的库、表，并由权限控制模块转发给对应的登陆账号。

【技术特征摘要】
1.一种基于Hue的权限管理系统，其特征在于，包括：权限控制模块，用于获取登陆Hue信息，所述登陆Hue信息是指：数据分析人员登录Hue信息，至少包括登陆账号，权限关系表模块，用于记录登录Hue的登陆账号对库、表的访问权限，向权限控制模块提供访问权限信息，数据存储模块，用于存储数据形成相应的库、表，权限控制模块根据访问权限信息，获取登陆账号有权读取的库、表，并由权限控制模块转发给对应的登陆账号。2.如权利要求1所述的基于Hue的权限管理系统，其特征在于：所述库、表包括但不限于：Hive库、表，Impala库、表。3.如权利要求1所述的基于Hue的权限管理系统，其特征在于：所述权限关系表模块中，记录的访问权限信息，由Hue的超级用户或管理员增删改。4.如权利要求1所述的基于Hue的权限管理系统，其特征在于：数据分析人员按所属的部门和职位的不同，分派登陆Hue后，对库、表的访问权限。5.如权利要求4所述的基于Hue的权限管理系统，其特征在于：所属的部门和职位和访问权限的对应关系，预先存储于权限模板中，对权限模板的修改，自动套用到使用该权限模板的登陆账号下并生效。6.如权利要求5所述的基于Hue的权限管理系统，其特征在于：权限模板包括通用权限和专有权限两类，其中：通用权限的修改，自动套用...

【专利技术属性】
技术研发人员：范未太，刘涛，
申请(专利权)人：塞纳德北京信息技术有限公司，
类型：发明
国别省市：北京,11