一种实现计算资源和对象权限的统一控制管理方法及装置制造方法及图纸

本发明专利技术公开了一种实现计算资源和对象权限的统一控制管理方法及装置，意在提供一种有效快速处理数据集群的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理一种实现计算资源和对象权限的统一控制管理方法及装置。包括以下步骤：对象权限差异化管理步骤：把对象授权给某个Hive角色，每个Hive角色均设一个唯一的Hive角色端口，linux系统用户通过该linux系统用户所对应的Hive角色端口来启动一个hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句；包括：对象权限差异化管理层，资源共享限制管理层，操作系统层，访问接入层。本发明专利技术主要用在资源与权限管理技术中。

【技术实现步骤摘要】

本专利技术涉及资源与权限管理
，尤其涉及一种实现计算资源和对象权限的统一控制管理方法及装置。
技术介绍
随着信息时代的发展，数据资源以数据集群的方式出现，因此，如何有效快速处理这些数据集群的超大数据集的应用程序，实现这些数据集计算资源和对象权限的统一控制管理，已经成为当前计算机领域的一项重大技术难题。Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop充分利用集群的威力进行高速运算和存储，实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有着高容错性的特点，并且能够设计部署在低廉的硬件上。而且Hadoop提供高传输率来访问应用程序的数据。因此，Hadoop适合那些有着超大数据集的应用程序。Hadoop由许多元素构成。其最底层部是分布式文件系统，该分布式文件系统存储Hadoop集群中所有存储节点上的文件。该分布式文件系统的上一层是MapReduce编程模型，该MapReduce编程模型由工作跟踪器JobTrackers和任务跟踪器TaskTrackers组成。Hive是基于Hadoop的一个数据仓库工具，Hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce编程模型任务进行运行。Hive学习成本低,可以通过类似SQL语句快速实现简单的MapReduce编程模·型统计，不必开发专门的MapReduce编程模型应用,Hive十分便于对数据仓库的统计分析。Hive权限控制方式包括 I )、为不同日志的元数据表建立不同的数据库。2 )、为不同的外部访问用户建立单独的目录。3)、在单独的目录下，能修改Hive对象来配置相应的数据库。4)、启动单独的Hive服务器实例，并监听不同的端口。5)、在JDBC中连接自己对应的端口。通过Hive权限控制方式，我们能够实现不同用户对不同数据库的访问控制。但表对象的授权及更细粒度的列对象的授权灵活性还不够，同时，还不能通过指定端口访问的方式来控制该端口所对应的用户还有多少个可以使用的计算资源。Hadoop及Hive都需要结合Linux系统用户来对资源进行管理控制。其中，Hadoop可以通过公平调度器实现对各个不同用户的资源进行共享限制管理。公平调度是指随着时间的推移平均分配工作，这样每个作业都能平均地共享到资源。Hive允许创建对象，并将该对象授予用户，同时能够对该对象所包含的表、数据库、视图等对象进行授权。因此，利用Hadoop对数据资源的共享和Hive对数据资源的权限管理的优点，形成一个组织协调、效快速处理集群数据资源的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理。中国专利公开号CN101034990A，公开日是2007年9月12日，名称为“权限管理方法及装置”的方案中公开了一种权限管理方法，该方法包括步骤查询用户的角色是否有对应的资源访问权限；当用户的角色没有对应的资源访问权限时，继续查询用户是否有对应的资源访问条件；如果用户没有对应的资源访问条件，拒绝用户对资源的访问；如果用户有对应的资源访问条件，对资源访问条件评估成功时允许用户对资源的访问；对资源访问条件评估失败时拒绝用户对资源的访问。不足之处是，这种权限管理方法，不能对数据资源进行一对一配置和管理，无法统一对分布式计算系统的数据资源和对象权限进行限制，无法直接查询外部系统用户是否符合数据资源访问的权限限制条件，无法做到灵活细化的权限管理。
技术实现思路
本专利技术是为了克服现有技术不能对数据资源进行一对一配置和管理，无法统一对分布式计算系统的数据资源和对象权限进行限制，无法直接查询外部系统用户是否符合数据资源访问的权限限制条件，无法做到灵活细化的权限管理的这些不足，提供一种有效快 速处理数据集群的超大数据集的应用程序，实现数据集计算资源和对象权限的统一控制管理，能对数据资源进行一对一配置和管理，对分布式计算系统的数据资源和对象权限进统一行限制管理，能够直接查询外部系统用户是否符合数据资源访问的权限限制条件，灵活强，细化度高的一种实现计算资源和对象权限的统一控制管理方法及装置。为了实现上述目的，本专利技术提供一种实现计算资源和对象权限的统一控制管理方法，包括以下步骤 对象权限差异化管理步骤把对象授权给某个Hive角色,每个Hive角色均设一个唯一的Hive角色端口，将Hive角色授予其对应的Linux系统用户，Linux系统用户再通过其所对应的Hive角色端口来启动一个Hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句； 资源共享限制管理步骤把从数据检索请求后发来的数据检索请求任务，让该任务在分布式系统基础架构Hadoop的Hive服务器侦听端口处，由Hive将数据检索请求语句转换为MapReduce任务，然后按照数据检索请求任务所对应的Iinux系统用户的启动来对资源队列进行限制管理； 操作系统步骤Linux系统用户对Hive角色进行管理。用户登录HiveAdmin管理系统时，HiveAdmin管理系统首先会读取Hive的元数据表判断该用户是否已经被授权(即是否已拥有Hive角色)，若没有则进入用户登陆授权流程。首先判断是否存在相匹配的角色，若没有则需要新增角色。新增角色时首先需要在Hive里创建角色对象。然后到角色管理模块，修改其对应的端口号，主要是记录角色id及启动端口号的一对一对应关系。同时记录操作用户及操作时间等信息。其次需要到Linux主服务器上新增对应的系统用户，并授权HDFS的访问权限给该用户，通过公平调度器配置该用户的资源限制数，并将新创建角色授予给该用户。最后Linux切换到该用户下，按新配置端口后启动Hive服务器。在用户登录成功后，可以在数据库查询窗口编辑好查询语句，执行查询语句操作后，Hive仓库会判断该端口对应的用户是否有对指定表或视图的操作权限，若没有则需要管理员通过授权操作对其进行授权，授权完成后，Hive将提交该计算任务给hadoop。在Hadoop接收到Hive提交的计算任务后,会判断该对应系统用户是否还有空余的计算资源数，如果有则直接执行。若没有则继续判断该用户是否已分配计算资源，如果有则等待上一个任务完成并释放资源；若没有则需要新增配置其对应系统用户的资源数。作为优选，所述的资源队列由Hadoop的公平调度器对资源队列进行限制管理。作为优选，所述的Hive角色与所述的Linux系统用户采用一对一的关系进行配置，并将该Hive角色授权给与该Hive角色对应的Linux系统用户。相应地，本专利技术提供一种实现计算资源和对象权限的统一控制管理装置，包括 对象权限差异化管理层，用于对Hive对象的权限差异化进行管理； 资源共享限制管理层，用于对资源队列进行有效的限制管理； 操作系统层，用于对Hive角色进行管理； 访问接入层，用于外部访问用户对Hive对象的访问。作为优选，所述的资源队列由Hadoop的公平调度器对资源队列进行限制管理。作为优选，所述的Hive角色与Linux系统用本文档来自技高网...

【技术保护点】
一种实现计算资源和对象权限的统一控制管理方法，其特征在于，包括以下步骤：对象权限差异化管理步骤：把对象授权给某个Hive角色，每个Hive角色均设一个唯一的Hive角色端口，将Hive角色授予其对应的Linux系统用户，Linux系统用户再通过其所对应的Hive角色端口来启动一个Hive服务器侦听，外部访问用户采用JDBC或Thrift方式进行配置，指定一个Hive角色端口来连接Hive对象，然后执行数据检索请求语句；资源共享限制管理步骤：把从数据检索请求后发来的数据检索请求任务，让该任务在分布式系统基础架构Hadoop的Hive服务器侦听端口处，由Hive将数据检索请求语句转换为MapReduce任务，然后按照数据检索请求任务所对应的linux系统用户的启动来对资源队列进行限制管理；操作系统步骤：linux系统用户对Hive角色进行管理。

【技术特征摘要】

【专利技术属性】
技术研发人员：李达，赵俊凤，
申请(专利权)人：杭州斯凯网络科技有限公司，
类型：发明
国别省市：