基于大数据下集群资源管理分配方法、设备及存储介质组成比例

本发明专利技术提供一种基于大数据下集群资源管理分配方法、设备及存储介质，所述资源管理分配方法包括以下步骤：步骤1.通过Apache Ranger提供界面建立一套完善的人员、角色和权限关系，并给用户授权访问对应资源和数据；步骤2.判断登录用户是否授权，若是，则让经过授权的用户合法地访问已授权的资源和数据，若否，则让未经授权的“非法用户”彻底“拒之门外”，拒绝登录。本发明专利技术能够根据不同的用户所需资源信息的不同，分配不同的大数据集群资源组件，以解决现有的大数据平台资源竞争激烈和资源分配不均的问题。源分配不均的问题。源分配不均的问题。

【技术实现步骤摘要】
基于大数据下集群资源管理分配方法、设备及存储介质


[0001]本专利技术涉及大数据领域，更具体地，涉及一种基于大数据下集群资源管理分配方法、设备及存储介质。

技术介绍

[0002]随着大数据产业发展，大数据业务的快速发展和市场的拓展，大数据的集群越来越普遍，现有技术中，大数据存储介质的管理与分配通常是由人工进行控制，存在管理难度大、资源利用率低、易出现资源竞争等问题。随着大数据存储需求的不断增加，传统的集群资源管理方式已经无法满足业务的需求，需要一种高效、智能的集群资源管理分配方案。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题，提供一种基于大数据下集群资源管理分配方法、设备及存储介质，以解决现有的大数据平台资源竞争激烈和资源分配不均的问题。
[0004]根据本专利技术的第一方面，提供了一种基于大数据下集群资源管理分配方法，用于Apache Ranger，所述分配方法包括以下步骤：
[0005]步骤1.通过Apache Ranger提供界面建立一套完善的人员、角色和权限关系，并给用户授权访问对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据下集群资源管理分配方法，其特征在于，用于Apache Ranger，所述分配方法包括以下步骤：步骤1.通过Apache Ranger提供界面建立一套完善的人员、角色和权限关系，并给用户授权访问对应资源和数据；步骤2.判断登录用户是否授权，若是，则让经过授权的用户合法地访问已授权的资源和数据，若否，则让未经授权的“非法用户”彻底“拒之门外”，拒绝登录。2.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，步骤1中，所述通过Apache Ranger提供界面建立一套完善的人员、角色和权限关系包括：在操作系统创建不同用户，通过用户同步将操作系统用户/属组的权限数据同步到Ranger的数据库中；在管理员控制台中，在“服务管理器”页面中，选择一个已经存在的HBase服务；当出现“策略列表”页面，创建一个新的策略或编辑一个现有的策略，在策略中指定要授权的用户或用户组，以及能够访问的资源和操作，保存策略变更。3.根据权利要求2所述的一种基于大数据下集群资源管理分配方法，其特征在于，在步骤1中，还包括创建临时策略，通过创建的临时策略对其他用户进行临时授权，当临时授权的用户完成相关操作后，再删除这些策略，实现用户的临时授权。4.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，步骤2中，所述判断登录用户是否授权包括：确认用户在园林管理员中已被注册为用户或用户组，在园林管理员控制台中选择需要检查的服务和策略类型，查找与用户想要访问的资源和操作相符的策略，如果策略授权了该用户或包含该用户所在的组，则该用户将被授权。5.根据权利要求1所述的一种基于大数据下集群资源管理分配方法，其特征在于，所述集群资源管理分配方法适用于Hadoop生态组件，包括但不限于HDFS、Hive、HBase、Yarn进行细粒度的数据访问控制。6.一种基于大数据集群字眼分配方法，其特征在于，应用于YARN系统，所述方...

【专利技术属性】
技术研发人员：李飞，李耀，彭磊，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：