一种HBase资源调整方法和装置制造方法及图纸

本发明专利技术实施例公开了一种HBase资源调整方法，包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整；本发明专利技术实施例还公开了一种HBase资源调整装置。

A method and device for HBase resource adjustment

The embodiment of the invention discloses a HBase resource adjustment method: real-time access to each HBase node HBase metric information; the information of polymerization, polymerization of information; the aggregated information rule matching, resource adjustment action corresponding adjustment according to the resources; movements, to adjust the area the Region Server HBase server in resources; the embodiment of the invention, a HBase resource adjustment device is also disclosed.

【技术实现步骤摘要】
一种HBase资源调整方法和装置
本专利技术涉及分布式大数据平台的资源管理技术，尤其涉及一种HBase(HadoopDatabase)资源调整方法和装置。
技术介绍
在Hadoop大数据平台中，资源管理器(YetAnotherResourceNegotiator，YARN)是负责资源管理与调度的核心组件，作为应用管理器的ApplicationMaster可以根据作业负载的需要动态向YARN申请资源，而YARN能够根据管理员定义的策略调整任务所在容器的资源以保证高效的资源利用率。HadoopYARN提供了一个通用的资源管理和分布式应用框架。在这个框架上，用户可以根据自己需求，实现定制化的数据处理应用；这里，可以通过YARN完成初始的资源分配，并作为多租户的一个组件在YARN上运行。YARN的最基本思想是将ApacheHadoop1.0中JobTracker的两个主要职责分别交给两个角色负责，这两个主要职责分别为资源管理和作业调度管理；其中，资源管理由全局的资源管理器(ResourceManager)处理，作业调度管理由每个应用的作业调度器(ApplicationMaster)处理。资源本文档来自技高网...

【技术保护点】
一种HBase资源调整方法，其特征在于，所述方法包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整。

【技术特征摘要】
1.一种HBase资源调整方法，其特征在于，所述方法包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器RegionServer的资源进行调整。2.根据权利要求1所述的方法，其特征在于，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的RegionServer的负载信息。3.根据权利要求1所述的方法，其特征在于，所述根据得到的资源调整动作，对HBase中RegionServer的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中RegionServer的资源的请求；基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源。4.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中RegionServer的资源请求为：提出增加HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于增加HBase中RegionServer的资源的请求，并依据预先定义的规则得出RegionServer的资源的增加策略；依据RegionServer的资源的增加策略，增加HBase中RegionServer的资源配额。5.根据权利要求4所述的方法，其特征在于，所述增加HBase中RegionServer的资源配额，包括：利用以下至少一种方式增加HBase中RegionServer的资源配额：增加HBase中RegionServer的个数、对至少一个HBase节点对应的RegionServer的资源进行资源扩容。6.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中RegionServer的资源请求为：提出减少HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于减少HBase中RegionServer的资...

【专利技术属性】
技术研发人员：朱军，吴凤辉，张航友，
申请(专利权)人：中国移动通信集团四川有限公司，
类型：发明
国别省市：四川,51