一种HBase资源调整方法和装置制造方法及图纸

本发明专利技术实施例公开了一种HBase资源调整方法，包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整；本发明专利技术实施例还公开了一种HBase资源调整装置。

A method and device for HBase resource adjustment

The embodiment of the invention discloses a HBase resource adjustment method: real-time access to each HBase node HBase metric information; the information of polymerization, polymerization of information; the aggregated information rule matching, resource adjustment action corresponding adjustment according to the resources; movements, to adjust the area the Region Server HBase server in resources; the embodiment of the invention, a HBase resource adjustment device is also disclosed.

【技术实现步骤摘要】
一种HBase资源调整方法和装置
本专利技术涉及分布式大数据平台的资源管理技术，尤其涉及一种HBase(HadoopDatabase)资源调整方法和装置。
技术介绍
在Hadoop大数据平台中，资源管理器(YetAnotherResourceNegotiator，YARN)是负责资源管理与调度的核心组件，作为应用管理器的ApplicationMaster可以根据作业负载的需要动态向YARN申请资源，而YARN能够根据管理员定义的策略调整任务所在容器的资源以保证高效的资源利用率。HadoopYARN提供了一个通用的资源管理和分布式应用框架。在这个框架上，用户可以根据自己需求，实现定制化的数据处理应用；这里，可以通过YARN完成初始的资源分配，并作为多租户的一个组件在YARN上运行。YARN的最基本思想是将ApacheHadoop1.0中JobTracker的两个主要职责分别交给两个角色负责，这两个主要职责分别为资源管理和作业调度管理；其中，资源管理由全局的资源管理器(ResourceManager)处理，作业调度管理由每个应用的作业调度器(ApplicationMaster)处理。资源管理器以及每个节点的节点管理器(NodeManager)构成了新的HadoopYARN架构，即ApacheHadoopYARN架构。图1为现有技术中ApacheHadoopYARN架构示意图，如图1所示，该ApacheHadoopYARN架构包括资源管理器100、至少一个客户端101、以及至少一个节点管理器102、至少一个作业管理器(ApplicationMaster)103；其中，这里，客户端101基于应用生成相应的任务，并将任务提交至资源管理器；资源管理器是ApacheHadoopYARN架构中仲裁应用之间资源分配的主体，用于接收至少一个客户端所提交的任务，基于接收到的任务，为应用分配资源；而每个应用对应一个作业管理器，每个作业管理器负责向资源管理器协商资源分配策略，并与节点管理器协同工作来执行和管理任务；资源管理器有一个可插入的调度器，负责向各个应用分配资源以满足容量、组等限制条件；这个调度器是一个纯粹的调度器，不负责管理或追踪应用的状态，也不负责由于硬件错误或应用问题导致的任务失败重启工作，调度器只依据应用的资源需求来执行调度工作，调度内容是一个抽象概念资源容器(Container)，其中调度内容主要是内存、CPU、网络、磁盘等资源。每个节点管理器102与每个HBase节点相对应，每个节点管理器可以认为是每个节点对应的从属服务进程，每个节点管理器用于控制资源容器，并向资源管理器汇报资源使用情况；每个作业调度器与一个应用相对应，负责向资源管理器的调度器协商合理的资源分配方案，追踪资源分配的状态，并管理资源分配的进度。目前，YARN通常只在资源管理器的调度器进行基于资源需求的调度工作时，一次性为其分配固定的资源，而不支持根据作业运行的负载情况动态调整资源；因此，在需要进行资源实时调整时，需要停止并释放当前的资源容器，然后通过重新建立新的资源容器来改变任务的资源分配；如此，YARN对长时间运行的服务型进程不能根据作业运行的负载情况动态调整资源，容易造成资源浪费，降低了HBase的资源利用率。
技术实现思路
为解决上述技术问题，本专利技术实施例期望提供一种HBase资源调整方法和装置，提高了Base中区域服务器(RegionServer)的资源的利用率。本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种HBase资源调整方法，所述方法包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中RegionServer的资源进行调整。上述方案中，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的RegionServer的负载信息。上述方案中，所述根据得到的资源调整动作，对HBase中RegionServer的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中RegionServer的资源的请求；基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源。上述方案中，所述提出改变HBase中RegionServer的资源请求为：提出增加HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于增加HBase中RegionServer的资源的请求，并依据预先定义的规则得出RegionServer的资源的增加策略；依据RegionServer的资源的增加策略，增加HBase中RegionServer的资源配额。上述方案中，所述增加HBase中RegionServer的资源配额，包括：利用以下至少一种方式增加HBase中RegionServer的资源配额：增加HBase中RegionServer的个数、对至少一个HBase节点对应的RegionServer的资源进行资源扩容。上述方案中，所述提出改变HBase中RegionServer的资源请求为：提出减少HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于减少HBase中RegionServer的资源的请求，并依据预先定义的规则得出RegionServer的资源的减少策略；依据RegionServer的资源的减少策略，减少HBase中RegionServer的资源配额。上述方案中，所述减少HBase中RegionServer的资源配额，包括：利用以下至少一种方式调低HBase中RegionServer的资源配额：减少HBase中RegionServer的个数、调低至少一个HBase节点对应的RegionServer的资源容量。上述方案中，在调整HBase中RegionServer的资源之后，所述方法还包括：获取HBase中RegionServer的资源的变化信息，验证所述HBase中RegionServer的资源的变化信息是否符合所述改变RegionServer的资源的请求。本专利技术实施例还提供了一种HBase资源调整装置，所述装置包括：获取模块、聚合模块、匹配模块和调整模块；其中，获取模块，用于实时获取每个HBase节点的HBase度量信息；聚合模块，用于将获取到的信息进行聚合，得到聚合信息；匹配模块，用于将聚合后的信息进行规则匹配，得到对应的资源调整动作；调整模块，用于根据得到的资源调整动作，对HBase中RegionServer的资源进行调整。上述方案中，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的RegionServer的负载信息。上述方案中，所述调整模块，具体用于基于得到的资源调整动作，提出改变HBase中RegionServer的资源的请求；基于所提出的改变R本文档来自技高网...

【技术保护点】
一种HBase资源调整方法，其特征在于，所述方法包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器Region Server的资源进行调整。

【技术特征摘要】
1.一种HBase资源调整方法，其特征在于，所述方法包括：实时获取每个HBase节点的HBase度量信息；将获取到的信息进行聚合，得到聚合信息；将聚合后的信息进行规则匹配，得到对应的资源调整动作；根据得到的资源调整动作，对HBase中区域服务器RegionServer的资源进行调整。2.根据权利要求1所述的方法，其特征在于，所述每个HBase节点的HBase度量信息包括：对应HBase节点的节点系统信息和对应HBase节点对应的RegionServer的负载信息。3.根据权利要求1所述的方法，其特征在于，所述根据得到的资源调整动作，对HBase中RegionServer的资源进行调整，包括：基于得到的资源调整动作，提出改变HBase中RegionServer的资源的请求；基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源。4.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中RegionServer的资源请求为：提出增加HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于增加HBase中RegionServer的资源的请求，并依据预先定义的规则得出RegionServer的资源的增加策略；依据RegionServer的资源的增加策略，增加HBase中RegionServer的资源配额。5.根据权利要求4所述的方法，其特征在于，所述增加HBase中RegionServer的资源配额，包括：利用以下至少一种方式增加HBase中RegionServer的资源配额：增加HBase中RegionServer的个数、对至少一个HBase节点对应的RegionServer的资源进行资源扩容。6.根据权利要求3所述的方法，其特征在于，所述提出改变HBase中RegionServer的资源请求为：提出减少HBase中RegionServer的资源的请求；所述基于所提出的改变RegionServer的资源的请求，调整HBase中RegionServer的资源，包括：基于减少HBase中RegionServer的资...

【专利技术属性】
技术研发人员：朱军，吴凤辉，张航友，
申请(专利权)人：中国移动通信集团四川有限公司，
类型：发明
国别省市：四川,51