一种HBase服务的管理方法、装置、设备及可读介质制造方法及图纸

本发明专利技术公开了一种HBase服务的管理方法，包括以下步骤：通过Docker容器引擎对HBase服务进行部署；实时监控HBase服务集群的业务负载，并获取业务负载信息；根据业务负载信息和对应的负载标准值计算得到集群负载指标；以及基于集群负载指标判断是否需要进行扩容操作或缩容操作，并根据判断结果进行资源调度。本发明专利技术还公开了一种HBase服务的管理装置、计算机设备和可读存储介质。本发明专利技术通过Ambari平台和Docker的融合，实现HBase服务的部署与管理，提高平台的可用性，实现HBase RS多实例的弹性扩缩容，实现资源的最大化利用，解决资源浪费问题和人员成本问题。问题和人员成本问题。问题和人员成本问题。

【技术实现步骤摘要】
一种HBase服务的管理方法、装置、设备及可读介质


[0001]本专利技术涉及云计算
，尤其涉及一种HBase服务的管理方法、装置、设备及可读介质。

技术介绍

[0002]在云计算时代，Docker是当前最为流行的开源应用容器引擎，大量应用服务通过容器化的方式进行部署和运行。基于Docker可以实现HBase服务的快速启动和资源隔离。但是HBase服务复杂的指标监控、参数配置和服务管理操作却无法通过Docker实现。只能结合业务开发新的管理平台，开发量巨大。Ambari平台作为开源的大数据集群部署和管理工具，提供便利的UI管理页面和对应的REST API，供用户管理和监控平台的组件。
[0003]但是开源Ambari平台和Docker不能结合使用，无法充分发挥二者优势。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的在于提出一种HBase服务的管理方法、装置、设备及可读介质，通过兼容Ambari平台和Docker，实现HBase服务的部署与管理，提高平台的可用性，实现HBase RS多实例的弹性扩缩容，实现资源的最大化利用，解决资源浪费问题和人员成本问题。
[0005]基于上述目的，本专利技术实施例的一方面提供了一种HBase服务的管理方法，包括以下步骤：通过Docker容器引擎对HBase服务进行部署；实时监控HBase服务集群的业务负载，并获取业务负载信息；根据业务负载信息和对应的负载标准值计算得到集群负载指标；以及基于集群负载指标判断是否需要进行扩容操作或缩容操作，并根据判断结果进行资源调度。
[0006]在一些实施方式中，通过Docker容器引擎对HBase服务进行部署包括：基于Ambari平台，构建HBase服务镜像，将镜像上传到镜像仓库并分发到服务集群节点。
[0007]在一些实施方式中，通过Docker容器引擎对HBase服务进行部署包括：将Ambari平台中的管理和监控指令转换为Docker可执行的指令，并基于Docker可执行的指令在容器引擎中运行HBase服务。
[0008]在一些实施方式中，还包括：获取节点资源信息，并基于资源信息计算资源利用率并与阈值进行比对；若是资源利用率超过阈值，发送报警信息。
[0009]在一些实施方式中，获取业务负载信息包括：获取节点的region数量、读写请求延迟时长和读写请求吞吐量。
[0010]在一些实施方式中，根据业务负载信息和对应的负载标准值计算得到集群负载指标包括：将若干业务负载信息和对应的负载标准值的比值加权后求和，以得到集群负载指标。
[0011]在一些实施方式中，基于集群负载指标判断是否需要进行扩容操作或缩容操作，并根据判断结果进行资源调度包括：若是集群负载指标大于1，确认需要进行扩容操作；若
是集群负载指标小于1，确认需要进行缩容操作。
[0012]本专利技术实施例的另一方面，还提供了一种HBase服务的管理装置，包括：部署模块，配置用于通过Docker容器引擎对HBase服务进行部署；监控模块，配置用于实时监控所述HBase服务集群的业务负载，并获取所述业务负载信息；判断模块，配置用于根据业务负载信息和对应的负载标准值计算得到集群负载指标；以及调度模块，配置用于基于集群负载指标判断是否需要进行扩容操作或缩容操作，并根据判断结果进行资源调度。
[0013]在一些实施方式中，部署模块还包括镜像发布模块，配置用于基于Ambari平台，构建HBase服务镜像，将镜像上传到镜像仓库并分发到服务集群节点。
[0014]在一些实施方式中，部署模块还包括命令转换模块，配置用于将Ambari平台中的管理和监控指令转换为Docker可执行的指令，并基于Docker可执行的指令在容器引擎中运行HBase服务。
[0015]在一些实施方式中，监控模块进一步配置用于：获取节点资源信息，并基于资源信息计算资源利用率并与阈值进行比对；若是资源利用率超过阈值，发送报警信息。
[0016]在一些实施方式中，监控模块进一步配置用于：获取节点的region数量、读写请求延迟时长和读写请求吞吐量。
[0017]在一些实施方式中，判断模块进一步配置用于：将若干业务负载信息和对应的负载标准值的比值加权后求和，以得到集群负载指标。
[0018]在一些实施方式中，调度模块进一步讲配置用于：若是集群负载指标大于1，确认需要进行扩容操作；若是集群负载指标小于1，确认需要进行缩容操作。
[0019]本专利技术实施例的再一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述方法的步骤。
[0020]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0021]本专利技术具有以下有益技术效果：通过兼容Ambari平台和Docker，实现HBase服务的部署与管理，由Ambari平台管理HBase服务的起停、参数配置、可视化等，由Docker负责实际的服务起停、状态监控等工作，充分发挥两种平台的优势，提高平台的可用性，大幅减少工作量；实现高效、可靠、自动化的HBase的RegionServer服务的多实例弹性扩缩容，保证HBase能保证业务稳定性和高性能的前提下，实现资源的最大化利用，解决资源浪费问题和人员成本问题。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0023]图1为本专利技术提供的HBase服务的管理方法的实施例的示意图；
[0024]图2为本专利技术提供的HBase服务的管理装置的实施例的示意图；
[0025]图3为本专利技术提供的计算机设备的实施例的示意图；
[0026]图4为本专利技术提供的计算机可读存储介质的实施例的示意图。
具体实施方式
[0027]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0028]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0029]基于上述目的，本专利技术实施例的第一个方面，提出了HBase服务的管理方法的实施例。图1示出的是本专利技术提供的HBase服务的管理方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：
[0030]S01、通过Docker容器引擎对HBase服务进行部署；
[0031]S02、实时监控HBase服务集群的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种HBase服务的管理方法，其特征在于，包括以下步骤：通过Docker容器引擎对HBase服务进行部署；实时监控所述HBase服务集群的业务负载，并获取业务负载信息；根据所述业务负载信息和对应的负载标准值计算得到集群负载指标；以及基于所述集群负载指标判断是否需要进行扩容操作或缩容操作，并根据判断结果进行资源调度。2.根据权利要求1所述的HBase服务的管理方法，其特征在于，通过Docker容器引擎对HBase服务进行部署包括：基于Ambari平台，构建所述HBase服务镜像，将所述镜像上传到镜像仓库并分发到服务集群节点。3.根据权利要求1所述的HBase服务的管理方法，其特征在于，通过Docker容器引擎对HBase服务进行部署包括：将Ambari平台中的管理和监控指令转换为Docker可执行的指令，并基于所述Docker可执行的指令在容器引擎中运行所述HBase服务。4.根据权利要求1所述的HBase服务的管理方法，其特征在于，还包括：获取节点资源信息，并基于所述资源信息计算资源利用率并与阈值进行比对；若是所述资源利用率超过阈值，发送报警信息。5.根据权利要求1所述的HBase服务的管理方法，其特征在于，获取所述业务负载信息包括：获取节点的region数量、读写请求延迟时长和读写请求吞吐量。6.根据权利要求1所述的HBase服务...

【专利技术属性】
技术研发人员：宋文豪，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：