本申请公开了一种基于Ambari的集群容量管理方法，包括：根据样本业务数据以及与各样本业务数据对应的样本集群节点数量训练出目标模型；获取目标大数据集群的当前业务数据；将当前业务数据输入至目标模型中，利用目标模型输出与当前业务数据对应的目标集群节点数量。本方法中的目标集群节点数量是根据目标大数据集群的实际需求设置的，能够根据目标大数据集群的当前业务数据调整目标集群节点数量，因此本方法能够使得目标大数据集群既能满足实际需求，保障业务服务的完成效率和效果，又能避免集群节点冗余，避免造成资源浪费。本申请还公开了一种基于Ambari的集群容量管理装置及计算机可读存储介质，均具有上述有益效果。果。果。
【技术实现步骤摘要】
一种基于Ambari的集群容量管理方法、装置及介质
[0001]本专利技术涉及集群管理领域，特别涉及一种基于Ambari的集群容量管理方法、装置及计算机可读存储介质。
技术介绍
[0002]Ambari是一款基于Apache Hadoop的大数据平台管理软件，用户通过操作Web页面就能够实现对大数据集群中的服务进行安装、运行、管理、监控和告警等操作。Ambari中的两大核心组件是Ambari
‑
Server和Ambari
‑
Agent，其中，各组件分布在不同的节点上面运行，Ambari
‑
Server主要负责发送各种操作集群服务的命令，Ambari
‑
Agent主要负责执行这些命令完成操作；也就是说，Ambari对应的集群中的Ambari
‑
Agent的数量直接影响集群服务情况。
[0003]现有技术中，一般是直接为集群设置容量定值，但是这种方式一方面可能实际所需集群节点数量大于容量定值，直接影响完成业务服务的效率和效果；另一方面可能实际所需集群节点数量小于容量定值，导致集群节点冗余，造成资源浪费。
[0004]因此，如何使得目标大数据集群既能满足实际需求，保障业务服务的完成效率和效果，又能避免集群节点冗余，避免造成资源浪费，是本领域技术人员目前需要解决的技术问题。
技术实现思路
[0005]有鉴于此，本专利技术的目的在于提供一种基于Ambari的集群容量管理方法，能够使得目标大数据集群既能满足实际需求，保障业务服务的完成效率和效果，又能避免集群节点冗余，避免造成资源浪费；本专利技术的另一目的是提供一种基于Ambari的集群容量管理装置及计算机可读存储介质，均具有上述有益效果。
[0006]为解决上述技术问题，本专利技术提供一种基于Ambari的集群容量管理方法，包括：
[0007]根据样本业务数据以及与各所述样本业务数据对应的样本集群节点数量训练出目标模型；
[0008]获取目标大数据集群的当前业务数据；
[0009]将所述当前业务数据输入至所述目标模型中，利用所述目标模型输出与所述当前业务数据对应的目标集群节点数量。
[0010]优选地，在所述将所述当前业务数据输入至所述目标模型中，利用所述目标模型输出与所述当前业务数据对应的目标集群节点数量之后，进一步包括：
[0011]利用所述目标集群节点数量和所述当前业务数据进行模拟运行，得出与所述目标大数据集群对应的模拟集群性能。
[0012]优选地，在所述利用所述目标集群节点数量和所述当前业务数据进行模拟运行，得出与所述目标大数据集群对应的模拟集群性能之后，进一步包括：
[0013]根据所述模拟集群性能是否达到目标集群性能的情况确定出是否需要重新确定
所述目标集群节点数量。
[0014]优选地，进一步包括：
[0015]获取所述目标大数据集群的当前集群性能；
[0016]依据所述当前集群性能和预设调整规则调整所述目标大数据集群的所述目标集群节点数量。
[0017]优选地，所述根据样本业务数据以及与各所述样本业务数据对应的样本集群节点数量训练出目标模型的过程，具体包括：
[0018]将所述样本业务数据以及与各所述样本业务数据对应的样本集群节点数量输入至初始化模型中进行学习训练，迭代更新所述初始化模型；
[0019]若所述初始化模型的模型输出值与目标输出值的第一差值小于第一预设阈值且所述模型输出值对应的性能模拟值与目标模拟值的第二差值小于第二预设阈值，则输出所述目标模型；
[0020]否则，利用所述第一差值和/或所述第二差值更新所述初始化模型并继续进入所述将所述样本业务数据以及与各所述样本业务数据对应的样本集群节点数量输入至初始化模型中进行学习训练，迭代更新所述初始化模型的步骤。
[0021]优选地，进一步包括：
[0022]设置最大迭代次数；
[0023]累计学习训练过程中的累计迭代更新次数；
[0024]若所述累计迭代更新次数大于所述最大迭代次数，结束迭代更新并输出所述目标模型。
[0025]优选地，进一步包括：
[0026]设置集群节点最大值；
[0027]当所述目标集群节点数量超过所述集群节点最大值时，发出对应的提示信息。
[0028]为解决上述技术问题，本专利技术还提供一种基于Ambari的集群容量管理装置，包括：
[0029]模型训练模块，用于根据样本业务数据以及与各所述样本业务数据对应的样本集群节点数量训练出目标模型；
[0030]数据获取模块，用于获取目标大数据集群的当前业务数据；
[0031]节点管理模块，用于将所述当前业务数据输入至所述目标模型中，利用所述目标模型输出与所述当前业务数据对应的目标集群节点数量。
[0032]为解决上述技术问题，本专利技术还提供一种基于Ambari的集群容量管理装置，包括：
[0033]存储器，用于存储计算机程序；
[0034]处理器，用于执行所述计算机程序时实现上述任一种基于Ambari的集群容量管理方法的步骤。
[0035]为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种基于Ambari的集群容量管理方法的步骤。
[0036]本专利技术提供的一种基于Ambari的集群容量管理方法，通过预先利用样本业务数据和样本集群节点数量训练出目标模型；再利用目标模型根据目标大数据集群的当前业务数据输出对应的目标集群节点数量；可见，本方法中的目标集群节点数量是根据目标大数据
集群的实际需求设置的，能够根据目标大数据集群的当前业务数据调整目标集群节点数量，因此本方法能够使得目标大数据集群既能满足实际需求，保障业务服务的完成效率和效果，又能避免集群节点冗余，避免造成资源浪费。
[0037]为解决上述技术问题，本专利技术还提供了一种基于Ambari的集群容量管理装置及计算机可读存储介质，均具有上述有益效果。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本专利技术实施例提供的一种基于Ambari的集群容量管理方法的流程图；
[0040]图2为本专利技术实施例提供的一种节点扩容操作的时序图；
[0041]图3为本专利技术实施例提供的一种节点缩容操作的时序图；
[0042]图4为本专利技术实施例提供的一种基于Ambari的集群容量管理装置的结构图；
[0043]图5为本专利技术实施例提供的一种基于Ambari的集群容量管理装置的结构图。
具体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Ambari的集群容量管理方法，其特征在于，包括：根据样本业务数据以及与各所述样本业务数据对应的样本集群节点数量训练出目标模型；获取目标大数据集群的当前业务数据；将所述当前业务数据输入至所述目标模型中，利用所述目标模型输出与所述当前业务数据对应的目标集群节点数量。2.根据权利要求1所述的方法，其特征在于，在所述将所述当前业务数据输入至所述目标模型中，利用所述目标模型输出与所述当前业务数据对应的目标集群节点数量之后，进一步包括：利用所述目标集群节点数量和所述当前业务数据进行模拟运行，得出与所述目标大数据集群对应的模拟集群性能。3.根据权利要求2所述的方法，其特征在于，在所述利用所述目标集群节点数量和所述当前业务数据进行模拟运行，得出与所述目标大数据集群对应的模拟集群性能之后，进一步包括：根据所述模拟集群性能是否达到目标集群性能的情况确定出是否需要重新确定所述目标集群节点数量。4.根据权利要求1所述的方法，其特征在于，进一步包括：获取所述目标大数据集群的当前集群性能；依据所述当前集群性能和预设调整规则调整所述目标大数据集群的所述目标集群节点数量。5.根据权利要求2所述的方法，其特征在于，所述根据样本业务数据以及与各所述样本业务数据对应的样本集群节点数量训练出目标模型的过程，具体包括：将所述样本业务数据以及与各所述样本业务数据对应的样本集群节点数量输入至初始化模型中进行学习训练，迭代更新所述初始化模型；若所述初始化模型的模型输出值与目标输出值的第一差值小于第一预设阈值且所述模型输出值对应的性能模拟值与目...
【专利技术属性】
技术研发人员：武鹏，
申请(专利权)人：山东英信计算机技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。