基于云计算的集群扩缩容方法、装置、设备及介质制造方法及图纸

本申请提出一种基于云计算的集群扩缩容方法、装置、电子设备及存储介质，基于云计算的集群扩缩容方法包括：依据资源管理器获取预设时间段内的可用计算资源；对接收到的任务请求分配所述可用计算资源；对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果；基于所述扩缩容操作结果计算集群的扩缩容优化资源量；基于所述扩缩容优化资源量对集群中各节点进行扩容和缩容调整。本申请能够通过获取预设时间段内的可用计算资源来对接收到的任务请求分配可用计算资源，并根据可用计算资源的总量和预设的扩缩容阈值对集群中的各节点进行动态的扩容和缩容操作，从而提高了计算资源的利用效率。算资源的利用效率。算资源的利用效率。

【技术实现步骤摘要】
基于云计算的集群扩缩容方法、装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种基于云计算的集群扩缩容方法、装置、电子设备及存储介质。

技术介绍

[0002]云计算是一种能够让用户按需使用计算、网络、存储等硬件资源的信息技术服务模式。公有云是由第三方企业运维管理来为个人和企业用户提供服务的云端基础设施，公有云运营商提供可编程的应用程序接口API，使消费者可以更有效地使用公有云资源。
[0003]YARN是一个管理大型计算机集群系统的软件，通常使用在大规模数据中心中，用来管理计算机集群，并可以为各类计算框架提供资源的管理和调度。YARN主要由资源管理器(RM)和节点管理器(NM)组成。RM负责集群中所有资源的统一管理和分配，它接收来自各个NM的资源汇报信息，NM用于管理集群中的单个计算节点。
[0004]随着云计算的发展，越来越多的企业选择使用公有云的服务，将数据中心部署在公有云之上，但YARN集群中运行的任务数量通常都会有较大的波动，而固定的资源分配方式不能充分发挥云计算弹性灵活的特点，导致集群的计算资源不能被充分利用，降低了计算资源的利用效率。

技术实现思路

[0005]鉴于以上内容，有必要提出一种基于云计算的集群扩缩容方法、装置、电子设备及存储介质，以解决如何提高云计算集群中计算资源的利用效率这一技术问题。
[0006]本申请提供一种基于云计算的集群扩缩容方法，所述方法包括：
[0007]依据资源管理器获取预设时间段内的可用计算资源；
[0008]对接收到的任务请求分配所述可用计算资源；
[0009]对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果；
[0010]基于所述扩缩容操作结果计算集群的扩缩容优化资源量；
[0011]基于所述扩缩容优化资源量对集群中各节点进行扩容和缩容调整。
[0012]在一些实施例中，所述依据资源管理器获取预设时间段内的可用计算资源包括：
[0013]依据资源管理框架对资源管理器进行优化获得资源优化管理器；
[0014]基于所述资源优化管理器统计预设时间段内的可用计算资源。
[0015]在一些实施例中，所述对接收到的任务请求分配所述可用计算资源包括：
[0016]基于所述资源管理器对接收到的任务请求创建分配管理器，所述分配管理器用于管理所述任务请求；
[0017]基于所述分配管理器执行调度算法以对所述任务请求进行调度；
[0018]基于所述资源优化管理器对被调度的任务请求分配所述可用计算资源。
[0019]在一些实施例中，所述对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果包括：
[0020]统计第一可用时间段内已分配的可用计算资源的平均值获得当前平均计算资源；
[0021]统计第二可用时间段内已分配的可用计算资源的平均值获得历史平均计算资源；
[0022]选取所述当前平均计算资源和历史平均计算资源中的数值较大者作为已分配计算资源总量；
[0023]对比所述已分配计算资源总量和预设的扩缩容阈值获得扩缩容操作结果，所述扩缩容阈值包括扩容阈值和缩容阈值。
[0024]在一些实施例中，所述对比所述已分配计算资源总量和预设的扩缩容阈值获得扩缩容操作结果包括：
[0025]若所述已分配计算资源总量大于扩容阈值，则扩缩容操作结果为对集群进行扩容操作；
[0026]若所述已分配计算资源总量小于缩容阈值，则扩缩容操作结果为对集群进行缩容操作；
[0027]若所述已分配计算资源总量不大于扩容阈值且不小于缩容阈值，则扩缩容操作结果为不对集群进行扩缩容操作。
[0028]在一些实施例中，所述基于所述扩缩容操作结果计算集群的扩缩容优化资源量包括：
[0029]若所述扩缩容操作结果为对集群进行扩容操作，则依据所述已分配计算资源总量与所述缩容阈值的比值计算集群的扩缩容优化资源量；
[0030]若所述扩缩容操作结果为对集群进行缩容操作，则依据所述已分配计算资源总量与所述扩容阈值的比值计算集群的扩缩容优化资源量。
[0031]在一些实施例中，所述基于所述扩缩容优化资源量对集群中各节点进行扩容和缩容调整包括：
[0032]基于所述扩缩容优化资源量生成扩缩容脚本命令；
[0033]基于所述扩缩容脚本命令对集群中各节点的存储空间进行扩容和缩容调。
[0034]本申请实施例还提供一种基于云计算的集群扩缩容装置，所述装置包括：
[0035]获取单元，用于依据资源管理器获取预设时间段内的可用计算资源；
[0036]分配单元，用于对接收到的任务请求分配所述可用计算资源；
[0037]对比单元，用于对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果；
[0038]计算单元，用于基于所述扩缩容操作结果计算集群的扩缩容优化资源量；
[0039]调整单元，用于基于所述扩缩容优化资源量对集群中各节点进行扩容和缩容调整。
[0040]本申请实施例还提供一种电子设备，所述电子设备包括：
[0041]存储器，存储至少一个指令；
[0042]处理器，执行所述存储器中存储的指令以实现所述的基于云计算的集群扩缩容方法。
[0043]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于云计算的集群扩缩容方法。
[0044]本申请通过获取预设时间段内的可用计算资源来对接收到的任务请求分配可用计算资源，并根据可用计算资源的总量和预设的扩缩容阈值对集群中的各节点进行动态的扩容和缩容操作，从而提高了计算资源的利用效率。
附图说明
[0045]图1是本申请所涉及的基于云计算的集群扩缩容方法的较佳实施例的流程图。
[0046]图2是本申请所涉及的基于云计算的集群扩缩容装置的较佳实施例的功能模块图。
[0047]图3是本申请所涉及的基于云计算的集群扩缩容方法的较佳实施例的电子设备的结构示意图。
[0048]图4是本申请所涉及的计算机集群的系统架构示意图。
具体实施方式
[0049]为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
[0050]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0051本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云计算的集群扩缩容方法，其特征在于，所述方法包括：依据资源管理器获取预设时间段内的可用计算资源；对接收到的任务请求分配所述可用计算资源；对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果；基于所述扩缩容操作结果计算集群的扩缩容优化资源量；基于所述扩缩容优化资源量对集群中各节点进行扩容和缩容调整。2.如权利要求1所述的基于云计算的集群扩缩容方法，其特征在于，所述依据资源管理器获取预设时间段内的可用计算资源包括：依据资源管理框架对资源管理器进行优化获得资源优化管理器；基于所述资源优化管理器统计预设时间段内的可用计算资源。3.如权利要求2所述的基于云计算的集群扩缩容方法，其特征在于，所述对接收到的任务请求分配所述可用计算资源包括：基于所述资源管理器对接收到的任务请求创建分配管理器，所述分配管理器用于管理所述任务请求；基于所述分配管理器执行调度算法以对所述任务请求进行调度；基于所述资源优化管理器对被调度的任务请求分配所述可用计算资源。4.如权利要求1所述的基于云计算的集群扩缩容方法，其特征在于，所述对比已分配的可用计算资源与预设的扩缩容阈值以确定扩缩容操作结果包括：统计第一可用时间段内已分配的可用计算资源的平均值获得当前平均计算资源；统计第二可用时间段内已分配的可用计算资源的平均值获得历史平均计算资源；选取所述当前平均计算资源和历史平均计算资源中的数值较大者作为已分配计算资源总量；对比所述已分配计算资源总量和预设的扩缩容阈值获得扩缩容操作结果，所述扩缩容阈值包括扩容阈值和缩容阈值。5.如权利要求4所述的基于云计算的集群扩缩容方法，其特征在于，所述对比所述已分配计算资源总量和预设的扩缩容阈值获得扩缩容操作结果包括：若所述已分配计算资源总量大于扩容阈值，则扩缩容操作结果为对集群进行扩容操作；若所述已分...

【专利技术属性】
技术研发人员：刘潭义，张观成，万书武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：