本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，涉及云计算领域。该方法包括：获取预设的大数据集群的集群信息；当基于集群信息确定出所述大数据集群满足所述扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。本申请实现了在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。同时又不会过度消耗云端资源。同时又不会过度消耗云端资源。
【技术实现步骤摘要】
集群的扩容方法、装置、电子设备及计算机可读存储介质
[0001]本申请涉及云计算
，具体而言，本申请涉及一种集群的扩容方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]现有技术中，以Hadoop(分布式系统基础架构)生态为核心的大数据应用，通常都是直接部署在物理机或者虚拟机上，并通过Yarn(Yet Another Resource Negotiator，另一种资源协调者)作为资源管理者和调度引擎，每台物理机或者虚拟机上部署了节点管理器，用于管理单台节点的资源，与同一节点中的资源管理器保持通信。
[0003]但是现有技术中的Yarn需要提前完成部署，当出现大量的突发业务时，则无法满足大量的业务需求。目前业界也没有成熟的解决方案，通常有两种临时方案进行规避：方案1：业务突增时根据实际的需求量进行手动扩容；方案2：根据经验评估资源需求量，提前扩容以预防业务突增。
[0004]但是上述两种方案也存在相应的缺点：1)如果选择方案1临时扩容，则面对大量的突发业务时，手动扩容难以在系统性能达到瓶颈前完成扩容，这将会严重影响系统的可用性；2)如果选择方案2提前扩容，首先在资源利用率和成本上会带来额外的支出，其次根据经验评估资源需求量，往往无法精确的预备所需资源。预备少了，业务突发时仍然需要临时手动扩容，同样会遇到方案一提到的缺点；预备多了，势必加重资源和成本的浪费。
技术实现思路
[0005]本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，可以解决上述的问题。所述技术方案如下：
[0006]一方面，提供了一种集群的扩容方法，该方法包括：
[0007]获取预设的大数据集群的集群信息；
[0008]当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。
[0009]优选地，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；
[0010]基于所述集群信息确定出所述大数据集群满足扩容条件，包括：
[0011]当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。
[0012]优选地，所述获取预设的大数据集群的集群信息，包括：
[0013]基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，
[0014]采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点
的负载计算得到平均负载。
[0015]优选地，所述向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器，包括：
[0016]基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；
[0017]基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。
[0018]优选地，所述集群信息还包括扩容时间点；基于所述集群信息确定出大数据集群是否满足预设的扩容条件，包括：
[0019]采用预设的定时组件检测是否达到所述扩容时间点；
[0020]若是，则判定所述大数据集群满足扩容条件。
[0021]另一方面，提供了一种集群的扩容方法，该方法包括：
[0022]接收预设的扩容组件发送的扩容请求，并从所述扩容请求中提取出资源模板；
[0023]基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。
[0024]优选地，所述基于所述资源模板生成对应的容器，包括：
[0025]基于所述资源模板从预设的镜像数据库下载得到节点管理器镜像；
[0026]依据所述节点管理器镜像创建节点管理器容器，并在所述节点管理器容器中运行节点管理器；
[0027]基于所述节点管理器镜像中预设的地址信息通过所述节点管理器向所述大数据集群中的资源管理器发起注册；
[0028]当注册成功时，得到用于处理预设的大数据集群接收到的待处理的任务事件的容器
[0029]另一方面，提供了一种集群的扩容装置，该装置包括：
[0030]获取模块，用于获取预设的大数据集群的集群信息；
[0031]发送模块，用于当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。
[0032]优选地，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；
[0033]优选地，还包括：
[0034]检测模块，用于当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。
[0035]优选地，所述获取模块具体用于：
[0036]基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，
[0037]采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。
[0038]优选地，所述发送模块，包括：
[0039]生成子模块，用于基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；
[0040]处理子模块，用于基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。
[0041]优选地，所述集群信息还包括扩容时间点；所述检测模块还用于：
[0042]采用预设的定时组件检测是否达到所述扩容时间点；若是，则判定所述大数据集群满足扩容条件。
[0043]另一方面，提供了一种集群的扩容装置，该装置包括：
[0044]接收模块，用于接收预设的扩容组件发送的扩容请求；
[0045]提取模块，用于从所述扩容请求中提取出资源模板；
[0046]生成模块，用于基于所述资源模板生成与所述扩容请求对应的容器；所述容器用于处理预设的大数据集群接收到的待处理的任务事件。
[0047]优选地，所述生成模块包括：
[0048]下载子模块，用于基于所述资源模板从预设的镜像数据库下载得到节点管理器镜像；
[0049]创建子模块，用于依据所述节点管理器镜像创建节点管理器容器，并在所述节点管理器容器中运行节点管本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种集群的扩容方法，其特征在于，包括：获取预设的大数据集群的集群信息；当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。2.根据权利要求1所述的集群的扩容方法，其特征在于，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；基于所述集群信息确定出所述大数据集群满足扩容条件，包括：当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。3.根据权利要求1或2所述的集群的扩容方法，其特征在于，所述获取预设的大数据集群的集群信息，包括：基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。4.根据权利要求1-3任一所述的集群的扩容方法，其特征在于，所述向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器，包括：基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。5.一种集群的扩容方法，其特征在于，包括：接收预设的扩容组件发送的扩容请求，并从所述扩容请求中提取出资源模板；基于所述...
【专利技术属性】
技术研发人员：王玉君，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。