集群节点处理方法、系统、电子设备及存储介质技术方案

本发明专利技术提供一种集群节点处理方法、系统、电子设备及存储介质，其中，该方法包括：实时获取集群中各节点的可用资源；按顺序获取目标任务队列中待执行任务的资源需求；当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；将所述待执行任务分配至所述新节点上执行。能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。此外，由于本发明专利技术的任务在执行前被放入到任务队列中，任务队列的缓冲作用可以保证任务不丢失，使得任务能够可靠执行。可靠执行。可靠执行。

【技术实现步骤摘要】
集群节点处理方法、系统、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种集群节点处理方法、系统、电子设备及存储介质。

技术介绍

[0002]目前，集群因能够满足多用户多任务的算力需求而被广泛使用。传统的集群节点是预先配置的，虽然容易实现，但随着用户数量和任务规模的变化需要人工手动介入调整节点数量，除了配置复杂、不够敏捷、容易出错，还会带来一定的维护成本和资源消耗。

技术实现思路

[0003]针对上述现有技术的不足，本专利技术的目的在于提供一种集群节点处理方法、系统、电子设备及存储介质，以实现集群节点的自适应调整。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]第一方面，本专利技术提供一种集群节点处理方法，包括：
[0006]实时获取集群中各节点的可用资源；
[0007]按顺序获取目标任务队列中待执行任务的资源需求；
[0008]当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
[0009]将所述待执行任务分配至所述新节点上执行。
[0010]优选地，所述按顺序获取目标任务队列中待执行任务的资源需求，包括：
[0011]按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者
[0012]按预设的优先级顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求。
[0013]优选地，所述目标任务队列中的每个任务分别标注有对应的任务类型；
[0014]所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
[0015]获取所述待执行任务的任务类型；
[0016]获取与所述待执行任务的任务类型对应的目标节点类型；
[0017]增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。
[0018]优选地，所述任务类型包括：内存增强型、计算密集型和IO密集型。
[0019]优选地，所述集群为云集群；
[0020]所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
[0021]根据所述待执行任务的资源需求，通过云平台接口添加新节点至所述集群。
[0022]优选地，所述方法还包括：
[0023]当所述集群中有至少一个节点的当前可用资源满足所述资源需求时，将所述待执
行任务分配至所述至少一个节点中的其中一个节点上执行。
[0024]优选地，所述方法还包括：
[0025]检测所述集群中是否有节点为空闲节点，若有，则将该节点从所述集群中去除。
[0026]第二方面，本专利技术提供一种集群节点处理系统，包括：
[0027]可用资源获取模块，用于实时获取集群中各节点的可用资源；
[0028]资源需求获取模块，用于按顺序获取目标任务队列中待执行任务的资源需求；
[0029]扩容模块，用于在所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
[0030]任务调度模块，用于将所述待执行任务分配至所述新节点上执行。
[0031]第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如前所述的集群节点处理方法的步骤。
[0032]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如前所述的集群节点处理方法的步骤。
[0033]通过采用上述技术方案，本专利技术具有如下有益效果：
[0034]本专利技术通过实时获取集群中各节点的可用资源，按顺序获取目标任务队列中待执行任务的资源需求，当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群，并将所述待执行任务分配至所述新节点上执行，从而能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。此外，由于本专利技术的任务在执行前被放入到任务队列中，任务队列的缓冲作用可以保证任务不丢失，使得任务能够可靠执行。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术实施例1的集群节点处理方法的流程示意图；
[0037]图2为本专利技术实施例2的集群节点处理系统的结构框图；
[0038]图3为本专利技术实施例3的电子设备的硬件架构图。
具体实施方式
[0039]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。
[0041]实施例1
[0042]本实施例提供一种集群节点处理方法，如图1所示，该方法主要包括以下步骤：
[0043]S1，实时获取集群中各节点的可用资源。
[0044]具体地，在集群中可包含多个用于执行任务的节点，每个节点均配置有相应的资源总量，本实施例对各节点的已使用资源进行实时监控，通过从各节点的资源总量中去除相应节点的已使用资源，即可获得各节点的实时可用资源，该可用资源表示相应节点未被使用的资源。
[0045]S2，按顺序获取目标任务队列中待执行任务的资源需求。
[0046]当用户有某项任务需要进行处理时，会通过客户端发送任务请求，这些任务将放入到目标任务队列当中，以通过任务队列的缓冲作用保证任务不丢失，使得任务能够可靠执行。
[0047]在本实施例中，任务队列可以支持多种策略，可以先进先出，也可以按优先级顺序执行。因此，步骤S2具体可以包括：按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者，按预设的优先级顺序从所述目标任务队列中提取待执行任务(队列中的每个任务均标注有对应的优先级，按优先级从高到低的顺序提取任务，若优先级相同，则先提取先进入队列的任务)，并获取所述待执行任务的资源需求。具体根据预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群节点处理方法，其特征在于，该方法包括：实时获取集群中各节点的可用资源；按顺序获取目标任务队列中待执行任务的资源需求；当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；将所述待执行任务分配至所述新节点上执行。2.如权利要求1所述的集群节点处理方法，其特征在于，所述按顺序获取目标任务队列中待执行任务的资源需求，包括：按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者按预设的优先级顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求。3.如权利要求1所述的集群节点处理方法，其特征在于，所述目标任务队列中的每个任务分别标注有对应的任务类型；所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：获取所述待执行任务的任务类型；获取与所述待执行任务的任务类型对应的目标节点类型；增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。4.如权利要求3所述的集群节点处理方法，其特征在于，所述任务类型包括：内存增强型、计算密集型和IO密集型。5.如权利要求1所述的集群节点处理方法，其特征在于，所述集群为云集群；所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：根据所述...

【专利技术属性】
技术研发人员：梁璞，唐昌颀，
申请(专利权)人：上海楷领科技有限公司，
类型：发明
国别省市：