一种节点资源优化方法、电子设备及存储介质技术

本发明专利技术提供了一种节点资源优化方法、电子设备及存储介质，方法包括：基于集群中每个队列的最小保证资源量、当前已使用资源量和当前等待资源量，确定该队列是否属于需要资源的队列，如果是，则将该队列存储至当前的资源需求队列集中；得到目标资源需求队列；判断弹性队列是否存在所述目标资源需求队列集中，如果不存在并且目标资源需求队列集不为空集，基于集群的当前可使用资源量获取目标资源需求队列集中每个队列的拟接收资源量，并基于每个队列的拟接收资源量确定目标待分配资源队列表；获取弹性队列的可被抢占的资源量；基于获取的弹性队列的可被抢占的资源量，为目标待分配资源队列表中的队列分配资源量。本发明专利技术能够提高集群的资源利用率。群的资源利用率。群的资源利用率。

【技术实现步骤摘要】
一种节点资源优化方法、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种节点资源优化方法、电子设备及存储介质。

技术介绍

[0002]目前，常使用一个或者多个集群来进行任务处理。然而，在一些使用场景下，会存在数据潮汐现象，即在某些时间段内提交的任务多而密集，使得集群资源不足以处理这些任务，而在某些时间段，提交的任务少且稀疏，会导致集群资源过剩。因此，需要对资源进行合理利用，以避免资源浪费。

技术实现思路

[0003]针对上述技术问题，本专利技术采用的技术方案为：
[0004]本专利技术实施例提供一种节点资源优化方法，应用于集群组的资源优化，所述集群组包括m个集群，第i个集群设置有g(i)个队列，包括一个弹性任务队列EQ
i
和g(i)
‑
1个正常任务队列，i的取值为1到m；每个队列设置有队列参数，所述队列参数至少包括队列ID、最小保证资源量、最大可使用资源量和队列属性标识；所述队列属性标识用于表征对应的队列是父队列还是叶子队列；
[0005]其中，所述节点资源优化方法包括以下步骤：
[0006]S100，判断当前时间是否需要启动抢占资源控制策略，如果需要，启动抢占资源控制流程，执行S200；否则，执行S100；
[0007]S200，基于g(i)个第r个队列的最小保证资源量minC
ri
、当前已使用资源量U
ri
和当前等待资源量W
ri
，确定第r个队列是否属于需要资源的队列，如果是，则将第r个队列存储至当前的资源需求队列集中；得到目标资源需求队列集；r的取值为1到g(i)；资源需求队列集的初始值为空集；
[0008]S300，判断EQ
i
是否存在所述目标资源需求队列集中，如果存在，退出当前抢占资源控制流程，执行S100；如果不存在，并且所述目标资源需求队列集不为空集，执行S400；
[0009]S400，基于第i个集群的当前可使用资源量获取目标资源需求队列集中每个队列的拟接收资源量，并基于每个队列的拟接收资源量确定目标待分配资源队列表；每个队列的拟接收资源量为第i个集群拟分配给对应队列的资源量，目标待分配资源队列表的初始集为空集；
[0010]S500，获取EQ
i
的可被抢占的资源量；
[0011]S600，基于获取的EQ
i
的可被抢占的资源量，为所述目标待分配资源队列表中的队列分配资源量。
[0012]本专利技术实施例提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如前述方法。
[0013]本专利技术实施例还提供一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
[0014]本专利技术至少具有以下有益效果：
[0015]本专利技术实施例提供的节点资源优化方法，由于在集群中设置了弹性队列，能够在集群的正常队列的资源不足以处理对应提交任务时，可通过停止执行弹性队列中的正在执行的任务来释放资源，以供需要资源的正常队列使用，从而能够使得集群的资源得到合理利用。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术实施例提供的节点资源优化方法的流程图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]本专利技术实施例提供一种节点资源优化方法，应用于集群组的资源优化，所述集群组包括m个集群，第i个集群设置有g(i)个队列，包括一个弹性任务队列EQ
i
和g(i)
‑
1个正常任务队列，i的取值为1到m；每个队列设置有队列参数，所述队列参数至少包括队列ID、最小保证资源量、最大可使用资源量和队列属性标识；所述队列属性标识用于表征对应的队列是父队列还是叶子队列。
[0020]在本专利技术实施例中，弹性队列用于处理优先级低的任务即相对不重要的任务，弹性队列的资源可被其它正常队列抢占。正常队列用于处理优先级相对高的任务即相对重要的任务。队列ID为队列的身份标识，可为自定义的编码值。队列的最小保证资源量可为该队列最低可使用对应集群的总资源的资源量，队列的最大可使用资源量可为该队列最多可使用对应集群的总资源的资源量。一般，弹性队列的最小保证资源量为0，最大可使用资源量可为集群的总资源即总资源的资源量的100％。正常队列的最小保证资源量可根据实际需要进行设置，例如，可为对应集群的总资源的资源量的20％、80％等，最大可使用资源量可为集群的总资源即总资源的资源量的100％。队列属性标识可基于实际情况设置，例如，父队列标识可为01，叶子队列标识可为00等，本专利技术不做特别限定。
[0021]在本专利技术实施例中，集群组可部署在现有的数据处理平台上。节点资源优化方法可由服务器/终端设备等执行设备执行。
[0022]进一步地，在本专利技术实施例中，所述节点资源优化方法可包括如图1所示的步骤：
[0023]S100，判断当前时间是否需要启动抢占资源控制策略，如果需要，启动抢占资源控制流程，执行S200；否则，执行S100。
[0024]在本专利技术实施例中，执行设备可按照设定时间周期开启抢占资源控制策略，设定时间周期可根据执行设备的处理性能确定，处理性能越高，设定时间周期可越短，反之，可越长。在一个示意性实施例中，设定时间周期可为3s。
[0025]S200，基于g(i)个第r个队列的最小保证资源量minC
ri
、当前已使用资源量U
ri
和当前等待资源量W
ri
，确定第r个队列是否属于需要资源的队列，如果是，则将第r个队列存储至当前的资源需求队列集中；得到目标资源需求队列集；r的取值为1到g(i)；资源需求队列集的初始值为空集。W
ri
为提交到第r个队列中等待分配资源的任务所需要的资源。
[0026]进一步地，S200可具体包括：
[0027]S201，获取第r个队列的基础资源分配量Pb
ri
＝min(minC
ri
，U
ri
)。
[0028]S202，如果Pb
ri
＜(U
ri
+W
ri
)，则说明第r个队列资源不足以分配当前提交的任务，确定第r个队列属于需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种节点资源优化方法，其特征在于，应用于集群组的资源优化，所述集群组包括m个集群，第i个集群设置有g(i)个队列，包括一个弹性任务队列EQ
i
和g(i)
‑
1个正常任务队列，i的取值为1到m；每个队列设置有队列参数，所述队列参数至少包括队列ID、最小保证资源量、最大可使用资源量和队列属性标识；所述队列属性标识用于表征对应的队列是父队列还是叶子队列；其中，所述节点资源优化方法包括以下步骤：S100，判断当前时间是否需要启动抢占资源控制策略，如果需要，启动抢占资源控制流程，执行S200；否则，执行S100；S200，基于g(i)个第r个队列的最小保证资源量minC
ri
、当前已使用资源量U
ri
和当前等待资源量W
ri
，确定第r个队列是否属于需要资源的队列，如果是，则将第r个队列存储至当前的资源需求队列集中；得到目标资源需求队列集；r的取值为1到g(i)；资源需求队列集的初始值为空集；S300，判断EQ
i
是否存在所述目标资源需求队列集中，如果存在，退出当前抢占资源控制流程，执行S100；如果不存在，并且所述目标资源需求队列集不为空集，执行S400；S400，基于第i个集群的当前可使用资源量获取目标资源需求队列集中每个队列的拟接收资源量，并基于每个队列的拟接收资源量确定目标待分配资源队列表；每个队列的拟接收资源量为第i个集群拟分配给对应队列的资源量，目标待分配资源队列表的初始集为空集；S500，获取EQ
i
的可被抢占的资源量；S600，基于获取的EQ
i
的可被抢占的资源量，为所述目标待分配资源队列表中的队列分配资源量。2.根据权利要求1所述的方法，其特征在于，S200具体包括：S201，获取第r个队列的基础资源分配量Pb
ri
＝min(minC
ri
，U
ri
)；S202，如果Pb
ri
＜U
ri
+W
ri
，则确定第r个队列属于需要资源的队列。3.根据权利要求1所述的方法，其特征在于，S400具体包括：S401，获取目标资源需求队列集中任一队列s的优先级系数f
si
＝U
si
/minC
si
，U
si
为目标资源需求队列集中第s个队列的当前已使用资源量，minC
si
目标资源需求队列集中第s个队列的当前等待资源量，s的取值为1到h(i)，h(i)为目标资源需求队列集中的队列的数量；得到优先级系数表f
i
＝(f
1i
，f
2i
，
……
，f
si
，
……
，f
h(i)i
)；S402，将f
i
按照升序方式进行排序，得到排序后的优先级系数表fa
i
＝(fa
1i
，fa
2i
，
……
，fa
ei
，
……
，fa
h(i)i
)；e的取值为1到h(i)；S403，获取第e个队列的第一拟接受资源量R1 ei
＝min(min(U
ei
+W
ei
‑
min(minC
ei
，U
ei
))，UQ
i
)，maxC
ei
)，其中，UQ
i
为第i个集群的当前可使用资源量，maxC
ei
为第e个队列的最大可使用资源量；S404，如果第e个队列为叶子队列，则获取第e个队列的第二拟接受资源量R2 ei
＝min(R1 ei
，max(minC
ei
，U
ei
)
‑
min(minC
ei
，U
ei
))，并设置第e个队列的最终拟接受资源量RE
ei
＝R2
ei
，否则，设置RE
ei
＝R1
ei
；并将第e个队列的ID和对应的RE
ei
存储至当前的待分配资源队列表中；S405，设置UQ
i
＝UQ
i
‑
RE
ei
，如果UQ
i
≤0，执行S407；否则，执行S406；
S406，设置e＝e+1，如果e≤h(i)；执行S403；否则，执行S407；S407，将当前的待分配资源队列表作为目标待分配资源队列表。4.根据权利要求1所述的方法，其特征在于，S500具体包括：S501，获取第r个队列的假定资源分配量A
ri
＝min(minC
ri
，U
ri
)+
△
...

【专利技术属性】
技术研发人员：张衍林，于林斌，廉俊智，董霖，段永康，
申请(专利权)人：每日互动股份有限公司，
类型：发明
国别省市：