基于优先级的超算节点使用方法、电子设备和存储介质技术

本发明专利技术提供了一种基于优先级的超算节点使用方法、电子设备和存储介质，涉及大数据处理领域。所述方法包括：S100，在检测到存在未处理的计算任务时，执行S200；S200，基于当前未处理的计算任务和预设超算节点使用优先级信息表，获取按优先级从高到低的顺序排列的待计算文件集C；S300，获取可使用超算节点，并利用获取到的可使用超算节点对C中的待计算任务依次进行处理。本发明专利技术在出现任务排队时，能够基于用户提供的计算任务的数量、平均单个任务的计算耗时和任务紧急情况来分配超算节点，从而能够使得超算节点的使用变得更加合理。够使得超算节点的使用变得更加合理。够使得超算节点的使用变得更加合理。

【技术实现步骤摘要】
基于优先级的超算节点使用方法、电子设备和存储介质


[0001]本专利技术涉及大数据处理领域，特别是涉及一种基于优先级的超算节点使用方法、电子设备和存储介质。

技术介绍

[0002]随着超级计算的应用与推广，超算用户的逐年增加，超算上提交的任务量也越来越多。虽然超级计算有强大的计算能力和巨量的计算资源，但计算资源并非无穷多，为使有限的计算资源，满足日益增长的计算任务需求，需要对超算资源进行科学的统筹分配，以达到超算资源高效利用的目的。用户使用超算资源的需求存在差异，资源需求场景具有多样性：有时，用户计算任务数量不多，但是单个计算任务的计算量非常大；有时，用户计算任务数量非常多，但是单个计算任务的计算量不大；有时，用户虽然计算数量不多，且单个计算任务计算量不大，但是计算任务非常紧急，需要快速分配计算资源；有时客户计算任务多，计算量大，且计算紧急等。面对计算资源多场景使用需求，如果对用户使用资源没有优先级或其他限定，就会导致计算资源分配不合理：一些任务占用大量计算节点，但是任务并不紧急，但是一些需要紧急计算的任务，却因为节点被大量占用而不能及时分配计算节点。

技术实现思路

[0003]针对上述技术问题，本专利技术采用的技术方案为：本专利技术实施例提供一种基于优先级的超算节点使用方法，包括以下步骤：S100，在检测到存在未处理的计算任务时，执行S200。
[0004]S200，基于当前未处理的计算任务和m个预设超算节点使用优先级信息表，获取按优先级从高到低的顺序排列的待计算任务组集C=（C1，C2，<br/>…
，Ck，
…
，CL）；其中，第i个预设超算节点使用优先级信息表的第j行包括（W
ij
，A
ij
，T
ij
，E
ij
），W
ij
为第i个预设超算节点使用优先级信息表中的第j个任务类型，A
ij
为W
ij
对应的任务量，T
ij
为W
ij
对应的平均单个任务计算耗时，E
ij
为W
ij
对应的任务属性， W
ij
对应的优先级为Pi,i的取值为1到m，j的取值为1到f（i），f（i）为第i个预设超算节点使用优先级信息表的任务类型数量；P1＞P2＞
…
＞Pj＞
…
＞Pm；第k个任务组Ck=（Ck1，Ck2，
…
，Ck
r
，
…
，Ck
f(k)
）, Ck
r
为Ck中的第r个待计算任务集，Ck
r
=（IDCk
r
，RCk
r1
，RCk
r2
，
…
，RCk
rb
，
…
，RCk
rh（k，r）
），IDCk
r
为Ck
r
对应的用户ID，RCk
rb
为Ck
r
中的第b个待计算任务，Ck
r
的优先级为G
k
，Ck
r
的执行顺序为r，k的取值为1到L，L为C中的待计算任务组的数量，L≤m；r的取值为1到f（k），f（k）为Ck中的待计算任务集的数量，b的取值为1到h（k，r），h（k，r）为Ck
r
中的待计算任务的数量。
[0005]S300，获取可使用超算节点，并利用获取到的可使用超算节点对C中的待计算任务依次进行处理。
[0006]S300具体包括：S310，获取从任务计算节点中释放的超算节点，得到可使用超算节点；S320，如果当前处理的Ck
r
对应的任务量和平均单个任务计算耗时满足第一设定
条件，执行S330；如果满足第二设定条件，执行S340；否则，执行S360；S330，如果Ck
r
中已计算的任务数量Q（k，r）＜D1，则利用可使用超算节点继续计算Ck
r
中的D1
‑
Q（k，r）个待计算任务，执行S350；如果Q（k，r）=D1，执行S350；D1为第一设定阈值；S340，如果Ck
r
中已计算的任务数量Q（k，r）＜D2，则利用可使用超算节点继续计算Ck
r
中的D1
‑
Q（k，r）个待计算任务，执行S350；如果Q（k，r）=D2，执行S350；D2为第二设定阈值；S350，将Ck
r
的执行顺序调整为f(k)，并将Ck中除Ck
r
之外的待计算任务集的执行顺序分别增加1；执行S370；S360，利用可使用超算节点对Ck
r
中的待计算任务进行计算，在Ck
r
中的所有待计算任务计算完后，执行S370；S370，设置r=r+1；如果r≤f（k），执行S320，否则，执行S380；S380，设置k=k+1；如果k≤L，执行S320；否则，退出控制程序。
[0007]本专利技术实施例还提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述方法。
[0008]本专利技术实施例还提供一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
[0009]本专利技术至少具有以下有益效果：本专利技术实施例提供的基于优先级的超算节点使用方法，在出现任务排队时，能够基于用户提供的计算任务的数量、平均单个任务的计算耗时和任务紧急情况来分配超算节点，从而能够使得超算节点的使用变得更加合理。
附图说明
[0010]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术实施例提供的基于优先级的超算节点使用方法的流程图。
具体实施方式
[0012]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]本专利技术实施例提供一种基于优先级的超算节点使用方法，会基于用户发送的待计算任务和当前可使用超算节点，为每个任务分配超算节点。在超算节点充足的情况下，会根据计算任务的提交时间，按照先提交先计算的原则分配超算节点。在当前可使用超算节点不足时，即出现待计算任务处于排队状态时，会基于设定的优先级机制分配节点资源。具体
地，如图1所示，所述方法可包括如下步骤：S100，在检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于优先级的超算节点使用方法，其特征在于，所述方法包括：S100，在检测到存在未处理的计算任务时，执行S200；S200，基于当前未处理的计算任务和m个预设超算节点使用优先级信息表，获取按优先级从高到低的顺序排列的待计算任务组集C=（C1，C2，
…
， Ck，
…
，CL）；其中，第i个预设超算节点使用优先级信息表的第j行包括（W
ij
，A
ij
，T
ij
，E
ij
），W
ij
为第i个预设超算节点使用优先级信息表中的第j个任务类型，A
ij
为W
ij
对应的任务量，T
ij
为W
ij
对应的平均单个任务计算耗时，E
ij
为W
ij
对应的任务属性，W
ij
对应的优先级为Pi，i的取值为1到m，j的取值为1到f（i），f（i）为第i个预设超算节点使用优先级信息表的任务类型数量；P1＞P2＞
…
＞Pi＞
…
＞Pm；第k个待计算任务组Ck=（Ck1，Ck2，
…
，Ck
r
，
…
，Ck
f(k)
）, Ck
r
为Ck中的第r个待计算任务集，Ck
r
=（IDCk
r
，RCk
r1
，RCk
r2
，
…
，RCk
rb
，
…
，RCk
rh（k，r）
），IDCk
r
为Ck
r
对应的用户ID，RCk
rb
为Ck
r
中的第b个待计算任务，Ck
r
的优先级为G
k
，Ck
r
的执行顺序为r，k的取值为1到L，L为C中的待计算任务组的数量，L≤m；r的取值为1到f（k），f（k）为Ck中的待计算任务集的数量，b的取值为1到h（k，r），h（k，r）为Ck
r
中的待计算任务的数量，G
k
∈{P1，P2，
…
，Pm}；S300，获取可使用超算节点，并利用获取到的可使用超算节点对C中的待计算任务依次进行处理；S300具体包括：S310，获取从任务计算节点中释放的超算节点，得到可使用超算节点；S320，如果当前处理的Ck
r
对应IDCk
r
对应的总任务量和平均单个任务计算耗时满足第一设定条件，执行S330；如果满足第二设定条件，执行S340；否则，执行S360；S330，如果Ck
r
中已计算的任务数量Q（k，r）＜D1，则利用可使用超算节点继续计算Ck
r
中的（D1
‑ꢀ
Q（k，r））个待计算任务，执行S350；如果Q（k，r）=D1，执行S350；D1为第一设定阈值；S340，如果Ck
r
中已计算的任务数量Q（k，r）＜D2，则利用可使用超算节点继续计算Ck
r
中的（D2

【专利技术属性】
技术研发人员：李健增，孟祥飞，张振伟，张士岩，刘金明，冯源，孙娜，唐斌，
申请(专利权)人：天河超级计算淮海分中心，
类型：发明
国别省市：