高性能计算机工作流调度的性能计算方法、系统及介质技术方案

本发明专利技术公开了一种高性能计算机工作流调度的性能计算方法、系统及介质，本发明专利技术包括初始化集合X及可开始运行任务的集合Y，然后迭代：若X的任务v

【技术实现步骤摘要】
高性能计算机工作流调度的性能计算方法、系统及介质


[0001]本专利技术涉及高性能计算机的工作流调度技术，具体涉及一种高性能计算机工作流调度的性能计算方法、系统及介质。

技术介绍

[0002]工作流(科学工作流)是实现各种科学研究目标而定义的任务序列。在面向服务的体系结构开发及其松耦合特性推动下，工作流已经在当前的分布式和动态环境中成为一种关键技术。工作流在描述复杂科学问题时具有突出的优势，这使得它通常用于解决生物信息学、天文学和物理学等领域的大规模科学问题。具体而言，工作流通常由多个具有严格依赖关系的独立的计算任务组成。有向无环图是表示工作流的有效工具。如图1所示，图中的节点表示工作流中的独立任务，有向边则表示任务间的依赖关系。节点的权重表示该任务需要的计算资源数量(核心数或节点数)，有向边的权重表示两个任务之间的数据依赖关系。例如，参见图1，其中的任务v1的权重2表示任务v1需要使用2个计算资源(2个核心或2个计算节点)，从任务v1到任务v3的有向边表示任务v3需要在任务v1之后开始运行，并且需要读取任务v1生成的10GB的数据。
[0003]工作流调度的目的是在满足用户需求和资源提供者管理指标的同时，保持计算系统良好的整体性能或吞吐量。对于单个工作流，最小化工作流的完成时间是一个普遍的调度目标。对于给定工作流，其完成时间越短，则工作流调度性能越高。为工作流分配的计算和I/O资源数量以及调度策略都会影响工作流的调度性能。近年来，随着大规模高性能计算机的并行性能不断提高，高性能计算机逐渐成为工作流的重要运行平台。在高性能计算机上调度工作流的场景较为复杂。图2展示了在高性能计算机上调度工作流的场景。首先在高性能计算机上开辟一个临时的独立资源分区，工作流中的所有任务都在该分区内运行，其中分区内的资源总数应大于任何一个任务的资源需求。每个工作流任务作为一个单独的批处理任务在合适的时间点提交到高性能计算机上运行。共享文件系统是任务间数据传输的存储介质，每个工作流任务从共享文件系统中读取数据并向共享文件系统中写入数据。在工作流的运行过程中，同时运行的不同任务之间存在I/O干扰，且该资源分区对文件系统的读写速率可能随时间变化。突发缓冲区是为了满足用户对更好的I/O性能的要求所提出的一种存储技术。采用突发缓冲区可以提高应用程序可用的总带宽。因此，对于拥有一定突发缓冲区容量的高性能计算机，根据突发缓冲区容量大小，可以允许部分任务或者全部任务使用突发缓冲区以提高应用的I/O效率。当一个任务被允许使用突发缓冲区时，它的所有输出都被定向到突发缓冲区。但对于每一个任务而言，该任务从何处(共享文件系统或突发缓冲区)读取数据取决于其前序任务是否使用了突发缓冲区。由此可见，在高性能计算机上调度工作流的场景十分复杂，目前缺乏一种有效的工具以研究工作流调度运行过程中各变量对工作流调度性能影响，特别是各调度策略对工作流调度性能的影响。此外，对于给定工作流，很难确定达到最佳工作流调度性能所需的最小资源数量。因此，如何实现高性能计算机工作流调度的性能计算，已成为一项亟待解决的关键技术问题。

技术实现思路

[0004]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种高性能计算机工作流调度的性能计算方法、系统及介质，本专利技术能够实现高性能计算机工作流调度的性能量化计算，以快速确定工作流调度运行过程中各变量对工作流调度性能影响，从而可方便确定最佳工作流调度性能所需的最小资源数量。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种高性能计算机工作流调度的性能计算方法，包括：
[0007]S1，初始化变量k为1、第k阶段的完成时间T
k
为0；将工作流中所有任务的起始时间和终止时间置0；初始化用于记录当前正运行任务的集合X为空及可开始运行任务的集合Y；
[0008]S2，针对集合X的所有任务，若某一任务v
i
的终止时间等于变量k则更新集合X和集合Y；
[0009]S3，若集合Y非空，则从集合Y中选择现在开始运行任务的集合Z，若集合Z非空则跳转S4；否则跳转S5；
[0010]S4，针对集合Z中的每一个任务，更新该任务的起始时间为变量k，且将该任务加入集合X中：
[0011]S5，针对集合X中的每一个任务v
i
，计算任务v
i
对共享文件系统的读写带宽，并根据该任务的对共享文件系统的读写带宽计算任务v
i
在第k阶段的预估结束时间
[0012]S6，根据集合X中所有任务，确定在第k阶段的预估结束时间最短的任务v
n
，将任务v
n
对应的预估结束时间赋值给第k阶段的完成时间T
k
，并设置任务v
n
的结束时间为k+1；
[0013]S7，若集合X和集合Y均为空，则将所有第k阶段的完成时间T
k
的总和作为工作流的总完成时间，结束并退出；否则，将变量k加1，跳转步骤S2以进入下一个阶段。
[0014]可选地，步骤S2中更新集合X和集合Y的函数表达式为：
[0015]X＝X
‑
v
i
，
[0016][0017]上式中，v
i
为终止时间等于变量k的任务，v
j
为任务v
i
的后继任务集合succ(v
i
)中的任务，v
m
为任务v
j
的前继任务集合pred(v
j
)中的任务，e
m
为任务v
m
的结束时间。
[0018]可选地，步骤S5中计算任务v
i
在第k阶段的预估结束时间的函数表达式为：
[0019][0020]上式中，为任务v
i
在第k+1阶段的预估结束时间，T
k
为第k阶段的完成时间，C
i
为任务v
i
的总计算量，为任务v
i
在第m阶段的计算量，p
i
为任务v
i
使用的计算节点数量，s为计算节点的运算速度，和分别为任务v
i
在第k阶段对共享文件系统的读、写带宽，FI
i
和FO
i
分别表示任务v
i
对共享文件系统的读、写数据总大小，BI
i
和BO
i
分别表示任务
v
i
对突发缓冲区的读、写数据总大小，F为共享文件系统大小，B为突发缓冲区大小，I
i
和O
i
分别为任务v
i
的读、写数据总大小，和W
i(k)
分别为任务v
i
在第k阶段的读、写数据大小。
[0021]可选地，步骤S5中还包括针对集合X中的每一个任务v...

【技术保护点】

【技术特征摘要】
1.一种高性能计算机工作流调度的性能计算方法，其特征在于，包括：S1，初始化变量k为1、第k阶段的完成时间T
k
为0；将工作流中所有任务的起始时间和终止时间置0；初始化用于记录当前正运行任务的集合X为空及可开始运行任务的集合Y；S2，针对集合X的所有任务，若某一任务v
i
的终止时间等于变量k则更新集合X和集合Y；S3，若集合Y非空，则从集合Y中选择现在开始运行任务的集合Z，若集合Z非空则跳转S4；否则跳转S5；S4，针对集合Z中的每一个任务，更新该任务的起始时间为变量k，且将该任务加入集合X中；S5，针对集合X中的每一个任务v
i
，计算任务v
i
对共享文件系统的读写带宽，并根据该任务的对共享文件系统的读写带宽计算任务v
i
在第k阶段的预估结束时间S6，根据集合X中所有任务，确定在第k阶段的预估结束时间最短的任务v
n
，将任务v
n
对应的预估结束时间赋值给第k阶段的完成时间T
k
，并设置任务v
n
的结束时间为k+1；S7，若集合X和集合Y均为空，则将所有第k阶段的完成时间T
k
的总和作为工作流的总完成时间，结束并退出；否则，将变量k加1，跳转步骤S2以进入下一个阶段。2.根据权利要求1所述的高性能计算机工作流调度的性能计算方法，其特征在于，步骤S2中更新集合X和集合Y的函数表达式为：X＝X
‑
v
i
，上式中，v
i
为终止时间等于变量k的任务，v
j
为任务v
i
的后继任务集合succ(v
i
)中的任务，v
m
为任务v
j
的前继任务集合pred(v
j
)中的任务，e
m
为任务v
m
的结束时间。3.根据权利要求1所述的高性能计算机工作流调度的性能计算方法，其特征在于，步骤S5中计算任务v
i
在第k阶段的预估结束时间的函数表达式为：上式中，为任务v
i
在第k+1阶段的预估结束时间，T
k
为第k阶段的完成时间，C
i
为任务v
i
的总计算量，为任务v
i
在第m阶段的计算量，p
i
为任务v
i
使用的计算节点数量，s为计算节点的运算速度，和分别为任务v
i
在第k阶段对共享文件系统的读、写带宽，FI
i
和FO
i
分别表示任务v
i
对共享文件系统的读、写数据总大小，BI
i
和BO
i
分别表示任务v
i
对突发缓冲区的读、写数据总大小，F为共享文件系统大小，B为突发缓冲区大小，I
i
和O
i
分别为任务v
i
的读、写数据总大小，和分别为任务v
i
在第k阶段的读、写数据大小。4.根据权利要求3所述的高性能计算机工作流调度的性能计算方法，其特征在于，步骤S5中还包括针对集合X中的每一个任务v
i
，计算任务v
i
对在第k阶段的计算量，且计算任务v
i
对在第k阶段的计算量的函数表达式为：
上式中，为任务v
i
在第k阶段的计算量，T
k+1
为第k+1阶段的完成时间，min表示取最小值，R
B
和W
B
分别为突发缓冲区的读、写带宽。5.根据权利要求4所述的高性能计算机工作流调度的性能计算方法，其特征在于，所述任务v
i
在第k阶段的读带宽、任务v
i
在第k阶段的写带宽的计算函数表达式为：在第k阶段的写带宽的计算函数表达式为：上式中，和分别为任务v<...

【专利技术属性】
技术研发人员：董勇，戴屹钦，王睿伯，卢凯，张伟，张文喆，谢旻，周恩强，迟万庆，邬会军，李佳鑫，吴振伟，雷斐，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：