一种用于超级计算中心的并行任务调度方法和系统技术方案

本发明专利技术公开了一种用于超级计算中心的并行任务调度方法，提出了基于现有的超算环境下处理器的使用价格和网格作业调度系统中普遍存在的任务并行执行问题的实现方法，通过衡量任务执行的调度价格和调度算法的执行效果以及处理器负载均衡等各项性能指标，本发明专利技术能够用更低的价格可以执行同等的任务，在不同的超级计算中心平台上，本发明专利技术可以用更低的开销维持更好的性能，同时算法的执行更为高效，并且该计算方法保持了很好的处理器负载均衡，得到了一个较优的调度执行结果。本发明专利技术可以充分利用现有的硬件资源进行计算，并且在操作中证明了该方法的执行高效性，以及所使用的调度算法的并行执行的可靠性，同时也很好的保证了处理器间的负载均衡。

A parallel task scheduling method and system for Supercomputing Center

【技术实现步骤摘要】
一种用于超级计算中心的并行任务调度方法和系统
本专利技术属于计算机高性能计算
，更具体地，涉及一种用于超级计算中心的并行任务调度方法和系统。
技术介绍
目前，使用超级计算中心的计算资源进行高性能计算研究已经在国内得到了极大的普及。然而，目前大部分超级计算中心针对任务的调度策略都存在一些不可忽略的问题：第一，由于任务调度的不充分性，导致作业的排队时间过长，造成调度效率低下；第二，由于各地对使用超级计算中心的定价不一样，导致需要大规模处理器进行计算的作业需要花费更高的价格完成计算，从而大大增加了成本；第三，由于该调度策略未使用有效的负载均衡策略，任务在可以提供计算的多个队列中不能被高效的调度到空闲队列上进行计算，导致负载较轻的队列处于空闲状态，负载较重的队列处于满负荷状态，从而造成严重的负载不均衡状况，进而形成了较为严重的调度性能瓶颈。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种用于超级计算中心的并行任务调度方法和系统，其目的在于，解决现有超级计算中心所使用的调度策略由于任务调度的不充分性本文档来自技高网...

【技术保护点】
1.一种用于超级计算中心的并行任务调度方法，是应用在客户端中，其特征在于，所述方法包括以下步骤：/n(1)获取来自用户的文本文件，其中文本文件中记载了待调度作业信息、可调度队列信息、以及服务端计算能力信息；/n(2)对获得的文本文件进行预处理，以得到预处理后的文本文件；/n(3)对服务端计算能力信息中所有的服务端CPU处理频率进行归一化处理，并使用归一化后的服务端CPU处理频率对该服务端计算能力信息进行更新；/n(4)根据待调度作业信息对可调度队列信息中的调度队列名进行筛选，以得到筛选后的调度队列集合；/n(5)根据待调度作业信息中作业运行所需CPU核数计算步骤(4)筛选后的调度队列集合中每个...

【技术特征摘要】
1.一种用于超级计算中心的并行任务调度方法，是应用在客户端中，其特征在于，所述方法包括以下步骤：
(1)获取来自用户的文本文件，其中文本文件中记载了待调度作业信息、可调度队列信息、以及服务端计算能力信息；
(2)对获得的文本文件进行预处理，以得到预处理后的文本文件；
(3)对服务端计算能力信息中所有的服务端CPU处理频率进行归一化处理，并使用归一化后的服务端CPU处理频率对该服务端计算能力信息进行更新；
(4)根据待调度作业信息对可调度队列信息中的调度队列名进行筛选，以得到筛选后的调度队列集合；
(5)根据待调度作业信息中作业运行所需CPU核数计算步骤(4)筛选后的调度队列集合中每个调度队列的使用价格。
(6)设置计数器i＝1；
(7)判断i是否大于调度作业信息中作业名称对应的作业总数，如果是则转入步骤(11)，否则进入步骤(8)；
(8)从步骤(5)得到的多个调度队列的标准使用价格中选择最小使用价格对应的调度队列，将待调度作业信息中作业名称对应的第i项作业调度到最小使用价格对应的调度队列执行；
(9)在第i项作业被对应的调度队列执行完毕后，在可调度队列信息中更新该调度队列将被作业运行所占用的预测CPU核数；
(10)设置i＝i+1，并返回步骤(7)。
(11)将已经被执行完毕的每一个作业的编号、该作业在待调度作业信息中对应的作业名称、该作业在待调度作业信息中对应的作业全局ID、执行该作业的服务端在可调度队列信息中对应的调度队列所属服务端名、以及调度队列名保存。


2.根据权利要求1所述的并行任务调度方法，其特征在于，待调度作业信息包括作业全局ID、作业名称、作业运行所需软件名、作业运行所需软件版本、预估作业运行完成时间、以及作业运行所需CPU核数。


3.根据权利要求1或2所述的并行任务调度方法，其特征在于，可调度队列信息包括调度队列所属服务端名、调度队列名、调度队列名中每个调度队列为作业运行提供的最大/最小CPU核数、调度队列名中每个调度队列对作业运行的最大时间限制、调度队列名中每个调度队列所包含的软件名、调度队列名中每个调度队列所包含的软件版本、以及调度队列名中每个调度队列的使用机时费。


4.根据权利要求1至3中任意一项所述的并行任务调度方法，其特征在于，服务端计算能力信息包括服务端名、服务端可提供的调度队列名、以及服务端CPU处理频率。


5.根据权利要求4所述的并行任务调度方法，其特征在于，步骤(4)具体为，在待调度作业信息中查找同时满足调度队列所包含的软件名与待调度作业信息中该作业运行所需软件名符合、调度队列所包含的软件版本与待调度作业信息中的作业运行所需软件版本符合、调度队列为作业运行提供的最大/最小CPU核数包含有待调度作业信息中的该作业运行所需CPU核数、以及调度队列对作业运行的最...

【专利技术属性】
技术研发人员：唐卓，肖雄，李肯立，蒋冰婷，李文，朱锦涛，唐小勇，阳王东，周旭，刘楚波，曹嵘晖，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43