一种基于容器分发机制的跨超算中心任务调度方法和系统技术方案

本发明专利技术公开了一种基于容器分发机制的跨超算中心任务调度方法和系统，属于超算技术领域

【技术实现步骤摘要】
一种基于容器分发机制的跨超算中心任务调度方法和系统


[0001]本专利技术涉及一种基于容器分发机制的跨超算中心任务调度方法和系统，属于超算

。

技术介绍

[0002]随着超算任务作业规模的不断扩大，如何形成统一的任务调度，协同多个超算中心高效地任务调度，实现多超算中心间的作业迁移容错，解决负载均衡问题，就成为迫切需要解决的问题
。
[0003]中国专利（公布号：
CN110457131A
）公开了一种电力系统超算平台任务调度方法及系统，其包括：节点调整步骤：预测未来集群资源使用率，若偏低，则减少开启节点数量，若偏高，则增加开启节点数量；资源配置步骤：预测未来集群资源使用率，若偏低，则在任务需求允许范围内，增加容器的资源配置，若偏高，则在任务需求允许范围内，减少容器的资源配置；容器调度步骤：部署调度队列中的容器，实现不同资源均衡负载或实现节点负载均衡；以及容器迁移步骤：预测未来所有节点资源使用情况以识别过载节点和轻载节点，将过载节点中部分容器迁移出，将轻载节点中全部容器迁移出以关闭节点
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于容器分发机制的跨超算中心任务调度方法，其特征在于：包括以下步骤：第一步，获取用户提交的用户作业命令；第二步，对用户作业命令进行处理，得到跨超算中心队列的调度安排命令；第三步，根据调度安排命令，判断是否存在所需的应用程序复合镜像；当不存在应用程序复合镜像时，执行第四步；当存在应用程序复合镜像时，执行第五步；第四步，根据调度安排命令，将所需的应用程序和输入数据打包，得到应用程序复合镜像；第五步，通过应用程序复合镜像执行调度安排命令，得到应用程序的生成结果，完成跨超算中心任务调度
。2.
如权利要求1所述的一种基于容器分发机制的跨超算中心任务调度方法，其特征在于：所述第一步中，用户提交的用户作业命令至少包括应用程序镜像名字
、
所需要的资源信息和用户所选择的调度策略信息
。3.
如权利要求1所述的一种基于容器分发机制的跨超算中心任务调度方法，其特征在于：所述第二步中，得到跨超算中心队列的调度安排命令的方法如下：
S21
，获取用户提交的应用程序镜像名字
、
所需要的资源信息和用户所选择的调度策略信息；
S22
，根据实时超算中心队列的资源和负载信息，并利用应用程序镜像名字，得到调度的超算地址
、
开放源码容器平台镜像名称；根据用户提交的所需要的资源信息，得到应用程序所需要的节点数；根据用户所选择的调度策略信息，确定任务被调度的超算中心队列以及队列所使用的调度器；
S23
，结合开放源码容器平台镜像名称，需要的节点数和队列所使用的调度器，生成用于提交到超算内部调度器的作业提交命令；
S24
，根据调度的超算地址
、
开放源码容器平台镜像的名称
、
作业提交命令，得到调度安排命令
。4.
如权利要求3所述的一种基于容器分发机制的跨超算中心任务调度方法，其特征在于：所述
S21
中，调度策略信息包括效率优先调度策略
、
价格优先调度策略
、
用户指定调度策略和多因子权重综合调度策略；效率优先调度策略包括以下内容：步骤
2111.
加载所有超算中心队列的信息；步骤
2112.
根据超算中心队列的信息，得到满足调度安排命令中的节点数的超算中心队列信息；步骤
2113.
根据超算中心队列信息，挑选出排队任务数量最少的超算中心队列；当排队任务数最少的超算中心队列只有一个时，直接选择所述超算中心队列，并跳转
到步骤
2114
；当排队任务数最少的超算中心队列有多个时，选择队列总节点数量最多的超算中心队列，并跳转到步骤
2114
；步骤
2114.
调度结束；价格优先调度策略包括以下内容：步骤
2121.
加载所有超算中心队列的信息；步骤
2122.
根据超算中心队列的信息，得到满足调度安排命令中的节点数的超算中心队列信息；步骤
2123.
根据超算中心队列信息，挑选出价最便宜的超算中心队列；当价格最便宜的超算中心队列只有一个时，直接选择所述超算中心队列，跳转到步骤
2124
；当价格最便宜的超算有多个，选择排队任务数最少且总节点数最多的超算中心队列，并跳转到步骤
2124
；步骤
2124.
调度结束；用户指定调度策略包括以下内容：步骤
2131.
加载用户指定的超算中心队列；步骤
2132.
判断用户指定的超算中心队列中的节点数是否大于调度安排命令中的节点数，当大于调度安排命令中的节点数时，跳转到步骤
2133
；当不大于调度安排命令中的节点数时，本次调度失败，调度结束；步骤
2133.
直接使用所述用户指定的超算中心队列，调度结束；多因子权重调度策略包括以下内容：步骤
2141.
加载所有超算中心队列的信息；步骤
2142.
根据超算中心队列的信息，选出满足调度安排命令中的节点数的若干超算中心队列；步骤
2143.
建立多因子权重计算模型，对若干超算中心队列进行计算，选出得分最高的超算中心队列，并结束调度
。5.
如权利...

【专利技术属性】
技术研发人员：廖银，褚成，吴健明，
申请(专利权)人：浙江远算科技有限公司，
类型：发明
国别省市：