作业调度方法技术

本发明专利技术实施例提供了一种作业调度方法

【技术实现步骤摘要】
作业调度方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种作业调度方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着人工智能技术的快速发展，
Slurm(Simple Linux Utility for Resource Management)
是一种开源的
、
具有容错性和高度可扩展大型和小型
Linux
集群资源管理的作业调度系统，被世界范围内的超级计算机和计算集群广泛采用，所有需运行的作业无论是用于程序调试还是业务计算均必须通过命令提交，提交后可以利用相关命令查询作业状态等，其中，
sbatch
命令可以用于提交批处理作业，
sacct
命令可以用于查看作业历史信息，因此，
Slurm
作业调度系统最常使用
sbatch
命令提交作业脚本，使用
sacct
命令统计作业的执行结果
。/>[0003]目前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种作业调度方法，其特征在于，所述方法包括：获取待提交的作业，采用目标提交指令将所述作业添加至预设执行队列，其中，所述目标提交命令是在原生提交命令上添加所述作业待提交的迭代次数生成的；将所述作业按照所述迭代次数划分为多个子作业，采用所述目标提交命令将多个所述子作业提交至预设作业调度系统；采用目标记录命令获取所述子作业在所述预设作业调度系统中的执行状态信息，将所述子作业对应执行状态信息与所述作业关联，生成所述作业的执行结果
。2.
根据权利要求1所述的方法，其特征在于，所述获取待提交的作业，采用所述目标提交指令将所述作业添加至预设执行队列，包括：预先创建先入先出的预设执行队列；获取待提交的作业，根据作业的预设提交时间顺序对所述作业进行排序；采用所述目标提交指令将所述作业依序添加至所述预设执行队列
。3.
根据权利要求1所述的方法，其特征在于，所述将所述作业按照所述迭代次数划分为多个子作业，采用所述目标提交命令将多个所述子作业提交至预设作业调度系统，包括：在所述预设执行队列中将所述作业按照所述迭代次数进行划分，生成所述迭代次数对应数量的子作业；将每个所述作业对应子作业按照迭代次数从小到大的顺序依次排序，并存储至预设有序链表，其中，所述预设执行队列包括指向所述子作业所在预设有序链表的指针，所述指针用于定位所述子作业所在的预设有序链表
。4.
根据权利要求3所述的方法，其特征在于，所述预设执行队列还包括预先创建的监控线程，所述在所述预设执行队列中将所述作业按照所述迭代次数进行划分，生成所述迭代次数对应数量的子作业之前，还包括：采用所述监控线程监测所述预设执行队列中的作业存在状态；响应于所述监控线程的监测作业存在状态信号，在所述预设执行队列中存在至少一个作业的情况下，控制预设执行线程启动
。5.
根据权利要求1所述的方法，其特征在于，所述采用所述目标提交命令将多个所述子作业提交至预设作业调度系统，包括：采用预设执行线程对所述预设执行队列进行解析，得到指向所述子作业所在预设有序链表的指针，并定位所述子作业所在的预设有序链表；遍历所述子作业所在的预设有序链表，采用所述目标提交命令将多个所述子作业提交至预设作业调度系统
。6.
根据权利要求5所述的方法，其特征在于，所述遍历所述子作业所在的预设有序链表，采用所述目标提交命令将多个所述子作业提交至预设作业调度系统，包括：获取预设有序链表中所述子作业和所述子作业对应执行参数，其中，所述执行参数包括所述子作业对应作业名称和迭代次数；将所述子作业对应作业名称和所述迭代次数封装至所述目标提交命令；采用封装后的所述目标提交命令将多个所述子作业提交至预设作业调度系统
。7.
根据权利要求6所述的方法，其特征在于，所述采用封装后的所述目标提交命令将多个所述子作业提交至预设作业调度系统之后，还包括：
接收所述预设作业调度系统返回的子作业标识；采用原生查询命令获取所述子作业标识对应的排队提交情况；记录所述子作业的排队提交情况至预设数据库表
。8.
根据权利要求7所述的方法，其特征在于，所述记录所述子作业的排队提交情况至预设数据库表之后，还包括：在所述子作业提交完成的情况下，定时监测所述子作业的执行状态，生成所述子作业的执行状态信息；将所述子作业的执行状态信息更新至预设数据库表
。9.
根据权利要求8所述的方法，其特征在于，所述在所述子作业提交完成的情况下，定时监测所述子作业的执行状态，生成所述子作业的执行状态信息之前，还包括：预先根据所述子作业的排队提交情况设置所述子作业的定时任务；其中，所述定时任务用于定时获取所述子作业的执行状态；将所述定时任务封装至哈希时间轮的定时函数；其中，所述哈希时间轮是响应于待提交的作业创建的
。10.
根据权利要求8所述的方法，其特征在于，所述在所述子作业提交完成的情况下，定时监测所述子作业的执行状态，生成所述子作业的执行状态信息，包括：在所述子作业提...

【专利技术属性】
技术研发人员：朱波，胡耀锋，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：