任务队列管理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，公开了任务队列管理方法、装置、计算机设备及存储介质，本发明专利技术将任务按照任务状态进行划分，获得排队状态任务队列、运行状态任务队列和结束状态任务队列；对各任务队列采用多级存储；在内存中查询排队或正在运行的任务信息；对需更改任务状态的任务进行任务状态更改，并在嵌入式数据库中持久化更改后的任务状态；在全功能数据库中筛选已结束的任务信息；在任务集群需要重启或是遭遇故障恢复的情况下，按照预设恢复顺序进行任务队列恢复。本发明专利技术将不同状态任务在不同任务队列中维护，以此均摊针对不同状态任务的不同需求产生的查询或维护数据数据结构的压力，能够承受高并发压力且满足了抗故障要求。

【技术实现步骤摘要】

本专利技术涉及计算机，具体涉及任务队列管理方法、装置、计算机设备及存储介质。

技术介绍

1、对一个大规模高性能计算集群，经常会出现大量用户同时提交任务的场景。目前广泛使用的slurm(simple linux utility for resource management，linux集群资源管理和作业调度系统)调度系统的任务提交和调度吞吐量为1秒处理约500个简单批处理作业。而对于任务高吞吐场景，slurm不能较好地满足需求。

2、由于任务提交场景要求作业在提交后，如果集群出现故障，任务需要尽可能持续保持运行，已提交任务信息则要求不可以丢失。因此，亟需一个同时能承受高并发压力且能达成前述抗故障要求的任务队列系统。

技术实现思路

1、有鉴于此，本专利技术提供了一种任务队列管理方法、装置、计算机设备及存储介质，以解决现有任务队列无法承受高并发压力且达不到抗故障要求的问题。

2、第一方面，本专利技术提供了一种任务队列管理方法，所述方法包括：

3、将任务按照任务状态进行划分，获得排本文档来自技高网...

【技术保护点】

1.一种任务队列管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述嵌入式数据库为键值型嵌入式数据库，利用哈希表构建出链表，模拟排队状态任务队列结构和运行状态任务队列结构，其中，所述对各任务队列采用多级存储，包括：

3.根据权利要求2所述的方法，其特征在于，所述链表包括：虚节点和数据节点，其中，

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述利用预写式日志机制来完成转移，包括：

6.根据权利要求1所述的方法，其特征在于，所述在任务集群需要...

【技术特征摘要】

1.一种任务队列管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述嵌入式数据库为键值型嵌入式数据库，利用哈希表构建出链表，模拟排队状态任务队列结构和运行状态任务队列结构，其中，所述对各任务队列采用多级存储，包括：

3.根据权利要求2所述的方法，其特征在于，所述链表包括：虚节点和数据节点，其中，

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述利用预写式日志机制来完成转移，包括：

6.根据权利要求1所述的方法，其特征在于，所述在任务集群需要重启或是遭遇故障恢复的情况下，按照预设恢复顺序进行任务队列恢复，包括：

7.根据权利要求3所述的方法...

【专利技术属性】
技术研发人员：樊春，温瑞林，马银萍，杨宏辉，刘林星，肖俊，邓彬玥，
申请(专利权)人：北京大学，
类型：发明
国别省市：