一种分布式任务管理系统及方法技术方案

本发明专利技术公开一种分布式任务管理系统，包括：任务记录模块，用于记录任务的状态，延迟删除任务管理模块，用于延迟设定时间删除任务，任务执行模块，用于执行任务，任务管理模块，用于对任务进行资源分配并管理任务的执行，其中，任务管理模块先对待添加的任务进行管理，将符合条件的待添加任务添加进待执行列表，任务执行模块对在待执行列表中任务进行执行，任务记录模块接收任务管理模块或任务执行模块的指令来记录任务的执行情况，延迟删除任务管理模块对执行完毕的任务延迟设定时间后删除。本发明专利技术对执行过程中的任务状态进行记录，以便宕机情况下再次重启时任务能够继续执行，同时，还能够对执行完毕的任务延迟设定时间后再进行删除。进行删除。进行删除。

【技术实现步骤摘要】
一种分布式任务管理系统及方法


[0001]本专利技术属于分布式存储
，更具体地说，涉及一种分布式任务管理系统及方法。

技术介绍

[0002]随着大数据时代的到来，分布式存储技术得到越来越广泛的应用，分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，在系统的可靠性、可用性和存取效率方面的表现相当出色，而且还易于扩展。
[0003]在分布式存储系统中，如何分布式地接收业务请求并转化为任务，利用现有资源（包括但不限于各种计算、存储资源等）协同处理不同任务，处理完成后响应（包括正常、异常响应）用户，记录相应的任务日志，以及在部分或全部分布式服务重启后重新加载任务并处理，是分布式任务处理需要解决的核心问题。
[0004]如申请公布日为2020年5月22日，申请公布号为CN111190753A，专利名称为分布式任务处理方法、装置、存储介质和计算机设备的中国专利公开了一种技术方案，该方法包括：获取分布式任务，分布式任务包括多个首次执行的子任务，当检测到当前子任务为首次执行的子任务，且当前子任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式任务管理系统，其特征在于：包括：任务记录模块，用于记录任务的状态，延迟删除任务管理模块，用于延迟设定时间删除任务，任务执行模块，用于执行任务，任务管理模块，用于对任务进行资源分配并管理任务的执行，其中，任务管理模块对待添加的任务进行管理，将符合条件的待添加任务添加进待执行列表，任务执行模块对在待执行列表中的任务进行执行，任务记录模块接收任务管理模块和/或任务执行模块的指令来记录任务的执行情况，延迟删除任务管理模块对执行完毕的任务延迟设定时间后删除。2.根据权利要求1所述的分布式任务管理系统，其特征在于：所述任务管理模块判断待添加任务与现有任务是否互斥，如果是，则对该待添加任务不予执行。3.根据权利要求2所述的分布式任务管理系统，其特征在于：所述任务管理模块对经过互斥判断的待添加任务进行负载上限判断，若该待添加任务超过系统负载上限，则不予执行。4.根据权利要求1
‑
3中任一权利要求所述的分布式任务管理系统，其特征在于：所述任务管理模块对不需要执行的任务进行取消。5.根据权利要求1
‑
3中任一权利要求所述的分布式任务管理系统，其特征在于：所述任务执行模块分为同步任务执行模块和异步任务执行模块，...

【专利技术属性】
技术研发人员：王中原，陈靓，
申请(专利权)人：南京鹏云网络科技有限公司，
类型：发明
国别省市：