【技术实现步骤摘要】
分布式多任务管理方法、装置、计算机设备及存储介质
本专利技术涉及计算机
,尤其涉及一种分布式多任务管理方法、装置、计算机设备及存储介质。
技术介绍
目前,在分布式环境下处理多个待执行任务通常是通过锁机制将一个任务自动分配一个或多个执行节点上进行处理,但专利技术人在实际操作过程中发现这种方法存在部分节点集中处理多个待处理任务,部分节点则仅处理少量或者不处理待处理任务,导致自动化分配时节点负载大,执行任务速度缓慢,过度压榨CPU资源,甚至宕机的问题。比如,当前有6个待执行任务,每个待执行任务对应一把锁,若节点A抢到五把锁,需要执行五个待执行任务,该节点的负载远远大于其他节点,导致节点负载不均衡的问题。同时,现有技术中还存在具有执行依赖关系的两个任务(前向任务和后任务),可能先执行后向任务,由于前向任务还没有执行完毕,或者没有执行,导致后向任务被重复执行,浪费资源的问题。
技术实现思路
本专利技术实施例提供一种分布式多任务管理方法、装置、计算机设备及存储介质,以解决节点负载不均衡和浪费资源的问题。 ...
【技术保护点】
1.一种分布式多任务管理方法,其特征在于,包括:/n获取任务执行请求,基于所述任务执行请求遍历在分布式中间件上创建的任务集合;/n获取所述任务集合中的至少两个目标数组,每一所述目标数组包括待处理任务的任务ID和任务序号;/n获取空闲执行节点对应的执行节点数量,根据所述任务序号和执行节点数量,确定每一所述待处理任务对应的目标执行节点;/n调用与所述执行节点数量相对应的线程,执行至少两个所述待处理任务,获取至少两个所述待处理任务对应的执行结果。/n
【技术特征摘要】
1.一种分布式多任务管理方法,其特征在于,包括:
获取任务执行请求,基于所述任务执行请求遍历在分布式中间件上创建的任务集合;
获取所述任务集合中的至少两个目标数组,每一所述目标数组包括待处理任务的任务ID和任务序号;
获取空闲执行节点对应的执行节点数量,根据所述任务序号和执行节点数量,确定每一所述待处理任务对应的目标执行节点;
调用与所述执行节点数量相对应的线程,执行至少两个所述待处理任务,获取至少两个所述待处理任务对应的执行结果。
2.如权利要求1所述的分布式多任务管理方法,其特征在于,在所述获取任务执行请求,基于所述任务执行请求遍历在分布式中间件上创建的任务集合之前,所述分布式多任务管理方法包括:
获取至少两个待分配任务请求,每一所述待分配任务请求包括待处理任务的任务ID和任务序号;
基于每一所述待处理任务对应的所述任务ID和所述任务序号,获取目标数组;
将所述目标数组插入分布式中间件上创建的原始集合,形成任务集合。
3.如权利要求2所述的分布式多任务管理方法,其特征在于,所述获取至少两个待分配任务请求,包括:
当系统当前时间达到预设时间时,则遍历待处理队列,获取至少两个所述待处理任务对应的任务ID和遍历顺序;
根据所述待处理任务对应的遍历顺序,获取所述待处理任务对应的任务序号;
根据所述待处理任务对应的任务ID和所述任务序号,生成待分配任务请求。
4.如权利要求1所述的分布式多任务管理方法,其特征在于,目标执行节点包括节点序号;
所述根据所述任务序号和执行节点数量,确定每一所述待处理任务对应的目标执行节点,包括:
采用所述待处理任务的所述任务序号除以所述执行节点数量得到余数;
将与所述余数相等的所述节点序号对应的空闲执行节点,确定为所述任务序号对应的所述待处理任务的目标执行节点。
5.如权利要求1所述的分布式多任务管理方法,其特征在于,所述待处理任务还包括任务单号;
所述执行至少两个所述待处理任务,获取至少两个所述待处理任务对应的执行结果,包括:
根据所述任务单号,判断至少两个所述待处理任务是否存在执行依赖关系;
若至少两个所述待处理任务存在执行依赖关系,则根据所述执行依赖关系,将至少两个所述待处理任务确定为前向任务和后向任务;
依序执行所述前向任务和所述后向任务,获取执行结果。
6.如权利要求...
【专利技术属性】
技术研发人员:张位勇,
申请(专利权)人:深圳壹账通智能科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。