一种任务执行系统、方法及电子设备技术方案

技术编号:46218110 阅读:11 留言:0更新日期:2025-08-26 19:20
本公开提出一种任务执行系统、方法及电子设备,涉及存储技术领域,所述系统包括:任务消费模块、任务执行模块、任务监控模块以及速率控制器;速率控制器,用于按照发放速率从令牌桶中向任务消费模块发放令牌;任务消费模块,用于获取速率控制器发放的令牌,在成功获取到令牌的情况下,获取第一队列中缓存的目标任务;任务执行模块,用于执行目标任务,并将任务执行信息反馈至任务监控模块;任务监控模块,用于基于任务执行模块的任务执行信息对应调整速率控制器的发放速率。本公开避免了单个队列过载或数据积压现象,实现了跨节点任务调度和数据流的均衡分配,提升了系统在分布式跨多节点环境下的处理能力。

【技术实现步骤摘要】

本公开涉及存储,特别是涉及一种任务执行系统、方法及电子设备


技术介绍

1、随着分布式系统的普及和大规模数据处理需求的增长,企业需要处理和分析的海量数据越来越复杂。在面对高并发和高吞吐量的场景时,传统的任务调度机制往往无法满足跨节点的高效协作与同步要求,导致任务在多个节点间的分配和处理不均衡。

2、在相关技术中,速率控制工具和消息队列技术被用于分布式系统中的任务调度与流量控制,但它们侧重于单一节点的任务执行,而在跨多个节点的复杂任务调度场景中,未能提供有效的全局协作和协调机制。这是因为速率控制工具的设计仅能控制单个节点的速率,且消息队列在分布式环境中对跨节点的数据流和任务调度的处理存在性能瓶颈,尤其是在高并发场景下,如何保证任务在各个节点间均衡负载,仍然是一个待解决的问题。


技术实现思路

1、本公开实施例提供一种任务执行系统、方法及电子设备,旨在解决上述
技术介绍
存在的问题。

2、为了解决上述技术问题,本公开是这样实现的:

3、第一方面,本公开实施例提供了一种任务执行系统,所本文档来自技高网...

【技术保护点】

1.一种任务执行系统,其特征在于,所述系统包括:任务消费模块、任务执行模块、任务监控模块以及速率控制器;

2.根据权利要求1所述的系统,其特征在于,所述系统还包括任务生产模块和任务分配模块;

3.根据权利要求1或2所述的系统,其特征在于,所述系统还包括异常任务分配模块;

4.根据权利要求1或2所述的系统,其特征在于,

5.一种任务执行方法,其特征在于,应用于如权利要求1-4任一项所述的系统,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,在获取速率控制器发放的令牌之前,所述方法还包括:

7.根据权利要求6所...

【技术特征摘要】

1.一种任务执行系统,其特征在于,所述系统包括:任务消费模块、任务执行模块、任务监控模块以及速率控制器;

2.根据权利要求1所述的系统,其特征在于,所述系统还包括任务生产模块和任务分配模块;

3.根据权利要求1或2所述的系统,其特征在于,所述系统还包括异常任务分配模块;

4.根据权利要求1或2所述的系统,其特征在于,

5.一种任务执行方法,其特征在于,应用于如权利要求1-4任一项所述的系统,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,在获取速率控制器发放的令牌之前,所述方法还...

【专利技术属性】
技术研发人员:张成杨春雨何建芳杨文平
申请(专利权)人:内蒙古蒙商消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1