用于执行任务的方法和装置制造方法及图纸

技术编号:19691332 阅读:19 留言:0更新日期:2018-12-08 11:03
本申请公开了用于执行任务的方法和装置。该方法的一具体实施方式包括:响应于接收到任务创建请求,生成待执行任务;将待执行任务拆分成多个子任务;判断Redis服务器中存放的待执行任务的任务数是否小于设定阈值,其中,Redis服务器中存放供待执行服务器获取并执行的任务;若小于,则将所生成的子任务存入Redis服务器中;否则,将所生成的子任务存入分布式存储服务器中,并在Redis服务器中待执行任务的任务数小于设定阈值时将分布式存储服务器中的任务存入Redis服务器中。该实施方式实现了流量削峰。

【技术实现步骤摘要】
用于执行任务的方法和装置
本申请涉及计算机
,具体涉及互联网
,尤其涉及用于执行任务的方法和装置。
技术介绍
消息中间件是指利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。采用消息中间件机制的系统中,不同的对象之间通过传递消息来激活对方的事件,完成相应的操作。发送者将消息发送给消息服务器,消息服务器将消息存放在若干消息队列中,在合适的时候再将消息转发给接收者。现有的消息中间件机制中,消息服务器需要立即处理相应的消息,当所需要执行的任务是小批量数据的发送时,该方法具有较好的处理效率。但是,当短时间内需要处理大批量数据的发送任务时,消息服务器可能无法快速进行消息处理,容易造成系统无法稳定运行。
技术实现思路
本申请的目的在于提出一种改进的用于执行任务的方法和装置,来解决以上
技术介绍
部分提到的技术问题。第一方面,本申请实施例提供了一种用于执行任务的方法,该方法包括:响应于接收到任务创建请求,生成待执行任务;将待执行任务拆分成多个子任务;判断Redis服务器中存放的待执行任务本文档来自技高网...

【技术保护点】
1.一种用于执行任务的方法,其特征在于,所述方法包括:响应于接收到任务创建请求,生成待执行任务;将所述待执行任务拆分成多个子任务;判断Redis服务器中存放的待执行任务的任务数是否小于设定阈值,其中,所述Redis服务器中存放供待执行服务器获取并执行的任务;若小于,则将所生成的子任务存入所述Redis服务器中;否则,将所生成的子任务存入分布式存储服务器中,并在所述Redis服务器中待执行任务的任务数小于设定阈值时将所述分布式存储服务器中的任务存入所述Redis服务器中。

【技术特征摘要】
1.一种用于执行任务的方法,其特征在于,所述方法包括:响应于接收到任务创建请求,生成待执行任务;将所述待执行任务拆分成多个子任务;判断Redis服务器中存放的待执行任务的任务数是否小于设定阈值,其中,所述Redis服务器中存放供待执行服务器获取并执行的任务;若小于,则将所生成的子任务存入所述Redis服务器中;否则,将所生成的子任务存入分布式存储服务器中,并在所述Redis服务器中待执行任务的任务数小于设定阈值时将所述分布式存储服务器中的任务存入所述Redis服务器中。2.根据权利要求1所述的方法,其特征在于,所述将所述待执行任务拆分成多个子任务,包括:根据预设的订阅关系信息以及所述待执行任务的任务类型,确定订阅所述任务类型的接收客户端集合,其中所述订阅关系信息记录接收客户端对任务类型进行订阅的信息;将所述待执行任务拆分成与所述接收客户端集合中的每个接收客户端分别对应的子任务;以及所述将所生成的子任务存入所述Redis服务器,包括:将所生成的每个子任务分别压入所述Redis服务器中与所述任务类型以及子任务对应的接收客户端所匹配的任务队列中,其中所述Redis服务器中存在与任务类型和接收客户端的每种组合分别对应的任务队列。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:接收所述执行服务器发送的任务获取请求,所述任务获取请求包括待获取任务的任务类型信息以及接收客户端标识;从所述Redis服务器中与所述任务类型信息以及接收客户端标识匹配的任务队列中弹出任务,并将弹出的任务发送至所述执行服务器执行。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:将从所述Redis服务器中的任务队列中弹出的任务存入所述Redis服务器中的哈希表中;当接收到所述执行服务器执行任务成功所返回的提交请求时,将所述哈希表中对应的任务删除;当接收到所述执行服务器执行任务失败所返回的回滚请求时,判断执行失败的任务的回滚次数是否小于回滚次数阈值;若小于,则将所述哈希表中存放的对应任务存入所述Redis服务器中对应的任务队列中,删除所述哈希表中存放的对应任务,并更新所述回滚次数。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:若回滚次数不小于回滚次数阈值,则将所述任务存入用于异常任务库中,并删除所述哈希表中存放的对应任务。6.根据权利要求4所述的方法,其特征在于,所述任务创建请求为以下任一项:任务系统发送的任务创建请求:执行服务器在执行完任务后确定存在与已执行任务关联的关联任务时发送的关联任务创建请求。7.一种用于执行任务的装置,其特征在于,所述装置包括:生成单元,用于响应于接收到任务创建请求,生成待执行任务;拆分单元,...

【专利技术属性】
技术研发人员:杨怀
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1