一种任务处理方法和装置制造方法及图纸

技术编号:24215355 阅读:31 留言:0更新日期:2020-05-20 18:51
本发明专利技术公开了一种任务处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:待完成从节点的注册后,定时向所述从节点发送心跳消息,并且接收所述从节点定时发送的心跳消息;接收任务调度框架传递过来的任务;基于负载均衡算法从可用从节点列表中确定从节点,将所述任务分发至所述从节点,以使所述从节点执行所述任务。该实施方式能够解决主备机模式只适用于对运算要求不高、高可用要求也不是很高的场合的技术问题。

A task processing method and device

【技术实现步骤摘要】
一种任务处理方法和装置
本专利技术涉及计算机
,尤其涉及一种任务处理方法和装置。
技术介绍
因业务需要,每天都有大量的后台高频定时任务需要处理。现有高频批处理框架采用主备机热备模式。只有主机会执行任务,备机会不停地去检测主机工作状态,一旦发现主机不能正常提供服务,备机就自动升级为主机并执行高频任务,原主机在恢复正常后身份降为备机并开始不停检测新主机状态。实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:主备机模式能确保批处理任务只在集群中一台机器运行,并有一定的高可用性。但是,这种模式也有明显不足:不支持横向扩容(集群只支持两个机器),计算任务全部集中在主机中,对于计算压力大的场合就显得力不从心了。因此,主备机模式的高可用方案注定了集群不能扩展,而且计算都集中在主机上,只适用于对运算要求不高,高可用要求也不是很高的场合。
技术实现思路
有鉴于此,本专利技术实施例提供一种任务处理方法和装置,以解决主备机模式只适用于对运算要求不高、高可用要求也不是很高的场合的技术问题。为实现上本文档来自技高网...

【技术保护点】
1.一种任务处理方法,其特征在于,应用于主节点,包括:/n待完成从节点的注册后,定时向所述从节点发送心跳消息,并且接收所述从节点定时发送的心跳消息;/n接收任务调度框架传递过来的任务;/n基于负载均衡算法从可用从节点列表中确定从节点,将所述任务分发至所述从节点,以使所述从节点执行所述任务。/n

【技术特征摘要】
1.一种任务处理方法,其特征在于,应用于主节点,包括:
待完成从节点的注册后,定时向所述从节点发送心跳消息,并且接收所述从节点定时发送的心跳消息;
接收任务调度框架传递过来的任务;
基于负载均衡算法从可用从节点列表中确定从节点,将所述任务分发至所述从节点,以使所述从节点执行所述任务。


2.根据权利要求1所述的方法,其特征在于,还包括:
若在指定的时间里没有接收到任意一个从节点的心跳消息,则从可用从节点列表中移除所述任意一个从节点。


3.根据权利要求1所述的方法,其特征在于,还包括:
在选举主节点的过程中,以顺序编号最小值的节点作为本轮选举的主节点。


4.根据权利要求1所述的方法,其特征在于,还包括:
接收各个从节点返回的任务完成结果,以更新各个任务的执行状态;
待完成所有任务后,任务完成消息发送至所述任务调度框架,等待所述任务调度框架的下一次调度。


5.根据权利要求1所述的方法,其特征在于,所述负载均衡算法为顺序轮询、随机选择或者加权顺序轮询。


6.一种任务处理装置,其特征在于,设置于主节点,包括:
检测模块,用于待完成从节点的注册后,定时向所述从节点发送心跳消息,并且接收所述从节点定时发送的心跳消息;
接收模块,用于接收任务调度框架传递过来的任务;

【专利技术属性】
技术研发人员:丁伟奇黄文宝任林涛刘成杰
申请(专利权)人:中国建设银行股份有限公司建信金融科技有限责任公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1