The invention relates to a distributed task processing method, device, server and storage medium, is applied to the distributed task scheduling system, the distributed task scheduling system includes a server and a plurality of terminals, wherein the server for the master node of the distributed task scheduling system, each of the terminal node of the distributed execution the task scheduling system. The method includes: receiving terminal server sends the task processing request; selecting at least one task to be allocated, the task allocation selection to the terminal processing tasks; processing results of receiving the feedback terminal; according to the task of processing results modify the corresponding task state. The distributed processing method, device, storage medium and server of the above tasks can improve the efficiency of task processing.
【技术实现步骤摘要】
任务分布式处理方法、装置、存储介质和服务器
本专利技术涉及数据处理
,特别是涉及一种任务分布式处理方法、装置、存储介质和服务器。
技术介绍
分布式计算系统通常都需要处理计算大量的任务,如需要进行统计日志报表、编译应用程序、解析Crash等。而处理这些分布式需要占用大量的服务器资源。传统方法中,分布式计算系统基本上都是架设在服务器集群上,基于Zookeeper将待处理的任务分配至服务器上的各个节点进行处理,使使得对任务的处理以及上分配进行优化,提高服务器的资源利用效率。然而服务器的资源终究是有限的,当需要处理的数据量较大、任务较多,甚至超过服务器的处理负荷时,传统的方法的任务处理效率并不高。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高任务处理效率的任务分布式处理方法、装置、存储介质和服务器。一种任务分布式处理方法,应用于分布式任务调度系统中,所述分布式任务调度系统包括服务器和多个终端,所述服务器为所述分布式任务调度系统中的主控节点,每个所述终端为所述分布式任务调度系统中的执行节点;所述方法包括:所述服务器接收所述终端发送的任务处理请求;选取至少 ...
【技术保护点】
一种任务分布式处理方法,应用于分布式任务调度系统中,其特征在于,所述分布式任务调度系统包括服务器和多个终端,所述服务器为所述分布式任务调度系统中的主控节点,每个所述终端为所述分布式任务调度系统中的执行节点;所述方法包括:所述服务器接收所述终端发送的任务处理请求;选取至少一个待分配状态的任务,将选取的任务分配给所述终端进行处理;接收所述终端反馈的任务处理结果;根据所述任务处理结果修改对应任务的任务状态。
【技术特征摘要】
1.一种任务分布式处理方法,应用于分布式任务调度系统中,其特征在于,所述分布式任务调度系统包括服务器和多个终端,所述服务器为所述分布式任务调度系统中的主控节点,每个所述终端为所述分布式任务调度系统中的执行节点;所述方法包括:所述服务器接收所述终端发送的任务处理请求;选取至少一个待分配状态的任务,将选取的任务分配给所述终端进行处理;接收所述终端反馈的任务处理结果;根据所述任务处理结果修改对应任务的任务状态。2.根据权利要求1所述的方法,其特征在于,所述选取至少一个待分配状态的任务,包括:选取至少一个待分配状态的任务标识;从主数据库中读取每个任务标识对应的任务,当从所述主数据库读取失败时,从备用数据库中读取每个任务标识对应的任务。3.根据权利要求1所述的方法,其特征在于,所述任务处理请求中携带所述终端的互联网协议地址;所述将选取的任务分配给所述终端进行处理,包括:根据所述互联网协议地址,将选取的任务分配给所述终端进行处理。4.根据权利要求1所述的方法,其特征在于,在所述将选取的任务分配给所述终端进行处理之后,包括:接收所述终端发送的心跳包,以根据所述心跳包确定所述终端正在处理所述选取的任务。5.根据权利要求1所述的方法,其特征在于,在所述将选取的任务分配给所述终端进行处理之后,包括:检测是否在预设时长之内接收到所述任务处理结果,若否,则将所述选取的任务重新分配给其它发送任务处理请求的终端进行处理。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:统计每个终端完成的任务数量,根据...
【专利技术属性】
技术研发人员:严月强,伍琼珂,
申请(专利权)人:上海壹账通金融科技有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。