一种分布式任务处理方法、装置、系统及设备制造方法及图纸

说明书实施例公开了一种分布式的任务处理方法、装置、设备及系统，分布式的任务处理架构中无需部署中央管理服务器，而是通过相应的任务分发设备，向分布式的各任务处理设备分发任务消息，使得接收到任务消息的任务处理设备“抢”任务锁。只有获取到任务锁的任务处理设备才可以对任务消息进行处理。其处理的方式通过将大任务划分为一定数量的子任务，并针对子任务并行处理。

A distributed task processing method, device, system, and equipment

Specification of embodiment of the invention discloses a distributed task processing method, device, equipment and system, without the need to deploy the central management server task distributed processing architecture, but the corresponding task distribution equipment, to the task of distributed processing equipment distribution task message, which has received the task task message processing equipment \grab\ task lock. Only the task processing device that gets the task lock can handle the task message. It is handled by dividing large tasks into a certain number of subtasks and dealing with sub tasks in parallel.

【技术实现步骤摘要】
一种分布式任务处理方法、装置、系统及设备
本申请涉及计算机
，尤其涉及一种分布式任务处理方法、装置、系统及设备。
技术介绍
随着互联网技术的不断发展，传统单机处理的方式已无法满足巨量的任务处理需求，因此分布式的业务系统营运而生。现有技术中，对于分布式的业务系统而言，通常会采用集中分配式的处理模式，也即，通过一台主控设备(如：服务器)为分布式的处理服务器分配相应的待处理任务，以进行任务处理。基于现有技术，我们需要一种更加有效的分布式的任务处理方式。
技术实现思路
本说明书实施例提供一种分布式任务处理方法、装置、系统及设备，用以提供一种更加有效的分布式的任务处理方式。本说明书实施例提供的一种分布式的任务处理方法，任务分发设备向分布式的任务处理设备分发任务消息，所述方法包括：所述任务处理设备接收所述任务分发设备分发的任务消息；获取匹配于所述任务消息的任务锁；当获取到所述任务锁时，对所述任务消息进行处理。本说明书实施例还提供的一种分布式的任务处理方法，包括：任务分发设备接收消息发送规则；根据所述消息发送规则，生成任务消息分发给各任务处理服务器，以使得接收到所述任务消息的任务处理服务器基于所本文档来自技高网...

【技术保护点】
一种分布式的任务处理方法，任务分发设备向分布式的任务处理设备分发任务消息；所述方法包括：所述任务处理设备接收所述任务分发设备分发的任务消息；获取匹配于所述任务消息的任务锁；当获取到所述任务锁时，对所述任务消息进行处理。

【技术特征摘要】
1.一种分布式的任务处理方法，任务分发设备向分布式的任务处理设备分发任务消息；所述方法包括：所述任务处理设备接收所述任务分发设备分发的任务消息；获取匹配于所述任务消息的任务锁；当获取到所述任务锁时，对所述任务消息进行处理。2.如权利要求1所述的方法，获取匹配于所述任务消息的任务锁，具体包括：确定所述任务消息对应的待处理任务的任务数据；根据所述任务数据生成取锁字符串；在任务锁表中获取匹配于所述取锁字符串的任务锁；其中，所述任务数据至少包括：待处理任务的任务状态数据、任务标识数据。3.如权利要求2所述的方法，在获取任务锁之前，所述方法还包括：在所述任务锁表中，确定所述取锁字符串可用。4.如权利要求3所述的方法，确定所述取锁字符串可用，具体包括：确定所述取锁字符串未记录在所述任务锁表中。5.如权利要求3所述的方法，确定所述取锁字符串可用，具体包括：确定与已记录在所述任务锁表中的取锁字符串的使用者信息相同。6.如权利要求3所述的方法，确定所述取锁字符串可用，具体包括：确定已记录在所述任务锁表中、与所述取锁字符串的使用者信息相同的任务锁未超时。7.如权利要求1所述的方法，所述方法还包括：当对所述任务消息的处理完成时，生成解锁字符串，解除所述任务锁。8.如权利要求1所述的方法，对所述任务消息进行处理，具体包括：确定所述任务消息所对应的待处理任务；调用预先定义的、与该待处理任务对应的任务执行逻辑，对所述待处理任务进行处理；其中，所述任务消息包括：任务调度消息以及任务处理消息；所述待处理任务包括：可拆分任务以及根据所述可拆分任务得到的子任务。9.如权利要求8所述的方法，所述任务调度消息包括：任务创建消息及任务扫描消息；调用预先定义的、与该待处理任务对应的任务执行逻辑，对所述待处理任务进行处理，具体包括：当所述任务调度消息为任务创建消息时，调用任务创建逻辑创建可拆分任务，并写入任务表；当所述任务调度消息为任务扫描消息时，调用任务扫描逻辑在所述任务表中扫描未处理的可拆分任务以及子任务。10.如权利要求8所述的方法，所述任务处理消息包括：可拆分任务处理消息及子任务处理消息；调用预先定义的、与该待处理任务对应的任务执行逻辑，对所述待处理任务进行处理，具体包括：当所述任务处理消息为可拆分任务处理消息时，调用可拆分任务的处理逻辑对所述可拆分任务进行处理；当所述任务处理消息为子任务处理消息时，调用子任务的处理逻辑对所述子任务进行处理；其中，可拆分任务的处理逻辑至少包括：对可拆分任务进行拆分、对合并后的可拆分任务完成处理；子任务的处理逻辑至少包括：查找未处理的子任务、按照子任务的业务逻辑处理该子任务、对处理完成后的多个子任务进行合并。11.如权利要求9所述的方法，所述方法还包括：根据查找到的各未处理的子任务，生成子任务执行消息发送给所述任务分发设备。12.一种分布式的任务处理方法，包括：任务分发设备接收消息发送规则；根据所述消息发送规则，生成任务消息分发给各任务处理服务器，以使得接收到所述任务消息的任务处理服务器基于所述任务消息进行任务处理。13.如权利要求12所述的方法，所述任务消息包括：任务调度消息和任务处理消息；根据所述消息发送规则，生成任务消息分发给各任务处理服务器，具体包括：针对所述任务调度消息，按照设定周期，将生成的任务调度消息分发给各任务处理服务器；针对所述任务处理消息，接收由任务处理设备发送的任务执行消息，根据所述任务执行消息生成任务处理消息并分发给各任务处理设备。14.一种分布式的任务处理装置，任务分发设备向分布式的任务处理设备分发任务消息；所述装置包括：接收模块，接收所述任务分发设备分发的任务消息；任务锁获取模块，获取匹配于所述任务消息的任务锁；处理模块，当获取到所述任务锁时，对所述任务消息进行处理。15.如权利要求14所述的装置，所述任务锁获取模块，确定所述任务消息对应的待处理任务的任务数据，根据所述任务数据生成取锁字符串，在任务锁表中获取匹配于所述取锁字符串的任务锁；...

【专利技术属性】
技术研发人员：甘剑峰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY