分布式任务管理方法和管理系统技术方案

本发明专利技术实施例提供一种分布式任务管理系统，包括：注册中心,接收多个任务,并且将所述多个任务结构化和存储为节点数据集；多个计算节点,从所述注册中心读取节点数据集中的节点数据,并且根据节点数据执行相应的任务。通过将任务结构化为节点数据集，并使计算节点从数据集中读取节点数据，计算节点能够根据需要读取节点数据，从而减轻计算节点的性能压力，提高数据处理效率。本发明专利技术同时提供一种分布式任务管理系统。

Distributed task management method and management system

【技术实现步骤摘要】
分布式任务管理方法和管理系统
本专利技术涉及计算机
，具体涉及一种分布式任务管理方法和管理系统。
技术介绍
智能调拨是指从部署在一线城市的区域仓(RDC)把商品补给处于二线城市的前置仓(FDC)。这样可以使商品覆盖全国，而且供应商只需往区域仓(RDC)送货，而不用往全国各地的仓库送货。计算补货量需要对每个SKU(StockKeepingUnit，库存量单位)进行补货计算,而由于基于基于SKU的补货计算涉及到数据量非常庞大，因此需要将该计算任务分配到多台服务器上同时执行。现有技术中，经常采用RPC(RemoteProcedureCall，远程过程调用)技术和分片方法是经常采用的两种任务分配方法。RPC技术例如使用JSF等远程方法调用方法。图1所示，在主节点master上，将任务分成多个任务片并调用RPC接口将多个任务片放到三台计算服务器Calc1-Calc3上进行运算，获得返回结果。RPC技术的缺点在于：由于网络带宽等限制，每次RPC请求携带的数据量必须适当，因而对于大数据量的任务，被分成多个任务请求，导致瞬间产生数量庞大的任务请求本文档来自技高网...

【技术保护点】
1.一种分布式任务管理方法，其特征在于，包括：/n接收多个任务片；/n将所述多个任务片结构化和存储为节点数据集；/n读取节点数据集中的节点数据；以及/n根据节点数据执行相应的任务。/n

【技术特征摘要】
1.一种分布式任务管理方法，其特征在于，包括：
接收多个任务片；
将所述多个任务片结构化和存储为节点数据集；
读取节点数据集中的节点数据；以及
根据节点数据执行相应的任务。


2.根据权利要求1所述的分布式任务管理方法，其特征在于，还包括：将任务分为多个任务片；
所述将所述多个任务片结构化和存储为节点数据集包括：每个任务片组成一个节点数据。


3.根据权利要求2所述的分布式任务管理方法，其特征在于，所述多个任务片结构化为树结构，每个节点数据存储在相应的一个树节点中。


4.根据权利要求3所述的分布式任务管理方法，其特征在于，所述将所述多个任务片结构化和存储为节点数据集还包括：将所述多个计算节点的IP地址存储在所述树结构的树节点中。


5.根据权利要求3所述的分布式任务管理方法，其特征在于，所述将所述多个任务片结构化和存储为节点数据集还包括：将每个任务片的执行状态存储在所述树结构的树节点中。


6.根据权利要求5所述的分布式任务管理方法，其特征在于，所述每个任务片的执行状态存储在所述树结构中的树节点中包括：
将待执行的任务片、执行失败的任务片、执行成功的任务片和正在执行的任务片的信息存储在所述树结构的树节点中。


7.根据权利要求6所述的分布式任务管理方法，其特征在于，当读取待执行的任务片时，在相应的树节点中增加正在执行的任务片的信息，当执行任务失败时，在相应的树节点中增加执行失败的任务片的信息，当任务执行结束后，在相应的树节点中增加执行成功的任务片的信息。


8.根据权利要求1所述的分布式任务管理方法，其特征在于，还包括：在任务执行过程中，将任务快照存储到数据库中。


9.根据权利要求1所述的分布式任务管理方法，其特征在于，还包括：根据任务快照恢复任务。


10.一种分布式任务管理系统，其特征在于，包括：
注册中心,接收多个任务片,并且将所述多个任务片结构化和存储为节点数据集；
多个计算节点,从所述注册中心读取节点数据集中的节点数据,并且根据节点数据执行相应的任务。


11.根据权利要求10所述的分布式任务管理系统，其特征在于，所述将所述多个任务片结构化和存储为节点数据集包括：每个任务片组成一个节点数据。


12.根据权利要求11...

【专利技术属性】
技术研发人员：罗勤，赵杰，邵伟，张永峰，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11