任务处理系统、方法及计算机可读存储介质技术方案

本发明专利技术实施例涉及计算机技术领域，公开了一种任务处理系统，包括：控制节点服务器、数据节点服务器以及多个运算节点服务器；控制节点服务器连接数据节点服务器，用于收集多个子任务，并将多个子任务整理为任务清单后，将任务清单发送至数据节点服务器；数据节点服务器用于接收控制节点服务器发送的任务清单；多个运算节点服务器连接数据节点服务器，运算节点服务器用于从数据节点服务器中承接任务清单，并生成工人线程，通过工人线程执行所承接的任务清单中的子任务。实现了运算节点服务器资源的灵活占用，且避免运算节点服务器频繁领取子任务，避免造成系统拥堵。

【技术实现步骤摘要】
任务处理系统、方法及计算机可读存储介质
本专利技术实施例涉及计算机
，特别涉及一种任务处理系统、方法及计算机可读存储介质。
技术介绍
现有技术中，在分布式环境中进行的子任务处理方法一般通过控制节点服务器和运算节点服务器来实现，具体可以包括下述过程：控制节点服务器与各个运算节点服务器建立连接，以获取各个运算节点服务器的CPU占用率。控制节点服务器根据获取的各个运算节点服务器的CPU占用率，将任务池中预先存储的各任务分发到相应的运算节点服务器进行处理。然而，专利技术人发现现有技术中至少存在如下问题：若由控制节点服务器直接连接各个运算节点服务器以分发任务给运算节点服务器进行处理，有可能造成资源分配不均；若由运算节点服务器直接领取任务，有可能造成系统拥堵。
技术实现思路
本专利技术实施方式的目的在于提供一种任务处理系统，在实现运算节点服务器资源的灵活占用的同时，还能够避免运算节点服务器频繁领取子任务，避免造成系统拥堵。为解决上述技术问题，本专利技术的实施方式提供了一种任务处理系统，包括：控制节点服务器、数据节点本文档来自技高网...

【技术保护点】
1.一种任务处理系统，其特征在于，包括：控制节点服务器、数据节点服务器以及多个运算节点服务器；/n所述控制节点服务器连接所述数据节点服务器，用于收集多个子任务，并将多个所述子任务整理为任务清单后，将所述任务清单发送至所述数据节点服务器；/n所述数据节点服务器用于接收所述控制节点服务器发送的所述任务清单；/n多个所述运算节点服务器连接所述数据节点服务器，所述运算节点服务器用于从所述数据节点服务器中承接所述任务清单，并生成工人线程，通过所述工人线程执行所承接的任务清单中的子任务。/n

【技术特征摘要】
1.一种任务处理系统，其特征在于，包括：控制节点服务器、数据节点服务器以及多个运算节点服务器；
所述控制节点服务器连接所述数据节点服务器，用于收集多个子任务，并将多个所述子任务整理为任务清单后，将所述任务清单发送至所述数据节点服务器；
所述数据节点服务器用于接收所述控制节点服务器发送的所述任务清单；
多个所述运算节点服务器连接所述数据节点服务器，所述运算节点服务器用于从所述数据节点服务器中承接所述任务清单，并生成工人线程，通过所述工人线程执行所承接的任务清单中的子任务。


2.根据权利要求1所述的任务处理系统，其特征在于，所述控制节点服务器包括：收集模块、与所述收集模块连接的处理模块；
所述收集模块用于收集多个子任务；
所述处理模块用于将所述收集模块预设时间内收集的所述子任务整理为任务清单，且对所述任务清单标记建立时间，并将标记有所述建立时间的任务清单发送至所述数据节点服务器；
所述数据节点服务器还用于更新所述任务清单的状态，所述状态包括执行完毕及未执行完毕；
所述运算节点服务器包括：承接模块、与所述承接模块连接的执行模块；
所述承接模块用于从所述数据节点服务器获取建立时间最早、且状态为未执行完毕的任务清单；
所述执行模块用于为所述任务清单的子任务生成工人线程，由所述工人线程执行所述子任务。


3.根据权利要求1所述的任务处理系统，其特征在于，所述数据节点服务器包括：接收模块及与所述接收模块连接的记录模块；
所述接收模块用于接收所述控制节点服务器发送的任务清单；
所述记录模块用于在运算节点服务器承接所述任务清单后，记录承接所述任务清单的运算节点服务器的团队称号。


4.根据权利要求3所述的任务处理系统，其特征在于，所述运算节点服务器还包括：监测模块；
所述监测模块用于监测所述运算节点服务器承接的所述任务清单中的子任务是否被执行完毕，若监测到所述子任务被执行完毕后，发送完成时间至所述数据节点服务器；
所述记录模块还用于记录承接所述任务清单的所有运算节点服务器的完成时间，所述完成时间与所述运算节点服务器的团队称号对应。


5.根据权利要求4所述的任务处理系统，其特征在于，所述数据节点服务器还包括：状态更新模块；
所述状态更新模块用于在承接所述任务清单的所有运算节点服务器对应的团队称号均记录有完成时间时，更新所述任务清单的状态为执行完毕。


6.根据权利要求5所述的任务处理系统，其特征在于，所述数据节点服务器还包括：清除模块；
所述清除模块用于清除状态为执行完毕的任务清单。


7.根据权利要求4所述的任务处理系统，其特征在于，所述监测模块具体用于监测所述运算节点服务器中是否存在工人线程，并在确定无工人线程时，发送所述完成时间至所述数据节点服务器；
所述承接模块还用于在所述监测模块发送所述完成时间后，承接新的任务清单。


8.根据权利要求3所述的任务处理系统，其特征在于，所述处理模块包括：编码子模块、以及与所述编码子模块连接的票据创立子模块；
所述编码子模块用于为所述收集模块收集的多个子任务中的每个子任务生成对应的任务编号，所述任务清单包含所有子任务的任务编号；
所述票据创立子模块用于根据所述任务清单创立票据表单，并...

【专利技术属性】
技术研发人员：陈予郎，
申请(专利权)人：长鑫存储技术有限公司，
类型：发明
国别省市：安徽;34