一种分布式任务分发方法与系统技术方案

一种分布式任务分发方法，包括：主控主机对任务进行评估，计算出总任务数，接着，主控主机根据节点主机的运算能力筛选出任务节点主机，然后，主控主机向任务节点主机分发任务。本发明专利技术能实现分布式任务分发的自动化和高效化，提高处理业务效率。

A distributed task distribution method and system

【技术实现步骤摘要】
一种分布式任务分发方法与系统
本专利技术涉及网络
，特别是涉及一种分布式任务分发方法与系统。
技术介绍
随着信息技术的不断发展，分布式处理的应用越来越广泛。分布式处理(distributedprocessing)是一种能够提高并行处理速度的架构体系。具体地，分布式处理是将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在控制系统的统一管理控制下，协调地完成大规模信息处理任务的计算机系统。其中，分布式处理中的任务管理方式是提高信息资源利用效率的关键。前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
技术实现思路
本专利技术的目的在于提供一种能提高业务处理效率的分布式任务分发方法与系统。本专利技术提供一种分布式任务分发方法，包括：主控主机对任务进行评估，计算出总任务数；所述主控主机根据节点主机的运算能力筛选出任务节点主机；所述主控主机向所述节点主机分发所述任务。进一步地，所述主控主机根据节点主机的运算能力筛选出任务节点主机，包括：根据所述节点主机上报的主机状态估算所述节点主机的运算能力；筛选符合运算要求的节点主机作为任务节点主机。进一步地，所述节点主机的运算能力符合的运算要求包括且不限于：CPU在用户模式的时间占比与CPU在系统模式的时间占比之和小于等于60％；内存使用率小于等于50％；CPU等待输入输出完成时间占比小于等于20％。进一步地，所述主控主机向所述节点主机分发所述任务，包括：根据所述任务节点主机的运算能力计算其任务节点权重系数；根据所述任务节点权重系数及所述总任务数确定给所述任务节点主机分配的任务数。进一步地，所述任务节点权重系数的计算公式为：所述任务节点主机分配的任务数计算公式为：CPU_USER：CPU处在用户模式下的时间百分比CPU_SYS：CPU处在系统模式下的时间百分比MEM：内存使用率IOWAIT：表示CPU等待输入输出完成时间的百分比NODE_TASK_WEIGH：表示单个节点任务权重系数NODE_TASK_WEIGH1至n：表示1到n个节点的任务权重系数NODE_TASK：节点所分配得到的任务数TASKS：待分配的总任务数。本专利技术还提供一种分布式任务分发系统，包括：主控任务分发模块，用于评估任务，计算出总任务数及根据节点主机的运算能力分发所述任务；节点主机存活检测模块，用于根据所述节点主机的运算能力筛选出任务节点主机。进一步地，所述节点主机存活检测模块中，根据所述节点主机上报的主机状态估算所述节点主机的运算能力，筛选符合计算要求的节点主机作为任务节点主机。进一步地，所述节点主机的运算能力符合的运算要求包括且不限于：CPU在用户模式的时间占比与CPU在系统模式的时间占比之和小于等于60％；内存使用率小于等于50％；CPU等待输入输出完成时间占比小于等于20％。进一步地，所述主控主机向所述节点主机分发所述任务，包括：根据所述任务节点主机的运算能力计算其任务节点权重系数；根据所述任务节点权重系数及所述总任务数确定给所述任务节点主机分配的任务数。进一步地，所述主控任务分发模块中，根据所述节点主机的运算能力计算其任务节点权重系数，根据所述任务节点权重系数及所述总任务数确定给所述任务节点主机分配的任务数。进一步地，所述任务节点权重系数的计算公式为：所述任务节点主机分配的任务数计算公式为：CPU_USER：CPU处在用户模式下的时间百分比CPU_SYS：CPU处在系统模式下的时间百分比MEM：内存使用率IOWAIT：表示CPU等待输入输出完成时间的百分比NODE_TASK_WEIGH：表示单个节点任务权重系数NODE_TASK_WEIGH1至n：表示1到n个节点的任务权重系数NODE_TASK：节点所分配得到的任务数TASKS：待分配的总任务数。本专利技术提供的分布式任务分发方法与系统，主控主机对任务进行评估，计算出总任务数，接着，主控主机根据节点主机的运算能力筛选出任务节点主机，然后，主控主机向任务节点主机分发任务。通过上述方式，本专利技术能实现分布式任务分发的自动化和高效化，提高处理业务效率。附图说明图1为本专利技术实施例分布式任务分发方法的流程示意图；图2为本专利技术实施例分布式任务分发方法的结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1所示，本实施例中，分布式任务分发方法，包括如下步骤：步骤S101：主控主机对任务进行评估，计算出总任务数。步骤S102：主控主机根据节点主机的运算能力筛选出任务节点主机。步骤S103：主控主机向任务节点主机分发任务。首先，步骤S101中，主控主机识别到计算量大、耗时多的任务时进行分离处理，根据任务的计算量和时间长度动态判断处理该任务需要启动多少个节点主机，以及每个节点主机需要启动多少个服务进程来完成任务。然后，步骤S102中，主控主机根据节点主机上报的主机状态估算节点主机的运算能力。一般地，节点主机自动上报主机状态，包括主机CPU、内存、磁盘等动态信息，用于判断该节点主机是否可以接收新的任务分发，通过综合CPU、内存及磁盘的参数能全面准确地评估节点主机的资源空闲状态。主控主机判断节点主机的运算能力符合任务分发的运算要求时，筛选该节点主机作为任务节点主机。具体地，主控主机筛选满足以下表格要求的节点主机作为任务节点主机。CPUuser％+sys％≤60％内存mem％≤50％磁盘iowait％≤20％user％：表示CPU处在用户模式下的时间百分比sys％：表示CPU处在系统模式下的时间百分比iowait％：表示CPU等待输入输出完成时间的百分比mem％：表示主机内存使用率。接着，步骤S103中，根据任务节点主机的运算能力计算其任务节点权重系数，任务节点权重系数由任务节点主机的CPU、内存和磁盘多个参数加权计算得出，能客观可靠地反应各任务节点主机的运算能力。然后综合任务节点权重系数以及总任务数，计算出给任务节点主机分配的任务数，即任务节点主机分配的任务与其任务节点权重系数呈正相关，可充分利用节点主机的空闲资源，提高任务处理效率。本方法拥有完整的多机任务协作处理机制，让耗时任务处理更加高效快捷，可以最大限度利用空闲节点主机资源，节省成本。任务分配计算公式如下：CPU_U本文档来自技高网...

【技术保护点】
1.一种分布式任务分发方法，其特征在于，包括：/n主控主机对任务进行评估，计算出总任务数；/n所述主控主机根据节点主机的运算能力筛选出任务节点主机；/n所述主控主机向所述任务节点主机分发所述任务。/n

【技术特征摘要】
1.一种分布式任务分发方法，其特征在于，包括：
主控主机对任务进行评估，计算出总任务数；
所述主控主机根据节点主机的运算能力筛选出任务节点主机；
所述主控主机向所述任务节点主机分发所述任务。


2.如权利要求1所述的分布式任务分发方法，其特征在于，所述主控主机根据节点主机的运算能力筛选出任务节点主机，包括：
根据节点主机上报的主机状态估算所述节点主机的运算能力；
筛选符合运算要求的节点主机作为任务节点主机。


3.如权利要求2所述的分布式任务分发方法，其特征在于，所述节点主机的运算能力符合的运算要求包括且不限于：
CPU在用户模式的时间占比与CPU在系统模式的时间占比之和小于等于60％；
内存使用率小于等于50％；
CPU等待输入输出完成时间占比小于等于20％。


4.如权利要求1所述的分布式任务分发方法，其特征在于，所述主控主机向所述任务节点主机分发所述任务，包括：
根据所述任务节点主机的运算能力计算其任务节点权重系数；
根据所述任务节点权重系数及所述总任务数确定给所述任务节点主机分配的任务数。


5.如权利要求4所述的分布式任务分发方法，其特征在于，所述任务节点权重系数的计算公式为：



所述任务节点主机分配的任务数计算公式为：



CPU_USER：CPU处在用户模式下的时间百分比
CPU_SYS：CPU处在系统模式下的时间百分比
MEM：内存使用率
IOWAIT：表示CPU等待输入输出完成时间的百分比
NODE_TASK_WEIGH：表示单个节点任务权重系数
NODE_TASK_WEIGH1至n：表示1到n个节点的任务权重系数
NODE_TASK：节点所分配得到的任务数
TA...

【专利技术属性】
技术研发人员：王力，李一文，
申请(专利权)人：湖南映客互娱网络信息有限公司，
类型：发明
国别省市：湖南;43