异构CPU集群分布式实时处理系统的调度装置及方法制造方法及图纸

本发明专利技术公开了一种异构CPU集群分布式实时处理系统的调度装置及方法，首先获取集群中每个工作节点的计算能力；然后集群调度器根据任务拓扑信息，以及工作节点的计算能力向工作节点分配数据产生单元和数据处理单元,根据工作节点运行数据处理单元测试实例获得的实际运行时间计算该数据处理单元的权重得分，并添加数据产生单元和数据处理单元的目的数据处理单元信息；工作节点处理完的流数据通过本节点管理器按照目的数据处理单元的权重得分随机选择2个单元进行采样，根据采样信息计算负载大小，并向负载较小的目的数据处理单元发送流数据。本发明专利技术可以更高效地将任务负载均衡地分配到各个算力不同的异构工作节点中，高效地利用异构CPU集群资源。用异构CPU集群资源。用异构CPU集群资源。

【技术实现步骤摘要】
异构CPU集群分布式实时处理系统的调度装置及方法


[0001]本专利技术属于云计算
，具体涉及一种异构CPU集群中分布式实时处理系统的调度装置及方法。

技术介绍

[0002]集群是由两台或多台服务器构成的计算节点集合。集群中的服务器(也称为节点或节点服务器)相互连接，彼此之间可相互通信。集群中的服务器协同工作，向用户提供网络应用服务，对于用户来说集群就像是单一系统。集群中的服务器资源类似于应用程序中的资源池中的资源，用户无需关心资源的分配情况，最大化了硬件资源的使用价值。集群的优点在于可以利用各档次的服务器作为节点，实现很高的运算速度，完成大运算量的计算，不但能满足当今日益增长的信息服务的需求，而且集群成本也不高。
[0003]分布式实时处理系统一般由两部分构成：集群调度器和节点管理器。集群调度器用于向节点管理器分配调度任务，集群中的每个工作节点上都有一个节点管理器，用于管理本节点上的资源以及运行集群调度器分配的任务。分布式实时处理系统一般使用流数据处理方式，工作在同构集群上。
[0004]异构CPU集群是指组成集群的两台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构CPU集群分布式实时处理系统的调度装置，其特征在于：包括集群调度器和节点管理器；所述集群调度器，用于调度分配任务拓扑中所有数据产生单元和数据处理单元，记录保存所有工作节点的状态和计算能力以及数据产生单元和数据处理单元的调度记录；具体包括以下模块：第一模块，用于与集群中的所有工作节点进行网络通信；第二模块，用于保存工作节点的状态以及数据产生单元和数据处理单元的分配记录；第三模块，用于计算所有数据产生单元和数据处理单元的分配结果；所述节点管理器，用于管理本工作节点内的所有数据产生单元和数据处理单元的运行，将数据产生单元产生的流数据和数据处理单元处理后的流数据发往下一个目的数据处理单元；具体包括以下模块：第四模块，用于与集群调度器和其他节点管理器进行网络通信；第五模块，用于处理运行本工作节点分配到的数据产生单元和数据处理单元；第六模块，用于收集本节点产生的流数据并发往合适的下一个目的数据处理单元。2.一种异构CPU集群分布式实时处理系统的调度方法，其特征在于，包括以下步骤：步骤1：获取集群中每个工作节点的计算能力；步骤2：集群调度器根据任务拓扑信息，以及工作节点的计算能力向工作节点分配数据产生单元和数据处理单元；步骤3：工作节点运行集群调度器分配的数据处理单元测试实例获得其实际运行时间；步骤4：集群调度器根据工作节点中数据处理单元的实际运行时间计算该数据处理单元的权重得分，并添加数据产生单元和数据处理单元的目的数据处理单元信息；步骤5：工作节点中数据产生单元产生的流数据或者数据处理单元处理完的流数据通过本节点管理器按照目的数据处理单元的权重得分随机选择2个目的数据处理单元进行采样，获得目的数据处理单元的流数据等待队列长度；步骤6：节点管理器根据所述等待队列长度计算目的数据处理单元的负载大小，并向负载较小的目的数据处理单元发送流数据。3.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法，其特征在于：步骤1中，首先工作节点资源初始化，配置本节点管理器的IP地址和端口号，根据配置文件和本节点CPU核心数配置本节点的数据产生单元和数据处理单元插槽数，根据数据处理单元插槽数为每个数据处理单元初始化一个流数...

【专利技术属性】
技术研发人员：邹承明，许旭如，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：