一种面向三级并行中间件的计算资源自动分配方法及系统技术方案

本发明专利技术公开了一种面向三级并行中间件的计算资源自动分配方法及系统，以分布式技术、中间件和计算机组成结构为指导理论，针对在集群环境下进行大规模计算的任务，本发明专利技术提出了一种面向三级并行中间件的计算资源自动分配模型。该模型可将在集群下进行的计算任务进行分析，首先通过消息中间件以队列的形式将任务分配给每个计算单元，然后再计算单元内将任务再次分配给CPU和GPU。本发明专利技术除了可以应用在集群上，当任务规模不大时，也可作用于单台电脑。把单机上的计算任务合理分配给CPU和GPU，使二者能够同时进行运算，提高计算速率。利用本发明专利技术可以在集群模式下计算任务大的背景下，将计算速度进一步提高。算速度进一步提高。算速度进一步提高。

【技术实现步骤摘要】
一种面向三级并行中间件的计算资源自动分配方法及系统


[0001]本专利技术属于计算机学科中的GPU计算、集群计算、多线程、资源调度和中间件
，涉及一种计算资源自动分配方法及系，特别涉及一种对异构系统并行计算中计算任务的合理分配方法及系统，可以有效提高程序在异构系统中并行计算的计算速度。

技术介绍

[0002]GPU计算是使用GPU(图形处理单元)作为协处理器来加速CPU，以加快科学、分析、工程、消费和企业应用程序的运行速度。GPU通过卸载一些计算密集且耗时的代码部分来加速CPU上运行的应用程序。应用程序的其余部分仍在CPU上运行。从用户的角度来看，应用程序运行得更快，因为它使用GPU的大规模并行处理能力来提高性能。这被称为“异构”或“混合”计算。
[0003]CPU由4到8个CPU内核组成，而GPU由数百个较小的内核组成。它们共同运作以应对应用程序中的数据。这种大规模并行架构为GPU提供了高计算性能。有许多GPU加速的应用程序提供了访问高性能计算(HPC)的简便方法。
[0004]资源调度即将工作中所需的资源进行分配。在此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向三级并行中间件的计算资源自动分配方法，其特征在于，包括以下步骤：步骤1：采用程序插桩方法对程序的运行时间进行预测，具体实现包括以下子步骤：步骤1.1：定位循环语句和分支语句，在循环结构中插桩和分支语句中插桩，获取循环语句条数和分支语句条数；步骤1.2：定位MPI通信函数，对MPI通信函数进行插桩，获取MPI通信数据量；步骤1.3：将对原程序插桩后的新程序作为预测对象，插桩完毕后，输入运行新生成的程序，获取CPU运行时间、GPU运行时间和该程序总的运行时间的输出值，并作为输入再次进行计算，循环执行若干次，直至达到预期值，即输出值稳定，误差小于预设值；步骤2：将计算任务进行划分，将计算任务合理地分配给任务执行单元的CPU和GPU进行计算，实现资源调度与负载均衡。2.根据权利要求1所述的面向三级并行中间件的计算资源自动分配方法，其特征在于：步骤1.3中所述预期值，是基于各个特征的输出值对时间的影响大小，对每次输出值进行拟合。3.根据权利要求1所述的面向三级并行中间件的计算资源自动分配方法，其特征在于：步骤2中，通过分布式框架将总计算任务进行划分，将总的任务数N作为输入，通过一个消息中间件联系；所述消息中间件将总任务数N分别分配给各个任务执行单元，并监视每个任务执行单元的运行情况；当任务执行单元的运算结束后将结果存储。4.根据权利要求3所述的面向三级并行中间件的计算资源自动分配方法，其特征在于：所述消息中间件，是将一个任务执行单元的任务数作为输入，基于计算分配给CPU的块数，分配给GPU的块数以及在CPU上创建的线程数，经过资源调度模型，按照CPU和GPU同时完成任务的情况下计算的总时间最短这一原则分配任务，实现二者同时进行计算；所述资源调度模型，对于新的数据的传入首先在数据库中判断要调用的Worker是否存在已经配置好的相关参数，包括CPU的块数，GPU...

【专利技术属性】
技术研发人员：刘金硕，毛煜灵，王欣盛，付盼，
申请(专利权)人：武汉大学，
类型：发明
国别省市：