一种基于GPGPU的MPI集体通信传输系统及方法技术方案

技术编号:43146999 阅读:26 留言:0更新日期:2024-10-29 17:48
本发明专利技术公开了一种基于GPGPU的MPI集体通信传输系统及方法,属于MPI通信传输技术领域,用于解决当前的MPI通信机制在集体通信场景下性能表现不理想,且占用CPU的大量资源,影响CPU执行其他计算任务的能力的技术问题。方法包括:MPI通信节点中至少包括一个仲裁单元及若干个通用图形处理单元GPGPU,用于对MPI通信网络发送的压缩数据进行并行处理;仲裁单元与若干个通用图形处理单元GPGPU分别通讯连接;仲裁单元用于监控各个GPGPU的资源使用情况以及计算资源余量,并为接收到的压缩数据分配GPGPU;通用图形处理单元GPGPU中包含MPI信息处理模块,用于对接收到的压缩数据进行并行处理。

【技术实现步骤摘要】

本专利技术涉及mpi通信传输,尤其涉及一种基于gpgpu的mpi集体通信传输系统及方法。


技术介绍

1、随着信息时代的到来,数据的规模与多样性呈现出指数级增长。在此背景下,传统的集中式计算架构由于其固有的的算力集中性限制,已逐渐显示出在处理大规模数据集方面的不足。为了应对这一挑战,分布式计算架构应运而生,并迅速发展成为一种主流的计算范式,成为应对大数据挑战的有效手段。

2、然而,分布式计算架构在实现高效数据传输方面面临显著挑战。信息传输接口协议(message passing interface,mpi)作为一种应对策略,被设计用于优化分布式计算环境中的数据交换过程。mpi通过在现有网络通信协议之上构建的高级抽象,为分布式计算节点间的数据存储与交互提供了一种主要的通信机制。

3、尽管mpi通信在分布式计算领域中发挥着关键作用,但其在处理大规模数据传输时仍存在一些局限性。一方面当前的mpi通信节点主要依赖于cpu来执行数据的压缩、解压缩以及迁移等操作。在小规模数据传输场景中,这种依赖性尚可接受,但在面对大规模数据集时,cpu的大量资源本文档来自技高网...

【技术保护点】

1.一种基于GPGPU的MPI集体通信传输系统,所述系统包括MPI通信网络及若干个MPI通信节点,所述MPI通信网络与所述若干个MPI通信节点分别通讯连接,其特征在于,

2.一种基于GPGPU的MPI集体通信传输方法,应用于如权利要求1所述的一种基于GPGPU的MPI集体通信传输系统,其特征在于,所述方法包括:

3.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,仲裁单元接收所述MPI通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标GPGPU,具体包括:

4.根据权利要求2所述的一种基于GPGPU...

【技术特征摘要】

1.一种基于gpgpu的mpi集体通信传输系统,所述系统包括mpi通信网络及若干个mpi通信节点,所述mpi通信网络与所述若干个mpi通信节点分别通讯连接,其特征在于,

2.一种基于gpgpu的mpi集体通信传输方法,应用于如权利要求1所述的一种基于gpgpu的mpi集体通信传输系统,其特征在于,所述方法包括:

3.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,仲裁单元接收所述mpi通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标gpgpu,具体包括:

4.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果,具体包括:

5.根据权利要求4所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,根据解压后的所述mpi通信数据,提取所需的辅助计算数据,具体包括:

6.根据权利要求2所述的一种基于gpgpu的m...

【专利技术属性】
技术研发人员:周凯王帅赵鑫鑫姜凯
申请(专利权)人:山东浪潮科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1