【技术实现步骤摘要】
本专利技术涉及mpi通信传输,尤其涉及一种基于gpgpu的mpi集体通信传输系统及方法。
技术介绍
1、随着信息时代的到来,数据的规模与多样性呈现出指数级增长。在此背景下,传统的集中式计算架构由于其固有的的算力集中性限制,已逐渐显示出在处理大规模数据集方面的不足。为了应对这一挑战,分布式计算架构应运而生,并迅速发展成为一种主流的计算范式,成为应对大数据挑战的有效手段。
2、然而,分布式计算架构在实现高效数据传输方面面临显著挑战。信息传输接口协议(message passing interface,mpi)作为一种应对策略,被设计用于优化分布式计算环境中的数据交换过程。mpi通过在现有网络通信协议之上构建的高级抽象,为分布式计算节点间的数据存储与交互提供了一种主要的通信机制。
3、尽管mpi通信在分布式计算领域中发挥着关键作用,但其在处理大规模数据传输时仍存在一些局限性。一方面当前的mpi通信节点主要依赖于cpu来执行数据的压缩、解压缩以及迁移等操作。在小规模数据传输场景中,这种依赖性尚可接受,但在面对大规模数据集
...【技术保护点】
1.一种基于GPGPU的MPI集体通信传输系统,所述系统包括MPI通信网络及若干个MPI通信节点,所述MPI通信网络与所述若干个MPI通信节点分别通讯连接,其特征在于,
2.一种基于GPGPU的MPI集体通信传输方法,应用于如权利要求1所述的一种基于GPGPU的MPI集体通信传输系统,其特征在于,所述方法包括:
3.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,仲裁单元接收所述MPI通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标GPGPU,具体包括:
4.根据权利要求2所述
...【技术特征摘要】
1.一种基于gpgpu的mpi集体通信传输系统,所述系统包括mpi通信网络及若干个mpi通信节点,所述mpi通信网络与所述若干个mpi通信节点分别通讯连接,其特征在于,
2.一种基于gpgpu的mpi集体通信传输方法,应用于如权利要求1所述的一种基于gpgpu的mpi集体通信传输系统,其特征在于,所述方法包括:
3.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,仲裁单元接收所述mpi通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标gpgpu,具体包括:
4.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果,具体包括:
5.根据权利要求4所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,根据解压后的所述mpi通信数据,提取所需的辅助计算数据,具体包括:
6.根据权利要求2所述的一种基于gpgpu的m...
【专利技术属性】
技术研发人员:周凯,王帅,赵鑫鑫,姜凯,
申请(专利权)人:山东浪潮科学研究院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。