【技术实现步骤摘要】
基于MP和RDMA的高速缓存文件系统通信方法及系统
本专利技术涉及并行存储系统,具体涉及一种基于MP(短消息)和RDMA(远程直接内存访问)的高速缓存文件系统通信方法及系统。
技术介绍
并行存储系统是高性能计算机的重要组成部分,为并行应用提供数据的保存、访问服务。存储系统的稳定、高效运行,对整个高性能计算机有着重要的作用。随着高性能计算机的规模越来越大,对数据访问的性能也提出了越来越高的要求。同时,为了提高高性能计算机系统使用效率,系统中一般会有多个并行作业同时运行,这些作业对数据访问的需求各不相同,相互之间在数据访问方面会存在带宽干扰。为了解决上述问题,新一代高性能计算机系统一般会在原有的全局共享文件系统的基础上,增加部署一套高速缓存文件系统(BurstBufferFileSystem,简称BB)。BB采用高速存储设备,如新型SSD存储介质、非易失内存设备(Non-VolatileMemory)等,结合高性能通信网络,伴随用户并行作业的运行构建,为并行作业提供临时的高性能数据访问空间。图1给出了现有高性能计算机系统 ...
【技术保护点】
1.一种基于MP和RDMA的高速缓存文件系统通信方法,其特征在于实施步骤包括:/n1)接收应用程序提交的文件/目录操作请求并提交到请求队列;/n2)针对请求队列中文件/目录操作请求,将文件/目录操作请求的数据携带量和设定值进行比较,如果数据携带量小于设定值,则将文件/目录操作请求采用MP请求的方式提交给高速通信网络接口;否则将文件/目录操作请求采用RDMA请求和和MP请求相结合的方式提交给高速通信网络接口,最终由高速通信网络接口通过高速通信网络发送给目标存储服务器。/n
【技术特征摘要】
1.一种基于MP和RDMA的高速缓存文件系统通信方法,其特征在于实施步骤包括:
1)接收应用程序提交的文件/目录操作请求并提交到请求队列;
2)针对请求队列中文件/目录操作请求,将文件/目录操作请求的数据携带量和设定值进行比较,如果数据携带量小于设定值,则将文件/目录操作请求采用MP请求的方式提交给高速通信网络接口;否则将文件/目录操作请求采用RDMA请求和和MP请求相结合的方式提交给高速通信网络接口,最终由高速通信网络接口通过高速通信网络发送给目标存储服务器。
2.根据权利要求1所述的基于MP和RDMA的高速缓存文件系统通信方法,其特征在于,步骤2)中采用RDMA请求和和MP请求相结合的方式提交给高速通信网络接口时还包括对其中的RDMA请求采用多线程并发处理的步骤。
3.根据权利要求1所述的基于MP和RDMA的高速缓存文件系统通信方法,其特征在于,所述将文件/目录操作请求采用MP请求的方式提交给高速通信网络接口的步骤包括:创建空的MP请求;初始化MP请求;根据目标节点计算发送地址;初始化MP请求的负载信息,所述MP请求的负载信息包括操作类型代码以及序列化后的操作参数;将MP请求提交给高速通信网络接口以发送给目标存储服务器。
4.根据权利要求3所述的基于MP和RDMA的高速缓存文件系统通信方法,其特征在于,所述将文件/目录操作请求采用MP请求的方式提交给高速通信网络接口之后还包括目标存储服务器响应MP请求的步骤:根据MP请求的负载信息获取文件/目录操作结果,创建空的MP请求;初始化MP请求;根据目标节点计算发送地址;初始化MP请求的负载信息,所述MP请求的负载信息包括获取文件/目录操作结果;将MP请求提交给高速通信网络接口以发送给文件/目录操作请求的客户端。
5.根据权利要求1所述的基于MP和RDMA的高速缓存文件系统通信方法,其特征在于,所述将文件/目录操作请求采用RDMA请求和和MP请求相结合的方式提交给高速通信网络接口时包括使用MP请求传输RDMA写操作的过程:准备RDMA写操作的数据,创建空的MP请求;初始化MP请求为RDMA写操作前导报文;在MP请求中指定写入数据所需的空间大小;将MP请求提交给高速通信网络接口以发送给目标存储服务器;然后等待目标存储服务器...
【专利技术属性】
技术研发人员:董勇,陈娟,谢旻,王睿伯,周恩强,张伟,迟万庆,张文喆,李佳鑫,邬会军,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。