内存使用方法、装置、设备及介质制造方法及图纸

技术编号:43954042 阅读:24 留言:0更新日期:2025-01-07 21:40
本申请提供了一种内存使用方法、装置、设备及介质,涉及存储系统技术领域,应用于分布式存储系统,该方法包括:在业务处理服务启动之后,针对每个业务处理服务,创建对应的共享内存对象;当需要进行数据交互时,建立业务处理服务和业务请求服务之间的链接;基于业务处理服务所在的第一物理节点的第一网卡信息和业务请求服务所在的第二物理节点的第二网卡信息,判断第一物理节点和第二物理节点是否为同一个物理节点;当为同一个物理节点时,使用共享内存对象进行数据交互。减少部署在同一个物理节点的业务请求服务和业务处理服务之间的数据交互的拷贝,无需使用网卡的内存进行拷贝,进而提高了分布式存储系统的性能。

【技术实现步骤摘要】

本申请涉及存储系统,特别是涉及一种内存使用方法、装置、设备及介质


技术介绍

1、随着当前ai深度学习和人工智能以及高性能计算任务等技术的发展,hpc(高性能计算,high performance computing)场景应用越来越多。在未来,随着hpc技术的不断发展和普及,存储系统也面临hpc场景的适配和迭代。比如要求hpc存储系统支持高性能计算任务的数据存储和管理、大规模数据分析和挖掘的海量数据存储、存储大规模的数据集和模型参数,用来支持机器学习和深度学习任务和推理等各种场景。

2、hpc存储系统为了适配上述场景,也要求使用高性能硬件设备,比如说高速存储设备(ssd,nvme等),高速网络连接(infiniband、ethernet),高性能cpu等。其中在对高速网络连接的要求中,为了满足上述高性能,网络连接需要满足高带宽,低时延,业内目前常用的是使用rmda(远程直接内存访问)支持,rdma技术可以减少内存拷贝,降低数据传输的延迟和cpu负载。对于高性能cpu的选择,更优先选择多numa架构,可减少内存访问冲突,提高并行处理能力,用来适配本文档来自技高网...

【技术保护点】

1.一种内存使用方法,其特征在于,应用于分布式存储系统,所述分布式存储系统包括多个物理节点,所述多个物理节点中部署有多个业务处理服务和多个业务请求服务,所述方法包括:

2.根据权利要求1所述的内存使用方法,其特征在于,所述分布式存储系统的一个物理节点上还部署有集群控制服务;在创建与所述业务处理服务对应的共享内存对象之后,还包括:

3.根据权利要求2所述的内存使用方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的内存使用方法,其特征在于,所述基于所述业务处理服务所在的第一物理节点的第一网卡信息和所述业务请求服务所在的第二物理节点的第二网卡信息,...

【技术特征摘要】

1.一种内存使用方法,其特征在于,应用于分布式存储系统,所述分布式存储系统包括多个物理节点,所述多个物理节点中部署有多个业务处理服务和多个业务请求服务,所述方法包括:

2.根据权利要求1所述的内存使用方法,其特征在于,所述分布式存储系统的一个物理节点上还部署有集群控制服务;在创建与所述业务处理服务对应的共享内存对象之后,还包括:

3.根据权利要求2所述的内存使用方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的内存使用方法,其特征在于,所述基于所述业务处理服务所在的第一物理节点的第一网卡信息和所述业务请求服务所在的第二物理节点的第二网卡信息,判断所述第一物理节点和所述第二物理节点是否为同一个物理节点,包括:

5.根据权利要求2所述的内存使用...

【专利技术属性】
技术研发人员:王瑞瑞侯斌
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1