本发明专利技术公开了一种分布式存储卸载方法、装置、电子设备及存储介质，应用于分布式存储技术领域，该方法包括：与对端节点建立连接；与对端节点进行内存索引信息交换，获取各对端内存索引；从各对端内存索引中确定出目标对端内存索引；通过本地智能网卡DPU采用远程直接数据存取RDMA单边操作的方式，将待发送信息写入至与目标对端内存索引对应的对端内存地址中；本发明专利技术单边操作只需要一次发送即可实现数据写入，能够更好的发挥RDMA单边操作的性能，提高数据处理效率以及分布式存储整体性能。数据处理效率以及分布式存储整体性能。数据处理效率以及分布式存储整体性能。
【技术实现步骤摘要】
一种分布式存储卸载方法、装置、电子设备及存储介质
[0001]本专利技术实施例涉及分布式存储
，特别是涉及一种分布式存储卸载方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着计算机技术的快速发展，硬件设备由传统的磁带发展到物理硬盘再发展到现阶段的SSD（Solid State Drives，固态硬盘）、NVME（Non
‑
Volatile Memory express）磁盘甚至PMem（Persistent Memory，持久内存）和DRAM电脑内存，硬件的性能越来越好，HCI（Hyper Converged Infrastructure，超融合架构）场景下网络性能成为分布式存储的性能瓶颈，如何发挥HCI的性能成为现在分布式存储领域的一个课题，如今网络传输由过去的TCP（Transmission Control Protocol，传输控制协议）网络到现在的RDMA（Remote Direct Memory Access，远程直接数据存取）网络，通过网络完全卸载到DPU（智能网卡）中来发挥整个网络性能，提高整个网络的性能，其中，RDMA分为单边操作和双边操作，其中，RDMA多通道方式进行send/recv（也即发送/接收）交互需要双边参与（具体如图1所示），RDMA传统的单边操作如图2所示，其中，粗实线为网卡处理的内容，仍旧需要两次发送，因此如何更好的发挥RDMA单边操作的性能，提高分布式存储卸载性能成为本领域技术人员需要解决的问题。
技术实现思路
[0003]本专利技术实施例的目的是提供一种分布式存储卸载方法、装置、电子设备及计算机可读存储介质，在使用过程中能够更好的发挥RDMA单边操作的性能，提高数据处理效率以及分布式存储整体性能。
[0004]为解决上述技术问题，本专利技术实施例提供了一种分布式存储卸载方法，包括：与对端节点建立连接；与所述对端节点进行内存索引信息交换，获取各对端内存索引；从各所述对端内存索引中确定出目标对端内存索引；通过本地智能网卡DPU采用远程直接数据存取RDMA单边操作的方式，将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中。
[0005]可选的，在所述与对端节点建立连接之前，还包括：针对每个节点，建立本地内存池；建立与所述本地内存池的各本地内存地址分别对应的本地内存索引。
[0006]可选的，所述与所述对端节点进行内存索引信息交换，获取各对端内存索引，包括：将多个所述本地内存索引发送至所述对端节点；接收所述对端节点发送的多个对端内存索引，所述对端内存索引与对端内存池的相应对端内存地址对应。
[0007]可选的，在所述建立与所述本地内存池的各本地内存地址分别对应的本地内存索
引之后，还包括：为其他节点分别分配多个本地内存索引；则，所述将多个所述本地内存索引发送至所述对端节点，包括：将与所述对端节点对应的多个所述本地内存索引发送至所述对端节点。
[0008]可选的，在所述建立本地内存池之后，还包括：将各所述本地内存池注册至本地DPU中。
[0009]可选的，所述从各所述对端内存索引中确定出目标对端内存索引，包括：对索引信息中各个对端内存索引进行轮询，确定出目标对端内存索引。
[0010]可选的，所述对索引信息中各个对端内存索引进行轮询，确定出目标对端内存索引，包括：对索引信息中各个对端内存索引进行轮询，查找出状态标识为空闲状态的对端内存索引；将所述状态标识为空闲状态的对端内存索引确定为目标对端内存索引。
[0011]可选的，在所述将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中之后，还包括：将本地存储的所述目标对端内存索引及对端节点相应的原对端内存索引的状态标识更改为已写入状态。
[0012]可选的，还包括：对各个本地内存索引进行遍历，确定出状态标识为已写入状态的目标本地内存索引；对与所述目标本地内存索引对应的本地内存地址中的信息进行IO处理。
[0013]可选的，所述对与所述目标本地内存索引对应的本地内存地址中的信息进行IO处理，包括：直接将与所述目标本地内存索引对应的本地内存地址中的数据下发至物理磁盘。
[0014]可选的，在所述对与所述目标本地内存索引对应的本地内存地址中的信息进行IO处理之后，还包括：将所述目标本地内存索引的状态标识更改为空闲状态。
[0015]可选的，在所述对与所述目标本地内存索引对应的本地内存地址中的信息进行IO处理之后，还包括：生成本地返回信息，所述本地返回信息包括所述目标本地内存索引的索引头；从各所述对端内存索引中确定出当前的目标对端内存索引；通过本地DPU采用RDMA单边操作的方式，将所述本地返回信息写入与所述当前的目标对端内存索引对应的对端内存地址中。
[0016]可选的，还包括：在对与所述目标本地内存索引对应的本地内存地址中的信息为对端返回信息时，基于所述对端返回信息中的索引头对相应的对端内存索引的状态标识更改为空闲状态。
[0017]可选的，所述本地内存索引包括本地内存块对应的本地内存地址、密钥和数据头信息；所述对端内存索引包括对端内存块对应的对端内存地址、密钥和数据头信息。
[0018]可选的，还包括：从各所述对端内存索引中未确定出目标对端内存索引时，向所述对端节点发送重新读取索引信息请求；接收所述对端节点发送的最新的各对端内存索引。
[0019]可选的，还包括：在基于所述最新的各对端内存索引未确定出目标对端内存索引的情况下，向所述对端节点发送索引扩充请求。
[0020]可选的，所述从各所述对端内存索引中确定出目标对端内存索引，包括：基于待发送信息数量，从各所述对端内存索引中确定出多个目标对端内存索引；则，将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中，包括：将各所述待发送信息写入至与各所述目标对端索引分别对应的对端内存地址中。
[0021]本专利技术实施例还提供了一种分布式存储卸载装置，包括：连接模块，用于与对端节点建立连接；交互模块，用于与所述对端节点进行内存索引信息交换，获取各对端内存索引；确定模块用于从各所述对端内存索引中确定出目标对端内存索引；操作模块，用于通过本地智能网卡DPU采用远程直接数据存取RDMA单边操作的方式，将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中。
[0022]可选的，还包括：第一建立模块，用于针对每个节点，建立本地内存池；第二建立模块，用于建立与所述本地内存池的各本地内存地址分别对应的本地内存索引。
[0023]可选的，所述交互模块，包括：第一发送模块，用于将多个所述本地内存索引发送至所述对端节点；第一接收模块，用于接收所述对端节点发送的多个对端内存索引，所述对端内存索引与对端内存池的相应对端内存地址对应。
[0024]可选的，还包括：分配模块，用于为其他节点分别分配多个本地内存索引；则，所述第一发送模块，用于将与所述对端节点对应的多个所述本地内存索引发送至所述对端节点。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式存储卸载方法，其特征在于，包括：与对端节点建立连接；与所述对端节点进行内存索引信息交换，获取各对端内存索引；从各所述对端内存索引中确定出目标对端内存索引；通过本地智能网卡DPU采用远程直接数据存取RDMA单边操作的方式，将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中。2.根据权利要求1所述的分布式存储卸载方法，其特征在于，在所述与对端节点建立连接之前，还包括：针对每个节点，建立本地内存池；建立与所述本地内存池的各本地内存地址分别对应的本地内存索引。3.根据权利要求2所述的分布式存储卸载方法，其特征在于，所述与所述对端节点进行内存索引信息交换，获取各对端内存索引，包括：将多个所述本地内存索引发送至所述对端节点；接收所述对端节点发送的多个对端内存索引，所述对端内存索引与对端内存池的相应对端内存地址对应。4.根据权利要求3所述的分布式存储卸载方法，其特征在于，在所述建立与所述本地内存池的各本地内存地址分别对应的本地内存索引之后，还包括：为其他节点分别分配多个本地内存索引；则，所述将多个所述本地内存索引发送至所述对端节点，包括：将与所述对端节点对应的多个所述本地内存索引发送至所述对端节点。5.根据权利要求2所述的分布式存储卸载方法，其特征在于，在所述建立本地内存池之后，还包括：将各所述本地内存池注册至本地DPU中。6.根据权利要求2所述的分布式存储卸载方法，其特征在于，所述从各所述对端内存索引中确定出目标对端内存索引，包括：对索引信息中各个对端内存索引进行轮询，确定出目标对端内存索引。7.根据权利要求6所述的分布式存储卸载方法，其特征在于，所述对索引信息中各个对端内存索引进行轮询，确定出目标对端内存索引，包括：对索引信息中各个对端内存索引进行轮询，查找出状态标识为空闲状态的对端内存索引；将所述状态标识为空闲状态的对端内存索引确定为目标对端内存索引。8.根据权利要求2所述的分布式存储卸载方法，其特征在于，在所述将待发送信息写入至与所述目标对端内存索引对应的对端内存地址中之后，还包括：将本地存储的所述目标对端内存索引及对端节点相应的原对端内存索引的状态标识更改为已写入状态。9.根据权利要求2所述的分布式存储卸载方法，其特征在于，还包括：对各个本地内存索引进行遍历，确定出状态标识为已写入状态的目标本地内存索引；对与所述目标本地内存索引对应的本地内存地址中的信息进行IO处理。10.根据权利要求9所述的分布式存储卸载方法，其特征在于，所述对与所述目标本地
内存索引对应的本地内存地址中的信息进行IO处理，包括：直接将与所述目标本地内存索引对应的本地内存地址中的数据下发至物理磁盘。11.根据权利要求9所述的分布式存储卸载方法，其特征在于，在所述对与所述目标...
【专利技术属性】
技术研发人员：马怀旭，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。