一种制造技术

本发明专利技术提供了一种

【技术实现步骤摘要】
一种RDMA网络资源复用的方法与装置


[0001]本专利技术涉及分布式存储系统领域，更具体地，涉及分布式存储系统
RDMA
网络通讯资源复用的方法与装置
。

技术介绍

[0002]目前分布式存储系统已经得到了广泛应用，不仅在人工智能
、
数据挖掘等
需要大量数据存储，还在金融
、
保险
、
交通
、
智慧城市等生活的各个方面发挥重要作用
。
分布式存储系统本质上是将大量的结构型
、
非结构型的数据均匀分布到多个存储服务器上，为用户提供快速的存储和查询能力，具有高性能
、
高可用
、
易扩展，高可靠的特点
。
分布式存储系统的网络通讯性能决定了整个系统性能，网络通讯不仅连接客户端与集群，最主要是连接集群中的各个存储服务器，每个存储服务器上部署了大量不同服务，如
MON、MGR、OSD、MDS
等
。
网络通讯具有高可用性
、
安全性
、
可扩展性
、
高可靠性
、
高性能等特点
。
[0003]现有技术中，常用的网络技术有
TCP/IP、RDMA
技术
、DPDK
技术等
。TCP/IP
通讯过程中，用户态的数据要先拷贝到内核态，由内核操作网卡发送到对端的内核态，然后再从内核态拷贝到用户态，存在两次数据拷贝，整个传输过程消耗
CPU
资源，在高性能场景不适用
TCP/IP。RDMA(Remote Direct Memory Access)
意为远程直接内存访问，通过
RDMA
，本端节点可以“直接”访问远端节点的内存
。
所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的
TCP/IP
网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的
。RDMA
技术不占用
CPU
，省略内存拷贝动作，极大的提高了网络通讯性能
。
[0004]由于
RDMA
网卡硬件资源有限，将
RDMA
部署到大规模集群中会遇到性能损伤问题，造成
RDMA
原有的高性能无法得到充分发挥
。
现有的工作开始尝试通过资源共享来缓解
RDMA
硬件缓存有限的影响
。Mellanox
公司提出一共动态连接传输模式
(DC
模式
)
，它可以在网卡硬件上做到高效资源复用，使用一个发送队列来向远端节点发送数据和一个接收队列从远端节点接收数据，从而降低网络资源使用总量
。
这种模式每次通讯时，需要与上一次通讯节点挥手断开，然后才能向新的节点发送数据，网络速度越高动态连接模式的时延越高，导致网络服务的吞吐量受到严重损伤
。

技术实现思路

[0005]有鉴于此，本专利技术提出了一种
RDMA
网络资源复用的方法与装置，在上层应用与网卡之间构建一层
RDMA
资源管理层来做请求处理和推送，异步请求聚合和数据接收与分发，同时实现低延迟和基于优先级的调度服务
。
[0006]基于上述目的，第一方面，本专利技术提供了一种
RDMA
网络资源复用的方法，包括以下步骤：
[0007]a.
在上层应用与网卡之间建立
RDMA
资源管理层，用于请求处理和推送
、
异步请求聚合
、
数据接收与分发以及实现基于优先级的调度服务；
[0008]b.
管理层接收上层应用的网络连接请求，检查是否已有连接到相同远端主机节点的网络，若有，则复用现有连接资源；若无，则新建
QP
与远端建立连接，并将该连接加入已连接列表，实现网络连接复用；
[0009]c.
上层应用发送数据时，设置数据发送优先级，资源管理层根据优先级实现相同优先级的数据请求按照入队先后顺序进行处理，高优先级请求优先发送，同时动态修改低优先级请求的优先等级，防止低优先级请求长时间被阻塞；
[0010]d.
接收到远端发送的数据后，资源管理层进行接收与分发，将数据根据标识分发给相应的上层应用进行处理，实现消息聚合和数据的有效分发
。
[0011]作为本专利技术的进一步方案，所述
RDMA
网络资源复用的方法适用于分布式存储系统的
MON
集群
、MDS
元数据集群以及
OSD
存储模块，为分布式存储系统的
MON
集群
、MDS
元数据集群以及
OSD
存储模块提供一种统一的
、
自控的
、
可扩展的
RDMA
通讯方式
。
[0012]作为本专利技术的进一步方案，在上层应用与网卡之间建立
RDMA
资源管理层，还包括提供网络连接
、
数据发送与接收
、
网络断开接口，上层应用通过接口调用实现与远端设备的通讯
。
[0013]作为本专利技术的进一步方案，管理层接收上层应用的网络连接请求，检查远端连接是否已经连接时，若已经连接返回相应的连接句柄，若未连接那么新建
QP
与远端连接，连接成功后加入已连接列表，所有上层应用连接同一个远端设备时，网络资源只占用一个
QP。
[0014]作为本专利技术的进一步方案，
RDMA
资源管理层实现了对相同远端连接的网络资源复用，使得连接到相同远端主机节点的所有网络可以共享相同的网络资源，从而最大程度利用网卡资源
。
[0015]作为本专利技术的进一步方案，
RDMA
资源管理层实现了对发送数据的优先级控制，保证高优先级数据请求优先发送，防止高优先级数据被低优先级数据阻塞，从而保障了上层应用通讯的可靠性
。
[0016]作为本专利技术的进一步方案，
RDMA
资源管理层实现了对接收数据的统一接收与分发，远端发送到本端的数据由资源复用管理层进行接收，接收到的数据根据起数据中的标识被分发到上层应用处理，实现消息聚合和数据的有效分发
。
[0017]作为本专利技术的进一步方案，
RDMA
资源管理层通过在上层应用与网卡之间建立资源复用管理层来实现多个应用共享网络资源，从而减少连接和断连次数，降低网络传输时延
。
[0018]作为本专利技术的进一步方案，
RDMA
资源管理层实现了网络连接复用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
RDMA
网络资源复用的方法，其特征在于，包括以下步骤：
a.
在上层应用与网卡之间建立
RDMA
资源管理层，用于请求处理和推送
、
异步请求聚合
、
数据接收与分发以及实现基于优先级的调度服务；
b.
管理层接收上层应用的网络连接请求，检查是否已有连接到相同远端主机节点的网络，若有，则复用现有连接资源；若无，则新建
QP
与远端建立连接，并将该连接加入已连接列表；
c.
上层应用发送数据时，设置数据发送优先级，资源管理层根据优先级实现相同优先级的数据请求按照入队先后顺序进行处理，高优先级请求优先发送，同时动态修改低优先级请求的优先等级；
d.
接收到远端发送的数据后，资源管理层进行接收与分发，将数据根据标识分发给相应的上层应用进行处理
。2.
根据权利要求1所述的
RDMA
网络资源复用的方法，其特征在于，所述
RDMA
网络资源复用的方法被配置用于分布式存储系统的
MON
集群
、MDS
元数据集群以及
OSD
存储模块
。3.
根据权利要求2所述的
RDMA
网络资源复用的方法，其特征在于，在上层应用与网卡之间建立
RDMA
资源管理层，还包括提供网络连接
、
数据发送与接收
、
网络断开接口，上层应用通过接口调用实现与远端设备的通讯
。4.
根据权利要求1所述的
RDMA
网络资源复用的方法，其特征在于，管理层接收上层应用的网络连接请求，检查远端连接是否已经连接时，若已经连接返回相应的连接句柄，若未连接那么新建
QP
与远端连接，连接成功后加入已连接列表，所有上层应用连接同一个远端设备时，网络资源只占用一个
QP。5.
一种
RDMA
网络资源复用的装置，其特征在于，适用于分布式存储系统，包括：
RDMA
资源管理模块，用于在上层应用与网...

【专利技术属性】
技术研发人员：徐成智，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：