云存储系统中的数据传输方法、装置、设备及存储介质制造方法及图纸

本申请关于一种云存储系统中的数据传输方法、装置、设备及存储介质，涉及云应用技术领域。所述方法包括：在云存储系统中的发送端设备中存在待写入接收端设备的目标数据时，可以在发送端设备和接收端设备之间建立数据连接，并将目标数据直接从发送端设备中的缓冲区，通过UCX

【技术实现步骤摘要】
云存储系统中的数据传输方法、装置、设备及存储介质


[0001]本申请涉及云应用
，特别涉及一种云存储系统中的数据传输方法、装置、设备及存储介质。

技术介绍

[0002]云存储系统在医疗、金融、政务、游戏的行业中应用广泛。在云存储系统中，云端的计算节点设备和存储节点设备之间通常需要进行数据传输。
[0003]在相关技术中，云存储系统中的计算节点设备和存储节点设备之间通常通过基于套接字(socket)传输控制协议(Transmission Control Protocol，TCP)/网络协议(Internet Protocol，IP)实现。
[0004]然而，上述相关技术中，基于套接字的TCP/IP协议进行数据传输时，传输的数据需要多个网络层的缓冲区之间进行拷贝，需要耗费较多的资源，影响云存储系统的数据存取性能。

技术实现思路

[0005]本申请实施例提供了一种云存储系统中的数据传输方法、装置、设备及存储介质，可以简化云存储系统中的数据传输的复杂度，提高云存储系统的数据存取性能，该技术方案如下：
[0006]一方面，提供了一种云存储系统中的数据传输方法，所述方法由发送端设备执行，所述方法包括：
[0007]响应于发送端应用存在待写入接收端设备的目标数据，向所述接收端设备发送连接建立请求；所述发送端应用是运行于所述发送端设备的应用；
[0008]响应于接收到所述接收端设备返回的连接建立响应，建立所述接收端设备与所述发送端设备之间的数据连接；
[0009]将所述目标数据写入发送缓冲区；所述发送缓冲区是在所述数据连接的建立过程中注册的；
[0010]基于所述数据连接，通过UCX
‑
RDMA方式，将所述目标数据写入所述接收端设备中的接收缓冲区，以便接收端应用进行处理；所述接收端应用是运行在所述接收端设备的应用。
[0011]一方面，提供了一种云存储系统中的数据传输方法，所述方法由接收端设备执行，所述方法包括：
[0012]响应于通过监听线程监听到发送端设备发送的连接建立请求，向所述接收端设备返回连接建立响应；所述连接建立请求是所述发送端设备响应于发送端应用中存在待写入所述接收端设备的目标数据时发送的；所述发送端应用是运行于所述发送端设备的应用；
[0013]建立所述接收端设备与所述发送端设备之间的数据连接；
[0014]基于所述数据连接，通过UCX
‑
RDMA方式，将所述发送端设备的发送缓冲区中的所
述目标数据写入所述接收端设备中的接收缓冲区，以便接收端应用进行处理；所述接收缓冲区是在所述数据连接的建立过程中注册的；所述接收端应用是运行在所述接收端设备的应用。
[0015]另一方面，提供了一种云存储系统中的数据传输装置，所述装置用于发送端设备中，所述装置包括：
[0016]连接建立请求发送模块，用于响应于发送端应用存在待写入接收端设备的目标数据，向所述接收端设备发送连接建立请求；所述发送端应用是运行于所述发送端设备的应用；
[0017]连接建立模块，用于响应于接收到所述接收端设备返回的连接建立响应，建立所述接收端设备与所述发送端设备之间的数据连接；
[0018]写入模块，用于将所述目标数据写入发送缓冲区；所述发送缓冲区是在所述数据连接的建立过程中注册的；
[0019]传输模块，用于基于所述数据连接，通过UCX
‑
RDMA方式，将所述目标数据写入所述接收端设备中的接收缓冲区，以便接收端应用进行处理；所述接收端应用是运行在所述接收端设备的应用。
[0020]在一种可能的实现方式中，所述装置还包括：
[0021]创建模块，用于在连接建立请求发送模块向所述接收端设备发送连接建立请求之前，调用上下文建立接口，创建第一连接上下文；
[0022]所述创建模块，还用于在连接建立请求发送模块向所述接收端设备发送连接建立请求之前，调用线程创建接口，创建第一连接线程；
[0023]所述创建模块，还用于在连接建立模块建立所述接收端设备与所述发送端设备之间的数据连接之前，响应于发送端应用存在待写入接收端设备的目标数据，基于所述第一连接上下文以及所述第一连接线程创建所述第一网络端点；
[0024]所述连接建立模块，用于所述响应于接收到所述接收端设备返回的连接建立响应，基于所述第一网络端口建立所述数据连接。
[0025]在一种可能的实现方式中，所述传输模块，用于基于所述数据连接向所述接收端设备发送传输请求，所述传输请求中包含传输标签；所述传输请求用于指示所述接收端设备基于所述传输标签，通过UCX
‑
RDMA方式将所述目标数据写入所述接收缓冲区。
[0026]在一种可能的实现方式中，所述传输请求包括第一传输请求，所述第一传输请求中还包含所述目标数据。
[0027]在一种可能的实现方式中，所述传输请求包括第二传输请求，所述第二传输请求中还包含所述发送缓冲区的地址，以及所述发送缓冲区的密钥；
[0028]所述传输模块，还用于，
[0029]接收所述接收端设备通过所述数据连接发送的数据读取请求，所述数据读取请求中包含所述缓冲区的地址，以及所述发送缓冲区的密钥；
[0030]基于所述缓冲区的地址，以及所述发送缓冲区的密钥，向所述接收端设备发送所述目标数据。
[0031]在一种可能的实现方式中，所述传输模块，用于，
[0032]基于所述目标数据的业务需求，获取所述目标数据的传输模式；
[0033]基于所述传输模式，向所述接收端设备发送所述传输请求。
[0034]在一种可能的实现方式中，所述连接建立请求发送模块，用于，
[0035]响应于所述发送端应用存在所述目标数据，通过存储性能开发工具包SPDK中的存储服务层，向传输层提交输入输出请求；
[0036]通过所述传输层调用提交请求实例，以触发执行向所述接收端设备发送所述连接建立请求的步骤。
[0037]在一种可能的实现方式中，所述发送端设备是所述云存储系统中的计算节点设备，所述接收端设备是所述云存储系统中的存储节点设备；
[0038]或者，
[0039]所述发送端设备是所述云存储系统中的存储节点设备，所述接收端设备是所述云存储系统中的计算节点设备。
[0040]另一方面，提供了一种云存储系统中的数据传输装置，所述装置用于接收端设备中，所述装置包括：
[0041]连接建立响应返回模块，用于响应于通过监听线程监听到发送端设备发送的连接建立请求，向所述接收端设备返回连接建立响应；所述连接建立请求是所述发送端设备响应于发送端应用中存在待写入所述接收端设备的目标数据时发送的；所述发送端应用是运行于所述发送端设备的应用；
[0042]连接建立模块，用于建立所述接收端设备与所述发送端设备之间的数据连接；
[0043]传输模块，用于基于所述数据连接，通过U本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云存储系统中的数据传输方法，其特征在于，所述方法由发送端设备执行，所述方法包括：响应于发送端应用存在待写入接收端设备的目标数据，向所述接收端设备发送连接建立请求；所述发送端应用是运行于所述发送端设备的应用；响应于接收到所述接收端设备返回的连接建立响应，建立所述接收端设备与所述发送端设备之间的数据连接；将所述目标数据写入发送缓冲区；所述发送缓冲区是在所述数据连接的建立过程中注册的；基于所述数据连接，通过基于统一通信X的远程直接内存访问UCX
‑
RDMA方式，将所述目标数据写入所述接收端设备中的接收缓冲区，以便接收端应用进行处理；所述接收端应用是运行在所述接收端设备的应用。2.根据权利要求1所述的方法，其特征在于，所述向所述接收端设备发送连接建立请求之前，还包括：调用上下文建立接口，创建第一连接上下文；调用线程创建接口，创建第一连接线程；所述响应于接收到所述接收端设备返回的连接建立响应，建立所述接收端设备与所述发送端设备之间的数据连接之前，还包括：响应于发送端应用存在待写入接收端设备的目标数据，基于所述第一连接上下文以及所述第一连接线程创建所述第一网络端点；所述响应于接收到所述接收端设备返回的连接建立响应，建立所述接收端设备与所述发送端设备之间的数据连接，包括：所述响应于接收到所述接收端设备返回的连接建立响应，基于所述第一网络端口建立所述数据连接。3.根据权利要求1所述的方法，其特征在于，所述基于所述数据连接，通过基于统一通信X的远程直接数据存取UCX
‑
RDMA方式，将所述目标数据写入所述接收端设备中的接收缓冲区，包括：基于所述数据连接向所述接收端设备发送传输请求，所述传输请求中包含传输标签；所述传输请求用于指示所述接收端设备基于所述传输标签，通过UCX
‑
RDMA方式将所述目标数据写入所述接收缓冲区。4.根据权利要求3所述的方法，其特征在于，所述传输请求包括第一传输请求，所述第一传输请求中还包含所述目标数据。5.根据权利要求3所述的方法，其特征在于，所述传输请求包括第二传输请求，所述第二传输请求中还包含所述发送缓冲区的地址，以及所述发送缓冲区的密钥；所述基于所述数据连接，通过统一通信X的远程直接内存访问UCX
‑
RDMA方式，将所述目标数据写入所述接收端设备中的接收缓冲区，还包括：接收所述接收端设备通过所述数据连接发送的数据读取请求，所述数据读取请求中包含所述缓冲区的地址，以及所述发送缓冲区的密钥；基于所述缓冲区的地址，以及所述发送缓冲区的密钥，向所述接收端设备发送所述目标数据。
6.根据权利要求3至5任一所述的方法，其特征在于，所述向所述接收端设备发送传输请求，包括：基于所述目标数据的业务需求，获取所述目标数据的传输模式；基于所述传输模式，向所述接收端设备发送所述传输请求。7.根据权利要求1所述的方法，其特征在于，所述响应于发送端应用存在待写入接收端设备的目标数据，向所述接收端设备发送连接建立请求，包括：响应于所述发送端应用存在所述目标数据，通过存储性能开发工具包SPDK中的存储服务层，向传输层提交输入输出请求；通过所述传输层调用提交请求实例，以触发执行向所述接收端设备发送所述连接建立请求的步骤。8.根据权利要求1所述的方法，其特征在于，所述发送端设备是所述云存储系统中的计算节点设备，所述接收端设备是所述云存储系统中的存储节点设备；或者，所述发送端设备是所述云存储系统中的存储节点设备，所述接收端设备是所述云存储系统中的计算节点设备。9.一种云存储系统中的数据传输方法，其特征在于，所述方法由接收端设备执行，所述方法包括：响应于通过监听线程监听到发送端设备发送的连接建立请求，向所述接收端设备返回连接...

【专利技术属性】
技术研发人员：孔媛媛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：