一种数据传输方法、系统、设备及存储介质技术方案

本申请实施例提供一种数据传输方法、系统、设备及存储介质。在本申请实施例中，处理器可响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据；将所述原始数据传递至本机的网卡；在所述网卡中，按照所述原始数据对应的加速指令信息对所述原始数据进行加速处理，以获得处理后数据；利用所述网卡将所述处理后数据发送至通信目的端。据此，本申请实施例中，可将原本需要由处理器执行的数据处理工作，卸载到本机的网卡中，这样，可实现在网络传输过程中对数据实施所需的处理和计算，从而卸载处理器上的相应工作开销，提高处理器的利用率，进而减少数据处理导致的传输时延，实现加速传输。实现加速传输。实现加速传输。

【技术实现步骤摘要】
一种数据传输方法、系统、设备及存储介质


[0001]本申请涉及网络通信
，尤其涉及一种数据传输方法、系统、设备及存储介质。

技术介绍

[0002]在远程直接内存访问RDMA(Remote Direct Memory Access)网络中，对于分布式应用来说，运行在不同计算节点上的进程之间需要频繁地进行网络数据交换。目前，网络数据交换需要依赖CPU来进行数据处理，这对CPU造成了沉重的负担，影响CPU的利用率，进而导致网络数据交换的效率不佳。

技术实现思路

[0003]本申请的多个方面提供一种数据传输方法、系统、设备及存储介质，用以在改善RDMA网络中的数据传输速率。
[0004]本申请实施例提供一种数据传输方法，包括：
[0005]响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据，其中，所述数据传输请求中包含加速指令信息；
[0006]将所述原始数据和所述加速指令信息传递至本机的网卡；
[0007]在所述网卡中，按照所述加速指令信息对所述原始数据进行加速处理，以获得处理后数据；
[0008]利用所述网卡将所述处理后数据发送至通信目的端。
[0009]本申请实施例还提供一种通信端，包括处理器和网卡；
[0010]所述处理器，用于响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据，其中，所述数据传输请求中包含加速指令信息；将所述原始数据和所述加速指令信息传递至本机的网卡；
[0011]所述网卡，用于按照所述加速指令信息对所述原始数据进行加速处理，以获得处理后数据；将所述处理后数据发送至通信目的端。
[0012]本申请实施例还提供一种数据传输系统，包括第一通信端和第二通信端，所述第一通信端中包含第一处理器和第一网卡，所述第二通信端中包含第二处理器和第二网卡；
[0013]所述第一处理器，用于响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据，所述数据传输请求中包含加速指令信息；将所述原始数据和所述加速指令信息传递至所述第一网卡；
[0014]所述第一网卡，用于按照所述加速指令信息对所述原始数据进行加速处理，已获得处理后数据；将所述处理后数据发送至所述第二网卡；
[0015]所述第二网卡，用于对所述处理后数据进行加速处理后，写入所述第二通信端的内存。
[0016]本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机
指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的数据传输方法。
[0017]在本申请实施例中，处理器可响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据；将所述原始数据传递至本机的网卡；在所述网卡中，按照所述原始数据对应的加速指令信息对所述原始数据进行加速处理，以获得处理后数据；利用所述网卡将所述处理后数据发送至通信目的端。据此，本申请实施例中，可将原本需要由处理器执行的数据处理工作，卸载到本机的网卡中，这样，可实现在网络传输过程中对数据实施所需的处理和计算，从而卸载处理器上的相应工作开销，提高处理器的利用率，进而减少数据处理导致的传输时延，实现加速传输。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0019]图1为本申请一示例性实施例提供的一种数据传输系统的结构示意图；
[0020]图2为本申请一示例性实施例提供的一种示例性传输方案逻辑示意图；
[0021]图3为本申请另一示例性实施例提供的一种数据传输方法的流程示意图；
[0022]图4为本申请又一示例性实施例提供的一种通信端的结构示意图。
具体实施方式
[0023]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]目前，在RDMA网络中，网络数据交换需要依赖CPU来进行数据处理，导致网络数据交换的效率不佳。为此，本申请的一些实施例中：处理器可响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据；将所述原始数据传递至本机的网卡；在所述网卡中，按照所述原始数据对应的加速指令信息对所述原始数据进行加速处理，以获得处理后数据；利用所述网卡将所述处理后数据发送至通信目的端。据此，本申请实施例中，可将原本需要由处理器执行的数据处理工作，卸载到本机的网卡中，这样，可实现在网络传输过程中对数据实施所需的处理和计算，从而卸载处理器上的相应工作开销，提高处理器的利用率，进而减少数据处理导致的传输时延，实现加速传输。
[0025]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0026]图1为本申请一示例性实施例提供的数据传输系统的结构示意图。如图1所示，该系统可包括：第一通信端10和第二通信端20，其中，第一通信端10中包含第一处理器11和第一网卡12，第二通信端20中包含第二处理器21和第二网卡22。
[0027]基于此，第一处理器11，可用于响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据，数据传输请求中包含加速指令信息；将原始数据和加速指令信息传递至第一网卡12；
[0028]第一网卡12，可用于按照加速指令信息对原始数据进行加速处理，以获得处理后数据；将处理后数据发送至第二网卡22；
[0029]第二网卡22，可用于对处理后数据进行加速处理后，写入第二通信端20的内存。
[0030]在上述数据传输过程中，第一通信端10作为发送端，第二通信端20作为接收端。应用程序可以是RDMA网络中任意的分布式应用。本实施例提供的数据传输方案可适用于RDMA网络对应的各种应用场景中，例如、云计算场景等，本实施例对应用场景不做限定。另外，本实施例对第一通信端10和第二通信端20的物理实现形式不做限定，例如，在云计算场景中，本实施例中的第一通信端10和第二通信端20可以是云网络中的计算节点、云服务器等。
[0031]参考图1，应用程序的进程可分布在第一通信端10和第二通信端20上。本实施例中，在应用层，应用程序可发起数据传输请求，这样，第一处理器11可从内存中提取所需传输的原始数据，并以消息message为单位，将原始数据传递至第一网卡12。其中，原始数据是相对于后文中的处理后数据而言的，该描述并不限定数据的状态，原始数据可以是应用程序产出的最初始数据，当然也可以是已经经历了第一处理器11的一些处理和计算后产生的数据。
[0032]本实施例中，可在第一网卡12和第二网卡22中部署加速算子，加速算子用于执行加速处理工作。对第一网卡12来说，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，包括：响应于应用程序发起的数据传输请求，从内存中提取所需传输的原始数据，其中，所述数据传输请求中包含加速指令信息；将所述原始数据和所述加速指令信息传递至本机的网卡；在所述网卡中，按照所述加速指令信息对所述原始数据进行加速处理，以获得处理后数据；利用所述网卡将所述处理后数据发送至通信目的端。2.根据权利要求1所述的方法，所述加速指令信息包括处理动作和动作参数；所述处理动作包括加解密、视频编/解码和包检测中的一种或多种。3.根据权利要求1所述的方法，所述利用所述网卡将所述处理后数据发送至通信目的端，包括：在所述网卡中，基于与所述通信目的端约定的数据粒度，对所述处理后数据进行分包，以产生至少一个网络数据包；将所述至少一个网络数据包发送至所述通信目的端。4.根据权利要求3所述方法，在将所述至少一个网络数据包发送至所述通信目的端之前，还包括：将所述加速指令信息配置到所述至少一个网络数据包中，所述加速指令信息用于向所述目的通信端提示已对网络数据包中的数据执行的处理操作；和/或将包属性信息配置到所述至少一个网络数据包中，所述包属性信息用于向所述目的通信端提示网络数据包的标识信息、与其它网络数据包之间的关系信息和目的地址信息中的一种或多种信息。5.根据权利要求3所述的方法，所述基于与所述通信目的端约定的数据粒度，对所述处理后数据进行分包，以产生至少一个网络数据包，包括：为所述处理后数据配置消息message标识；将所述处理后数据拆分为至少一个网络数据包，单个网络数据包中包含整数倍数据粒度的数据；分别为所述至少一个网络数据包配置包packet标识；分别在所述至少一个网络数据包中添加所述message标识和对应的packet标识。6.根据权利要求1所述的方法，还包括：利用所述网卡接收其它通信端发送的目标数据包；确定所述目标数据包对应的目标指令信息；按照所述目标指令信息，对所述目标数据包进行加速处理，以获得目的数据；将所述目的数据传递至所述内存中。7.根据权利要求6所述的方法，所述确定所述目标数据包对应的目标指令信息，包括：解析所述目标数据包中包含的...

【专利技术属性】
技术研发人员：杨航，方兴，李金虎，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：