数据传输方法、装置、主机及计算系统制造方法及图纸

本申请实施例公开一种数据传输方法、装置、主机及计算系统，所述方法包括：接收到用户态下发的用于指示远程传输数据的设定指令；基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。本申请实施例提供的技术方案可适用于高性能计算与存储融合场景下的数据存取场景，能够提高读写效率。能够提高读写效率。能够提高读写效率。

【技术实现步骤摘要】
数据传输方法、装置、主机及计算系统


[0001]本申请涉及计算机
，尤其涉及数据传输方法、装置、主机及计算系统。

技术介绍

[0002]高性能计算(High performance computing，HPC)，能够进行并行数值计算和数据处理的大规模运算，处理标准工作站无法完成的密集型计算任务，目前已成为社会进步的重要驱动力。近几年来，在新技术和新业务的推动下，高性能计算逐步从计算密集型走向数据密集型，由此也带来了性能、成本和管理上的多重挑战，需要更高效的存储技术给予支撑。
[0003]图1是现有技术中的一种高性能计算与存储融合的网络拓扑，其中包括：负责数据计算的HPC集群，以及，负责数据存储的IP
‑
SAN(IP Storage Area Network，基于IP协议传输的存储局域网)集群。两个集群之间通过以太网进行通信。然而，当前HPC集群中与HPC主机配合的计算设备上的计算软件栈和HPC主机的存储输入输出IO栈相互独立，HPC主机从IP
‑
SAN集群读取到的数据需要在主机内存中多次拷贝才能到达计算设备内存,由此影响了高性能计算与存储融合场景下的数据存取效率。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种数据传输方法、装置、主机及计算系统，以提高数据的存取效率。
[0005]第一方面，本申请实施例提供一种数据传输方法，所述方法包括：
[0006]接收到用户态下发的用于指示远程传输数据的设定指令；
[0007]基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。
[0008]进一步的，所述方法还包括：根据所述设定指令，识别是否满足数据直通条件。
[0009]进一步的，所述方法还包括：获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型；将获取结果作为所述数据直通条件。
[0010]进一步的，获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型，包括：
[0011]获取需要数据直通的计算设备内存地址、存储文件索引节点以及读写类型；
[0012]在接收到对所述存储文件索引节点的所述设定指令后，得到所述存储文件索引节点对应的远程存储地址。
[0013]进一步的，获取需要数据直通的计算设备内存地址、存储文件索引节点以及读写类型，包括：
[0014]接收用户态下发的数据直通控制命令，该命令包括需要数据直通的计算设备内存地址、存储文件句柄和读写类型；
[0015]从计算进程文件句柄表查找所述数据直通控制命令中存储文件句柄对应的文件
描述符；
[0016]获取所述文件描述符对应的存储文件索引节点。
[0017]进一步的，所述读写类型为读操作类型，设定指令为数据读取指令；
[0018]根据所述设定指令，识别是否满足数据直通条件，包括：
[0019]将所述数据读取指令发送至远程存储设备；
[0020]接收到所述远程存储设备的数据读取指令应答后，将所述数据缓存队列中从远程存储设备读取的数据与所述数据直通条件中的远程存储地址进行匹配；
[0021]如果匹配成功，则确定满足数据直通条件。
[0022]进一步的，所述读写类型为写操作类型，设定指令为数据写入指令；
[0023]根据所述设定指令，识别是否满足数据直通条件，包括：
[0024]识别所述设定指令中的远程存储地址是否为所述所述数据直通条件中的远程存储地址；
[0025]如果是，则确定满足数据直通条件。
[0026]第二方面，本申请实施例提供另一种数据传输方法，所述方法包括：
[0027]生成用于指示远程传输数据的设定指令；
[0028]向内核态下发所述设定指令，以使所述内核态执行以下操作：基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。
[0029]进一步的，所述方法还包括：向内核态下发数据直通控制命令，该命令包括需要数据直通的计算设备内存地址、存储文件句柄和读写类型，以使内核态根据该命令确定数据直通条件。
[0030]进一步的，所述方法还包括：控制内核态对数据直通方式的启闭。
[0031]进一步的，在向内核态下发所述设定指令之前，所述方法还包括：以直接操作文件流的方式，打开需要数据直通的存储文件。
[0032]第三方面，本申请实施例提供一种数据传输装置，所述装置包括：
[0033]指令接收单元，用于接收到用户态下发的用于指示远程传输数据的设定指令；
[0034]数据传输单元，用于基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。
[0035]进一步的，所述装置还包括数据直通识别单元，用于：根据所述设定指令，识别是否满足数据直通条件。
[0036]进一步的，所述装置还包括数据直通条件确定单元，用于：获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型；将获取结果作为所述数据直通条件。
[0037]进一步的，所述数据直通条件确定单元用于获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型，包括：
[0038]获取需要数据直通的计算设备内存地址、存储文件索引节点以及读写类型；
[0039]在接收到对所述存储文件索引节点的所述设定指令后，得到所述存储文件索引节点对应的远程存储地址。
[0040]进一步的，所述数据直通条件确定单元具体用于获取需要数据直通的计算设备内
存地址、存储文件索引节点以及读写类型，包括：
[0041]接收用户态下发的数据直通控制命令，该命令包括需要数据直通的计算设备内存地址、存储文件句柄和读写类型；
[0042]从计算进程文件句柄表查找所述数据直通控制命令中存储文件句柄对应的文件描述符；
[0043]获取所述文件描述符对应的存储文件索引节点。
[0044]进一步的，所述读写类型为读操作类型，设定指令为数据读取指令；
[0045]数据直通识别单元用于根据所述设定指令，识别是否满足数据直通条件，包括：
[0046]将所述数据读取指令发送至远程存储设备；
[0047]接收到所述远程存储设备的数据读取指令应答后，将所述数据缓存队列中从远程存储设备读取的数据与所述数据直通条件中的远程存储地址进行匹配；
[0048]如果匹配成功，则确定满足数据直通条件。
[0049]进一步的，所述读写类型为写操作类型，设定指令为数据写入指令；
[0050]数据直通识别单元用于根据所述设定指令，识别是否满足数据直通条件，包括：
[0051]识别所述设定指令中的远程存储地址是否为所述所述数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：接收到用户态下发的用于指示远程传输数据的设定指令；基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述设定指令，识别是否满足数据直通条件。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型；将获取结果作为所述数据直通条件。4.根据权利要求3所述的方法，其特征在于，获取需要数据直通的计算设备内存地址、远程存储地址以及读写类型，包括：获取需要数据直通的计算设备内存地址、存储文件索引节点以及读写类型；在接收到对所述存储文件索引节点的所述设定指令后，得到所述存储文件索引节点对应的远程存储地址。5.根据权利要求4所述的方法，其特征在于，获取需要数据直通的计算设备内存地址、存储文件索引节点以及读写类型，包括：接收用户态下发的数据直通控制命令，该命令包括需要数据直通的计算设备内存地址、存储文件句柄和读写类型；从计算进程文件句柄表查找所述数据直通控制命令中存储文件句柄对应的文件描述符；获取所述文件描述符对应的存储文件索引节点。6.根据权利要求3所述的方法，其特征在于，所述读写类型为读操作类型，设定指令为数据读取指令；根据所述设定指令，识别是否满足数据直通条件，包括：将所述数据读取指令发送至远程存储设备；接收到所述远程存储设备的数据读取指令应答后，将所述数据缓存队列中从远程存储设备读取的数据与所述数据直通条件中的远程存储地址进行匹配；如果匹配成功，则确定满足数据直通条件。7.根据权利要求3所述的方法，其特征在于，所述读写类型为写操作类型，设定指令为数据写入指令；根据所述设定指令，识别是否满足数据直通条件，包括：识别所述设定指令中的远程存储地址是否为所述所述数据直通条件中的远程存储地址；如果是，则确定满足数据直通条件。8.一种数据传输方法，其特征在于，所述方法包括：生成用于指示远程传输数据的设定指令；向内核态下发所述设定指令，以使所述内核态执行以下操作：基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：向内核态下发数据直通控制命令，该命令包括需要数据直通的计算设备内存地址、存储文件句柄和读写类型，以使内核态根据该命令确定数据直通条件。10.根据权利要求8所述的方法，其特征在于，所述方法还包括：控制内核态对数据直通方式的启闭。11.根据权利要求8所述的方法，其特征在于，在向内核态下发所述设定指令之前，所述方法还包括：以直接操作文件流的方式，打开需要数据直通的存储文件。12.一种数据传输装置，其特征在于，所述装置包括：指令接收单元，用于接收到用户态下发的用于指示远程传输数据的设定指令；数据传输单元，用于基于所述设定指令，在满足数据直通条件时使用与计算设备内存直连的网络协议栈的数据缓存队列，完成计算设备内存与远程存储设备之间的数据传输。13.根据权利要求12所述的装置，其特征在于，所述装置还包...

【专利技术属性】
技术研发人员：黄渠，
申请(专利权)人：海光信息技术股份有限公司，
类型：发明
国别省市：