一种数据传输方法、数据处理方法及相关产品技术

本申请提供了一种数据传输方法、数据处理方法及相关产品。其中，数据传输方法应用于计算机系统，该系统包括第一计算节点和第二计算节点，第一计算节点包括第一设备和第一内存，第二计算节点包括第二设备和第二内存，第一内存包括第一内存空间，第二内存包括第二内存空间，上述方法包括：第一设备获取跨节点读指令，跨节点读指令包括第二内存空间的虚拟地址和第一数据的大小；第一设备根据第二内存空间的虚拟地址和第一对应关系，确定第二计算节点的ID，从而得到第一网络传输报文，并将该报文发送至第二设备；第二设备接收该报文，从第二内存空间中读取第一数据，并将第一数据发送至第一设备。利用该方法能够提高跨计算节点的数据传输效率。传输效率。传输效率。

【技术实现步骤摘要】
一种数据传输方法、数据处理方法及相关产品


[0001]本申请涉及计算机
，尤其涉及一种数据传输方法、数据处理方法及相关产品。

技术介绍

[0002]随着人工智能、云计算等技术的快速发展，计算机集群的应用也越来越广泛。计算机集群是由一组相互独立的计算机利用高速通信网络组成的一个计算机系统。计算机集群在处理突发业务时，可能出现以下情况：该集群中的某些计算节点不堪重负，而某些计算节点却资源过剩，这将影响业务的处理进度。因此，如何在计算机集群中实现跨计算节点的资源共享是一个亟需解决的问题。

技术实现思路

[0003]本申请提供了一种数据传输方法、数据处理方法及相关产品，能够在计算机集群中实现跨计算节点的资源共享。
[0004]第一方面，本申请提供了一种数据传输方法，应用于计算机系统，该计算机系统包括第一计算节点和第二计算节点，第一计算节点包括第一设备和第一内存，第二计算节点包括第二设备和第二内存，第一内存包括第一内存空间，第二内存包括第二内存空间，上述方法包括以下步骤：
[0005]第一设备获取跨节点读指令，跨节点读指令用于指示第一设备从第二内存空间中读取第一数据，跨节点读指令包括第一源地址和第一数据的大小，第一源地址为第二内存空间的虚拟地址，第一设备存储有第一对应关系，第一对应关系包括第二内存空间的虚拟地址与第二计算节点的ID之间的对应关系；
[0006]第一设备根据第二内存空间的虚拟地址和第一对应关系，确定第二计算节点的ID；
[0007]第一设备根据第二计算节点的ID和跨节点读指令，得到第一网络传输报文，并将第一网络传输报文发送至第二设备，第一网络传输报文包括第二内存空间的虚拟地址和第一数据的大小；
[0008]第二设备接收第一网络传输报文，从第二内存空间中读取第一数据，并将第一数据发送至第一设备。
[0009]实施第一方面所描述的方法，第一设备可以从第二计算节点的内存(即第二内存空间)中读取第一数据，实现了跨计算节点的数据传输，从而实现跨计算节点的内存资源共享。而且，第一设备中存储有第一对应关系，第一设备根据第一对应关系可以获得第一网络传输报文，并将第一网络传输报文发送至第二设备，这一过程可以绕过第一计算节点的CPU和操作系统，因此，利用上述方法还能够提高跨计算节点的数据传输效率。
[0010]在一种可能的实现方式中，上述计算机系统中的计算节点共享内存资源池中的资源，内存资源池包括上述第一内存和第二内存。通过建立内存资源池，计算机系统中的任意
一个计算节点可以使用其他计算节点的内存资源，从而解决因单个计算节点的内存配置不满足实际需求而影响任务执行进度的问题。
[0011]在一种可能的实现方式中，上述第一计算节点还包括第一处理器，上述方法还包括：第一处理器对内存资源池的地址空间进行编址，得到内存资源池的全局虚拟地址；第一计算节点通过全局虚拟地址访问内存资源池的存储空间。如此，计算机系统中的任意一个计算节点可以获得其他计算节点的内存空间的地址，从而可以使用其他计算节点的内存资源。
[0012]在一种可能的实现方式中，上述第一设备获取跨节点读指令，包括：第一处理器从内存资源池获得与上述第一数据对应的第一内存空间的虚拟地址和第二内存空间的虚拟地址，生成上述跨节点读指令，然后，第一处理器将跨节点读指令发送至第一设备。在另一种可能的实现方式中，上述第一设备获取跨节点读指令，包括：第一设备从内存资源池获得与上述第一数据对应的第一内存空间的虚拟地址和第二内存空间的虚拟地址，生成上述跨节点读指令。可以看出，上述跨节点读指令可以是第一处理器生成的，也可以是第一设备生成的。当第一处理器的负载过重或第一处理器需要优先处理其他任务时，第一设备可以自行生成跨节点读指令，无需等待第一处理器生成跨节点读指令，从而提高第一设备从第二内存空间读取第一数据的效率。
[0013]在一种可能的实现方式中，上述跨节点读指令还包括第一目的地址，第一目的地址为第一内存空间的虚拟地址，上述方法还包括：第一设备接收第一数据，然后根据第一内存空间的虚拟地址，将第一数据写入第一内存空间。如此，第一设备可以将从第二内存空间中读取的数据写入第一内存空间。
[0014]在一种可能的实现方式中，上述第一对应关系包括内存资源池的全局虚拟地址、内存资源池的存储空间的物理地址以及内存资源池关联的各个计算节点的ID之间的对应关系，上述第一设备根据第一内存空间的虚拟地址，将第一数据写入第一内存空间，包括：第一设备根据第一对应关系和第一内存空间的虚拟地址，确定第一内存空间的物理地址，然后通过直接内存访问(direct memory access,DMA)方式将第一数据写入第一内存空间。如此，可以提高第一设备将第一数据写入第一内存空间的速度。
[0015]在一种可能的实现方式中，上述第二设备存储有上述第一对应关系，上述第二设备接收第一网络传输报文，从第二内存空间中读取第一数据，包括：第二设备接收第一网络传输报文，获得第二内存空间的虚拟地址，然后根据第一对应关系和第二内存空间的虚拟地址，确定第二内存空间的物理地址，然后通过DMA方式从第二内存空间中读取第一数据。如此，可以提高第二设备从第二内存空间中读取第一数据的速度。而且，第二设备中存储有第一对应关系，使得第二设备可以根据第一对应关系确定第二内存空间的物理地址，从而从第二内存空间中读取第一数据，这一过程绕开了第二计算节点的CPU和操作系统，因此，利用上述方法还能够提供跨计算节点的数据传输效率。
[0016]在一种可能的实现方式中，上述第一内存还包括第三内存空间，上述第二内存还包括第四内存空间，上述方法还包括：第一设备获取跨节点写指令，跨节点写指令用于指示第一设备向第三内存空间中写入第二数据，跨节点写指令包括第二源地址、第二目的地址以及第二数据的大小，第二源地址为第三内存空间的虚拟地址，第二目的地址为第四内存空间的虚拟地址；第一设备根据上述第一对应关系和第三内存空间的虚拟地址，确定第三
内存空间的物理地址；第一设备通过DMA方式从第三内存空间中读取第二数据；第一设备根据第一对应关系和第四内存空间的虚拟地址，确定第二计算节点的ID；第一设备根据第二计算节点的ID和跨节点写指令，得到第二网络传输报文，并将第二网络传输报文发送至第二设备，其中，第二网络传输报文包括第四内存空间的虚拟地址和上述第二数据；第二设备接收第二网络传输报文，将第二数据写入第四内存空间。
[0017]实施上述实现方式所描述的方法，第一设备可以向第二计算节点的内存(即第四内存空间)中写入第二数据，实现了跨计算节点的数据传输，从而实现跨计算节点的内存资源共享。而且，第一设备中存储有第一对应关系，第一设备根据第一对应关系可以获得第二数据，并将第二数据发送至第二设备。这一过程绕开了第一计算节点的CPU和操作系统，因此，利用上述方法能够提高跨计算节点的数据传输效率。
[0018]第二方面，本申请提供了一种数据处理方法，应用于计算机系统，该计算机系统包括第一计算节点和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于计算机系统，所述计算机系统包括第一计算节点和第二计算节点，所述第一计算节点包括第一设备和第一内存，所述第二计算节点包括第二设备和第二内存，所述第一内存包括第一内存空间，所述第二内存包括第二内存空间，所述方法包括：所述第一设备获取跨节点读指令，所述跨节点读指令包括第一源地址和第一数据的大小，所述第一源地址为所述第二内存空间的虚拟地址，所述第一设备存储有第一对应关系，所述第一对应关系包括所述第二内存空间的虚拟地址与所述第二计算节点的ID之间的对应关系；所述第一设备根据所述第二内存空间的虚拟地址和所述第一对应关系，确定所述第二计算节点的ID；所述第一设备根据所述第二计算节点的ID和所述跨节点读指令，得到第一网络传输报文，并将所述第一网络传输报文发送至所述第二设备，所述第一网络传输报文包括所述第二内存空间的虚拟地址和所述第一数据的大小；所述第二设备接收所述第一网络传输报文，从所述第二内存空间中读取所述第一数据，并将所述第一数据发送至所述第一设备。2.根据权利要求1所述的方法，其特征在于，所述计算机系统中的计算节点共享内存资源池中的资源，所述内存资源池包括所述第一内存和所述第二内存。3.根据权利要求2所述的方法，其特征在于，所述第一计算节点还包括第一处理器，所述方法还包括：所述第一处理器对所述内存资源池的地址空间进行编址，得到所述内存资源池的全局虚拟地址；所述第一计算节点通过所述全局虚拟地址访问所述内存资源池的存储空间。4.根据权利要求3所述的方法，其特征在于，所述第一设备获取跨节点读指令，包括：所述第一处理器从所述内存资源池获得与所述第一数据对应的所述第一内存空间的虚拟地址和所述第二内存空间的虚拟地址，生成所述跨节点读指令；所述第一处理器将所述跨节点读指令发送至所述第一设备。5.根据权利要求3所述的方法，其特征在于，所述第一设备获取所述跨节点读指令，包括：所述第一设备从所述内存资源池获得与所述第一数据对应的所述第一内存空间的虚拟地址和所述第二内存空间的虚拟地址，生成所述跨节点读指令。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述跨节点读指令还包括第一目的地址，所述第一目的地址为所述第一内存空间的虚拟地址，所述方法还包括：所述第一设备接收所述第一数据；所述第一设备根据所述第一内存空间的虚拟地址，将所述第一数据写入所述第一内存空间。7.根据权利要求6所述的方法，其特征在于，所述第一对应关系包括所述内存资源池的全局虚拟地址、所述内存资源池的存储空间的物理地址以及所述内存资源池关联的各个计算节点的ID之间的对应关系，所述第一设备根据所述第一内存空间的虚拟地址，将所述第一数据写入所述第一内存空间，包括：
所述第一设备根据所述第一对应关系和所述第一内存空间的虚拟地址，确定所述第一内存空间的物理地址；所述第一设备通过直接内存访问DMA方式将所述第一数据写入所述第一内存空间。8.根据权利要求7所述的方法，其特征在于，所述第二设备存储有所述第一对应关系，所述第二设备接收所述第一网络传输报文，从所述第二内存空间中读取所述第一数据，包括：所述第二设备接收所述第一网络传输报文，获得所述第二内存空间的虚拟地址；所述第二设备根据所述第一对应关系和第二内存空间的虚拟地址，确定所述第二内存空间的物理地址；所述第二设备通过所述DMA方式从所述第二内存空间中读取所述第一数据。9.根据权利要求7或8所述的方法，其特征在于，所述第一内存还包括第三内存空间，所述第二内存还包括第四内存空间，所述方法还包括：所述第一设备获取跨节点写指令，所述跨节点写指令包括第二源地址、第二目的地址以及第二数据的大小，所述第二源地址为所述第三内存空间的虚拟地址，所述第二目的地址为所述第四内存空间的虚拟地址；所述第一设备根据所述第一对应关系和所述第三内存空间的虚拟地址，确定所述第三内存空间的物理地址；所述第一设备所述通过DMA方式从所述第三内存空间中读取所述第二数据；所述第一设备根据所述第一对应关系和所述第四内存空间的虚拟地址，确定所述第二计算节点的ID；所述第一设备根据所述第二计算节点的ID和所述跨节点写指令，得到第二网络传输报文，并将所述第二网络传输报文发送至所述第二设备，其中，所述第二网络传输报文包括所述第四内存空间的虚拟地址和所述第二数据；所述第二设备接收所述第二网络传输报文，将所述第二数据写入所述第四内存空间。10.一种数据处理方法，其特征在于，应用于计算机系统，所述计算机系统包括第一计算节点和第二计算节点，所述第一计算节点包括第一设备，所述第二计算节点包括第二设备，所述方法包括：所述第一设备获取跨节点加速指令，所述跨节点加速指令包括所述第二设备的ID和目标加速功能ID，所述第一设备存储有第二对应关系，所述第二对应关系包括所述第二设备的ID与所述第二计算节点的ID之间的对应关系；所述第一设备根据所述第二设备的ID和所述第二对应关系，确定所述第二计算节点的ID；所述第一设备根据所述第二计算节点的ID和所述跨节点加速指令，得到第三网络传输报文，并将所述第三网络传输报文发送至所述第二设备，所述第三网络传输报文包括所述目标加速功能ID；所述第二设备根据所述目标加速功能ID，对第三数据进行相应的处理；所述第二设备将所述第三数据的处理结果发送至所述第一计算节点。11.根据权利要求10所述的方法，其特征在于，所述计算机系统中的计算节点共享计算资源池中的资源，所述计算资源池包括所述第二设备。
12.根据权利要求11所述的方法，其特征在于，所述第一计算节点还包括第一处理器，所述方法还包括：所述第一处理器对所述计算资源池中的加速设备及每个加速设备的加速功能进行编号，得到多个加速设备ID以及每个加速设备ID对应的加速功能ID；所述第一计算节点通过所述多个加速设备ID以及所述每个加速设备ID对应的加速功能ID，使用所述计算资源池中的加速设备对所述第三数据进行处理。13.根据权利要求12所述的方法，其特征在于，所述第一设备获取跨节点加速指令，包括：所述第一处理器从所述计算资源池获得与所述第三数据对应的所述第二设备的ID以及所述目标加速功能ID，生成所述跨节点加速指令；所述第一处理器将所述跨节点加速指令发送至所述第一设备。14.根据权利要求12所述的方法，其特征在于，所述第一设备获取跨节点加速指令，包括：所述第一设备从所述计算资源池获得与所述第三数据对应的所述第二设备的ID以及所述目标加速功能ID，生成所述跨节点加速指令。15.根据权利要求10
‑
14任一项所述的方法，其特征在于，所述跨节点加速指令还包括第三源地址和第三目的地址，所述第三源地址为存储有所述第三数据的设备存储空间的地址，所述第三目的地址为将所述第三数据的处理结果写入的设备存储空间的地址。16.根据权利要求15所述的方法，其特征在于，所述第三源地址为所述第一设备的存储空间的地址，在所述第二设备根据所述目标加速功能ID，对所述第三数据进行相应的处理之前，所述方法还包括：所述第一设备根据所述跨节点加速指令，获得所述第三源地址；所述第一设备从所述第一设备的存储空间中读取所述第三数据；所述第一设备将所述第三数据发送至所述第二设备。17.根据权利...

【专利技术属性】
技术研发人员：李晓峰，吴沛，杨瑞，李品生，毛修斌，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：