【技术实现步骤摘要】
用于计算集群的数据传输方法、装置及存储介质
[0001]本公开涉及信息传输领域，具体地，涉及一种用于计算集群的数据传输方法、装置及存储介质。
技术介绍
[0002]当前，随着计算硬件以及高速网络的快速发展，构建多节点的异构计算集群获得了广泛的研究和关注。然而，虽然网络硬件，通信协议等快速发展，网络传输与本地的PCI总线传输相比，其带宽和延迟仍存在一定差距；如何提升跨节点的数据传输能力，提升集群整体计算性能，是当前集群性能优化的重要方向。
[0003]在跨节点集群中，当前的网络传输使用多种方法来实现和提升数据传输性能。然而在相关技术中，直接的内存数据拷贝方法由于需要CPU介入网络软件栈的处理，带来额外的性能开销，性能较差；RDMA技术可以有效实现高速的跨节点数据通信，但是不能解决异构硬件（如GPU）等的通信问题，存在跨节点数据访问灵活性差的问题。
技术实现思路
[0004]为了进一步提高数据传输效率，本公开提供一种用于计算集群的数据传输方法、装置及存储介质。
[0005]为了实现上述目的，本公开...
【技术保护点】
【技术特征摘要】
1.一种用于计算集群的数据传输方法，其特征在于，应用于包括多个节点的计算集群，所述方法包括：对所述多个节点的存储介质的存储空间进行统一编址，得到编址信息，所述编址信息中的每一个地址映射至所述多个节点中的任一节点的存储介质的存储空间的一个物理地址；并，在所述多个节点的每一个节点的存储空间中构建缓存空间；响应于所述多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定所述数据访问请求对应的需求数据；根据所述需求数据的地址确定所述需求数据所在的第一节点以及目标物理地址；在所述第一节点不是所述目标节点的情况下，根据所述目标物理地址查询所述目标节点的本地缓存空间中是否命中所述需求数据；在所述本地缓存空间未命中所述需求数据的情况下，将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间；并，将所述本地缓存空间中存储所述需求数据的地址映射为所述目标物理地址，以使得所述应用程序从所述目标节点的本地缓存空间获取所述需求数据。2.根据权利要求1所述的方法，其特征在于，所述存储空间包括内存和/或显存，所述在所述多个节点的每一个节点的存储空间中构建缓存空间包括：在所述多个节点的每一个节点的内存和/或显存中构建缓存空间以及本地存储空间；所述方法包括：在所述第一节点为所述目标节点的情况下，确定所述目标物理地址指向所述目标节点的本地存储空间，并将所述目标节点的本地存储空间中存储的需求数据返回至所述应用程序。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据历史访问特征，基于预取算法确定预取数据以及预取规模；将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间后，将所述本地缓存空间中缓存所述预取数据的存储空间的地址映射为所述预取数据对应的物理地址。5.根据权利要求2所述的方法，其特征在于，所述在所述多个节点中的每一个节点的内存和/或显存中构建缓存空间包括：在所述多个节点中的每一个节点的内存和显存中构建缓存空间，所述缓存空间包括内存缓存以及显存缓存，并设置所述显存缓存与所述内存缓存的优先级；所述将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间包括：根据所述显存缓存与所述内存缓存的优先级，在优先级较高的缓存空间未满的情况下，将所述存储于所述目标物理地址的需求数据缓存至优先级较高的缓存空间。6.根据权利要求5所述的方法，其特征在于，所述设置所述显存缓存与所述内存缓存的
优先级包括：将所述显存缓存设置为第一优先级，将所述内存缓存设置为第...
【专利技术属性】
技术研发人员：黄增士，王鲲，陈飞，邹懋，杨智佳，
申请(专利权)人：维塔科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。