System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据传输方法、传输通道分配方法、计算设备及管理设备组成比例_技高网

数据传输方法、传输通道分配方法、计算设备及管理设备组成比例

技术编号:41133220 阅读:2 留言:0更新日期:2024-04-30 18:03
本申请公开了数据传输方法、传输通道分配方法、计算设备及管理设备,涉及计算机技术领域,能够提高数据传输效率,降低数据传输成本。方法包括:在第一计算设备需要向第二计算设备发送目标数据的情况下,第一计算设备确定目标存储空间的地址,目标存储空间为分配给第一计算设备和第二计算设备的目标传输通道;其中,包括目标存储空间的CXL存储设备与第一计算设备和第二计算设备均通信连接;基于目标存储空间的地址,将目标数据写入目标存储空间,以使第二计算设备能够从目标存储空间获取目标数据。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及数据传输方法、传输通道分配方法、计算设备及管理设备


技术介绍

1、随着科技的快速发展,从大数据到人工智能训练集群,以及面向高性能计算的集群的规模也逐步扩展。当集群中服务器的数量逐步增加时,服务器之间的数据传输的速度影响着集群的整体性能。

2、相关技术中,集群中的服务器之间通常通过服务器上安装的网卡进行数据传输,数据传输时需要走网络传输协议,并经过协议转换,整个过程较为复杂且容易造成时延。另外,在一些高性能数据传输场景中,需要使用专用网卡、交换机和网络,增加了服务器之间的数据传输成本。


技术实现思路

1、本申请实施例提供了数据传输方法、传输通道分配方法、计算设备及管理设备,能够提高数据传输效率,降低数据传输成本。

2、为实现上述技术目的,本申请实施例采用如下技术方案:

3、第一方面,本申请实施例提供了一种数据传输方法,方法包括:在第一计算设备需要向第二计算设备发送目标数据的情况下,第一计算设备确定目标存储空间的地址,目标存储空间为分配给第一计算设备和第二计算设备的目标传输通道;其中,包括目标存储空间的cxl存储设备与第一计算设备和第二计算设备均通信连接;基于目标存储空间的地址,将目标数据写入目标存储空间,以使第二计算设备能够从目标存储空间获取目标数据。

4、上述方法中,cxl存储设备与第一计算设备和第二计算设备之间通过物理链路连接,第一计算设备和第二计算设备通过cxl存储设备提供的存储空间进行数据传输时,不需要经过网络传输数据,不受限于网络传输速度和带宽,具有传输速度快、带宽高和延迟低的优点。另外,该方法也不需要较高配置的网卡和交换机,以及网络传输速度,因此,本申请实施例提出的方法能够降低网络使用成本和硬件配置成本。

5、在一种可能的实施方式中,第一计算设备和第二计算设备均与管理单元连接,管理单元用于管理一个或多个cxl存储设备的存储空间,在第一计算设备确定目标存储空间的地址之前,方法还包括:接收管理单元发送的数据传输通道表;数据传输通道表包括第一计算设备和第二计算设备之间的目标传输通道的信息;获取目标传输通道的信息;目标传输通道的信息包括目标存储空间的地址。

6、可以理解的是,第一计算设备需要向第二计算设备发送目标数据前,若作为该计算设备对的固定传输通道的目标存储空间已经分配好,第一计算设备需要获取到已经分配好的传输通道的信息,以进一步确定目标存储空间的地址。该过程通过可选的数据传输通道表来确定目标存储空间的地址,能够提高确定效率,进而加快数据传输进程。

7、在另一种可能的实施方式中,数据传输通道表中目标传输通道的信息包括:目标传输通道的标识、第一计算设备的标识、第二计算设备的标识、目标存储空间的地址和目标存储空间的存储容量;获取目标传输通道的信息,包括:根据第一计算设备的标识和第二计算设备的标识,从数据传输通道表确定目标传输通道的信息;第一计算设备确定为第一计算设备与第二计算设备分配的目标存储空间的地址,包括:从目标传输通道的信息中确定目标存储空间的地址。

8、可以理解的是,数据传输通道表中记录有为第一计算设备和第二计算设备分配的目标传输通道的信息,基于该两个计算设备的标识,能够快速确定目标传输通道的信息,进而确定目标存储空间的地址。

9、在另一种可能的实施方式中,第一计算设备和第二计算设备均与管理单元连接,管理单元用于管理一个或多个cxl存储设备的存储空间,第一计算设备确定目标存储空间的地址包括:向管理单元发送获取数据传输通道表的请求;数据传输通道表包括目标传输通道的信息;目标传输通道的信息包括目标存储空间的地址;接收数据传输通道表,根据数据传输通道表确定目标传输通道的信息;从目标传输通道的信息中确定目标存储空间的地址。

10、可以理解的是,第一计算设备还可以在需要向第二计算设备发送目标数据前,主动向管理单元发送获取数据传输通道表的请求,以此来获取目标传输通道的信息,进而进行数据传输。

11、第二方面,本申请实施例提供了一种数据传输方法,方法包括:在第一计算设备向第二计算设备发送目标数据的情况下,第二计算设备确定目标存储空间的地址,目标存储空间为分配给第一计算设备和第二计算设备的目标传输通道;其中,包括目标存储空间的cxl存储设备与第一计算设备和第二计算设备均通信连接;基于目标存储空间的地址,从目标存储空间获取目标数据。

12、可以理解的是,第二计算设备从目标存储空间获取第一计算设备发送的目标数据,该方法不需要依赖网络,能够避免网络时延带来的影响,提高第二计算设备所在的集群的业务处理性能。

13、在一种可能的实施方式中,在第一计算设备向第二计算设备发送目标数据的情况下,第二计算设备确定目标存储空间的地址之前,方法还包括:在接收到指示消息时,确定第一计算设备已向第二计算设备发送目标数据;指示消息用于指示第一计算设备已向第二计算设备发送了目标数据,指示消息由第一计算设备发送,或者,由cxl存储设备中的cxl控制器发送。

14、可以理解的是,通过指示消息,第二计算设备可以及时确认第一计算设备发送了目标数据,进而及时获取目标存储空间的目标数据,该方法能够提高数据传输效率,降低数据传输延迟。

15、第三方面,本申请实施例提供了一种传输通道分配方法,应用于管理单元,管理单元与集群中的多个计算设备均通信连接,管理单元用于管理一个或多个cxl存储设备构成的cxl存储空间,方法包括:获取集群的数据传输需求信息,数据传输需求信息包括:多个计算设备对的标识,多个计算设备对中每一个计算设备对的数据传输需求;根据目标计算设备对的数据传输需求,为目标计算设备对分配cxl存储空间中的目标存储空间;其中,目标计算设备对包括第一计算设备和第二计算设备,包括目标存储空间的cxl存储设备与第一计算设备和第二计算设备均连接,目标存储空间为分配给第一计算设备和第二计算设备的目标传输通道;向目标计算设备对发送目标通信关系条目;目标通信关系条目包括目标计算设备对的标识和目标传输通道的信息。

16、可以理解的是,本申请实施例提出的传输通道分配方法中,管理单元基于多个计算设备对的数据传输需求,预先从cxl存储空间的可用存储空间中分配出固定的存储空间,作为计算设备对之间的传输通道,每个通道分配好后即为固定传输通道,用于专属的两个计算设备之间进行数据传输。每个计算设备对都能够在固定的传输通道中传输数据,不需要占用其他计算设备的传输通道,在相关技术中,计算设备若与多个其他计算设备进行数据传输,只能通过网卡提供的一个传输通道,因此,本申请实施例提出的传输通道分配方法能够避免一个传输通道传输数据造成的排队等待问题,提高集群的整体数据传输性能。

17、在一种可能的实施方式中,为目标计算设备对分配cxl存储空间中的目标存储空间后,方法还包括:生成目标传输通道的信息;目标传输通道的信息包括:目标传输通道的标识、目标存储空间的地址和目标存储空间本文档来自技高网...

【技术保护点】

1.一种数据传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一计算设备和所述第二计算设备均与管理单元连接,所述管理单元用于管理一个或多个CXL存储设备的存储空间,在所述第一计算设备确定所述目标存储空间的地址之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述数据传输通道表中目标传输通道的信息包括:所述目标传输通道的标识、所述第一计算设备的标识、所述第二计算设备的标识、所述目标存储空间的地址和所述目标存储空间的存储容量;所述获取所述目标传输通道的信息,包括:

4.一种数据传输方法,其特征在于,包括:

5.根据权利要求4所述的方法,其特征在于,所述在第一计算设备向第二计算设备发送目标数据的情况下,所述第二计算设备确定目标存储空间的地址之前,所述方法还包括:

6.一种传输通道分配方法,其特征在于,应用于管理单元,所述管理单元与集群中的多个计算设备均通信连接,所述管理单元用于管理一个或多个计算扩展连接CXL存储设备构成的CXL存储空间,所述方法包括:

7.根据权利要求6所述的方法,其特征在于,所述为所述目标计算设备对分配CXL存储空间中的目标存储空间后,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述生成所述目标传输通道的信息后,所述方法还包括:

9.一种计算设备,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述计算设备执行如权利要求1至5任一项所述的方法。

10.一种管理设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述管理设备执行如权利要求6至8任一项所述的方法。

...

【技术特征摘要】

1.一种数据传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述第一计算设备和所述第二计算设备均与管理单元连接,所述管理单元用于管理一个或多个cxl存储设备的存储空间,在所述第一计算设备确定所述目标存储空间的地址之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述数据传输通道表中目标传输通道的信息包括:所述目标传输通道的标识、所述第一计算设备的标识、所述第二计算设备的标识、所述目标存储空间的地址和所述目标存储空间的存储容量;所述获取所述目标传输通道的信息,包括:

4.一种数据传输方法,其特征在于,包括:

5.根据权利要求4所述的方法,其特征在于,所述在第一计算设备向第二计算设备发送目标数据的情况下,所述第二计算设备确定目标存储空间的地址之前,所述方法还包括:

6.一种传输通道分配方法,其特征在于,应用于管理单元,所述管...

【专利技术属性】
技术研发人员:梁永贵余书宝
申请(专利权)人:超聚变数字技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1