System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,尤其涉及传输通道管理方法、数据传输方法、管理设备及计算设备。
技术介绍
1、随着科技的快速发展,从大数据到人工智能训练集群,以及面向高性能计算的集群的规模也逐步扩展。当集群中服务器的数量逐步增加时,服务器之间的数据传输的速度影响着集群的整体性能。
2、相关技术中,集群中的多个服务器之间通常通过服务器上安装的网卡进行数据传输。服务器之间通过网卡和传统的网络进行数据传输时,需要使用网络传输协议并进行协议转换,由于网络传输数据时网络带宽和网络传输速度有限,若传输的数据量较大,将存在数据传输速度慢,网络延迟高的问题。因此,通过网卡进行数据传输将限制集群的整体性能。
技术实现思路
1、本申请实施例提供了传输通道管理方法、数据传输方法、管理设备及计算设备,能够灵活管理和配置传输通道,提高集群的整体性能。
2、为实现上述技术目的,本申请实施例采用如下技术方案:
3、第一方面,本申请实施例提供了一种传输通道管理方法,应用于管理单元,管理单元与多个计算设备通信连接,多个计算设备包括第一计算设备,管理单元用于管理一个或多个cxl存储设备构成的存储空间,方法包括:接收第一计算设备发送的传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备为多个计算设备中除第一计算设备外的任意计算设备;从cxl存储空间的可用存储空间中确定目标存储空间;cxl存储空间所属的cxl存储设备与第一计算设备和目标计算设备均连接,目标存
4、cxl存储设备具有无限扩容的特点,能够提供较大的存储空间,管理单元在接收到任意计算设备的请求后,从该管理单元所管理的cxl存储空间中分出一部分存储空间作为计算设备的传输通道,计算设备两端即可通过该专属传输通道进行数据传输。由于cxl存储设备与计算设备是通过物理链路连接,因此该方法相比传统的通过网络进行数据传输的方法而言,不需要受限于网络传输速度和带宽,具有传输速度快、带宽高和延迟低的优点。
5、在一种可能的实现方式中,从cxl存储空间的可用存储空间中确定目标存储空间之前,方法还包括:确定cxl存储空间中与第一计算设备和目标计算设备均连接的目标cxl存储设备;基于目标cxl存储设备确定可用存储空间。
6、可以理解的是,系统中可能有多个cxl存储设备,需要先确定与第一计算设备和目标计算设备连接的cxl存储设备,再从中确定可用存储空间,以保证目标存储空间能为第一计算设备与目标计算设备传输数据。
7、在另一种可能的实现方式中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成传输数据。
8、在另一种可能的实现方式中,传输通道建立请求包括需要建立的传输通道的容量信息,从cxl存储空间的可用存储空间中确定目标存储空间,包括:基于需要建立的传输通道的容量,从cxl存储空间的可用存储空间中确定目标存储空间;目标存储空间的存储容量大于或等于需要建立的传输通道的容量。
9、可以理解的是,传输通道请求中包括需要建立的传输通道的容量信息,能够使得管理单元基于计算设备的需求分配存储空间,既能满足计算设备的需求,也能避免存储空间浪费,进一步的提高后续数据传输速度,降低cxl存储设备的使用成本。
10、在另一种可能的实现方式中,第一指示信息包括:目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。
11、可以理解的是,上述目标传输通道的标识用于表征目标传输通道,第一计算设备的标识和目标计算设备的标识用于表征数据传输两端设备,目标存储空间的地址用于传输数据时将数据写入正确的存储空间,目标存储空间的存储容量用于决定一次传输的数据量。
12、在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表用于储存通信关系条目,通信关系条目用于记录cxl存储空间中分配出去作为传输通道的存储空间的信息,通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量;方法还包括:将目标通信关系条目记录在数据传输通道表中,其中,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。
13、可以理解的是,将包含目标通信关系条目的目标传输通道的信息记录在数据管理通道表中,能够及时记录所分配的目标传输通道,便于管理目标传输通道。另外,数据管理通道表可以记录多个通信关系条目,该管理方法能避免混淆多个传输通道,提高管理效率。
14、在另一种可能的实现方式中,方法还包括:在接收到第一计算设备或目标计算设备发送的第二指示信息后,回收目标传输通道;第二指示信息用于指示第一计算设备与目标设备之间完成数据传输,归还目标传输通道。
15、可以理解的是,计算设备之间完成数据传输后,管理单元及时回收分配出去的传输通道,即存储空间,后续可以将该存储空间继续分配给其他有数据传输需求的计算设备,提高存储空间的利用率。及时回收存储空间可以减少cxl存储设备的存储容量配置,降低cxl存储设备的使用成本。
16、在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表包括目标通信关系条目,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址、和目标存储空间的存储容量;第二指示信息包括目标传输通道的标识,回收目标传输通道,包括:基于目标传输通道的标识,确定数据传输通道表记录的目标通信关系条目中目标存储空间的地址;基于目标存储空间的地址,删除目标存储空间中储存的数据;删除数据传输通道表中记录的目标通信关系条目。
17、可以理解的是,上述为回收目标存储空间的具体实施过程,该过程操作简单,便于管理单元管理cxl存储设备中的存储空间。
18、第二方面,本申请实施例提供了一种数据传输方法,方法应用于第一计算设备,第一计算设备为多个计算设备中的任意一个计算设备,多个计算设备与管理单元均与一个或多个cxl存储设备通信连接,管理单元用于管理一个或多个cxl存储设备构成的存储空间,方法包括:在第一计算设备需要与目标计算设备进行数据传输的情况下,向管理单元发送传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备包括一个或多个第二计算设备,第二计算设备为多个计算设备中除第一计算设备外的任意计算设备;接收管理单元发送的第一指示信息;第一指示信息本文档来自技高网...
【技术保护点】
1.一种传输通道管理方法,其特征在于,应用于管理单元,所述管理单元与多个计算设备通信连接,所述多个计算设备包括第一计算设备,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述从所述CXL存储空间的可用存储空间中确定目标存储空间包括:
3.根据权利要求1或2所述的方法,其特征在于,所述传输通道建立请求包括需要建立的传输通道的容量,所述从CXL存储空间的可用存储空间中确定目标存储空间,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表用于储存通信关系条目,所述通信关系条目用于记录CXL存储空间中分配出去作为传输通道的存储空间的信息,所述通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量,所述方法还包括:
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传
7.一种数据传输方法,其特征在于,所述方法应用于第一计算设备,所述第一计算设备为多个计算设备中的任意一个计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
8.一种数据传输方法,其特征在于,所述方法应用于目标计算设备,所述目标计算设备是所述多个计算设备中任意计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
9.一种管理设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述管理设备执行如权利要求1至6中任一项所述的方法。
10.一种计算设备,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述计算设备执行如权利要求7或8所述的方法。
...【技术特征摘要】
1.一种传输通道管理方法,其特征在于,应用于管理单元,所述管理单元与多个计算设备通信连接,所述多个计算设备包括第一计算设备,所述管理单元用于管理一个或多个cxl存储设备构成的cxl存储空间,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述从所述cxl存储空间的可用存储空间中确定目标存储空间包括:
3.根据权利要求1或2所述的方法,其特征在于,所述传输通道建立请求包括需要建立的传输通道的容量,所述从cxl存储空间的可用存储空间中确定目标存储空间,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表用于储存通信关系条目,所述通信关系条目用于记录cxl存储空间中分配出去作为传输通道的存储空间的信息,所述通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量,所述方法还包括:
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表包括目标通信关系条目,所述目标通信关系条目包含所述目标传输通道的标识、所述第一计算设备的标识、...
【专利技术属性】
技术研发人员:梁永贵,余书宝,
申请(专利权)人:超聚变数字技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。