System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据中心网络的数据流传输方法和装置制造方法及图纸_技高网

数据中心网络的数据流传输方法和装置制造方法及图纸

技术编号:40958612 阅读:2 留言:0更新日期:2024-04-18 20:36
本发明专利技术公开了一种数据中心网络的数据流传输方法和装置,所述方法基于交换机实现;所述交换机,包括本级端口和下游端口;所述本级端口,包括若干个队列;所述队列用于存储数据;所述队列,包括存储数据长度和序号;所述存储数据长度,是队列的存储数据量;所述方法包括:获取得到待传输数据流信息;读取得到本级端口的队列分配信息集合和数据流存储队列表;对所述待传输数据流、队列分配信息集合和数据流存储队列表,进行队列存储分配处理,将所述待传输数据流发送至下游端口。本发明专利技术能够满足数据中心网络中无损传输的需求,实现低传输时延,高吞吐量的应用需求。

【技术实现步骤摘要】

本专利技术涉及数据中心网络通信领域,尤其涉及一种数据中心网络的数据流传输方法和装置


技术介绍

1、目前,随着数据中心网络应用的广泛化,人工智能、机器学习、分布式计算和存储、云计算、大数据、网络安全等应用的蓬勃发展,更多的用户和数据量被带到了网络和移动端的应用中。随着计算机设备和用户数据量的增多,数据中心网络的流量呈现数据流量大、数据带宽高、流量吞吐量大等特点。同时,随着直播、短视频等应用火热发展,数据中心网络中的短流量、突发流量增多。对于用户体验而言,数据中心网络要满足高带宽、低时延的需求,实现用户对于网络拥塞无感,同时保证用户服务质量。

2、rdma(远端直接内存访问)一种高性能网络通信技术,能够适应数据中心网络大数据量通信的应用,满足用户服务质量需求。为了减轻rdma主机侧的负担,需要在网络链路中保证无损传输。现有的典型的保证rdma无损传输协议是pfc(基于优先级的流量控制)协议。pfc协议基本原理是为有损网络设计一个无损链路层,在链路层保证rdma流量无损传输。pfc协议根据流量的优先级分配数据流到指定队列中,这种队列分配方式存在分配数据流过于粗粒度的问题。当队列排队长度超过暂停阈值,队列向上游端口背压发送暂停帧时,将会暂停该优先级的所有上游端口,严重情况下,将会导致拥塞传播,形成拥塞树,还会存在死锁情况。并且,当拥塞解除而恢复发送时,还会存在流量吞吐量不公平、存在受害者流等问题。另外,基于存储队列中排队长度分配流量方法,存在较高的排队风险。


技术实现思路

1、本专利技术所要解决的技术问题在于,在交换机端口中提供一种数据中心网络的数据流传输方法和装置,进而解决现有虚拟队列分配机制的不足,如pfc基于流量优先级的队列分配机制,队列分配过于粗粒度;基于存储队列中排队长度分配流量方法,存在较高的排队风险。

2、本专利技术实施例第一方面,公开了一种数据中心网络的数据流传输方法,基于交换机实现;所述交换机,包括本级端口和下游端口;所述本级端口,包括若干个队列;所述队列用于存储数据;所述队列,包括存储数据长度和序号;所述存储数据长度,是队列的存储数据量;所述方法包括:

3、s1,获取得到待传输数据流信息;

4、s2,读取得到本级端口的队列分配信息集合和数据流存储队列表;

5、s3,对所述待传输数据流、队列分配信息集合和数据流存储队列表,进行队列存储分配处理,将所述待传输数据流发送至下游端口。

6、所述待传输数据流信息,包括待传输数据流、数据流编号;所述待传输数据流,包括若干个数据包信息;所述数据包信息,包括数据包和数据包序号;所述待传输数据流,是经过本级端口,发送至下游端口的数据流;

7、所述队列分配信息集合,存储于本级端口中,包括所有队列的分配信息;所述队列的分配信息,包括:队列序号、存储数据长度、队列状态信息;所述队列状态信息的取值为0或1,0表示当前队列无数据传输,1表示当前队列有数据传输;

8、所述数据流存储队列表,存储于本级端口中,包括若干条流号信息;所述流号信息,包括数据流编号和存储所述数据流编号对应的数据流的队列的序号。

9、所述对所述待传输数据流、队列分配信息集合和数据流存储队列表,进行队列存储分配处理,将所述待传输数据流发送至下游端口,包括:

10、s31,从所述待传输数据流中提取出第一个数据包,确定所提取出的数据包为待传输数据包;

11、s32,判断所述待传输数据包是否为待传输数据流的第一个数据包,得到第一判断结果;若所述第一判断结果为是,执行s33;若所述第一判断结果为否,执行s35;

12、s33,对所述队列分配信息集合进行判断聚类选择处理,确定存储队列序号;将所述待传输数据包存储入所述存储队列序号对应的队列中,对所述队列的存储数据长度进行更新;

13、s34,利用所述待传输数据流的数据流编号和所述存储队列序号组成流号信息,将所述流号信息存入所述数据流存储队列表,执行s37;

14、s35,查询得到数据流存储队列表的流号信息中所述待传输数据包对应的数据流编号对应的队列序号,确定所述队列序号为存储队列序号;

15、s36,将所述待传输数据包存储入所述存储队列序号对应的队列中,对所述队列的存储数据长度进行更新,执行s37;

16、s37,将所述待传输数据包从队列中取出,发送至下游端口;对所述队列的存储数据长度进行更新;

17、s38,判断所述待传输数据包是否为所述待传输数据流的最后一个数据包,得到第三判断结果;若所述第三判断结果为是,执行s39;若第三判断结果为否,执行s311;

18、s39,修改存储所述待传输数据包的队列的队列状态信息为0;

19、s310,删除所述数据流存储队列表中所述待传输数据流的数据流编号对应的流号信息,完成所述待传输数据流的传输;

20、s311,确定所述待传输数据流中所述待传输数据包的下一个数据包,为待传输数据包,执行s32。

21、所述对所述队列分配信息集合进行判断聚类选择处理,确定存储队列序号,包括:

22、对本级端口的队列分配信息集合,判断是否存在队列状态信息取值为0的队列序号,得到第二判断结果;若所述第二判断结果为是,确定所述队列状态信息取值为0的队列序号,为存储队列序号;若所述第二判断结果为否,利用队列选择模型,确定存储队列序号。

23、所述队列选择模型的计算表达式为:

24、

25、其中,p为所述队列分配信息集合中存储数据长度最小的队列的序号,n0为本级端口所包括的队列数目,n为存储队列序号,t为所述交换机的当前系统时间值,mod表示求余数运算。

26、所述利用队列选择模型,确定存储队列序号,包括:

27、s331,获取得到若干个历史时刻的队列分配信息集合;

28、s332,对每个历史时刻,提取得到所述历史时刻的队列分配信息集合中的所有存储数据长度,利用所述所有存储数据长度,构建得到所述历史时刻的存储向量;所述存储向量中的元素,为每个队列在所述历史时刻的存储数据长度;

29、s333,利用所有历史时刻的存储向量,构建得到存储矩阵;

30、s334,对所述存储矩阵进行特征分解处理,得到所述存储矩阵的左分解矩阵、特征矩阵和右分解矩阵;

31、s335,将所述特征矩阵的对角线元素进行提取,得到特征向量;所述特征向量表示为ia,ia=[λ1,λ2,…,λn1],n1为所述特征向量所包含元素的个数;

32、s336,对所述特征向量的元素和元素序号值进行线性拟合处理,得到最佳一致逼近多项式;

33、s337,将所述特征向量中的绝对值最大的特征值,代入最佳一致逼近多项式进行计算,得到第一计算结果;对第一计算结果进行向上取整,得到第二计算结果;

34、s338,对所述第二计算结本文档来自技高网...

【技术保护点】

1.一种数据中心网络的数据流传输方法,其特征在于,基于交换机实现;所述交换机,包括本级端口和下游端口;所述本级端口,包括若干个队列;所述队列用于存储数据;所述队列,包括存储数据长度和序号;所述存储数据长度,是队列的存储数据量;所述方法包括:

2.如权利要求1所述的数据中心网络的数据流传输方法,其特征在于,所述待传输数据流信息,包括待传输数据流、数据流编号;所述待传输数据流,包括若干个数据包信息;所述数据包信息,包括数据包和数据包序号;所述待传输数据流,是经过本级端口,发送至下游端口的数据流;

3.如权利要求2所述的数据中心网络的数据流传输方法,其特征在于,所述对所述待传输数据流、队列分配信息集合和数据流存储队列表,进行队列存储分配处理,将所述待传输数据流发送至下游端口,包括:

4.如权利要求3所述的数据中心网络的数据流传输方法,其特征在于,所述对所述队列分配信息集合进行判断聚类选择处理,确定存储队列序号,包括:

5.如权利要求4所述的数据中心网络的数据流传输方法,其特征在于,所述队列选择模型的计算表达式为:

6.如权利要求4所述的数据中心网络的数据流传输方法,其特征在于,所述利用队列选择模型,确定存储队列序号,包括:

7.如权利要求4所述的数据中心网络的数据流传输方法,其特征在于,所述利用队列选择模型,确定存储队列序号,包括:

8.一种数据中心网络的数据流传输装置,其特征在于,所述装置包括:

9.一种计算机可存储介质,其特征在于,所述计算机可存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7中任一项所述的数据中心网络的数据流传输方法。

10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1-7任一项所述的数据中心网络的数据流传输方法。

...

【技术特征摘要】

1.一种数据中心网络的数据流传输方法,其特征在于,基于交换机实现;所述交换机,包括本级端口和下游端口;所述本级端口,包括若干个队列;所述队列用于存储数据;所述队列,包括存储数据长度和序号;所述存储数据长度,是队列的存储数据量;所述方法包括:

2.如权利要求1所述的数据中心网络的数据流传输方法,其特征在于,所述待传输数据流信息,包括待传输数据流、数据流编号;所述待传输数据流,包括若干个数据包信息;所述数据包信息,包括数据包和数据包序号;所述待传输数据流,是经过本级端口,发送至下游端口的数据流;

3.如权利要求2所述的数据中心网络的数据流传输方法,其特征在于,所述对所述待传输数据流、队列分配信息集合和数据流存储队列表,进行队列存储分配处理,将所述待传输数据流发送至下游端口,包括:

4.如权利要求3所述的数据中心网络的数据流传输方法,其特征在于,所述对所述队列分配信息...

【专利技术属性】
技术研发人员:董德尊胡星宇胡鼎煌郑思白洋
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1