一种降低数据中心网络中流传输完成时间的流调度方法技术

技术编号:13464072 阅读:16 留言:0更新日期:2016-08-04 18:01
本发明专利技术公开了一种降低数据中心网络中流传输完成时间的流调度方法,实现在流长未知的条件下,降低平均流传输完成时间。该方法的基本思想是:通过收集网络中历史数据流的长度信息,不断更新流长的概率密度分布;基于这些历史信息,计算各条数据流在特定时间内完成传输的概率;然后根据计算所得的各个概率,优先调度完成传输概率最高的流,从而改善数据中心网络的资源利用效率。本发明专利技术具有不依赖先验知识、平均流传输完成时间短的优点。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了,实现在流长未知的条件下,降低平均流传输完成时间。该方法的基本思想是:通过收集网络中历史数据流的长度信息,不断更新流长的概率密度分布;基于这些历史信息,计算各条数据流在特定时间内完成传输的概率;然后根据计算所得的各个概率,优先调度完成传输概率最高的流,从而改善数据中心网络的资源利用效率。本专利技术具有不依赖先验知识、平均流传输完成时间短的优点。【专利说明】-种降低数据中心网络中流传输完成时间的流调度方法
本专利技术属于网络数据通信
,是一种对数据中屯、网络中数据流进行动态调 度的方法,具体地说是一种面向资源高效利用的数据流调度方法。
技术介绍
各种在线服务,如捜索引擎、社交网络、网商(retail)等,已经成为当前人类社会 不可或缺的一部分,他们为广大用户提供了非常便捷的服务,有力改善了人们的工作和生 活。而作为在线服务的基础设施,数据中屯、网络承担着为各类在线服务提供及时、高效数据 传输的任务,其重要性不言而喻。由于固有的实时交互性特点,许多在线服务对请求的响应 时延有着非常严格的要求,时间期限往往在几百毫秒W内,例如在线网站就要求99.9%的 响应在200-300毫秒W内完成而从数据中屯、网络流量模式的角度来考虑,绝大部分的流 都属于短流,但是非常高比例的字节数却是由数据备份、虚拟机迁移等产生的长流所占 据W。相对于长流来说,短流往往是由交互式服务产生,它们对时延更为敏感,应当在尽可 能短的时间内完成传输,而长流则没有时间期限方面的要求。因此,数据中屯、网络首要目标 是尽量缩短短流完成时间,再提高长流的吞吐量。 基于流模型(fluid traffic model),可W很容易得到如下结论:最优的流调度策 略是剩余传输时间最短的流应当首先被传输,也即SRPT(Siortest Remaining Processing Time)策略W。因此,为了达到最优的调度,路由器在转发各条流的过程中,每有一条新的流 到达时,应当对比所有流剩余的字节数,并选择最短的那条流进行传输,文献所提出的 抢占式调度算法(preemptive scheduling)也是基于运个思想来实现。然而,最优调度需要 特定的先验知识,即每条流的长度都是已知的,否则路由器无法判断出哪条流应当优先得 到调度。尽管数据中屯、网络中的部分流可W根据端口号推断出其应用的类型,从而估计流 的长度,但是大部分流的长度仍然难W精确判断,运就影响了短流的传输完成时间,特别是 当一条长流被误判为短流时,其他许多流的时延性能将会严重降低 为了防止运种情况的发生,在不确定流长度的前提下,应当尽量避免将所有带宽 都分配给某条流,而为了优化流的传输完成时间,路由器在调度各个分组时,优先为那些在 短时间内结束传输概率更高的流提供服务,而运里的难点是如何判断哪条流剩余长度最短 的概率。虽然各条流的流长度是未知的,但是可W根据数据中屯、网络中W往传输的流信息 评估出流的长度分布,然后再基于该密度分布函数推断出当前各条流在特定时间期限内完 成传输的概率,并优先转发结束概率最大的流的分组。 参考文献 C.Wilson,H.Ballani,T.Karagiannis,and A.Rowstron.Better Never than LateiMeeting Deadlines in Datacenter Networks.In Proc.ACM SIGCOMM,2011. D.Abts,B.Felderman.A guided tour of data-center networking.Commun.ACM,vol.55,no.6,pp.44-51,June 2012.N.Bansal and M.Harchol-Balter. Analysis of srpt scheduling : investigating unfairness.ACM SIGMET民ICS,2001. C.-Y.Hong,M.Caesar,and P.B.Godfrey.Finishing Flows Quickly with Preemptive Scheduling.ACM SIGCOMM,2012.
技术实现思路
专利技术目的:针对目前数据中屯、网络流调度严重依赖流长、传输完成期限等先验知 识问题,提出一种W降低流传输完成时间为目标的数据中屯、网络流调度的设计方法。 技术方案:一种降低数据中屯、网络中流传输完成时间的流调度方法,即面向高效 资源利用的数据中屯、网络流调度方法化fficient utilization oriented Flow Scheduling Mechanism,EUFSM),该方法着重描述了历史流长信息收集W及对数据中屯、网 络中的流进行调度的方法,包括W下步骤: A.历史流长信息的收集步骤:数据中屯、网络中的机架交换机W五元组(源IP地址, 目的IP地址,源端口号,目的端口号,运输层协议)对所有流经的分组进行聚合,形成流信 息,如果一条流超过64秒没有下一个分组到达,则认为该流传输结束,然后计算整条流的字 节长度;持续收集流长信息并进行累加,然后Wl个字节为单位,统计流长分布的概率密度 函数;在一条新的流完成传输时,对流长分布函数进行更新。 B.计算分组优先级的步骤:已知数据中屯、网络流长的概率密度分布函数为P(X) (其中X为字节数),数据中屯、网络交换机链路带宽为C,针对已传输字节数为B的流,计算其 在t时间内完成传输的概率,计算方法3根据所有流计算得到的传输结束 概率,采用K均值方法对其进行聚类,类别数目为8,然后得到7个划分不同流类别的阔值,传 输结束概率最高的类别具有最高的优先级,次高的类别具有第二等级的优先级,并W此类 推。 C.在端系统接入端对流进行标记的步骤:根据步骤的十算得到的阔值,利用控制器 对端系统接入处的流量控制设备的配置进行更新;然后对各个分组的DSCP字段进行标记, 优先级最高的分组DSCP字段设置为1,次高的设置为2,并W此类推。 D.对分组进行调度的步骤:利用OF-CONFIG配置管理协议对交换机进行配置,将每 个交换机入端口划分出8个优先级不同的队列;当分组到达时,根据分组DSCP字段的内容将 其送入对应的队列;当队列不为空,交换机按照各个队列的优先级顺序进行调度,只有当所 有更高优先级队列都为空时,该队列中的分组才能得到服务。 有益效果:本专利技术相对现有技术具有W下优点: 1、不依赖先验知识:较之现有的设计方法,本专利技术不需要掌握每条流的长度和传 输完成期限等信息,因此能够更有效地在实际数据中屯、网络环境中加 W部署。 2、平均流传输完成时间短:本专利技术W流的传输结束概率作为设定优先级的标准, 因此在理论上能够更快结束流的传输,从而缩短流的平均传输完成时间。【附图说明】图巧本专利技术实施例运行的网络环境; 图2为本专利技术实施例对应EUFSM方法流程图。【具体实施方式】 下面结合具体实施例,进一步阐明本专利技术,应理解运些实施例仅用于说明本专利技术 而不用于限制本专利技术的范围,在阅读了本专利技术之后,本领域技术人员对本专利技术的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。 首先给出本专利技术所需要的运行环境和本文档来自技高网
...

【技术保护点】
一种降低数据中心网络中流传输完成时间的流调度方法,该方法着重描述了历史流长信息收集以及对数据中心网络中的流进行调度的方法,其特征在于:包括以下步骤:A.历史流长信息的收集步骤:数据中心网络中的机架交换机以五元组(源IP地址,目的IP地址,源端口号,目的端口号,运输层协议)对所有流经的分组进行聚合,形成流信息,如果一条流超过预设时间没有下一个分组到达,则认为该流传输结束,然后计算整条流的字节长度;持续收集流长信息并进行累加,然后以1个字节为单位,统计流长分布的概率密度函数;在一条新的流完成传输时,对流长分布函数进行更新;B.计算分组优先级的步骤:已知数据中心网络流长的概率密度分布函数为p(x)(其中x为字节数),数据中心网络交换机链路带宽为C,针对已传输字节数为B的流,计算其在t时间内完成传输的概率,计算方法为根据所有流计算得到的传输结束概率,采用K均值方法对其进行聚类,类别数目为8,然后得到7个划分不同流类别的阈值,传输结束概率最高的类别具有最高的优先级,次高的类别具有第二等级的优先级,并以此类推;C.在端系统接入端对流进行标记的步骤:根据步骤B计算得到的阈值,利用控制器对端系统接入处的流量控制设备的配置进行更新;然后对各个分组的DSCP字段进行标记;D.对分组进行调度的步骤:利用OF‑CONFIG配置管理协议对交换机进行配置,将每个交换机入端口划分出8个优先级不同的队列;当分组到达时,根据分组DSCP字段的内容将其送入对应的队列;当队列不为空,交换机按照各个队列的优先级顺序进行调度,只有当所有更高优先级队列都为空时,该队列中的分组才能得到服务。...

【技术特征摘要】

【专利技术属性】
技术研发人员:胡超刘波邢长友陈鸣李兵
申请(专利权)人:中国人民解放军理工大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1