一种数据中心去带宽碎片化流调度方法技术

技术编号:10101383 阅读:86 留言:0更新日期:2014-05-30 17:10
本发明专利技术公开了一种数据中心去带宽碎片化流调度方法,用于解决数据中心的带宽碎片化问题。其中,基于阈值的流信息统计筛选,能弹性筛选出符合要求的流,降低控制器的计算开销;基于带宽需求矩阵的实际带宽估算方法,合理的估算了新流的带宽需求,减少了由于带宽需求变化造成的调度错误;核心的概率带宽最紧匹配网络流调度算法,在带宽最紧匹配这种贪婪算法的基础上,合理引入概率,实现了去带宽碎片化和负载均衡的合理权衡;本发明专利技术在对新网络流合理调度的基础上,大幅度减少了整个网络的带宽碎片,降低了新网络流阻塞的可能性,提高了整个网络的网络利用率和吞吐率,最终提升了网络服务质量。

【技术实现步骤摘要】
一种数据中心去带宽碎片化流调度方法
本专利技术涉及计算机网络方向数据中心网络的负载均衡领域,尤其涉及一种基于软件定义网络的概率带宽最紧匹配路径网络流调度算法,用于解决现有数据中心网络均衡算法产生的带宽碎片化问题。
技术介绍
网络的负载均衡(LoadBalance)问题一直是计算机网络领域内的热点研究问题,它极大的相关于网络的服务质量(QualityofService,QoS)。目前该领域的相关研究可以分为基于服务器(Servers)的网络负载均衡和基于链路(Links)的网络负载均衡两种类型。基于服务器的网络负载均衡主要着眼于多台服务器之间的任务分配造成的带宽使用的不均衡,通过调度任务迁移从而达到带宽负载均衡的目的;基于链路的负载均衡则主要关注整个网络中各条链路的负荷情况,通过改变不同网络流或数据包的路径,达到调节链路负荷,实现网络负载均衡的目的。近年来,云计算技术的广泛应用使得数据中心得以大规模的兴建,而数据中心的网络,不同于传统意义上的网络,由于(1)巨量的服务器、(2)庞大复杂的网络拓扑、(3)同一服务虚拟机群部署的非局部性等特性的存在,使得基于链路的网络负载均衡方法更适用于数据中心网络的负载均衡研究。目前,大量的数据中心负载均衡研究据此展开,它们有一个共通的特点,利用数据中心网络拓扑中路径的冗余,调度网络流或数据报通过合适的路由,从而提高整个网络的带宽利用率和吞吐率,达到提高服务质量的目的。目前,数据中心网络负载均衡的主流方法通常基于最小负载的概念,采用优先选取带宽占用量最少或较少的一条路径的办法,进而使得网络流尽可能均匀分布到各条链路,从而减少实时状况下网络流拥塞状况的发生,最终达到提高服务质量的目的。然而,这样的方法却缺少对下一步产生的网络流情况的考虑,在某些情况下,将产生网络带宽碎片化问题,反过来影响新网络流接收,特别是当新网络流颗粒度更大时,这种影响尤为明显。带宽碎片化(BandwidthFragmentation,BF)是指独立的新网络流的带宽需求大于其任一候选网络链路的剩余带宽,却小于候选网络链路剩余带宽之和的现象。这一现象使得新网络流在网络中被阻塞,网络利用率降低,进而影响到服务质量。这说明现有的数据中心网络负载均衡方法在网络流的分配和调度上考虑不够全面,存在一定的不合理性。面对数据中心中产生的带宽碎片化现象,如何能够去除它,成为了一道急待解决的难题。近两年来,一种叫做软件定义网络(SoftwareDefinedNetwork,SDN)的新型网络架构开始成为热门研究技术,它是一种网络虚拟化技术,由斯坦福大学的CleanState研究计划首先提出,其核心是Openflow协议,它通过将网络(交换机)中的数据面(DataPlane)和控制面(ControlPlane)进行分离,通过软件的方式实现原本硬件应该完成的控制面部分,该部分软件安装在一台或多台控制器(Controller)上,从而通过这些控制器,以中央控制的方式,通过软件实现了网络流路由的灵活控制。这种可通过软件的方式实现对网络流路由策略进行自由控制的方法为上述网络中心带宽碎片化问题的解决提供了一种实现的可能性。
技术实现思路
有鉴于现有技术的上述缺陷,本专利技术所要解决的技术问题是结合新兴的软件定义网络架构,设计一种概率带宽最紧匹配路径分配的网络流调度算法并将其实现为整个流调度控制模块,期间还需克服以下3个技术难点:(1)负载均衡和去网络碎片的权衡;前者能有效减少当前网络的阻塞状况,却可能产生未来的阻塞,后者能减少网络碎片,却又增加了当前网络流调度的难度,因此找到一个平衡点尤为重要。(2)如何获取网络流带宽需求;网络流的实际流量并不代表网络流的带宽需求,如果将现有的网络流路由路径改变到另一条候选路径上,网络流的实际流量可能会增大,这会影响去带宽碎片化算法的有效性。(3)如何判断网络流的结束;网络流结束后会释放其占用的带宽资源,在去带宽碎片化算法中准确判断网络流的结束对算法下一步的进行有关键作用。为实现上述目的,本专利技术提供了一种基于软件定义网络的数据中心去带宽碎片化流调度方法,包括以下步骤:步骤1:在软件定义网络架构的数据中心的网络中,当新的网络流进入网络,流调度控制模块必须要从边缘交换机,即直接连接服务器主机的交换机,汇总统计数据,并根据预先设定的阈值,筛选出需要进行调度的新网络流。专利技术事先设定的阈值是根据相应参考文献和多次实验得出的较优值,参考文献是Hedera:DynamicFlowSchedulingforDataCenterNetworksMohammad。步骤2:当流调度控制模块筛选出需要调度的网络流后,它会根据新网络流的通讯模式进行网络流带宽需求估算,生成带宽需求矩阵,计算出新网络流在网络链路无速率限制的情况下的真实带宽需求。步骤3:根据步骤2计算出的新网络流的真实带宽需求,流调度控制模块进行调度算法的核心部分,即先计算出网络中所有符合新网络流真实带宽需求的可选路由,可选路由中剩余的最小带宽需大于或等于真实带宽需求,然后根据每条可选路由中剩余的最小带宽与真实带宽需求之差,给定一个概率,差值越小概率越大,差值越大概率越小,最后根据这个概率随机将新网络流分配到可能的可选路由上去,这就叫做概率带宽最紧匹配路径分配。步骤4:在新网络流被分配到具体的可选路由后,调度控制程序中的核心部分(即步骤3)将被重置,继续监听符合要求的新网络流的到来,等待下一次的触发。步骤5:在新网络流结束后,流调度控制模块并不清楚其已经结束,之前分配给其的网络带宽资源仍然在控制器中显示被占据,并且交换机中的路由信息仍然存储在控制流表中,浪费资源。本专利技术进一步地采用软件定义网络中的空闲超时(idle_timeout)机制,这种机制会在定长的时间间隔清理交换机中的没有数据传输的流表项,同时控制器(Controller)会周期性的重新计算实时流量统计和路径分配,从而删除掉不符合要求的网络流占据的带宽分配,释放资源。本专利技术的基于软件定义网络的数据中心去带宽碎片化流调度方法具有以下有益的技术效果:(1)本专利技术在对新网络流合理调度的基础上,大幅度减少了整个网络的带宽碎片,降低了新网络流阻塞的可能性,提高了整个网络的网络利用率和吞吐率,最终提升了网络服务质量。(2)本专利技术中基于阈值的流统计信息筛选,能够弹性的筛选出满足实际需求的网络流,减少需要进行实际需求带宽估算的网络流数目,降低控制器计算资源开销。(3)其次,专利技术中基于带宽需求矩阵的实际网络带宽估算方法,可合理估算出新网络流的实际网络带宽需求,减小因为网络流带宽需求变化造成的调度错误。(4)本专利技术的概率带宽最紧路径匹配算法,在带宽最紧比较的贪心策略基础上,加入了概率选择,实现了去带宽碎片和负载均衡的合理权衡;(5)本专利技术采用的流结束判断和资源回收机制,基于Openflow协议的空闲超时(idle_timeout)机制和对边缘交换机周期性统计办法,合理的判断了数据中心网络流的结束,有效了回收了无效占用的网络资源,为下一步的网络流调度腾出了资源空间;(6)相比现有数据中心网络拓扑,本专利技术的采用的最新的软件定义网络架构和其核心Openflow协议,这种软件定义的调度机制使得网络流的调度更加灵活,并且能够有效实现资本文档来自技高网
...
一种数据中心去带宽碎片化流调度方法

【技术保护点】
一种数据中心去带宽碎片化流调度方法,其特征在于,所述调度方法是通过流调度控制模块来完成的,包括以下步骤:步骤1:在软件定义网络架构的数据中心网络中,当新的网络流进入所述网络,所述流调度控制模块从边缘交换机汇总统计数据,并根据预先设定的阈值,筛选出需要进行调度的新网络流;步骤2:当所述流调度控制模块筛选出需要调度的所述新网络流后,会根据所述新网络流的通讯模式进行网络流带宽需求估算,计算出所述新网络流在网络链路无速率限制的情况下的真实带宽需求;步骤3:所述流调度控制模块进行调度算法的核心部分:先计算出所述网络中所有符合所述新网络流的所述真实带宽需求的可选路由,所述可选路由中剩余的最小带宽需大于或等于所述真实带宽需求,然后根据每条所述可选路由中剩余的所述最小带宽与所述真实带宽需求之差,给定一个概率,差值越小则所述概率越大,所述差值越大则所述概率越小,根据所述概率随机将所述新网络流分配到所述可选路由之一上去;步骤4:重置所述流调度控制模块中的所述核心部分,以继续监听符合要求的下一个所述新网络流的到来,等待下一次的触发;步骤5:所述新网络流结束后,对交换机中没有数据传输的流表项进行清理,并删除掉不符合要求的网络流占据的带宽分配。...

【技术特征摘要】
1.一种数据中心去带宽碎片化流调度方法,其特征在于,所述调度方法是通过流调度控制模块来完成的,包括以下步骤:步骤1:在软件定义网络架构的数据中心网络中,当新的网络流进入所述网络,所述流调度控制模块从边缘交换机汇总统计数据,并根据预先设定的阈值,筛选出需要进行调度的新网络流;步骤2:当所述流调度控制模块筛选出需要调度的所述新网络流后,会根据所述新网络流的通讯模式进行网络流带宽需求估算,计算出所述新网络流在网络链路无速率限制的情况下的真实带宽需求;步骤3:所述流调度控制模块进行调度算法的核心部分:先计算出所述网络中所有符合所述新网络流的所述真实带宽需求的可选路由,所述可选路由中剩余的最小带宽需大于或等于所述真实带宽需求,然后根据每条所...

【专利技术属性】
技术研发人员:管海兵宋涛李健马汝辉刘宇宸
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1