一种数据中心网中混合式负载均衡方法技术

技术编号:18460688 阅读:37 留言:0更新日期:2018-07-18 13:28
本发明专利技术公开了一种数据中心网中混合式负载均衡方法,其中部署中央控制器进行网络全局信息的获取,部署终端主机进行中小流快速路由,并同时赋予中央控制器集中式负载均衡的决策权以及终端主机分布式负载均衡的决策权;所述中央控制器利用全局信息为预定义的大流安排路径,并且为预定义的中小流计算出全局最优的网络排队时延,所述终端主机对所述中小流进行分布式选路,并且在全局最优网络时延的限制下进行重路由。让中央控制器和终端主机分工协作,在不同流量需求共存的网络情况下,同时保证了大流的高吞吐量和中小流的低时延请求。较之单纯的集中式或分布式方案,本发明专利技术的方法能兼顾网络中的全部流量,并且满足不同流量的需求,且其灵活方便,易于配置。

A hybrid load balancing method in data center network

The invention discloses a hybrid load balancing method in the data center network, in which the central controller is deployed to obtain the global information of the network, and the terminal host is deployed for the fast routing of the medium and small flow. At the same time, the central controller is given the centralized load balancing decision and the decision-making power of the distributed load balancing of the terminal host. The central controller uses global information as a predefined large stream scheduling path, and calculates a global optimal network queuing delay for the predefined small and medium stream. The terminal host performs distributed routing on the medium and small streams and rerouted under the constraints of the global optimal network delay. The central controller and the terminal host cooperate with each other. In the case of the network with different traffic requirements coexisting, the high throughput and low time delay request of the small and medium flow are guaranteed. Compared with simple centralized or distributed schemes, the method of the invention can take account of all traffic in the network and meet the needs of different traffic, and it is flexible and easy to configure.

【技术实现步骤摘要】
一种数据中心网中混合式负载均衡方法
本专利技术涉及计算机网络领域,特别是涉及一种数据中心网中混合式负载均衡方法。
技术介绍
互联网为人类提供了极其方便的信息通信和资源共享平台,深刻地影响着人们的生产、生活和学习方式,也成为支撑现代社会生产发展、经济发展和科技创新的重要基础设施。而随着互联网的迅速发展,各式各样的应用服务也应运而生。从网页搜索、推荐系统等实时性应用,到数据备份、虚拟机迁移等高吞吐型服务,这些都对网络数据传输提出了严格的要求。数据中心网作为专用的高速网络,为多样化的服务提供了一个高性能的平台。多样的应用服务导致数据中心网内的流量也呈多样化特性,既有对延时比较敏感的实时性流量(通常为小流),也有对吞吐比较敏感的数据型流量(通常为大流)。大数据流用来维持数据的一致性和大量不同的分布系统的结构,其特点是数据量大,持续时间长,对完成时间要求不严格,比如虚拟机的流量迁移和管理存储数据的同步备份等都会产生持续较长时间的大数据流。小数据流通常来自于用户的交互行为,其特点是持续时间短,对完成时间有较高要求。之前的研究表明,数据中心网中大部分的流量数据都包含在10%的大流中,而且只有20%左右的数据量持续的时间超过11秒,大部分的多是对一或一对多的短时间的交互。小流虽然在数据中心网络中总的流量数据并不多,但是却占据了80%以上的数量,而且由于它本身的特性,小流往往才是影响用户体验和企业收益的重要的衡量指标。为了满足这些多样化的用户流量需求,数据中心网络需要提供大量的带宽和高速传输速率。因此它的拓扑通常设计为对称结构,并且为每一对源和目的之间都提供大量的等价路径。如图1(a)-图1(b)所示的胖树结构和叶脊结构。即便如此,由于不合理的选路决策,数据中心网中也经常出现某些链路处于高度负载状态,而其他的等价路径处于空闲状态的现象。当前广泛使用的选路算法ECMP根据流的五元组进行静态哈希选路,在网络中有较大流量存在的时候,可能出现流量碰撞,这会造成严重的带宽浪费和网络拥塞。针对ECMP的固有缺陷,现有的负载均衡方案一个重要的讨论点是全局信息的有无。在对称性网络中,基于本地决策的分布式负载均衡方案就可以实现较好的负载均衡效果,然而在非对称性网络中,全局信息对于负载均衡决策至关重要。如图2所示,假设节点A到节点F的总流量需求是30Mb/s,如果A拥有全局信息,那么它会知道链路D-E是路径A-D-E-F的瓶颈链路,该链路最大容量是10Mbps,因此A会发送20Mb/s的流量至A-B链路,发送10Mb/s的流量至A-D链路,最终实现30Mb/s的总吞吐。然而如果节点A不知道全局信息,简单地将流量均分至两条路径上,那么最终只能实现25Mb/s的吞吐。更糟的是,如果A是本地拥塞感知的,当它观察到链路A-D上的流量比链路A-B上的流量少时,它会将A-B上的流量转移部分到A-D上,这最终会使得链路A-B上的流量降为10Mb/s,总吞吐降至20MB/s。由此可见,在非对称性网络中全局信息的重要性。虽然数据中心网拓扑结构普遍是对称的,但是在实际中,链路损坏或者是设备处理能力之间的差异都会导致非对称情况的出现。因此,要实现精细的负载均衡调度,必须掌握全局信息。概括地来说,现有的负载均衡方案可以分为集中式和分布式两种。集中式的负载均衡方案通常部署一个中央控制器来获取全局拓扑、链路带宽和网络流量信息,并且根据全局信息计算出合适的路径。这种方案最大的优点如下:(1)它可以获取全局信息,了解链路的负载情况和拥塞状况;(2)无论是在对称网络还是非对称网络中,它都能够根据全局信息计算出当前状态下的最优决策。但是集中式方案的缺点也很明显,主要如下:(1)中央控制器的全局信息收集、路径计算和规则的下发是有时间代价的,因此对于时延敏感的小流而言,利用中央控制器计算路径是不合理的。(2)中央控制器收集全网信息,需要和交换机进行信息交互,如果交互太过频繁会引入大量的额外流量开销。(3)对中央控制器极度依赖,可扩展性差,一旦控制器故障,则整个系统都将无法工作。由于以上缺点的存在,大多数集中式负载均衡方案都只考虑大流的路径分配问题,为了减少信息收集带来的交互开销,它们定期进行流量需求、剩余带宽等网络信息的采集,并利用这些信息为网络中的大流量重新分配最佳路径,以避免碰撞,实现大流量的负载均衡。少数集中式方案也会考虑网络中的全部流量,比如FastPass,它为每一个数据包确定发送的路径和发送的时间段。为了克服中央控制器固有的缺点,进行快速计算、减少规则下发的时延,FastPass部署了若干控制器进行串行流水线工作,并采用快速涂色算法进行路径分配。这样虽然能实现较快的精确控制,但是如上所述,中央控制器和交换机之间的频繁交互给网络带来了大量的额外的流量开销,加重网络负担。分布式的负载均衡方案相对灵活很多,它们通常部署在网络边缘,比如边缘交换机或者终端主机上。分布式负载均衡方案主要有如下两个优点:(1)无需和中央控制器进行交互,可直接在本地进行快速决策;(2)可拓展性好,不因网络规模的扩大而产生管理瓶颈。而另一方面,与集中式负载均衡方案相反,分布式方案的主要缺点如下:(1)全局信息的获取困难,大部分方案都是基于本地做随机选择,不能做出全局最优决策;(2)由于无法拥有全局眼光和进行整体协调,分布式方案基本都是自私路由。即便是通过一定手段,在本地获取当前网络信息,它们也只能根据这些信息做出对自己最有利的选择,而非各个终端协调之后做出全局最有利的决策,因此经常会出现震荡问题(即所有终端同时选择负载最小的链路,导致该链路负载急速增大)。针对全局信息的有无,分布式方案大致能分为两种。不获取全局信息的分布式负载均衡方案,没有复杂的反馈过程,在对称型网络中能够通过随机选择达到比较好的负载均衡效果。同时,为了追求更精细的负载均衡效果,这种随机的分布式方案通常采用比流更小的调度粒度,比如数据包级别,或者采用flowlet(以时间间隔为分割,将一条流分成多个burst,粒度比流小,比数据包大)以规避乱序问题。这种随机方案在非对称网络中,往往会有很多问题。比如在下游链路拥塞或者某些链路损坏的情况下,随机决策可能加重拥塞,引发丢包。获取全局信息的分布式负载均衡方案,通常需要交换机的配合进行全局信息反馈,这要么会引入大量额外流量开销(比如DADR,结合openflow,在终端各自进行信息收集),要么需要修改交换机硬件以实现信息采集需求(比如CONGA、HULU等,利用交换机在包头打CE标记),虽然这种类型的方案能够实现较好的负载均衡效果,并且保持分布式方案快速、拓展性好的特点,但是它们的反馈系统往往十分复杂,现在的商用交换机并不能支持这些功能。总的来说,集中式负载均衡方案和分布式负载均衡方案都有明显的缺陷,它们要么忽略了中小流对网络的影响,要么忽视了全局决策的重要性。
技术实现思路
本专利技术的主要目的在于针对现有技术的不足,提供一种数据中心网中混合式负载均衡方法。为实现上述目的,本专利技术采用以下技术方案:一种数据中心网中混合式负载均衡方法,其中,部署中央控制器进行网络全局信息的获取,部署终端主机进行中小流快速路由,并同时赋予中央控制器集中式负载均衡的决策权以及终端主机分布式负载均衡的决策权;所述本文档来自技高网
...

【技术保护点】
1.一种数据中心网中混合式负载均衡方法,其特征在于,部署中央控制器进行网络全局信息的获取,部署终端主机进行中小流快速路由,并同时赋予中央控制器集中式负载均衡的决策权以及终端主机分布式负载均衡的决策权;所述中央控制器利用全局信息为预定义的大流安排路径,并且为预定义的中小流计算出全局最优的网络排队时延,所述终端主机对所述中小流进行分布式选路,并且在全局最优网络时延的限制下进行重路由。

【技术特征摘要】
1.一种数据中心网中混合式负载均衡方法,其特征在于,部署中央控制器进行网络全局信息的获取,部署终端主机进行中小流快速路由,并同时赋予中央控制器集中式负载均衡的决策权以及终端主机分布式负载均衡的决策权;所述中央控制器利用全局信息为预定义的大流安排路径,并且为预定义的中小流计算出全局最优的网络排队时延,所述终端主机对所述中小流进行分布式选路,并且在全局最优网络时延的限制下进行重路由。2.如权利要求1所述的数据中心网中混合式负载均衡方法,其特征在于,所述分布式负载均衡在全网最优目标的约束下采用随机“二选一”决策。3.如权利要求1所述的数据中心网中混合式负载均衡方法,其特征在于,以数据中心网络中核心层交换机的排队时延作为分布式最优负载均衡目标,来进行负载均衡。4.如权利要求1所述的数据中心网中混合式负载均衡方法,其特征在于,所述中央控制器为大流安排路径包括:以fi表示第i条大流的带宽需求,若这条流经过路径l,则它在链路l上的带宽需求fli为该条大流的总需求fi,表示如下:对于大流的路径分配,总体的负载均衡目标是最小化最大链路利用率,表示为:Minimize:γ约束条件为:其中,γ表示最大链路利用率,Ul表示链路l的利用率,Rl表示链路l的剩余带宽,Cl表示链路l的容量,中央控制器从网络中收集上述信息,在已知全部链路带宽信息和每条流的路径选项信息的前提下,求解每条大流的路径分配;中央控制器求解出每条大流的路径之后,通过OpenFlow,将这些流的流表规则安装到路径上的交换机上,由此实现对大流的路径控制。5.如权利要求1至4任一项所述的数据中心网中混合式负载均衡方法,其特征在于,所述中央控制器为中小流计算出全局最优的网络排队时延包括:用两层的leaf-spinetree作为建模基础,或者将fat-tree在逻辑上抽象成两层的leaf-spinetree作为建模基础;考虑到达某一个叶交换机i的总流量λi,假设将流量按照wi1,wi2,……,win的比例分配到n个核心交换机上,并且这些核心交换机连接该叶交换机i的出口处理能力为μi1,μi2,……,μin,则负载均衡目标是使得数据包在每个一个核心交换机的排队时延相同,表示为:约束条件为:其中Tij表示目的地为第i个叶交换机的数据包,在第j个核心交换机经历的排队时延,求解得到流量的分配比例和排队时延如下:根据上述公式,对于到达每个不同叶交换机的流量,求出它们在核心层的分配比例;对于单个核心交换机j,其汇聚了不同目的地的流量,假设这些目的地的流量分别为λ1,λ2,……,λm,则它们各自分配到第j个核心交换机的流量为w1jλ1,w2jλ2,……,wmjλm,并且该核心交换机各个出口的处理能力为μ1j,μ2j,……,μmj,求得在该交换机上每个数据包的期望排队时延如下:约束条件为其中,χj表示该核心交换机上的总流量,pij表示目的地为第i个叶交换机的流量在该核心交换机上占据的比例...

【专利技术属性】
技术研发人员:江勇宋紫嫣李清
申请(专利权)人:清华大学深圳研究生院
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1