一种数据中心网络流的调度方法和系统技术方案

本发明专利技术公开了一种数据中心网络流的调度方法和系统，该方法包括步骤：A1.控制器获取当前的网络状况，根据流的分布计算阈值列表并进行更新，控制器将阈值列表推送给终端；A2.终端根据阈值列表对数据包进行优先级标记；A3.交换机根据数据包的优先级标记进行优先级调度；A4.控制器检测网络的变化，根据网络状况不定时更新阈值列表。该方法能实时检测网络变化，提高流的应变能力；该系统不需要修改现有的TCP/IP栈，避免修改交换机设备，具有易用性和高部署性。

【技术实现步骤摘要】

本专利属于计算机网络领域，特别涉及一种数据中心网络流的调度方案和系统。
技术介绍
互联网向人类展示了全新的生活视角，将人们的生产，生活和学习方式得到了质的飞越和提升。数据中心网络作为存储传输处理大数据的基础设施，已经成为支撑现代经济发展和积极创新的基础保障。用户向数据中心网络请求各种资源，数据中心网络也以不同的承载量回应着每一位用户。不可避免的，有的用户请求的数据比较少，形成小的数据流，希望得到更快的响应。有的用户发出服务器备份的请求，对完成时间并没有特别的要求。所以，区分流的大小进行调度具有很大的意义。区分调度能够满足不同用户对于传输时间的期望，提高用户的工作效率，提升用户体验。对于企业来说，网络中数据的传输延迟也是一个很关心的指标。因为网络延迟直接影响着企业收益。比如，对于亚马逊来说，每100ms的延迟将会损失1％的业务利润，每500ms的延迟就会减少20％的用户请求。鉴于网络传输时间延迟对于用户和企业都具有重大意义，好多科学工作者投入到如何减小网络时延的工作中。目前有很多工作都集中于数据中心网络的流的调度方案。一些调度方案关注数据中心网络的利用率，集中在数据中心的流调度的负载均衡上。关注负载均衡的流调度方案不能保证短任务的完成时间，也不能保证其优先完成。还有一些研究，是在预先知道流的大小，传输截止时间等信息的条件下提高流调度的效率。虽然在一定的场景下，其可以获得很好的调度性能，但在一般情况下，流的大小或者deadline都是不可预估的。比如，HTTP协议在传输数据块的时候，先传输查询到的内容，这样及时响应用户。所以在传输完成之前，是不知道文件流的大小的。有一些解决方案为减小流的传输时间。大概可以分为两种，一种是知道流的先验信息，即在进行流的传输工作之前，预先知道流的大小和流的传输截止时间等信息。有一种是不知道流的先验信息，即在进行流传输之前，不知道流的大小，到达时间，持续时间等信息。在这些解决方案中，有些是需要终端和交换机互相配合，然而涉及到交换机的升级就会影响到实际的部署。有的解决方案在部署时只需要升级终端，却没有考虑到网络中的流量的实时变化性。所以，当网络中流量的分布在改变时，机制的性能就会下降，影响用户体验。常见流的调度方式主要有三种，最短流优先(Shortest Job First:SJF)，公平共享(Fair sharing:FS)，以及发送最少者优先(Least Attained Service:LAS)。SJF：已知流的大小或者流的要求完成时间，优先调度小流或者要求完成时间最短的流。然而在现实生活中，我们一般不能预先得到流的大小或者时间限制要求。所以，这种调度方式运用在实际的数据中心网络中性能并不是很好。FS：把处理器的时间划分地无限小，然后切换处理器的处理时间片，使每一个任务都能公平的共享处理器。LAS：优先处理被处理最少时间的流。当任务的被处理时间一致时，则采用FS的方式公平的被处理。如图1所示，图中有三条流，A,B,C.大小分别为1，2，4.到达时间为1，2，0。即C先到达。图1表示了三种调度方式下三条流调度的完成情况。对于FS，处理器先调度C流，当A在1的时间点到达时，A和C同时进行调度，B到达时，A,B和C同时被调度，直至一条或全部结束。对于SJF，优先调度比较小的流，当A流到达后，优先进行A流的调度，后续进行B流和C流的调度。对于LAS，当A和B到达时，则优先调度A和B使之和C的调度时间相等之后再进行公平调度。当前流的调度方案都是基于上面的三种调度方式，它们分为以下两种。一是调度之前已知流的先验信息。以pFabric,PDQ,D3和PASE为首的方案就是根据流的大小和传输截止时间来做调度决策。pFabric把全网的交互机看成一个大的交换机，当端口空闲时，按照流的大小来优先调度小流，从而实现SJF的调度方式，最小化流的完成时间。二是调度之前未知流的先验信息。以L2DCP及PIAS为首的方案就是在调度流之前不知道流的大小等信息，其通过在终端设定固定不变的阈值来标记流的优先级，然后在交换机上根据优先级来进行调度。方案一存在如下的不足：以流的大小，或者流的完成时间为先验信息的调度方案在实际环境中会降低其性能，甚至不可行。方案二虽为不需要流的先验信息的机制，但需要交换机和终端同时升级，交换机升级增加了部署了难度。另以上方案都存在如下的不足：不能实时地监测网络中流量的变化，没有根据实时的流量来合理对流进行调度，流完成的效率不高、应变能力小，不能根据网络的状况自适应。
技术实现思路
本专利技术提出一种数据中心网络流的调度方法和系统。该方法和系统可以自适应网络的状况，实时地监测网络中流量的变化，根据实时流量来合理对流进行调度。本专利技术提供了一种数据中心网络流的调度方法，该方法包括如下步骤：A1.控制器获取当前的网络状况，根据流的分布计算阈值列表并进行更新，控制器将阈值列表推送给终端；A2.终端根据阈值列表对数据包进行优先级标记；A3.交换机根据数据包的优先级标记进行优先级调度；A4.控制器检测网络的变化，根据网络状况不定时更新阈值列表。优选地，所述步骤A1阈值列表通过将流的分布代入阈值列表优化模型，最优化求解得到。进一步地优选，所述阈值列表优化模型，通过最小化流的完成时间得到。定义优先级队列用Pi表示，优先级队列的数据阈值用αj表示。根据流的分布，设阈值列表中有K-1个数据阈值{α1，α2，α3，….αK-1本文档来自技高网...

【技术保护点】
一种数据中心网络流的调度方法,其特征在于，该方法包括如下步骤：A1.控制器获取当前的网络状况，根据流的分布计算阈值列表并进行更新，控制器将阈值列表推送给终端；A2.终端根据阈值列表对数据包进行优先级标记；A3.交换机根据数据包的优先级标记进行优先级调度；A4.控制器检测网络的变化，根据网络状况不定时更新阈值列表。

【技术特征摘要】
1.一种数据中心网络流的调度方法,其特征在于，该方法包括如下步骤：A1.控制器获取当前的网络状况，根据流的分布计算阈值列表并进行更新，控制器将阈值列表推送给终端；A2.终端根据阈值列表对数据包进行优先级标记；A3.交换机根据数据包的优先级标记进行优先级调度；A4.控制器检测网络的变化，根据网络状况不定时更新阈值列表。2.如权利要求1所述的方法，其特征在于，阈值列表通过将流的分布代入阈值列表优化模型，最优化求解得到。3.如权利要求2所述的方法，其特征在于，所述阈值列表优化模型通过最小化流的完成时间得到。4.如权利要求3所述的方法，其特征在于，所述阈值列表优化模型表达为如下公式： Γ = Σ n = 1 N Σ i = 1 K T i , n ]]>其中，i表示队列，n表示流；对于其中的一条流，Ti，n＝(αi-αi-1)×θi×Ti；Li＝(αi-αi-1)×θiTi,n为流n在第i个队列中的平均排队时间Li表示流在第i个队列的数据包数目，即流在第i个队列的长度； T i = 1 μ i - &lam...

【专利技术属性】
技术研发人员：李清，张婷，肖喜，江勇，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44