一种云数据中心网络中混合数据流协同调度方法技术

本发明专利技术提供了一种云数据中心网络中混合数据流协同调度方法，包括两个主要方面：针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发调度算法，其中，时间触发调度算法确保延迟敏感数据流能够被分配到具有最高的传输优先级的传输时间段，事件触发调度算法采用非拥塞的调度原则，充分利用整个数据中心的带宽资源，在保证延迟敏感数据流的传输性能的前提之下，根据吞吐量密集型任务的出现为数据流分配网络传输带宽。本发明专利技术解决在数据中心网络中同时满足对高吞吐量和低延迟的要求，保证所有延迟敏感数据流的传输准确率。

A cooperative scheduling method for mixed data flow in cloud data center network

The present invention provides a method of data stream scheduling a hybrid cloud data center network, including two main aspects: according to the delay sensitive flow scheduling algorithm based on time triggered and the throughput intensive flow based on event trigger scheduling algorithm, the time triggered scheduling algorithm ensures that the delay sensitive data stream can be assigned to the transmission time is the highest priority transmission, event trigger scheduling algorithm uses the scheduling principle of non congestion, make full use of the entire data center bandwidth resources, in the premise of ensuring transmission performance of delay sensitive data flow under, according to the throughput intensive task flow allocation of network bandwidth for data transmission. The invention solves the requirement of both high throughput and low delay in the data center network, and ensures the transmission accuracy of all delayed sensitive data streams.

【技术实现步骤摘要】
一种云数据中心网络中混合数据流协同调度方法
本专利技术涉及云计算技术，具体地，涉及一种云数据中心网络中混合数据流协同调度方法。
技术介绍
随着云计算技术的迅猛发展，数据中心的规模及支撑业务数量都在成倍地增长，由此推动了数据中心基础设施的不断整合，支撑系统、资源虚拟化、动态迁移、业务信息系统等技术的不断发展，与此同时，在数据中心中扮演着核心角色的数据中心网络也在不断的演进。数据中心的不同网络应用的负载的差异很大，在实际网络中导致不同方面的问题。许多分布式系统，例如MapReduce，Hadoop和TritonSort对网络带宽资源的需求很大，通常这部分应用都会在中间环节传输并处理超过百兆甚至千兆字节的数据，这类应用的高负载会导致数据中心带宽分配的问题。另一方面，一些由分层组件构成的现代网络服务(BigTable，Memcached)，需要通过远程过程调用协议进行通信，需要频繁访问许多节点来分发状态数据到整个数据中心。这些服务通常会严重地提高整个数据中心网络的传输，造成网络延迟的性能低下。数据中心的这两类应用的工作负载可以被划分为延迟敏感和吞吐量密集的工作负载。具体来看，数据中心的网络问题中，高延迟问题通常是由于网络拥塞引起的。如果延迟敏感的应用程序(如PTPd，Memcached，和Naiad)资源长时间与吞吐量密集型应用程序(如MapReduce，Hadoop和TritonSort)的任务共享网络资源，延迟敏感任务通常会遇到不能容忍的传输延迟。其原因是，吞吐量密集的应用程序在占用网络资源时，会尽可能产生和传输大量数据包，这些数据包会占用网络设备中绝大多数的缓冲区空间，挤压侵占延迟敏感任务的流量传输，造成明显的网络拥塞。更严重地，延迟敏感数据包将长时间在队列中排队，甚至踢出缓冲区队列。丢弃的数据包必须通过重新传输才能完成任务，而整个重传过程将产生至少200ms的额外延迟。值得注意地，数据中心的网络延迟与收入和利润是呈负相关的，比如Amazon研究发现每增加100毫秒的延迟，利润就相应地减少1％。高传输延迟的问题是数据中心运营商和网络服务的用户都决不能接受的。此外，网络拥塞的问题可能会严重地导致吞吐量的下降。许多分布式应用的实际工作任务会涉及到不同集群的多台服务器，当某一个客户端需要发送数据包时，其他相关的服务器也需要同时响应并产生许多数据流，但这些流在传输路径上可能共享一个或多个交换机资源。不同数据节点产生的多个数据流在较短时间内集中到达共享交换机时，就会对交换机出端口资源进行竞争，交换机缓存区的队列中会拥塞大量数据包等待被分配交换机出端口资源。这种交换机缓存队列过长甚至发生数据包溢出的问题被称为TCPIncast，一些被丢弃的数据包也只能通过重传来完成任务。大量重传发生时，数据中心的网络带宽就无法被充分利用，数据中心整体能力和表现将因为网络吞吐量下降而受到影响如何在数据中心网络中同时满足对高吞吐量和低延迟的要求，是网络数据中心网络的设计师一直以来非常关注的问题。很多解决方案主要关注了如何消除网络拥塞。例如，HULL(Highbandwidth超低延迟)架构提供了一个基于预测性低延迟和高带宽利用率的数据中心网络，但HULL存在一个问题，其网络设计不能避免交换机的缓冲区溢出问题，无法保证所有延迟敏感数据流的传输准确率。另一成功的实现是Qjump。Qjump主要采用优先级队列和速度约束技术，能限制每个应用程序都有一定的延迟的下限。但是，Qjump会明显牺牲数据中心网路中吞吐量密集型数据流的吞吐量指标。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种云数据中心网络中混合数据流协同调度方法，解决在数据中心网络中同时满足对高吞吐量和低延迟的要求，保证所有延迟敏感数据流的传输准确率。。为达到上述目的，本专利技术所采用的技术方案如下：一种云数据中心网络中混合数据流协同调度方法，包括两个主要方面：针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发调度算法，其中，时间触发调度算法确保延迟敏感数据流能够被分配到具有最高的传输优先级的传输时间段，事件触发调度算法采用非拥塞的调度原则，充分利用整个数据中心的带宽资源，在保证延迟敏感数据流的传输性能的前提之下，根据吞吐量密集型任务的出现为数据流分配网络传输带宽。所述时间触发调度算法具体是，将延迟敏感的数据流视为一组周期性地传输的数据包的集合，并且把这样的传输周期称为基础周期，所有的延迟敏感数据流的基本周期的最小公倍数被称为最长通信周期，时间触发调度将被设定在一个最长通信周期内周期性地执行，时间触发调度中，每个延迟敏感流的数据包的开始时间都会被调度器重新协调，调度器可以在一个最长通信周期之内计算并产生一个记录所有延迟敏感流的开始传输的时刻表，并根据这个时刻表，控制每个延迟敏感流中所有数据包的具体发送时间。支持时间触发调度借助IEEE1588精密时钟同步协议，以保证时间触发调度的结果的准确性，同时保证每个数据流传输时间的确定性和可预测性。所述时间触发调度算法主要包括：流级传输延迟最优化问题建模，即最小化所有延迟敏感流中时间触发的数据包的端到端的传输延迟，实现延迟敏感流中数据包的最优化的时间触发式调度策略：任务级传输延迟最优化问题建模，针对数据中心中的计算任务来进行；系统级传输延迟最优化问题建模，结合流级、任务级的传输延迟建模得出，以实现全局最优的延迟敏感数据流的调度。所述任务级传输延迟最优化问题建模，针对数据中心中的计算任务来进行，具体是：一个计算任务的数据源往往是一个或多个主机，主机将计算任务需要的数据打包进数据包，然后发送给计算节点，计算节点从接收到的数据包中提取出需要的数据，当计算任务依赖的数据集齐后，即进行一定时间的计算，计算的结果会被打包进数据包，最后发送给目的主机，计算任务中一个数据包总的传输延迟为：在最长通信周期L内一个任务的传输延迟可以表示为：同时，可以计算得到整个数据中心范围内的任务级传输延迟：系统级传输延迟包括了流级传输延迟和任务级传输延迟：minDsys＝Dflows+Dtasks由于计算任务可以被认为是流级别传输任务加上计算时间，所以系统级延迟也可以被改写为：在事件触发调度算法中，若某一个吐量密集型流的数据包需要占用出端口进行传输，基于事件触发调度原则的调度器就需要判断在未来传输数据包的这段时间内，是否有任意一个延迟敏感流的数据包需要占用相同的交换机的出端口资源；若有，那么调度器就不会让这个吐量密集型流数据包占用该出端口，若没有，则允许这个吐量密集型数据包发送出去。与现有技术相比，本专利技术具有如下的有益效果：本专利技术主要涉及的HybridPass数据中心网络调度算法包括两个主要方面：针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发的调度算法。总体来看，时间触发调度在优化延迟敏感数据流的传输延迟的性能方面展现出了非常出色的表现，延迟敏感数据流的传输延迟可以平均被提高28.65％，最高提高40％以上，同时延迟敏感数据流的吞吐量也表现出了非常明显的优势。基于事件触发的调度在处理吞吐量密集型数据流的传输问题时，可以在不影响到延迟敏感数据流的前提下，尽可能地利用网络中剩余的带宽。尽管系统会带给吞吐量密集型数据流大约0.本文档来自技高网...

【技术保护点】
一种云数据中心网络中混合数据流协同调度方法，其特征在于，包括两个主要方面：针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发调度算法，其中，时间触发调度算法确保延迟敏感数据流能够被分配到具有最高的传输优先级的传输时间段，事件触发调度算法采用非拥塞的调度原则，充分利用整个数据中心的带宽资源，在保证延迟敏感数据流的传输性能的前提之下，根据吞吐量密集型任务的出现为数据流分配网络传输带宽。

【技术特征摘要】
1.一种云数据中心网络中混合数据流协同调度方法，其特征在于，包括两个主要方面：针对延迟敏感流的基于时间触发调度算法和针对吞吐量密集型流的基于事件触发调度算法，其中，时间触发调度算法确保延迟敏感数据流能够被分配到具有最高的传输优先级的传输时间段，事件触发调度算法采用非拥塞的调度原则，充分利用整个数据中心的带宽资源，在保证延迟敏感数据流的传输性能的前提之下，根据吞吐量密集型任务的出现为数据流分配网络传输带宽。2.根据权利要求1所述的云数据中心网络中混合数据流协同调度方法，其特征在于，所述时间触发调度算法具体是，将延迟敏感的数据流视为一组周期性地传输的数据包的集合，并且把这样的传输周期称为基础周期，所有的延迟敏感数据流的基本周期的最小公倍数被称为最长通信周期，时间触发调度将被设定在一个最长通信周期内周期性地执行，时间触发调度中，每个延迟敏感流的数据包的开始时间都会被调度器重新协调，调度器可以在一个最长通信周期之内计算并产生一个记录所有延迟敏感流的开始传输的时刻表，并根据这个时刻表，控制每个延迟敏感流中所有数据包的具体发送时间。3.根据权利要求2所述的云数据中心网络中混合数据流协同调度方法，其特征在于，支持时间触发调度借助IEEE1588精密时钟同步协议，以保证时间触发调度的结果的准确性，同时保证每个数据流传输时间的确定性和可预测性。4.根据权利要求1所述的云数据中心网络中混合数据流协同调度方法，其特征在于，所述时间触发调度算法主要包括：流级传输延迟最优化问题建模，即最小化所有延迟敏感流中时间触发的数据包的端到端的传输延迟，实现延迟敏感流中数据包的最优化的时间触发式调度策略：τ∈flows，表明τ是所有延迟敏感流中的一个延迟敏感数据流，L是时间触发调度的周期，qτ表示一个调度周期L中的第qτ个周期，pτ表示每个延迟敏感数据流的传输周期，表示延迟敏感流中第qτ个周期的数据包的传输延迟；任务级传输延迟最优化问题建模，针对数据中心中的计算任务来进行；系统级传输延迟最优化问题建模，结合流级、任务级的传输延迟建模得出，以实现全局最优的延迟敏感数据流的调度。5.根据权利要求4所述的云数据中心网络中混合数据流协同调度方法，其特征在于，所述任务级传输延迟最优化问题建模，针对数据中心中的计算任务来进行，具体是：一个计算任务的数据源往往是一个或多个主机，主机将计算任务需要的数据打包进数据包，然后发送给计算节点，计算节点从接收到的数据包中提取出需要的数据，当计算任务依赖的数据集齐后，即进行一定时间的计算，计算的结果会被打包进数据包，最后发送给目的主机，计算任务中一个数据包总的传输延迟为：

【专利技术属性】
技术研发人员：姚建国，彭博，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31