一种数据中心调度系统及方法技术方案

本发明专利技术公开一种数据中心调度系统及方法，该调度系统可以通过生成胖树的无冲突路径集以确定时刻和路径分配方案，进而保证时刻分配和路径分配的统一性。包括：中心控制器与数据层的信息交互，以及中心控制器的调度策略。其中中心控制器需要从服务器收集虚拟队列长度信息，根据虚拟队列长度信息和随机选择的无冲突数据集确定调度方案，然后向服务器和上行交换机反馈调度方案信息。本发明专利技术所设计调度系统只需要当前时刻虚拟队列的长度和前一个时刻所使用的无冲突路径集信息，通过随机替换部分路径生成当前时刻使用的无冲突路径集，可以达到网络内传输零延时。采用的路径替换策略仅和虚拟队列长度相关，可以通过合理设计替换概率，达到最优吞吐量。

【技术实现步骤摘要】
一种数据中心调度系统及方法
本专利技术涉及数据中心网络领域，更具体地，涉及一种数据中心调度系统及方法。
技术介绍
随着云计算、大数据、虚拟化等新兴技术的飞速发展，数据中心流量和带宽成指数级增长。思科最新报告显示，云数据中心流量在2020年将超过14ZB，较2015年增长262％。数据量和计算量爆炸式增长的背后是数据存储和计算成本的快速增长，这促使数据中心从服务器机房向超大规模部署演进，十万量级、甚至百万量级服务器的数据中心不断增加。对于超大规模数据中心，需要在庞大的服务器集群间提供高效的互联。而传统的三层数据中心网络设计存在连接超额、潜在阻塞和延时等诸多问题。为了提供充裕的双向带宽，现代数据中心网络通常采用便于扩展的层次性多根网络拓扑。在各种层次型多根网络拓扑结构中，胖树因其简单易用性而备受青睐，近年来已经在很多大型数据中心，如谷歌、阿里、亚马逊等设计方案中被采用。胖树拓扑的多路径特性一方面可以为数据流调度提供多种路由选择，但另一方面，如果数据流调度不当，会导致部分路径严重拥塞。此外，由于一个超大规模胖树网络中会部署海量交换机和服务器，如果数据流调度在核心网络中执行，会导致调度复杂度极高，计算资源消耗过大。因此，一个较热门的方案是将数据中心网络的调度功能迁移到网络边界。目前学术界已经有一些成型的网络边界调度方案，其中最为瞩目的当属Fastpass。在Fastpass方案中，需要部署一个中心控制器，用于在每个时刻处理所有服务器的数据包传输时刻和路径分配。这种精确的调度方案可以保证高吞吐量和极低延时，但中心控制器的通信和计算成本非常高。为了降低中心控制器的通信和计算成本，Mordia方案随后被提出。在Mordia方案中，通过对一个时间段的数据需求进行预测来确定该时间段的调度方案，以此来降低中心控制器的通信成本，进一步降低延时。由于一个时间段的数据流与调度方案严格匹配，一旦出现数据需求预测不准，会造成数据包时刻分配和路径分配的偏差，导致更大的延时。因此，如何进一步降低数据中心控制器的调度复杂度，提升数据中心的数据处理能力，是当前大规模数据中心网络的迫切需求。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有数据中心网络调度策略的不足，例如基于胖树拓扑如果数据流调度不当，会导致部分路径严重拥塞，且调度复杂度极高，计算资源消耗过大，基于网络边界调度方案中，Fastpass方案计算成本高，Mordia方案一旦出现数据需求预测不准，会导致更大的延时的技术问题。为实现上述目的，第一方面，本专利技术提供一种数据中心调度系统，包括：中心控制器；所述中心控制器用于连接服务器和上行交换机，所述上行交换机包括：多个核心交换机、多个汇聚交换机以及多个边缘交换机，所述服务器包括多个源服务器和多个目的服务器；所述中心控制器收集每个服务器所有虚拟队列的长度信息；所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；所述中心控制器将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。可选地，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。可选地，所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：所述中心服务器根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器下行链路；从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；所述中心服务器从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。可选地，所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：在t-1时刻，中心控制器生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；中心控制器从各个服务器接收其虚拟队列的长度信息{wij(t)}，wij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{wij(t)}后，中心控制器随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径Pij进行如下操作：i)如果路径Pij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；ii)如果路径Pij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率pij(t)使用该路径；中心控制器根据选择的路径生成当前的路由调度策略X(t)。可选地，所述概率pij(t)的定义和当前服务器虚拟队列的长度{wij(t)}有关，具体表达式如下：第二方面，本专利技术提供一种数据中心调度方法，包括如下步骤：收集每个服务器所有虚拟队列的长度信息；根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。可选地，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。可选地，所述根据胖树拓扑建立所有可能的无冲突路径集的集合，本文档来自技高网...

【技术保护点】
1.一种数据中心调度系统，其特征在于，包括：中心控制器；所述中心控制器用于连接服务器和上行交换机，所述上行交换机包括：多个核心交换机、多个汇聚交换机以及多个边缘交换机，所述服务器包括多个源服务器和多个目的服务器；所述中心控制器收集每个服务器所有虚拟队列的长度信息；所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；所述中心控制器将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。...

【技术特征摘要】
1.一种数据中心调度系统，其特征在于，包括：中心控制器；所述中心控制器用于连接服务器和上行交换机，所述上行交换机包括：多个核心交换机、多个汇聚交换机以及多个边缘交换机，所述服务器包括多个源服务器和多个目的服务器；所述中心控制器收集每个服务器所有虚拟队列的长度信息；所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；所述中心控制器将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。2.根据权利要求1所述的数据中心调度系统，其特征在于，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。3.根据权利要求1所述的数据中心调度系统，其特征在于，所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：所述中心服务器根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器下行链路；从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；所述中心服务器从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。4.根据权利要求2所述的数据中心调度系统，其特征在于，所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：在t-1时刻，中心控制器生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；中心控制器从各个服务器接收其虚拟队列的长度信息{wij(t)}，wij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{wij(t)}后，中心控制器随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径Pij进行如下操作：i)如果路径Pij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；ii)如果路径Pij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率pij(t)使用该路径；中心控制器根据选择的路径生成当前的路由调度策略X...

【专利技术属性】
技术研发人员：罗晶晶，喻莉，陈雅梅，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42