在具有可选毫米波链路的数据中心网络中的拓扑推测方法技术

在具有可选毫米波链路的数据中心网络中的拓扑推测方法，包括如下步骤：第一步，记录数据中心中节点和节点之间的数据传输时间，构造稀疏矩阵D；第二步，使用非负矩阵分解算法补全稀疏矩阵D中缺失的元素；第三步，使用非度量多维尺度变换算法将网络中的节点映射到二维空间；第四步，使用混合球形高斯模型对映射到二维空间中的节点进行聚类，通过设置不同的阈值，可以准确得到网络不同层次的拓扑。本发明专利技术针对如何准确实时推测有线和无线混合的数据中心网络拓扑架构问题，提出了数据中心网络拓扑推测算法。在网络中无背景流量的理想情况和有背景流量的实际情况下，本发明专利技术提出的算法都可以准确推测出数据中心网络不同层次的拓扑结构。

Topology inference in data center networks with optional millimeter-wave links

【技术实现步骤摘要】
在具有可选毫米波链路的数据中心网络中的拓扑推测方法
本专利技术属于数据中心网络拓扑推测领域，具体涉及在具有可选毫米波链路的数据中心网络中的拓扑推测方法，尤其是在有无线链路增强的数据中心网络中。
技术介绍
近几年，毫米波无线技术(Millimeterwavelengthwirelesstechnology，MMW)迅速发展。毫米波无线技术的频谱为57-64GHz，通常称60GHz频段。该频段可以在全球范围内使用，并且无需得到许可。该频段包含超过80倍于802.11b/g(2.4GHz)的带宽，并支持数Gbps的数据传输速率。此外，由于高频无线信号的快速衰减特性，具有定向天线的60GHz设备可以密集地部署，非常适合高密度的数据中心网络。VLSI技术现在已经足够成熟，我们可以使用CMOS技术构建60GHz无线电硬件设备。总之，60GHz无线技术的兴起使数据中心低成本、高密度、高带宽的网络连接成为了可能。迄今为止，60GHz技术已经成功运用在孤立的点对点链路中。常见的应用场景是家庭娱乐，例如，蓝光播放器通过无线链路与附近的电视进行通信而不是使用笨重的HDMI电缆。另外，无线设备还有低功耗和链路方向可任意调节的特性。因此，现在有许多数据中心使用60GHz链路来增强有线数据中心网络。首先，我们注意到数据中心中机器非常密集，因此，毫米波无线链路非常适合在短距离内为数据中心网络提供高带宽。其次，无线电环境基本上是静态的，由于数据中心中机器设备不经常移动，从而最小化无线链路质量的波动。第三，通过在数据中心中机架顶部安装60GHz无线天线可以实现数据中心网络中机架间的视距通信。最后，有线的数据中心网络可以作为协调无线链路的可靠信道，从而简化了许多传统无线链路的问题。例如对准无线天线的发送器和接收器，以及避免干扰等。常见的有线数据中心架构有tree、leafspine、fat-trees和Clos网络。有线的数据中心网络架构通常是静态的，而应用了毫米波无线技术的有线和无线混合的数据中心架构使数据中心网络拓扑变得如此动态以至于如何准确推断数据中心网络拓扑成为了一个很大的挑战。在混合数据中心架构中，无线天线的改变可以大大影响数据中心中网络拓扑。
技术实现思路
本专利技术针对现有技术中的不足，提供一种在具有可选毫米波链路的数据中心网络中的拓扑推测方法。为实现上述目的，本专利技术采用以下技术方案：在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于，包括如下步骤：第一步，记录数据中心中节点和节点之间的数据传输时间，构造稀疏矩阵D；第二步，使用非负矩阵分解算法补全稀疏矩阵D中缺失的元素；第三步，在对稀疏矩阵D补全后，使用非度量多维尺度变换算法将网络中的节点映射到二维空间；第四步，使用混合球形高斯模型对映射到二维空间中的节点进行聚类，通过设置不同的阈值，准确得到网络不同层次的拓扑。为优化上述技术方案，采取的具体措施还包括：进一步地，第一步中，假如节点m和节点n之间传输数据量为k的数据传输时间为t，则传输单位数据量的数据传输时间为t/k；数据中心网络拓扑中共有N台主机，记录N台主机中随机的两两节点之间的数据传输时间，然后算出两两节点之间的单位数据传输时间，从而构造出一个N×N的稀疏矩阵D，矩阵D中的元素dij为节点i和节点j之间单位数据传输时间的中位数。进一步地，第二步中，将第一步中的矩阵D(N×N)分解为X(N×R)和Y(R×N)两个矩阵，即D＝X×Y，其中R为可以调节的参数，通过控制参数R，控制矩阵中元素的准确率；非负矩阵分解的目标是最小化误差函数其中表示X矩阵第i行，表示Y矩阵第j行；最小化非负矩阵分解的误差函数通过迭代算法实现，该迭代算法不需要指定步长；非负矩阵分解算法的输入为矩阵X和矩阵Y，然后迭代更新矩阵X和矩阵Y，更新策略如下：其中下标ia表示矩阵的第i行第a列元素，下标ja表示矩阵的第j行第a列元素，下标aj表示矩阵的第a行第j列元素；以上更新策略保证误差函数单调减小；通过稍微调整以上更新策略解决矩阵D中部分元素缺失问题；假定M是一个二进制矩阵，其中Mij＝1表明Dij是已知的，而Mij＝0表明Dij是缺失的，修改后的更新策略如下：其中k表示叠加的取值，下标ik表示矩阵的第i行第k列元素，下标ka表示矩阵的第k行第a列元素，下标ak表示矩阵的第a行第k列元素，下标kj表示矩阵的第k行第j列元素；利用上述算法来补全矩阵D中缺失的元素。进一步地，第三步中，在对矩阵D补全以后，使用非度量多维尺度变换算法将拓扑中的N个节点映射到二维空间中。进一步地，使用R语言中的MASS库中的isoMDS函数将网络中N个节点映射到二维空间中。进一步地，第四步中，使用R语言中的mclust包进行基于高斯混合模型的层次聚类。本专利技术的有益效果是：本专利技术针对如何准确实时推测有线和无线混合的数据中心网络拓扑架构问题，提出了数据中心网络拓扑推测算法。在网络中无背景流量的理想情况和有背景流量的实际情况下，本专利技术提出的算法都可以准确推测出数据中心网络不同层次的拓扑结构。附图说明图1是数据中心网络拓扑图。图2是网络中无背景流量情况下网络节点的二维映射图。图3是网络种有背景流量情况下网络节点的二维映射图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。本专利技术提出了在有线和无线混合的数据中心网络中高效实时推测网络拓扑的网络拓扑推测算法。图1是我们在实施过程中采用的数据中心网络拓扑图。当今数据中心大部分采用有收缩比的层次网络架构。所以对于传输同样的数据，在不同机架下(Inter-rack)两个主机的数据传输时间远远大于在相同机架下(Intra-rack)的两个主机的数据传输时间。图1中拓扑显示，我们可以借助毫米波无线技术通过在机架上安装无线天线在一定程度上消除网络瓶颈处的链路拥塞问题。但是，这种做法也仅仅起到有限的改善网络性能的作用(即增加了数据中心中机架之间的网络带宽)。而从数据中心中机架层的角度来看，并没有从本质上改变数据中心有线的物理网络拓扑结构。不失一般性，假定数据中心中机架1和机架2之间增加一条无线链路。这会导致机架1和机架2之间的带宽增加，也可以说机架1中主机和机架2中主机之间的网络距离(带宽增加)更近了一点。所以从更高层次的视角来看，可以把这两个机架作为一个整体来看待，称之为一个超机架(Super-rack)。由于机架上无线天线随着数据中心网络负载变化而不断变化，所以数据中心网络的超机架拓扑也不断变化。而本专利技术的数据中心拓扑推测算法可以准确推测出数据中心网络中的机架层拓扑和超机架层拓扑。不失一般性，假定该拓扑中机架1和机架2、机架3和机架4之间通过无线链路相连。机架5上无线天线的开关处于关闭状态。试验中随机生成80×80×0.5条数据流(数据流源节点和目的节点随机)，每条数据流的大小为1MB。首先，我们记录数据中心中节点和节点之间的数据传输时间。假如节点m和节点n之间传输数据量为k的数据传输时间为t，则传输单位数据量的数据传输时间为t/k。如图1所示，数据中心网络拓扑中共有80台主机，我们记录80台主机中随机的两两节点之间的数据传输时间，然后算出两两节点之间的单位数据传输时间，从而我们可以构造出一个80×80的稀疏矩阵D，矩阵D中的元素dij本文档来自技高网...

【技术保护点】
1.在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于，包括如下步骤：第一步，记录数据中心中节点和节点之间的数据传输时间，构造稀疏矩阵D；第二步，使用非负矩阵分解算法补全稀疏矩阵D中缺失的元素；第三步，在对稀疏矩阵D补全后，使用非度量多维尺度变换算法将网络中的节点映射到二维空间；第四步，使用混合球形高斯模型对映射到二维空间中的节点进行聚类，通过设置不同的阈值，准确得到网络不同层次的拓扑。

【技术特征摘要】
1.在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于，包括如下步骤：第一步，记录数据中心中节点和节点之间的数据传输时间，构造稀疏矩阵D；第二步，使用非负矩阵分解算法补全稀疏矩阵D中缺失的元素；第三步，在对稀疏矩阵D补全后，使用非度量多维尺度变换算法将网络中的节点映射到二维空间；第四步，使用混合球形高斯模型对映射到二维空间中的节点进行聚类，通过设置不同的阈值，准确得到网络不同层次的拓扑。2.如权利要求1所述的在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于：第一步中，假如节点m和节点n之间传输数据量为k的数据传输时间为t，则传输单位数据量的数据传输时间为t/k；数据中心网络拓扑中共有N台主机，记录N台主机中随机的两两节点之间的数据传输时间，然后算出两两节点之间的单位数据传输时间，从而构造出一个N×N的稀疏矩阵D，矩阵D中的元素dij为节点i和节向之间单位数据传输时间的中位数。3.如权利要求2所述的在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于：第二步中，将第一步中的矩阵D(N×N)分解为X(N×R)和Y(R×N)两个矩阵，即D＝X×Y，其中R为可以调节的参数，通过控制参数R，控制矩阵中元素的准确率；非负矩阵分解的目标是最小化误差函数其中表示X矩阵第i行，表示Y矩阵第j行；最小化非负矩阵分解...

【专利技术属性】
技术研发人员：田臣，王怿，王炳权，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32