大数据流量的优先级分类方法、调度方法和装置制造方法及图纸

本发明专利技术提供一种大数据流量的优先级分类方法、调度方法和装置，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，优先级分类方法包括，步骤10：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；步骤11：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤12：更新优先权指标

【技术实现步骤摘要】
大数据流量的优先级分类方法、调度方法和装置
本专利技术涉及计算机领域，特别涉及一种大数据流量的优先级分类方法、调度方法和装置。
技术介绍
近年来，大数据处理架构，如Map-Reduce、Dryad、Spark、分布式存储等被广泛应用在数据中心，这些应用在运行时产生的大量网络流量给数据中心的网络带来了巨大的挑战。数据中心网络从拓扑设计、路由设计、传输优化等各方面进行了改进，使得数据网络的实时带宽和延时能满足应用需求。在数据中心传输优化方面的改进包括：根据数据流的特性进行分类，如PDQ(ProductDataQuality)或pFabric，然后采用SJF(ShortestJobFirst)策略，让小的数据流获得更多的带宽，从而，对减少数据流完成时间(FCT)，进而减小应用延迟。然而，在数据中心，数据传输不可能仅仅通过一条流来完成，由于存在数据依赖，通常包含一组并行的数据流，当这一组数据流都传输完成，应用才可以进行下一步。因此，在这种场景下，仅仅进行流级别的优化是不够的，需要进行数据流组级别的优化。针对这个现象，美国加州伯克利大学提出了大数据流量(Coflow)的概念，以一个整体去调度一组上下文相关的数据流。目前已存在对Coflow进行优化的方法，如Varys使用SEBF(Smallest-Effective-Bottleneck-First)对Coflow的优先级进行优化，然后使用MADD(Minimum-Allocation-for-Desired-Duration)确定Coflow的带宽。但是，Varys需要预先知道Coflow的流大小、宽度、源地址等信息，但在实际应用中，Coflow的流大小经常很难预知。基于此，又出现了盲调度的方法，比如Aalo、CODA等，这些方法不需要预先知道Coflow的流大小，同样地也无法得到最优的结果。其他，对Coflow进行优化的方法，如分布式调用模式的Barrat，因该方法需要大量修改交换机，使得分布式的调度在部署到实际生产环境中的可能性大幅降低。以上可知，目前对Coflow进行优化的方法中，缺乏适用范围广、优化效果又好的方法。
技术实现思路
本专利技术提供一种大数据流量的优先级分类方法、调度方法和装置，解决目前Coflow的调度方法适用范围受限或传输优化效果较差的问题。本专利技术提供一种大数据流量的优先级分类方法，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，该方法包括：步骤10：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输的Coflow和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；步骤11：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤12：更新优先权指标ψk，k＝1,2…K，ψk与lk成正比，ψk与wk成反比，wk为F中序号为k的Coflow的权重；步骤13：对ψk进行非递减排列得到ω，ω中第一项的ψk对应的序号为k的Coflow优先级最高，以后优先级逐项递减。本专利技术还提供一种大数据流量的调度方法，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，该方法包括：步骤20：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输的Coflow和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；步骤21：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤22：更新优先权指标ψk，k＝1,2…K，ψk与lk成正比，ψk与wk成反比，wk为F中序号为k的Coflow的权重；步骤23：对ψk进行非递减排列得到ω，顺次逐项提取ω中ψk对应的Coflow序号k得到优先级次序R；步骤24：按优先级次序R依次查看每条Coflow中是否存在未分配带宽的流量1≤i≤m,1≤j≤n，1≤k≤K，其中，或i表示序号为R(k)的Coflow流量的入端口序号，j表示序号为R(k)的Coflow流量的出端口序号，如果是，则执行步骤25；步骤25：查找当前m个入端口和n个出端口的剩余带宽中的最小值，记为r；步骤26：将入端口序号为i的端口和出端口序号为j的端口的剩余带宽中的r带宽分配给更新入端口序号为i的端口和出端口序号为j的端口的剩余带宽，返回步骤24。本专利技术还提供一种大数据流量的优先级分类装置，应用于数据中心，该数据中心网络包括m个入端口和n个出端口，该装置包括：Coflow更新模块：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输的Coflow和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；端口流量计算模块：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；优先权指标计算模块：更新优先权指标ψk，k＝1,2…K，ψk与lk成正比，ψk与wk成反比，wk为F中序号为k的Coflow的权重；Coflow分类模块：对ψk进行非递减排列得到ω，ω中第一项的ψk对应的序号为k的Coflow优先级最高，以后优先级逐项递减。本专利技术还提供一种大数据流量的调度装置，应用于数据中心，数据中心网络包括m个入端口和n个出端口，该装置包括：Coflow更新模块：更新数据中心的大数据流量Coflow有序变量F，F包括数据中心正在传输的Coflow和待传输的Coflow，令k为F中Coflow的序号，k＝1,2…K；端口流量计算模块：计算F中每个Coflow在m个入端口和n个出端口中已传输流量，查找每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；优先权指标计算模块：更新优先权指标ψk，k＝1,2…K，ψk与lk成正比，ψk与wk成反比，wk为F中序号为k的Coflow的权重；Coflow分类模块：对ψk进行非递减排列得到ω，顺次逐项提取ω中ψk对应的Coflow序号k得到优先级次序R；未分配流量查找模块：按优先级次序R依次查看每条Coflow中是否存在未分配带宽的流量1≤i≤m,1≤j≤n，1≤k≤K，其中，或i表示序号为R(k)的Coflow流量的入端口序号，j表示序号为R(k)的Coflow流量的出端口序号，如果是，则执行端口剩余带宽遍历模块；端口剩余带宽遍历模块：查找当前m个入端口和n个出端口的剩余带宽中的最小值，记为r；带宽分配模块：将入端口序号为i的端口和出端口序号为j的端口的剩余带宽中的r带宽分配给更新入端口序号为i的端口和出端口序号为j的端口的剩余带宽，返回未分配流量查找模块。本专利技术提出的Coflow优先权指标，综合考虑了权重和最小端口流量，使得已发送端口流量越小，权重越大的Coflow拥有越高的优先级，相比只考虑权重，本申请的优先权指标更能体现出Coflow对带宽的实际需求。本申请的Coflow调度方法，使得优先级较高的Coflow可以优先获取带宽资源，减少该Coflow的传输时间和应用延时，从而实现Co本文档来自技高网...

【技术保护点】
1.一种大数据流量的优先级分类方法，应用于数据中心，所述数据中心网络包括m个入端口和n个出端口，其特征在于，所述方法包括以下步骤：步骤10：更新所述数据中心的大数据流量Coflow有序变量F，所述F包括所述数据中心正在传输的Coflow和待传输的Coflow，令k为所述F中Coflow的序号，k＝1,2…K；步骤11：计算所述F中每个Coflow在所述m个入端口和n个出端口中已传输流量，查找所述每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤12：更新优先权指标ψk，k＝1,2…K，所述ψk与所述lk成正比，所述ψk与wk成反比，所述wk为所述F中序号为k的Coflow的权重；步骤13：对所述ψk进行非递减排列得到ω，所述ω中第一项的ψk对应的序号为k的Coflow优先级最高，以后优先级逐项递减。

【技术特征摘要】
1.一种大数据流量的优先级分类方法，应用于数据中心，所述数据中心网络包括m个入端口和n个出端口，其特征在于，所述方法包括以下步骤：步骤10：更新所述数据中心的大数据流量Coflow有序变量F，所述F包括所述数据中心正在传输的Coflow和待传输的Coflow，令k为所述F中Coflow的序号，k＝1,2…K；步骤11：计算所述F中每个Coflow在所述m个入端口和n个出端口中已传输流量，查找所述每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤12：更新优先权指标ψk，k＝1,2…K，所述ψk与所述lk成正比，所述ψk与wk成反比，所述wk为所述F中序号为k的Coflow的权重；步骤13：对所述ψk进行非递减排列得到ω，所述ω中第一项的ψk对应的序号为k的Coflow优先级最高，以后优先级逐项递减。2.根据权利要求1所述的方法，其特征在于，所述ψk＝lk/wk。3.根据权利要求1所述的方法，其特征在于，所述步骤13还包括：顺次逐项提取所述ω中ψk对应的Coflow序号k得到优先级次序R。4.一种大数据流量的调度方法，应用于数据中心，所述数据中心网络包括m个入端口和n个出端口，其特征在于，所述方法包括以下步骤：步骤20：更新所述数据中心的大数据流量Coflow有序变量F，所述F包括所述数据中心正在传输的Coflow和待传输的Coflow，令k为所述F中Coflow的序号，k＝1,2…K；步骤21：计算所述F中每个Coflow在所述m个入端口和n个出端口中已传输流量，查找所述每个Coflow在m个入端口和n个出端口中已传输流量的最小值并记为lk，k＝1,2…K；步骤22：更新优先权指标ψk，k＝1,2…K，所述ψk与所述lk成正比，所述ψk与wk成反比，所述wk为所述F中序号为k的Coflow的权重；步骤23：对所述ψk进行非递减排列得到ω，顺次逐项提取所述ω中ψk对应的Coflow序号k得到优先级次序R；步骤24：按所述优先级次序R依次查看每条Coflow中是否存在未分配带宽的流量1≤i≤m,1≤j≤n，1≤k≤K，其中，或i表示序号为R(k)的Coflow流量的入端口序号，j表示序号为R(k)的Coflow流量的出端口序号，如果是，则执行步骤25；步骤25：查找当前所述m个入端口和n个出端口的剩余带宽中的最小值，记为r；步骤26：将入端口序号为i的端口和出端口序号为j的端口的剩余带宽中的r带宽分配给所述更新入端口序号为i的端口和出端口序号为j的端口的剩余带宽，返回步骤24。5.根据权利要求4所述的方法，其特征在于，所述ψk＝lk/wk。6.一种大数据流量的优先级分类装置，应用于数据中心，所述数据中心网...

【专利技术属性】
技术研发人员：施新刚，张晗，尹霞，王之梁，李亚慧，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11