基于截止时间的最小化系统开销的Coflow调度方法技术方案

本发明专利技术涉及计算机网络技术领域和数据中心网络领域，为提出基于截止时间的最小化系统开销的Coflow调度方法，不仅尽可能使更多的Coflows在截止时间到达前完成，而且为错过时限的Coflows设计了专用的调度方法，最小化因Coflow错过时限而带来的系统开销。为此，本发明专利技术采取的技术方案是，基于截止时间的最小化系统开销的Coflow调度方法，包括满足截止时间Deadline的Coflow调度步骤和错过截止时间Coflow调度步骤，Coflow为并行计算的通信阶段一组存在相关性的并行的流量的集合。本发明专利技术主要应用于网络通信场合。

A Closure Scheduling Method for Minimizing System Overhead Based on Deadline

【技术实现步骤摘要】
基于截止时间的最小化系统开销的Coflow调度方法
本专利技术涉及计算机网络
和数据中心网络领域。具体是，在数据中心网络环境下，基于截止时间的Coflow流量调度技术的研究与开发。
技术介绍
数据中心是计算、存储和数据传输的基础设施，集中了各种软硬件资源和关键业务系统。随着云计算、大数据、物联网和人工智能时代的到来，数据中心中的数据流量呈爆炸式增长，传统的数据处理技术不足以满足海量数据的处理要求，并行计算技术应运而生，目前主流的分布式计算平台为MapReduce、Spark、Dryad和TensorfLow等。大数据处理过程中并行计算的流量传输时间占比越来越大，比如在Facebook上分析工作在网络传输上花费了33％的运行时间。网络传输逐渐成为应用性能的瓶颈，因此，如何优化网络传输是数据中心网络的关键问题。传统的数据中心网络传输流量调度技术是基于单个流量(flow)的调度技术。传统调度技术试图将用户托管在数据中心上应用的需求瓜分给一个个flow，调度flows，决策出分配给flows带宽等资源的先后顺序并执行资源分配，以此，希望能将网络应用层的需求传递给网络传输层。然而，单个f本文档来自技高网...

【技术保护点】
1.一种基于截止时间的最小化系统开销的Coflow调度方法，其特征是，包括满足截止时间Deadline的Coflow调度步骤和错过截止时间Coflow调度步骤，Coflow为并行计算的通信阶段一组存在相关性的并行的流量的集合；(1)满足截止时间Coflow调度步骤获取网络中相关信息，首先采用动态的方法判断Coflow是否满足截止时间，若满足，则用最早截止时间优先EDF(Earliest‑Deadline‑First)的方法确定调度顺序，即距离deadline越近的Coflow越先被调度,确定调度顺序后，为每个flow分配尽可能小的带宽能保证其在截止时间之前完成；(2)错过截止时间Coflow调...

【技术特征摘要】
1.一种基于截止时间的最小化系统开销的Coflow调度方法，其特征是，包括满足截止时间Deadline的Coflow调度步骤和错过截止时间Coflow调度步骤，Coflow为并行计算的通信阶段一组存在相关性的并行的流量的集合；(1)满足截止时间Coflow调度步骤获取网络中相关信息，首先采用动态的方法判断Coflow是否满足截止时间，若满足，则用最早截止时间优先EDF(Earliest-Deadline-First)的方法确定调度顺序，即距离deadline越近的Coflow越先被调度,确定调度顺序后，为每个flow分配尽可能小的带宽能保证其在截止时间之前完成；(2)错过截止时间Coflow调度步骤对于错过截止时间Coflow的调度是在满足截止时间Coflow调度过程中，网络中仍有剩余的带宽尚未使用，则利用这部分剩余带宽调度错过截止时间的Coflows，并最小化超出截止时间的Coflows带来的系统总开销。2.如权利要求1所述的基于截止时间的最小化系统开销的Coflow调度方法，其特征是，步骤(1)是让所有flows都在截止时间那个时刻完成，具体步骤如下：1)获取网络带宽信息，具体包括每个上行端口和下行端口的剩余带宽大小；获取到达的每一个Coflow的信息，具体包括Coflow的编号，截止时间，源端口数目及编号，目的端口数目及编号，Coflow里包含的每个flow的数据量；2)对所有Coflow按照EDF顺序排序，即按截止时间从小到大的顺序进行排序并调度；3)判断Coflow能否在截止时间之前完成，具体的判断方式为：利用...

【专利技术属性】
技术研发人员：李克秋，王春晓，周晓波，徐仁海，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12