【技术实现步骤摘要】
一种应用感知的多租户Coflow调度方法和系统
[0001]本专利技术属于大数据通信抗
，具体涉及一种应用感知的多租户Coflow调度方法和系统。
技术介绍
[0002]随着云计算、大数据、物联网等信息技术的高速发展，海量数据的高效计算和快速存储得到了广泛应用。数据中心作为信息产业的基础设施，大量租户、应用接入到数据中心内部，其内部流量激增，给数据中心流量控制带来极大挑战。诸如本地应用迁移上云、视频在线播放等在线服务与应用，均包含复杂的计算过程或存储过程，分布式并行计算框架可以提供高效可靠的服务。针对计算业务的低延迟和存储业务的高吞吐量之间的冲突，即计算任务多为短流量传输，存储任务多为大流量传输，传统的流量调度多用于路由层的优化，对于数据中心内部低延迟、高吞吐量的流量调度优化不够有效。在这种情况下，Coflow模型可以弥补分布式并行计算框架的不足。
[0003]Coflow被称为具有语义相关的一组通信数据流。2012年的ACM HotNet会议中首次提出Coflow调度的概念，此后普遍认为Coflow调度是解决...
【技术保护点】
【技术特征摘要】
1.一种应用感知的多租户Coflow调度方法，其特征在于，包括：S1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；S2，分析S1采集到的Coflow流量信息，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P
1*
，采用NHDRF算法对P
1*
进行求解，使Coflow达到租户长期隔离进度P
1*
，保障租户最低带宽，实现租户隔离与应用感知；S4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度P
2*
，以实现最小化Coflow完成时间和最大化实际分配带宽；S5，基于步骤S3和S4得到租户进度的取值范围P∈(P
1*
,P
2*
)，实现应用感知的多租户Coflow调度。2.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，分析S1采集到的MapReduce过程中多种计算过程的Coflow流量信息，得出其计算过程具有重复规律的特征，根据得出的特征构建NHPP排队模型。3.根据权利要求2所述的一种应用感知的多租户Coflow调度方法，其特征在于，所述MapReduce过程中多种计算过程包括：Sort、Word Count,Hive Join,Hive Aggregation过程，其流量信息呈现规律重复的特点，包括以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，具体的：单峰类：典型代表为Hadoop中Sort，使用固定0字节值对随机生成的记录进行排序；固定宽度峰值重复类：典型代表为Hadoop中Word Count，统计输入数据中出现的单词数；峰值宽度变化类：Hive是构建在Hadoop之上的数据仓库系统，执行两个查询语句联合查询时，Hive Join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列。4.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，建立租户到达模型过程如下：步骤S21，基于NHPP排队模型，构造服务速率到达函数；步骤S22，采用EM算法优化求解服务速率到达函数，获得期望函数；步骤S23，根据获得的期望函数，得到租户需求的预测函数结合采集到的实际流量d
k
，构建租户到达模型，即为租户需求流量d
k
：其中，k表示第k位租户，λ
l
为租户到达速率，λ
c
(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d
k
与预测值的权重。5.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S3具体如下：
1)根据租户到达模型，模拟租户的动态需求，NHDRF统计每个Coflow端口数量以及其输入端口需求流量、输出端口需求流量；2)寻找每个Cof...
【专利技术属性】
技术研发人员：来风刚，吕舜铭，肖雨，乔宇杰，张攀，管建超，孙强，李明，尹晓宇，张敏，余东波，都繁杰，李静，高丰，常沁楠，
申请(专利权)人：国网安徽省电力有限公司信息通信分公司南京航空航天大学国家电网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。