【技术实现步骤摘要】
面向异构MapReduce集群的低时延Map和Reduce联合调度方法
本专利技术涉及无线通信领域，具体涉及面向异构MapReduce集群的低时延Map和Reduce联合调度方法。
技术介绍
随着移动设备的普及和移动互联网的发展，未来将呈现万物互联的发展趋势，5G作为新一代移动通信技术在网络技术方面的提升真正实现了通信从人扩展到万物的转变，尤其是5G通信在低时延、网络大带宽等方面的优势将从根本上推动人工智能、区块链等物联网核心领域的发展。考虑到物联网中大部分数据业务呈现数据量大、类型复杂等特点，并且核心网的资源紧缺，低时延的要求使得用户将超大的计算任务集中处理是不现实的，这极大的促进了分布式计算在无线通信领域的发展。其中，MapReduce作为一种专门为大规模并行数据处理设计的分布式计算框架，非常适用于多个边缘服务器分布式处理各个类型的计算任务，帮助用户终端高效的解决计算问题。MapReduce框架的执行流程总结为：客户端提交作业后，主节点中的控制中心将其划分到各个服务器上做Map运算，并产生一定量的中间值，其次，这...
【技术保护点】
1.面向异构MapReduce集群的低时延Map和Reduce联合调度方法，其特征在于，包括如下步骤：/n1)获取如下信息：提交的作业大小D(bits)、集群中服务器数量N、网络中各服务器之间通信的传输速率v
【技术特征摘要】
1.面向异构MapReduce集群的低时延Map和Reduce联合调度方法，其特征在于，包括如下步骤：
1)获取如下信息：提交的作业大小D(bits)、集群中服务器数量N、网络中各服务器之间通信的传输速率vlk(Mbps)、服务器计算单位比特数据的时钟周期μk(cycles/bit)，CPU频率Map、Reduce任务的工作槽数以及单位Map任务输出的数据量γ，其中l、k均是服务器的编号；
2)最小化单个服务器的时延拖尾，提高服务器并行时间得到Map和Reduce阶段的任务分配向量m、q。
2.根据权利要求1所述的方法，其特征在于，获取最优的作业完成总时延和任务分配向量，步骤如下：
根据获取信息得到任意一个服务器k作为Reduce计算节点时，完成Reduce计算对应的系统时延tk(m，q)；
其中，β为服务器计算单位Map任务和Reduce任务的时延比，ml和qk分别为服务器l在Map阶段的任务分配和服务器k在Reduce阶段的任务分配，比较每个服务器完成Reduce计算的系统时延，将最大值作为作业完成总时延τ；
<...
【专利技术属性】
技术研发人员：王玮，陈雨贺，朱立洲，张朝阳，
申请(专利权)人：浙江大学，宁波江宸智能装备股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。