基于MapReduce框架的编码分布式计算方法技术

本发明专利技术公开一种基于MapReduce框架的编码分布式计算方法，通过将N个输入文件分成若干份，并将其分别存储到不同的分布式计算节点上；然后，在进行输出函数分配时，为每个分布式计算节点设计了新的输出函数集W

【技术实现步骤摘要】
基于MapReduce框架的编码分布式计算方法


[0001]本专利技术涉及分布式计算
，具体涉及一种基于MapReduce框架的编码分布式计算方法。

技术介绍

[0002]在机器学习和数据科学快速发展的推动下，现代计算范式已经从传统的单处理器系统转向大型分布式计算系统，而分布式计算中的一个流行框架便是MapReduce框架。分布式计算在处理大规模数据时，显示出自身的强大优势，成为近几年的热门研究方向。
[0003]虽然MapReduce框架已经成为分布式计算的一个流行框架，但该框架也存在着一个很大的弊端，那就是需要进行大量的数据交换。例如，在Amazon EC2集群上运行“SelfJoin”时，其中70％的执行时间都花费在了数据交换上。为了缓解通信瓶颈，2018年Ali等人提出了基于MapReduce框架的编码分布式计算(“Coded Distributed Computing”,CDC)，并且给出了实现最优通信负载的一般方案。该方案虽然得到了最优的通信负载，但它所需的输入文件数量和输出函数数量随着节点数的增加，呈指数级增大，因此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于MapReduce框架的编码分布式计算方法，其特征是，包括步骤如下：步骤1、将给定的输入文件进行无重复的平均划分，得到个输入文件子集；步骤2、从0～K'
‑
1个整数中随机选择个整数作为每个输入文件子集的标记；步骤3、将每个节点的编号分别对节点因子K'进行取模运算，得到每个节点的标记；步骤4、基于每个输入文件子集的标记和每个节点的标记，将带有与节点标记相同标记的输入文件子集分配到对应的节点上进行存储；步骤5、每个节点利用Map函数计算其所存储的每个输入文件子集的中间值；步骤6、每个节点将自己所存储的所有输入文件子集的中间值编码为信号传输给其他的节点；步骤7、给每个节点分配要计算的输出函数集；其中编号为k的节点所分配的输出函数集W
k
为：为：步...

【专利技术属性】
技术研发人员：周玲玲，蒋静，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：