一种基于.NET平台的Map‑Reduce分布式计算的模型方法技术

本发明专利技术提供的NETRMR原型系统在吸取Map‑Reduce模型简化分布式计算下并行编程的复杂性有点的基础上，利用.NET Remoting架构的分布式计算技术，为.NET平台下的分布式计算架构设计了一种算法——NETRMR。具体为，包括以下步骤：通过Map‑Reduce接口输入数据;将数据提交到ManagerConsole；SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；获得数据的RegLoader主动注册形成MachineList。本发明专利技术封装了系统容错和负载平衡的模块支撑，简化分布式计算环境下并行编程的复杂性，使得该模型具有较广泛的适用性。

【技术实现步骤摘要】
一种基于.NET平台的Map-Reduce分布式计算的模型方法
本专利技术一般涉及基于计算机处理的分布式计算领域，具体涉及一种基于.NET平台的Map-Reduce分布式计算的模型方法。
技术介绍
近半个世纪以来，信息量的爆炸性增长促使科学计算进入多核并行时代。在并行计算模型方面，Viliant提出了BSP模型，将计算划分为一个一个的超步，以硬件实现障碍同步的方式控制粗粒度级，但超级步的长度必须适应任意的h-relation，且全局障碍同步需要特殊硬件的支持。后来LeslieG在BSP模型的基础上提出了Multi-BSP模型，假设多个BSP模型中处理单元可通过点对点通信，有利于BSP模型的移植和分析，对于处理核和缓存的抽象仅局限于BSP模型的处理单元。Arge,L提出了PEM模型，以此分析几种通用基础并行算法的I/O复杂度，但并没有考虑缓存分层结构。然而单机的多核并行计算模型并不利于计算量的拓展，分布式计算更适合于超大规模的科学计算。在分布式计算方面，Google提出了MapReduce模型，将计算问题抽象为Map和Reduce两个阶段的操作，但由于未能摆脱对系统软硬件环境的依赖，很多学者在此模型基础上进行优化创新。如Douglas等人在开源搜索引擎系统Nuth上创立的Hadoop并行计算框架，依赖HDFS将一个任务分解成映射与合并两种方式，通过映射进行简化，从而产生部分归并结果，然后对同类结果进行归并计算。也有人尝试设计更多并行计算框架，具有代表性的有Spark，以Scala语言实现，不再需要读写HDFS，同时在某些工作负载方面表现的更加优越。此外，LeslieLamport提出的Lamport算法以及Paxos算法[8]也为分布式计算做出了贡献。
技术实现思路
本专利技术针对目前优秀的分布式计算模型匮乏的情况，为.NET平台下的分布式计算架构设计了一种一种基于.NET平台的Map-Reduce分布式计算的模型方法——NETRMR，封装了系统容错和负载平衡的模块支撑，简化分布式计算环境下并行编程的复杂性。一种基于.NET平台的Map-Reduce分布式计算的模型方法具体技术方案如下：（a）通过Map-Reduce接口输入数据;（b）将数据提交到ManagerConsole；（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；（d）获得数据的RegLoader主动注册形成MachineList。上述方案中，步骤（c）包括以下步骤：(c-1)SolutionArray将数据分派至各个RegLoader中，由RegLoader对数据进行分配处理；（c-2）各个RegLoader启动若干个Worker进行计算；（c-3）Reducer负责整理、归纳、回收由Worker计算后产生的结果。与现有技术相比，本专利技术具有如下优点和技术效果：本专利技术封装了系统容错和负载平衡的模块支撑，简化分布式计算环境下并行编程的复杂性，使得该模型具有较广泛的适用性。附图说明图1为实施方式中一种基于.NET平台的Map-Reduce分布式计算的模型方法流程图。具体实施方式以下结合附图对本专利技术的实施方式作进一步说明，但本专利技术的实施不限于此。一种基于.NET平台的Map-Reduce分布式计算的模型方法，如图1所示，主要包括以下步骤：（a）通过Map-Reduce接口输入数据;（b）将数据提交到ManagerConsole；（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；其具体步骤为：(c-1)SolutionArray将数据分派至各个RegLoader中，由RegLoader对数据进行分配处理。（c-2）各个RegLoader启动若干个Worker进行计算；（c-3）Reducer负责整理、归纳、回收由Worker计算后产生的结果；（d）获得数据的RegLoader主动注册形成MachineList。本文档来自技高网...

【技术保护点】
一种基于.NET平台的Map‑Reduce分布式计算的模型方法，其特征在于，包括以下步骤：（a）通过Map‑Reduce接口输入数据;（b）将数据提交到ManagerConsole；（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；（d）获得数据的RegLoader主动注册形成MachineList。

【技术特征摘要】
1.一种基于.NET平台的Map-Reduce分布式计算的模型方法，其特征在于，包括以下步骤：（a）通过Map-Reduce接口输入数据;（b）将数据提交到ManagerConsole；（c）SolutionArray将数据分派至RegLoader，RegLoader启动Worker进行计算，由Reducer负责回收；（d）获得数据的RegLoader主动注册形成MachineLi...

【专利技术属性】
技术研发人员：杨忠明，徐红波，熊君丽，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：广东,44