一种基于MapReduce的并发处理方法技术

本发明专利技术提出了一种基于MapReduce的并发处理方法和系统。所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、本发明专利技术采用了分布式计算的方式，可以将大规模的数据划分成多个小的数据块，在不同节点上并行处理，从而大幅度提高数据处理速度。基于MapReduce的分布式计算框架具有高可靠性和容错性。的分布式计算框架具有高可靠性和容错性。的分布式计算框架具有高可靠性和容错性。

【技术实现步骤摘要】
一种基于MapReduce的并发处理方法


[0001]本专利技术提出了一种基于MapReduce的并发处理方法，属于分布式计算


技术介绍

[0002] MapReduce是一种分布式计算模型，用于处理和生成大规模数据集的并行计算。它由Google公司提出和实现，已经成为大数据处理领域中最为重要的分布式计算框架之一。MapReduce模型的核心思想是将一个大规模数据集划分成小的数据块，然后在多个节点（机器）上进行并行处理。
[0003]MapReduce模型包含两个阶段：Map阶段和Reduce阶段。在Map阶段中，Map函数将输入的键值对进行映射，并输出为新的键值对列表。在Reduce阶段中，Reduce函数将相同键值对应的所有值聚合起来，并输出聚合结果。通常情况下，在MapReduce中还会加入Sort和Shuffle过程，以保证处理过程中数据的有序性和正确性。

技术实现思路

[0004]本专利技术提供了一种基于MapReduce的并发处理方法和系统，用以解决现有技术数据处理效率比较低的问题：本专利技术提出的一种基于MapReduce的并发处理系统，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接。
[0005]进一步的，所述输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块。
[0006]进一步的，所述Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对（key
‑
value）形式的中间结果。
[0007]进一步的，所述中间结果整合模块获取Map任务模块转换成的键对值（key
‑
value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合。
[0008]进一步的，所述Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构。
[0009]进一步的，所述结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。
[0010]进一步的，所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块以及结果输出模块通过分布式文件系统进行读写操作。
[0011]进一步的，所述分布式文件系统主要包括HDFS，所述HDFS支持集群部署。
[0012]进一步的，所述资源管理器负责协调输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块以及分布式文件系统之间的各项工作，所述各项工作包括任务分配、资源分配以及错误处理。
[0013]本专利技术提出一种基于MapReduce的并发处理方法，其特征在于，所述方法包括：S1：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块；S2：Map任务模块从输入数据划分模块获取所需的数据块，并将所述数据块转换为键值对（key
‑
value）形式的中间结果；S3：中间结果整合模块获取Map任务模块转换成的键值对（key
‑
value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；S4：Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果；所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；S5：结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。
[0014]本专利技术有益效果：本专利技术采用了分布式计算的方式，可以将大规模的数据划分成多个小的数据块，在不同节点上并行处理，从而大幅度提高数据处理速度。基于MapReduce的分布式计算框架具有高可靠性和容错性，即使某个节点出现故障或者网络中断，也能够保证整个系统的稳定运行。也非常方便扩展系统资源，如果需要更高的可用性或者更快的处理速度，只需增加更多的节点即可。并且能够帮助企业实现海量数据挖掘，应用范围非常广泛，包括搜索引擎、社交媒体、金融、医疗等各行各业。同时也可以实现机器学习等其他领域。相较于传统的数据库处理方式，基于 MapReduce 的并发处理系统成本更低。因为其采用廉价硬件代替昂贵的商用服务器，从而降低了企业的运营成本。总之，基于MapReduce并发处理方法和系统是一种高效、可靠、容错性强、易于扩展且低成本的数据处理方式，可以带来多重效果和好处。
附图说明
[0015]图1为本专利技术所述一种基于MapReduce的并发处理方法步骤图；图2为本专利技术所述一种基于MapReduce的并发处理系统结构图；图3为本专利技术所述一种基于MapReduce的并发处理系统连接图。
具体实施方式
[0016]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0017]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0019]本专利技术的一个实施例，一种基于MapReduce的并发处理系统，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接。
[0020]上述技术方案的工作原理为：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块，Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MapReduce的并发处理系统，其特征在于，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接。2.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块。3.根据权利要求2所述一种基于MapReduce的并发处理系统，其特征在于，所述Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对形式的中间结果。4.根据权利要求1和3所述一种基于MapReduce的并发处理系统，其特征在于，所述中间结果整合模块获取Map任务模块转换成的键对值形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合。5.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构。6.根据权利要求1所述一种基于MapReduce的并发处理系统，其特...

【专利技术属性】
技术研发人员：张毅，李焱，
申请(专利权)人：北京前景无忧电子科技股份有限公司，
类型：发明
国别省市：