一种Internet环境下MapReduce计算方法技术

本发明专利技术公开了一种Internet环境下MapReduce计算方法。该方法利用Internet桌面PC的空闲计算和存储资源来进行MapReduce计算。桌面PC以志愿者的形式加入系统成为工作节点，用户作为Master向服务器上传待处理的数据，服务器将Map和Reduce任务调度至工作节点上执行，待所有任务完成，最终结果自动返回给用户。该方法在元数据管理基础之上，采用数据驱动的方式，将任务调度转化为数据调度，解决了节点动态易失效带来的影响，提供了一种Internet环境下简单有效的容错MapReduce计算模型与方法。采用本发明专利技术，可在校园、企业、政府内利用现有桌面PC构建以私有为目的的MapReduce计算平台来进行海量数据分析，或用于改进志愿计算系统来支持MapReduce计算模型，降低志愿计算系统应用开发的难度。

【技术实现步骤摘要】

本专利技术属于分布式计算模型领域,具体涉及Internet环境下一种新的MapReduce计算方法及系统，以及系统中的Map和Reduce任务调度方法。
技术介绍
继高性能集群计算、网格计算之后，在大规模计算领域，云计算正受到人们的强烈关注。作为云计算的核心技术，MapReduce也受到了广泛关注。MapReduce是Google在2004年提出来的一种处理大规模数据集的并行编程模型，以此来简化分布式系统的编程。应用程序编写人员只需将精力放在应用程序本身，而关于集群的处理问题，包括可靠性、可扩展性、任务并行化、数据分布存储、负载均衡、节点通信等复杂过程被屏蔽，用户不需要关心如何将输入的数据分块，分配和调度。这使得那些没有多少并行计算经验的程序员也可以开发并行应用来处理和分析海量数据。MapReduce系统通过Map (映射)和Reduce (化简)这样两个简单的概念来构成运算基本单元。用户只需编写Map函数和Reduce函数即可实现对大规模海量数据集的并行处理。MapReduce系统可以根据输入数据的大小及作业的配置等信息，自动将该作业初始化为多个相同的Map任务和Reduce任务本文档来自技高网...

【技术保护点】
一种Internet环境下的MapReduce计算方法，其特征在于，利用Internet环境下志愿者桌面PC的空闲计算和存储资源来进行MapReduce计算，提供一种Internet环境下简单有效的容错MapReduce计算模型与方法，使得志愿计算系统能够支持MapReduce计算。

【技术特征摘要】

【专利技术属性】
技术研发人员：贺海武，唐兵，
申请(专利权)人：贺海武，唐兵，
类型：发明
国别省市：