MapReduce计算框架的平台移植方法和装置制造方法及图纸

本发明专利技术提供一种MapReduce计算框架的平台移植方法和装置。该方法包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。该方法和装置解决了现有MapReduce计算框架平台依赖性过强、无法在其他平台进行直接应用的问题。

Platform transplantation method and device for MapReduce computing framework

The invention provides a platform transplantation method and device for the MapReduce computing framework. The method includes obtaining a first code calculation function of the framework code in the current platform based on the MapReduce code, the first function is the current platform assembly language, and use the code function of atomic operations to achieve the same function; acquisition and the first code function using second code function to be implanted platform assembly language; the second code function to replace the first calculation code function frame of the code in the current platform based on the MapReduce computing framework based on MapReduce platform to be implanted. This method and device solve the problem that the existing MapReduce computing framework platform is too dependable and can not be applied directly to other platforms.

【技术实现步骤摘要】
MapReduce计算框架的平台移植方法和装置
本专利技术涉及数据处理领域，尤其涉及一种MapReduce计算框架的平台移植方法和装置。
技术介绍
映射归约计算框架(简称MapReduce计算框架)是一种编程模型，用于大规模数据集(大于1TB)的并行运算。该框架把一些数据密集型应用的数据处理过程简化抽象成映射(map)和归约(reduce)两个阶段。例如，将数据分片，任务调度，机器容错，机器间通信等数据处理过程简化抽象成map和reduce两个阶段，MapReduce框架通过将上述繁琐的数据处理细节隐藏起来，极大地简化了程序员的开发工作。程序员在使用MapReduce计算框架时，只需要为该MapReduce计算框架提供数据即可。现有MapReduce计算框架是由斯坦福大学开发的基于X86平台的Phoenix，在执行过程中依赖X86平台的汇编语言(例如cmpxchgq等)以实现同步过程中的原子操作。当将MapReduce计算框架应用到基于无内部互锁流水级的微处理器(Microprocessorwithoutinterlockedpipedstages，简称MIPS)精简指令集等其他指令本文档来自技高网...

【技术保护点】
一种MapReduce计算框架的平台移植方法，其特征在于，包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用所述第二代码函数替换所述第一代码函数，得到基于待植入平台的MapReduce计算框架。

【技术特征摘要】
1.一种MapReduce计算框架的平台移植方法，其特征在于，包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用所述第二代码函数替换所述第一代码函数，得到基于待植入平台的MapReduce计算框架。2.根据权利要求1所述的方法，其特征在于，所述获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，包括：在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。3.根据权利要求2所述的方法，其特征在于，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。4.根据权利要求1所述的方法，其特征在于，所述第一代码函数包括至少一个第一子代码，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：为各所述第一子代码，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；根据各所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。5.根据权利要求4所述的方法，其特征在于，所述获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码，包括：根据汇编指令对照表，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；其中，所述汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。6.根据权利要求1至5任一项所述的方法，其特征在于，所述当前平台为X86平台，所述待植入平台为MIPS平台。7.根据权利要求1至5任一项所述的方法，其特征在于，所述第一代码函数为用于实现基于线程处理的...

【专利技术属性】
技术研发人员：胡庆海，
申请(专利权)人：龙芯中科技术有限公司，
类型：发明
国别省市：北京,11