一种基于国产申威处理器的hadoop移植方法及系统技术方案

技术编号:43695110 阅读:21 留言:0更新日期:2024-12-18 21:11
本发明专利技术属于程序移植技术领域,特别涉及一种基于国产申威处理器的hadoop移植方法及系统。包括如下步骤:步骤一:修改Hadoop源代码,使其通过申威编译器的编译环境;步骤二:在编译链接规则文件中,添加申威openeuler系统编译选项及对应的申威openeuler系统编译规则;步骤三:设置项目子工程的链接依赖库;步骤四:在申威openeuler系统编译选项下,通过申威编译器对修改后的hadoop源代码进行编译,生成申威处理器可执行程序。本发明专利技术通过上述方法,实现了Hadoop的国产移植和一键编译的效果,大大提升了工作效率和准确度。

【技术实现步骤摘要】

本专利技术属于程序移植,特别涉及一种基于国产申威处理器的hadoop移植方法及系统


技术介绍

1、近年来,数据在各行各业以大规模的态势持续增加,大数据正在改变着人民的生活、工作、思想。面对如此海量的数据,越来越多的企业开始重视数据。hadoop是apache开源基金会开发的分布式系统,由hdfs和yarn组成,适用于大数据领域的分布式存储和计算,是当前广泛使用的大数据计算工具。

2、基于国产申威处理器作为国产自主可控的高性能计算cpu,具有强大的计算能力。openeuler(开放原子开源基金会的欧拉操作系统)是一个开源的操作系统,目前已支持申威处理器。将hadoop移植在国产申威openeuler系统上,为大数据处理提供先行范例演示。

3、当前hadoop程序还无法在国产申威平台上运行,在将hadoop移植到国产申威openeuler系统过程中,需要克服一系列挑战,这些挑战包括:软件兼容性;由于国产申威处理器采用特定的硬件建构和操作系统,需要确保hadoop能在这些环境下正常运行;这涉及到对hadoop的源代码修改,以适应国产申威本文档来自技高网...

【技术保护点】

1.一种基于国产申威处理器的hadoop移植方法,其特征在于,包括如下步骤:

2.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤一中,修改hadoop源代码具体为:添加申威架构的bulk_crc32.c校验文件。

3.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤三中,设置项目子工程的链接依赖库,具体为:编译时通过配置文件设置hadooputils模块和tirpc模块链接为静态库。

4.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤四中,通...

【技术特征摘要】

1.一种基于国产申威处理器的hadoop移植方法,其特征在于,包括如下步骤:

2.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤一中,修改hadoop源代码具体为:添加申威架构的bulk_crc32.c校验文件。

3.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤三中,设置项目子工程的链接依赖库,具体为:编译时通过配置文件设置hadooputils模块和tirpc模块链接为静态库。

4.如权利要求1所述的一种基于国产申威处理器的hadoop移植方法,其特征在于,所述步骤四中,通过申威编译器...

【专利技术属性】
技术研发人员:陈慎慎马昌虎王军
申请(专利权)人:中电科申泰信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1