【技术实现步骤摘要】
一种生成目标代码的方法、数据处理的方法及装置
本专利技术涉及数据处理技术，特别涉及一种生成Map/Reduce模型的目标代码的方法、数据处理的方法及装置。
技术介绍
分布式计算研究如何将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。而由Google提出的Map/Reduce模型，就是一个分布式计算模型。Map/ Reduce模型，通过Map阶段，将可以并列执行的任务分别并列执行，然后再通过Reduce阶段，将Map阶段并列执行的任务产生的中间结果合并，从而得到最终结果。在现有技术中， 已经实现的Map/Reduce模型的分布式计算开发平台，通常都是与开发语言紧密结合的， 这使得普通开发人员，当需要在自己的程序中嵌入分布式应用时，必须熟悉相应的Map/ Reduce平台及其相应的语言，这增加了开发人员的开发难度，同时也降低了代码的可重用性。请参考图1，图1为现有技术中采用Map/Reduce模型进行数据处理的方法的示意图。 在图1中，Map阶段和Reduce阶段的目标代码，...
【技术保护点】
一种生成Map/Reduce模型的目标代码的方法，其特征在于，所述方法包括：A.获取用户指令；B.根据所述用户指令生成中间码原始图，所述中间码原始图由指代数据处理方式的节点和节点之间指代数据传递方向的有向边构成；C.对所述中间码原始图进行分解，得到与Map/Reduce过程的各个执行阶段对应的中间码阶段图，其中所述执行阶段有一个或多个；D.将与Map/Reduce过程的各个执行阶段对应的中间码阶段图翻译为Map/Reduce过程的各个执行阶段的目标代码。
【技术特征摘要】
【专利技术属性】
技术研发人员：陈晓鸣，付力力，桑文锋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。