【技术实现步骤摘要】
本专利技术涉及分布式并行计算系统，更具体而言，涉及并行计算系统中进行组合计算的装置和方法。
技术介绍
信息技术的发展为人们提供了越来越丰富和强大的应用和服务，同时也对处理设备的运算能力提出了越来越高的要求。尽管处理器的运行速度也在不断提高，但是面对海量信息和数据，分布式并行计算成为一种实用的解决方式。分布式并行计算是将一个处理任务分散到多个处理器中同时并行执行的方案。目 前，已经存在多种大规模并行计算的执行方式，其中最为重要和常用的是MapReduce模型。MapReduce是一种简洁的并行计算模型，其名字源于这个模型中的两项核心操作映射(Map)和规约(Reduce),这两个概念来自于函数式编程语言(FunctionProgramming)。简单地说,Map是把一组数据一对一地映射为另外的一组数据,其映射的规则由用户定义的一个函数来指定。Reduce是根据用户定义的函数对一组数据进行合并和规约。在Map过程中，数据被并行地分开、独立处理，而在Reduce过程中，分开的数据被合并到了一起。因此，利用Map和Reduce操作的一分一合,就可以将一个复杂庞大的任务分拆成许多个作业并行执行运算，然后对并行运算的结果进行综合，从而得到期望的结果。图I示出现有技术MapReduce模型的基本架构的示意图。在图I所示的映射规约模型中，每个映射单元从对应的数据源读取键值对(k，v)形式的输入数据，根据用户定义的函数，将输入键值对(k，v)映射为新的键值对，称为中间键值对。之后，在规约阶段，将具有相同键的中间键值对发往相同的规约单元，由规约单元对结果进行综合。如上所述，...
【技术保护点】
【技术特征摘要】
1.一种组合计算装置，位于并行计算系统中，包括 输入设定单元，配置为接收与多组输入数据相关的第一设定和与所述多组输入数据之间的组合方式相关的第二设定； 数据获取单元，配置为根据所述第一设定和第二设定，获取由多组输入数据构成的数据组合； 至少一个组合操作单元，配置为对所述数据组合进行所需的计算操作。2.根据权利要求I的装置，其中所述第一设定包括所述多组输入数据的数据源的信息和输入数据的格式设定。3.根据权利要求2的装置，其中所述输入数据的格式设定包括将输入数据设定为键值对的形式。4.根据权利要求2的装置，其中所述输入设定单元还配置为，针对所述至少一个组合操作单元进一步限定所述第一设定中的数据源的信息。5.根据权利要求1-4中任一项的装置，其中所述数据获取单元包括 数据读取模块，配置为根据所述第一设定读取多组输入数据；以及 数据组合模块，配置为根据所述第二设定对所读取的多组输入数据进行组合，形成所述数据组合。6.根据权利要求I的装置，其中所述数据获取单元配置为，根据特定规则将所述数据组合组织为单组数据的形式；所述至少一个组合操作单元还配置为，基于所述特定规则将所述单组数据还原为包含多组输入数据的数据组合。7.根据权利要求I的装置，其中所述至少一个组合操作单元包含用于接收操作函数的接口，并根据所接收的操作函数对所述数据组合进行计算操作。8.一种并行计算系统，...
【专利技术属性】
技术研发人员：林海波，李严，杨雨东，刘弢，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。