数据处理系统、计算节点和数据处理的方法技术方案

一种数据处理系统、计算节点和数据处理的方法，该数据处理系统(100)包括：管理节点(110)和第一类计算节点(120)，管理节点(110)用于向第一类计算节点(120)分配第一处理任务，第一类计算节点(120)中的至少两个计算节点(121)并行处理管理节点(110)分配的第一处理任务，计算节点(121)对数据块Mx以及数据块V1x执行合并combine2操作和归约reduce2操作获得的第一中间结果，管理节点(110)根据第一类计算节点(120)获得的第一中间结果获得待处理数据集的处理结果。所述数据处理系统(100)，对数据块进行合并操作和归约操作时，不需要等待所有的合并操作全部进行完成之后再进行归约操作，而是合并操作和归约操作交替进行，从而可以节省计算所占用的内存空间，减少计算时间。

【技术实现步骤摘要】
【国外来华专利技术】PCT国内申请，说明书已公开。

【技术保护点】
PCT国内申请，权利要求书已公开。

【技术特征摘要】
【国外来华专利技术】PCT国内申请，...

【专利技术属性】
技术研发人员：黄国位，颜友亮，朱望斌，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44