【技术实现步骤摘要】
执行分布式计算任务的方法、装置、设备以及存储介质
[0001]本公开涉及人工智能
,尤其涉及云计算、分布式计算等
技术介绍
[0002]分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些计算任务需要较大的计算能力才能完成,如果采用集中式计算,需要消耗较长时间来完成。分布式计算可以将该计算任务分解成许多小的部分,分配给多个节点处理。这样可以缩短计算时间,提高计算效率。
技术实现思路
[0003]本公开提供了一种执行分布式计算任务的方法、装置、设备、存储介质以及程序产品。
[0004]根据本公开的一方面,提供了一种执行分布式计算任务的方法,包括:将与分布式计算任务相关的待处理计算数据发送至第一节点集合中的每个第一节点,其中,所述第一节点的硬件信息与本地硬件信息匹配;
[0005]聚合所述每个第一节点针对所述待处理计算数据的第一计算结果,得到第一聚合结果;与第二节点集合中的每个第二节点共享所述第一聚合结果,得到共享结果,其中,所述第二节点的硬件信息与所述本地硬件 ...
【技术保护点】
【技术特征摘要】
1.一种执行分布式计算任务的方法,包括:将与分布式计算任务相关的待处理计算数据发送至第一节点集合中的每个第一节点,其中,所述第一节点的硬件信息与本地硬件信息匹配;聚合所述每个第一节点针对所述待处理计算数据的第一计算结果,得到第一聚合结果;与第二节点集合中的每个第二节点共享所述第一聚合结果,得到共享结果,其中,所述第二节点的硬件信息与所述本地硬件信息不匹配;以及确定所述共享结果作为新的待处理计算数据,并返回所述将待处理计算数据发送至第一节点集合中的每个节点的操作,直到所述分布式计算任务执行完毕。2.根据权利要求1所述的方法,还包括:获取所述本地硬件信息和多个节点的硬件信息;确定所述多个节点中硬件信息与所述本地硬件信息匹配的节点作为第一节点,得到所述第一节点集合;以及在所述多个节点中硬件信息与所述本地硬件信息不匹配的节点中确定主节点,作为所述第二节点,得到所述第二节点集合。3.根据权利要求1或2所述的方法,还包括:建立与所述第一节点集合中每个第一节点之间的第一通信域;其中,所述将待处理计算数据发送至第一节点集合中的每个第一节点包括:在所述第一通信域中广播所述待处理计算数据。4.根据权利要求1所述的方法,其中,所述聚合所述每个第一节点针对所述待处理计算数据的第一计算结果,得到第一聚合结果,包括:针对所述待处理计算数据进行计算操作,得到第二计算结果;接收来自所述每个第一节点的第一计算结果;以及将所述第二计算结果和所述每个第一节点的第一计算结果进行加权求和,得到所述第一聚合结果。5.根据权利要求1或2所述的方法,还包括:建立与所述第二节点集合中每个第二节点之间的第二通信域;其中,所述与第二节点集合中的每个第二节点共享所述第一聚合结果,得到共享结果包括:在所述第二通信域中广播所述第一聚合结果;接收来自所述每个第二节点的第二聚合结果;以及根据所述第一聚合结果和所述第二聚合结果,确定所述共享结果。6.根据权利要求5所述的方法,其中,所述根据所述第一聚合结果和所述第二聚合结果,确定所述共享结果,包括:计算所述第一聚合结果和所述第二聚合结果的平均值,作为所述共享结果。7.一种执行分布式计算任务的方法,包括:接收来...
【专利技术属性】
技术研发人员:奎志清,李龙,吴志华,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。