应用于分布式系统的数据处理方法及装置、设备和介质制造方法及图纸

技术编号:42320002 阅读:24 留言:0更新日期:2024-08-14 16:01
本公开提供了一种应用于分布式系统的数据处理方法及装置、设备和介质,涉及计算机技术领域,尤其涉及芯片技术和分布式数据处理技术领域。实现方案为:基于数据处理请求确定待分布式系统中的多个节点执行的针对目标数据的目标处理流程;响应于所述目标处理流程指示待由所述分布式系统中的多个环形拓扑执行多次累加操作,基于所述目标数据从所述多个环形拓扑中确定目标环形拓扑;以及通过基于所述目标数据执行所述目标处理流程,确定所述目标数据的处理结果,其中,所述目标处理流程中的每次累加操作是由所述目标环形拓扑基于所述多个节点在所述目标环形拓扑中的排列顺序执行的。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及芯片技术和分布式数据处理,具体涉及一种应用于分布式系统的数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、随着人工智能技术的发展,越来越多的应用基于人工智能技术取得了远超过传统算法的效果。深度学习是数据密集型算法和计算密集型算法,为了提高大规模深度学习模型的训练速度和推理速度,可以利用包含多个节点的分布式系统来执行数据处理,满足算力要求。在分布式系统中通常需要在多个节点间交换数据,以得到最终的处理结果。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在本文档来自技高网...

【技术保护点】

1.一种应用于分布式系统的数据处理方法,其中,所述分布式系统的多个节点能够构成多个环形拓扑,所述多个环形拓扑中的每个环形拓扑能够基于所述多个节点在该环形拓扑中的排列顺序执行累加所述多个节点的数据的累加操作,所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述目标数据从所述多个环形拓扑中确定目标环形拓扑包括:

3.如权利要求2所述的方法,其中,所述目标数据包括多个数据元素,所述基于所述目标数据的值确定散列索引包括:

4.如权利要求3所述的方法,其中,所述目标数据包括多个向量数据,所述从所述多个数据元素中确定至少一个目标数据元素包括:

...

【技术特征摘要】

1.一种应用于分布式系统的数据处理方法,其中,所述分布式系统的多个节点能够构成多个环形拓扑,所述多个环形拓扑中的每个环形拓扑能够基于所述多个节点在该环形拓扑中的排列顺序执行累加所述多个节点的数据的累加操作,所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述目标数据从所述多个环形拓扑中确定目标环形拓扑包括:

3.如权利要求2所述的方法,其中,所述目标数据包括多个数据元素,所述基于所述目标数据的值确定散列索引包括:

4.如权利要求3所述的方法,其中,所述目标数据包括多个向量数据,所述从所述多个数据元素中确定至少一个目标数据元素包括:

5.如权利要求2-4中任一项所述的方法,其中,所述散列函数的参数包括所述多个环形拓扑的数量。

6.如权利要求1-5中任一项所述的方法,其中,所述目标处理流程中的每次累加操作是利用如下过程实现的:

7.一种应用于分布式系统的数据处理装置,其中,所述分布式系统的多个节点能够构成多个环形拓扑,所述多个环形拓扑中的每个环形拓扑能够基于所...

【专利技术属性】
技术研发人员:陈庆澍张孝慈王勇
申请(专利权)人:昆仑芯北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1