【技术实现步骤摘要】
本公开涉及计算机，尤其涉及芯片技术和分布式数据处理，具体涉及一种应用于分布式系统的数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
2、随着人工智能技术的发展，越来越多的应用基于人工智能技术取得了远超过传统算法的效果。深度学习是数据密集型算法和计算密集型算法，为了提高大规模深度学习模型的训练速度和推理速度，可以利用包含多个计算单元或是多个计算单元组的分布式系统来执行数据处理，满足算力要求。
3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技...
【技术保护点】
1.一种应用于分布式系统的数据处理方法，其中，所述分布式系统中的多个计算单元能够构成多个计算单元组，待处理数据包括多个数据块，所述方法包括：
2.如权利要求1所述的方法，其中，所述目标计算单元组中的多个计算单元构成环形拓扑，所述通过利用所述目标计算单元组执行针对所述多个第一处理结果的数据归约操作，确定该数据块的处理结果包括：
3.如权利要求2所述的方法，其中，所述基于所述目标计算单元组中的多个计算单元在所述环形拓扑中的排列顺序，依次累加每个计算单元相应的第一处理结果包括：
4.如权利要求1-3中任一项所述的方法，其中，所述待处理数据...
【技术特征摘要】
1.一种应用于分布式系统的数据处理方法，其中，所述分布式系统中的多个计算单元能够构成多个计算单元组，待处理数据包括多个数据块，所述方法包括：
2.如权利要求1所述的方法，其中，所述目标计算单元组中的多个计算单元构成环形拓扑，所述通过利用所述目标计算单元组执行针对所述多个第一处理结果的数据归约操作，确定该数据块的处理结果包括：
3.如权利要求2所述的方法，其中，所述基于所述目标计算单元组中的多个计算单元在所述环形拓扑中的排列顺序，依次累加每个计算单元相应的第一处理结果包括：
4.如权利要求1-3中任一项所述的方法，其中，所述待处理数据是利用特征编码网络得到的，并且其中，所述待处理数据包括的多个数据块是利用如下的划分操作得到的：基于所述特征编码网络的输出维数，将所述待处理数据划分为大小相同的多个数据块。
5.如权利要求4所述的方法，其中，基于所述特征编码网络的输出维数，将所述待处理数据划分为大小相同的多个数据块包括：基于所述特征编码网络的输出维数和所述待处理数据的数据格式，将所述待处理数据划分为大小相同的多个数据块。
6.一种应用于分布式系统的数据处理装置，其中，所述分布式系统中的多个计算单元能够...
【专利技术属性】
技术研发人员：张孝慈，陈庆澍，王勇，欧阳剑，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。