一种数据处理装置、方法、系统及计算机可读存储介质制造方法及图纸

本申请公开了一种数据处理装置、方法、系统及计算机可读存储介质，包括目标数量的FPGA，目标数量的FPGA间构成环形通信网络，且各个FPGA上存储有不同的初始数据；其中，在每一轮数据处理过程中，各个FPGA将自身上一轮接收的数据作为该轮的待发送数据，将该轮的待发送数据发送至环形通信网络中自身连接的下一个FPGA，各个FPGA接收环形通信网络中自身连接的上一个FPGA发送的数据并保存；其中，数据处理的总轮数为目标数量与1的差值；且各个FPGA第一轮的上一轮接收的数据为各个FPGA的初始数据。本申请中，数据处理装置中目标数量的FPGA间构成环形通信网络，且只需进行目标数量减一次数据处理，便可以使得每个FPGA上均保存有其他FPGA上的数据，可以快速实现数据的集合。合。合。

【技术实现步骤摘要】
一种数据处理装置、方法、系统及计算机可读存储介质


[0001]本申请涉及服务器
，更具体地说，涉及一种数据处理装置、方法、系统及计算机可读存储介质。

技术介绍

[0002]随着深度神经网络的广泛应用，深度神经网络的模型尺寸变得越来越大，使得高效的模型训练变得更加重要，分布式训练应运而生，目前的分布式模型训练方法有数据并行。
[0003]数据并行也即将待训练的输入数据进行划分，每次训练迭代过程中在多块加速设备上同时训练多个数据。在此过程中，数据并行又分为同步数据并行和异步数据并行两种方法。其中同步数据并行方法，所有加速设备计算完数据梯度后，统一将多个梯度合在一起，更新共享模型参数。这种方法可以减少用于计算梯度的权重的陈旧性，使模型最终能够达到较高的收敛精度，具有较好的统计效率，因此应用广泛。但现有数据并行方法的数据集合功耗高，并行度低，适用性差。
[0004]综上所述，如何提高数据集合的适用性是目前本领域技术人员亟待解决的问题。

技术实现思路

[0005]本申请的目的是提供一种数据处理装置，其借助FPGA实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，其特征在于，包括目标数量的FPGA，所述目标数量的所述FPGA间构成环形通信网络，且各个所述FPGA上存储有不同的初始数据；其中，在每一轮数据处理过程中，各个所述FPGA将自身上一轮接收的数据作为该轮的待发送数据，将该轮的所述待发送数据发送至所述环形通信网络中自身连接的下一个所述FPGA，各个所述FPGA接收所述环形通信网络中自身连接的上一个所述FPGA发送的数据并保存；其中，所述数据处理的总轮数为所述目标数量与1的差值；且各个所述FPGA第一轮的上一轮接收的数据为各个所述FPGA的所述初始数据。2.根据权利要求1所述的数据处理装置，其特征在于，所述各个所述FPGA将该轮的所述待发送数据发送至所述环形通信网络中自身连接的下一个所述FPGA，包括：各个所述FPGA基于目标协议将该轮的所述待发送数据发送至所述环形通信网络中自身连接的下一个所述FPGA；其中，所述目标协议包括所述FPGA间直接通信的协议。3.根据权利要求2所述的数据处理装置，其特征在于，所述目标协议的类型包括IntelIKL协议。4.根据权利要求1所述的数据处理装置，其特征在于，各个所述FPGA上均设置有发送缓冲区，所述发送缓冲区用于存储所述待发送数据。5.根据权利要求4所述的数据处理装置，其特征在于，各个所述FPGA上均设置有临时缓冲区，所述临时缓冲区用于存储所述环形通信网络中自身连接的上一个所述FPGA发送的数据。6.根据权利要求4所述的数据处理装置，其特征在于，各个所述FPGA上均设置有接收缓冲区，所述接收缓冲区用于存储所述FPGA保存的数据。7.一种数据处理方法，其特征在于，应用于构成环...

【专利技术属性】
技术研发人员：曹芳，郭振华，高开，赵雅倩，李仁刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：