【技术实现步骤摘要】
基于循环重组和分块的卷积神经网络反向传播映射方法
本专利技术属于神经网络加速器领域，尤其是用于片上再训练方面，用于将反向传播算法适配到只能进行前向推理的神经网络加速器上，从而实现神经网络在片上进行训练而无需在服务器端进行训练后部署。
技术介绍
片上训练，是指部署在神经网络加速器芯片上的神经网络通过特定的方法进行再训练的过程。传统的神经网络加速器芯片通常需要通过服务器端对模型进行大数据训练，之后通过接口部署到芯片内部进行前向推理。因此一般用于边缘设备的神经网络加速器芯片都只能进行推理任务而无法进行训练任务。近几年来，用户隐私泄露的问题愈发严重。神经网络作为一种数据驱动型的模型，其需要大量用户数据进行训练。一些边缘设备(手机、IOT设备)很容易获取用户的数据，但是受限于这类设备中的神经网络加速器的功能限制，通常设备需要将收集到的数据上传到云端服务器，服务器整合收集到的数据进行神经网络模型训练，之后再将训练好的模型参数分发到设备中。这样一条数据链路在无形中增加了这些用户私密数据被泄露的风险，因此需要一种可以在设备内部离线地...
【技术保护点】
1.一种基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：该方法通过数据调度方式将反向传播算法映射到现有的用于前向推理的神经网络加速器引擎上，采用一种反向传播大卷积重映射方法，可以使得反向传播中大卷积的规模和维度能够适配到用于前向推理的神经网络加速器中。/n
【技术特征摘要】
1.一种基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：该方法通过数据调度方式将反向传播算法映射到现有的用于前向推理的神经网络加速器引擎上，采用一种反向传播大卷积重映射方法，可以使得反向传播中大卷积的规模和维度能够适配到用于前向推理的神经网络加速器中。
2.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述卷积神经网络的反向传播，包含以下步骤：
步骤一：误差传播，用于将误差从后往前进行推导：涉及的数据为当前层的误差张量，权重张量，前一层的误差张量；涉及主要运算为卷积，也就是当前层的误差张量与权重张量进行卷积得到前一层的误差张量。
步骤二：求权重梯度，用于更新神经网络的卷积权重：涉及的数据为前一层的激活值张量，当前层的误差张量和权重的梯度张量；涉及的运算为大卷积，也就是前一层的激活值张量与当前层的误差张量进行卷积得到权重梯度张量；该大卷积的卷积次序也与普通卷积的卷积次序有所不同。
3.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述大卷积的规模是指卷积中输入图和卷积核的面积；所述的大卷积的维度是指卷积中输入图的通道数以及卷积核的个数。
4.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述的前向推理的神经网络加速器是指能够部署神经网络算法的加速硬件，通常只能进行神经网络的前向推理，而无法完成网络的训练任务。
5.根据权利要求2所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述误差张量是指神经网络的输出与真实标签值的误差矩阵；在神经网络的输出层结合真实标签求得初始的误差值之...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。