残差神经网络在线训练架构及存储压缩与计算加速方法技术

本发明专利技术属于计算机技术领域，公开了一种残差神经网络在线训练架构及存储压缩与计算加速方法，移除了批归一化运算模块，包括前向传播模块和反向传播模块两个部分，所述前向传播模块和反向传播模块均包含两个加法偏置Bias，一个卷积层Conv，一个乘法算子Multiplier，和一个激活层ReLu。本发明专利技术能够大幅降低功耗，提升处理速度。更重要的是，因为删去了批归一化中的平方根运算，深度神经网络在线学习芯片的设计可以大大简化。除此之外，该方法已被证明在批量样本较少的小批量在线训练中更具优势。该发明专利技术专为降低网络训练中卷积和批归一化的高计算成本而设计，在资源有限设备上的在线训练中有广阔应用前景。练中有广阔应用前景。练中有广阔应用前景。

【技术实现步骤摘要】
残差神经网络在线训练架构及存储压缩与计算加速方法


[0001]本专利技术属于计算机
，尤其涉及一种残差神经网络在线训练架构及存储压缩与计算加速方法。

技术介绍

[0002]现有的深度残差神经网络在计算资源充足时表现出了强大的性能，但在计算资源有限时则不能表现出理想的效果，甚至当下大多数个人电脑都已经无法实现深度神经网络的有效训练。
[0003]深度残差神经网络的训练往往需要大批量数据作为并行输入，同时要求高精度的浮点数以保证训练的性能和精度。针对深度残差神经网络的在线训练的计算加速和压缩存储方法主要围绕着数据量化的算法的优化。
[0004]而应用常见的量化方式往往需要付出很大的性能下降的代价，这是因为在数据分布不平均时常用的离散化方法不能较好的表达出原数据的分布，造成离散化过程中的大量信息缺失。因此现有的残差神经网络算法大多使用量化算法来优化前向传播时的模型的调用，而针对残差神经网络的在线训练方法依旧有很多探索的空间。

技术实现思路

[0005]本专利技术目的在于提供一种残差神经网络在线训练架构及存储压缩与计算加速方法，以解决上述的技术问题。
[0006]为解决上述技术问题，本专利技术的一种残差神经网络在线训练架构及存储压缩与计算加速方法的具体技术方案如下：
[0007]一种残差神经网络在线训练架构，移除了批归一化运算模块，包括前向传播模块和反向传播模块两个部分，所述前向传播模块和反向传播模块均包含两个加法偏置Bias，一个卷积层Conv，一个乘法算子Multiplier，和一个激活层ReLu，所述前向传播模块用于进行一个加法偏置Bias、一个卷积层Conv、一个乘法算子Multiplier、一个加法偏置Bias和一个激活层ReL的运算，所述反向传播模块用于进行一个激活层ReL、一个加法偏置Bias、一个乘法算子Multiplier、一个卷积层Conv和一个加法偏置Bias的运算。
[0008]本专利技术还公开了一种残差神经网络在线训练架构的存储压缩与计算加速方法，包括如下步骤：
[0009]步骤1：前向传播，经过加法偏置运算、卷积运算、乘法运算、加法偏置运算和激活运算后完成前行传播过程；
[0010]步骤2：反向传播，经过激活运算、加法偏置运算、乘法运算、一个卷积运算和加法偏置运算完成反向传播。
[0011]进一步地，所述步骤1包括如下具体步骤：
[0012]在第l个基本结构块中，输入的x
l0
先经过了一个加法运算后输出被整形化到k
a
位x
l1
；x
l1
进一步与量化到k
w
位的w
l
进行卷积运算，输出被整形化到k
a
位x
l2
；x
l2
与权重为γ
l
相
乘之后对位宽为k
a
+k
γ
‑
1的输出x
l3
在进行一次加法运算，得到位宽为k
a
+k
γ
‑
1的整形数x
l4
，最后x
l4
通过了激活函数RELU并且再次使用Q
a
量化到k
a
位。
[0013]进一步地，所述步骤2包括如下具体步骤：
[0014]步骤2.1：参数的量化；
[0015]步骤2.2：更新权重；
[0016]步骤2.3：浮点数整形化；
[0017]步骤2.4：根据不同参数的数据分布和作用制定离散化策略。
[0018]进一步地，所述步骤2.1包括如下具体步骤：
[0019]在反向传播时k
e
位整型数的第l层的误差e
l0
输入；通过Relu层后的计算得误差e
l1
，其中b
l2
的梯度为经过e
l1
量化函数Q
g
(.)的结果；e
l2
与x
l2
的乘积为乘法算子γ
l
的梯度，对其使用Q
g
(.)量化到k
g
位之后则获得了γ
l
整形化的梯度同样的，得到卷积层权重w
l
的梯度
[0020]进一步地，所述步骤2.2包括如下具体步骤：
[0021]更新权重时，对所有参数使用相同的更新策略，对于学习率和参数z，权重更新值u及其整形化方案如公式所示：
[0022][0023]进一步地，所述参数z是乘法权重γ，偏置的权重b，或者卷积层的权重w。
[0024]进一步地，所述步骤2.3包括如下具体步骤：
[0025]采用的浮点数整形化函数方法如下：对于神经网络图像处理算法中的参数张量x，和离散化后的位宽k，使用函数将浮点数张量归一化后离散为定点数，CQ(.)进一步将Q(.)的结果的范围进行控制，限定在k位宽可以表达的空间之内，Clamp(.)表示超出限定的边界的数值向左右边界取整，
[0026][0027][0028]使用的SQ(.)是在CQ(.)的基础上增加了放缩算子，该放缩算子scale(.)用最接近浮点数张量x绝对值最大值的定点数来估计浮点数张量x绝对值最大值，当x数值较小时引入scale(.)使得离散化估计的精度提升，
[0029][0030][0031]进一步地，所述步骤2.4包括如下具体步骤：
[0032]根据不同参数的数据分布和作用，乘法算子γ
l
和其梯度使用了带有放缩算子的量化方法SQ(.)；加法算子b
l
及其梯度卷积权重w
l
及其梯度激活函数后的输出x
l
以及误差e
l
使用量化方法CQ(.)。
[0033]本专利技术的一种残差神经网络在线训练架构及存储压缩与计算加速方法具有以下优点：
[0034]本专利技术相较于传统32
‑
bit浮点数的深度残差神经网络，能够大幅降低功耗，提升处理速度。更重要的是，因为删去了批归一化中的平方根运算，深度神经网络在线学习芯片的设计可以大大简化。除此之外，该方法已被证明在批量样本较少的小批量在线训练中更具优势。该专利技术专为降低网络训练中卷积和批归一化的高计算成本而设计，在资源有限设备上的在线训练中有广阔应用前景。
附图说明
[0035]图1为本专利技术的前向传播示意图；
[0036]图2为本专利技术的反向传播示意图。
具体实施方式
[0037]为了更好地了解本专利技术的目的、结构及功能，下面结合附图，对本专利技术一种残差神经网络在线训练架构及存储压缩与计算加速方法做进一步详细的描述。
[0038]本专利技术的一种残差神经网络在线训练架构，移除了批归一化运算模块，能够在计算资源有限的设备上进行在线训练。残差神经网络在线训练架构包括前向传播模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种残差神经网络在线训练架构，其特征在于，移除了批归一化运算模块，包括前向传播模块和反向传播模块两个部分，所述前向传播模块和反向传播模块均包含两个加法偏置Bias，一个卷积层Conv，一个乘法算子Multiplier，和一个激活层ReLu，所述前向传播模块用于进行一个加法偏置Bias、一个卷积层Conv、一个乘法算子Multiplier、一个加法偏置Bias和一个激活层ReL的运算，所述反向传播模块用于进行一个激活层ReL、一个加法偏置Bias、一个乘法算子Multiplier、一个卷积层Conv和一个加法偏置Bias的运算。2.一种如权利要求1所述的残差神经网络在线训练架构的存储压缩与计算加速方法，其特征在于，包括如下步骤：步骤1：前向传播，经过加法偏置运算、卷积运算、乘法运算、加法偏置运算和激活运算后完成前行传播过程；步骤2：反向传播，经过激活运算、加法偏置运算、乘法运算、一个卷积运算和加法偏置运算完成反向传播。3.根据权利要求2所述的残差神经网络在线训练架构的存储压缩与计算加速方法，其特征在于，所述步骤1包括如下具体步骤：在第l个基本结构块中，输入的x
l0
先经过了一个加法运算后输出被整形化到k
a
位x
l1
；x
l1
进一步与量化到k
w
位的w
l
进行卷积运算，输出被整形化到k
a
位x
l2
；x
l2
与权重为γ
l
相乘之后对位宽为k
a
+k
γ
‑
1的输出x
l3
在进行一次加法运算，得到位宽为k
a
+k
γ
‑
1的整形数x
l4
，最后x
l4
通过了激活函数RELU并且再次使用Q
a
量化到k
a
位。4.根据权利要求2所述的残差神经网络在线训练架构的存储压缩与计算加速方法，其特征在于，所述步骤2包括如下具体步骤：步骤2.1：参数的量化；步骤2.2：更新权重；步骤2.3：浮点数整形化；步骤2.4：根据不同参数的数据分布和作用制定离散化策略。5.根据权利要求4所述的残差神经网络在线训练架构的存储压缩与计算加速方法，其特征在于，所述步骤...

【专利技术属性】
技术研发人员：李国齐，杨玉宽，裴京，陈恒努，孟子阳，
申请(专利权)人：清华大学，
类型：发明
国别省市：