基于二值神经网络的局部激活方法与系统技术方案

一种基于二值神经网络的局部激活方法，前向传播过程中，通过比较中心像素与相邻像素的差值，进而判断局部激活值；前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新。以及提供基于二值神经网络的局部激活系统。本发明专利技术能够有效减少二值激活过程中的信息损失；可以有效减少二值神经网络后向梯度更新过程中的梯度失配，从而提高二值神经网络的性能表现。

【技术实现步骤摘要】
基于二值神经网络的局部激活方法与系统
本专利技术涉及机器学习
，尤其是涉及一种基于二值神经网络的局部激活方法与系统。
技术介绍
深度神经网络是一种深度监督学习下的机器学习模型，通过组合低层特征逐步提取图像的高级特征，在计算机视觉，包括图像分类、物体识别、语义分割与目标跟踪等领域中，得到广泛应用。但是，深度神经网络需要庞大的存储空间与计算资源，这极大的限制了深度神经网络在资源受限的边缘平台上的应用。近些年来，深度神经网络的压缩与加速逐渐成为研究热点，其中，二值神经网络通过将深度神经网络的权重与激活量化为{-1，+1},并将卷积运算替换为同或运算，理论上能够压缩32倍存储空间，实现58倍计算加速。然而，传统的二值神经网络在激活的过程中，由于局部纹理信息的丢失与后向梯度更新的失配，导致二值神经网络的精度较低。
技术实现思路
为了克服二值神经网络激活过程中存在的缺陷，提高二值神经网络的性能，本专利技术提出了基于二值神经网络的局部激活方法与系统。本专利技术解决其技术问题所采用的技术方案是：r>一种基于二值神经本文档来自技高网...

【技术保护点】
1.一种基于二值神经网络的局部激活方法，其特征在于，所述局部激活方法包括：/n前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；/n前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；/n前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图。/n后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。/n

【技术特征摘要】
1.一种基于二值神经网络的局部激活方法，其特征在于，所述局部激活方法包括：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图。
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。


2.如权利要求1所述的基于二值神经网络的局部激活方法，其特征在于，所述的局部激活方法的前向过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值，所述局部激活值的判断方法为：

。
其中，LBAi(x)为所述的特定激活方向上局部激活输出，x表示待激活的中心像素，xi表示与x相邻的第i个像素，并将中心像素x左上角的像素标记为x0，其余相邻像素按顺时针方向进行编号，i＝{0,1,2,...,N-1}，N表示用来构成局部激活输出的相邻像素数量，sign为符号函数。


3.如权利要求1或2所述的基于二值神经网络的局部激活方法，其特征在于，所述前向激活过程中，设置合适的局部激活通道数量及激活方向，得到具备不同激活方向与通道数量的局部激活特征图，在前向激活过程中，所述特征图局部激活方法为：



其中，Fl表示第l层输入特征图，Fl,b表示第l层的局部激活特征图，b表示二值量化，LBAi表示特定激活方向上的局部激活函数，N表示所述的局部激活通道数量，N的取值范围为N＝{1,2,3,...,8}。
N＝1,所述局部激活特征图为：
Fl,b＝LBAi(Fl)，i∈{0,1,2,...,7}；
N＝2,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)，i,j∈{0,1,2,...,7},i≠j；
N＝3,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)，i,j,k∈{0,1,2,...,7},i≠j≠k；
N＝4,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)，i,j,k,l∈{0,1,2,...,N-1},i≠j≠k≠l；
N＝5,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl),
i,j,k,l,m∈{0,1,2,...,N-1},i≠j≠k≠l≠m；
N＝6,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl),
i,j,k,l,m,n∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n；
N＝7,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl)+LB...

【专利技术属性】
技术研发人员：潘赟，惠思琦，朱怀宇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33