基于逐层网络二值化的压缩方法技术

本发明专利技术提供了一种基于逐层网络二值化的压缩方法，包括：构建浮点型的深度卷积神经网络；按照所述深度卷积神经网络的层级深度的相反顺序由深及浅地将网络中的参数逐层二值化，直至所述深度卷积神经网络中的所有层级均被二值化，得到二值化的深度卷积神经网络；通过所述二值化的深度卷积神经网络进行行人检测。从而实现了网络的压缩与加速，又有效地解决了由于网络量化造成的大幅度的精度损失的问题。

Compression method based on two value network of layer by layer network

The present invention provides a compression method based on layer-by-layer network binarization, which includes: constructing a floating-point deep convolution neural network; binarizing the parameters of the network from depth to shallowness in the reverse order of the depth of the depth convolution neural network to all levels of the depth convolution neural network. The binarized deep convolution neural network is obtained by binarization, and pedestrian detection is carried out by the binarized deep convolution neural network. Thus, the compression and acceleration of the network are realized, and the problem of large precision loss caused by network quantization is effectively solved.

【技术实现步骤摘要】
基于逐层网络二值化的压缩方法
本专利技术涉及图像处理
，具体地，涉及基于逐层网络二值化的压缩方法。
技术介绍
行人检测旨在将图像中的行人检测出来，并准确输出候选框的位置及分数。行人检测在计算机视觉领域具有极其广泛的应用：如智能监控，车辆辅助驾驶，智能机器人及人体行为分析等。近年来，随着深度学习方法的流行，深度卷积神经网络已经成为解决行人检测，行人再识别，语义分割等众多任务的先进的技术。为了提高检测的精度，研究人员普遍趋向于使用更深更宽的神经网络。然而这些基于卷积神经网络的方法需要进行大量的浮点型运算，并且网络模型占用的存储空间较大，因此对应用设备具有很高的要求。例如，获取2012年ImageNet物体分类比赛的AlexNet网络模型具有61兆参数，模型大小超过200兆。使用该模型进行一次图像分类需要进行约十亿次浮点型运算。在检测领域广泛使用的VGG-16网络的模型大小超过500兆，进行一次分类需要约四百亿次浮点型运算。巨大的运算需求及存储需求使得基于卷积神经网络的检测算法难以被部署到资源受限平台上，如嵌入式设备及手机等移动端。在这种情况下，如何实现网络压缩，降低计算量，加快检测本文档来自技高网...

【技术保护点】
1.一种基于逐层网络二值化的压缩方法，其特征在于，包括：构建浮点型的深度卷积神经网络；按照所述深度卷积神经网络的层级深度的相反顺序由深及浅地将网络中的参数逐层二值化，直至所述深度卷积神经网络中的所有层级均被二值化，得到二值化的深度卷积神经网络；通过所述二值化的深度卷积神经网络进行行人检测。

【技术特征摘要】
1.一种基于逐层网络二值化的压缩方法，其特征在于，包括：构建浮点型的深度卷积神经网络；按照所述深度卷积神经网络的层级深度的相反顺序由深及浅地将网络中的参数逐层二值化，直至所述深度卷积神经网络中的所有层级均被二值化，得到二值化的深度卷积神经网络；通过所述二值化的深度卷积神经网络进行行人检测。2.根据权利要求1所述的基于逐层网络二值化的压缩方法，其特征在于，所述构建浮点型的深度卷积神经网络，包括：利用YOLOv2检测框架实现行人检测，通过误差反向传播算法训练得到浮点型的深度卷积神经网络。3.根据权利要求2所述的基于逐层网络二值化的压缩方法，其特征在于，所述利用YOLOv2检测框架实现行人检测，通过误差反向传播算法训练得到浮点型的深度卷积神经网络，包括：步骤S11：输入图像，通过前向传播过程计算得出深度卷积神经网络中的各单元值；其中，在前向传播过程中，深度卷积神经网络各层级的各节点单元激活值的计算公式如下：式中，z(i)表示第i层节点单元的值，由输入值与卷积核相乘和偏置值相加得到；a(i)表示第i层节点经过激活函数f()后的激活值，W(i-1)及b(i-1)分别表示第i-1层上的卷积核及偏移值；z(i+1)表示第i+1层节点单元的值，由输入值与卷积核相乘和偏置值相加得到；a(i+1)表示第i+1层节点经过激活函数f()后的激活值，W(i)及b(i)分别表示第i层上的卷积核及偏移值；f()表示激活函数，包括ReLU函数；其中，ReLU函数为：f(x)＝max(0,x)步骤S12：求解深度卷积神经网络的代价函数式中，y表示网络最后一层的输出，若网络包含L层参数，则y＝aL，O表示训练样本的标准值，E表示损失值，aL表示第L层网络的激活值；步骤S13：通过反向传播过程由代价函数求解各层各单元的残差值，其中，输出第l层单元的残差值为：式中：δ(l)表示第l层单元的残差值，z(l)表示第l层节点单元的值，f′()表示激活函数的导数；对于l＝2,3,...,n-1各层，用sl表示第l层的节点数，则l层i单元的残差值为：式中：表示第l层上第i个节点单元的残差值，表示第l层上第i个节点单元的值，表示第l+1层上第j个节点单元的残差值，表示连接...

【专利技术属性】
技术研发人员：徐奕，倪冰冰，庄丽学，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31