一种面向轻量级神经网络的模型优化和压缩方法技术

本发明专利技术公开了一种面向轻量级神经网络的模型优化和压缩方法，首先向原始ReLU函数中加入改进参数对ReLU函数进行改进，并利用链式法则和动量法对所述改进参数进行更新；其次利用ReLU6函数将自门控函数中的Sigmoid函数进行替换，并与改进后的ReLU函数进行融合，得到融合激活函数；最后，根据获取的剔除阈值，自下而上的删除对应数量的卷积核对卷积神经网络模型进行压缩，直至模型精度与参数量平衡，提升轻量级神经网络模型的性能。

【技术实现步骤摘要】
一种面向轻量级神经网络的模型优化和压缩方法
本专利技术涉及卷积神经网络
，尤其涉及一种面向轻量级神经网络的模型优化和压缩方法。
技术介绍
深度学习已经遍布社会每一个角落，对当今人类日常生活产生了深远影响，尤其是卷积神经网络CNN(ConvolutionNeuralNetwork)为代表的深度学习技术，在计算机视觉领域得到了巨大发展，分别在目标检测、图像分类、人体姿态估计等领域都极大超越了传统算法，让它成为了图像分析重要的应用技术。移动互联网的兴盛使手机成为了生活的必需品，移动终端的重要性日趋上升。由于网络模型越来越复杂，在轻量级神经网络问世之前，传统的做法是把模型部署在云端，通过移动终端与云端的交互来实现移动应用场景需求。但是由于数据在传输过程中受到网络延迟、带宽等一系列因素使得这项技术的发展受到限制。近几年，人们移动设备的计算能力和存储能力都有了很大的提高，与此同时轻量级卷积神经网络例如SqueezeNet、ShuffleNet、MobileNet的问世，打破了常规思维。它们的出现使得模型可以直接部署在移动设备上，并且凭本文档来自技高网...

【技术保护点】
1.一种面向轻量级神经网络的模型优化和压缩方法，其特征在于，包括：/n利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新；/n将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数；/n根据获取的剔除阈值对卷积神经网络模型进行压缩。/n

【技术特征摘要】
1.一种面向轻量级神经网络的模型优化和压缩方法，其特征在于，包括：
利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新；
将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数；
根据获取的剔除阈值对卷积神经网络模型进行压缩。


2.如权利要求1所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，包括：
根据获取的原始ReLU函数，对所述原始ReLU函数中自变量小于零的对应的表达式中加入改进参数，同时扩大所述自变量范围至小于或等于零，并利用链式法则对所述训练参数进行更新。


3.如权利要求1所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，还包括：
根据链式法则计算出改进后的ReLU函数对应的梯度表达式，结合对应的权值共享变量，得到所述训练参数的梯度表达式，并结合动量法对所述训练参数进行更新。

【专利技术属性】
技术研发人员：徐增敏，赵汝文，陈凯，丁勇，唐梅军，刘建伟，蒙儒省，罗劲锋，
申请(专利权)人：桂林电子科技大学，桂林安维科技有限公司，
类型：发明
国别省市：广西;45