【技术实现步骤摘要】
一种基于通道剪枝的卷积神经网络压缩方法
本专利技术属于计算机视觉领域，涉及深度学习技术，特别是涉及一种基于通道剪枝的卷积神经网络压缩方法。
技术介绍
近年来，深度学习在视觉领域取得了飞速的发展，越来越多的高精度模型被相继提出。然而，随着模型的层数越来越深，对于计算和存储的要求也越来越高。例如VGG16有1亿3千多万参数，需要近150亿次浮点运算才能完成一次图像识别任务。而在实际应用中，常常面临资源受限的问题，因此必须对网络模型进行压缩和加速。目前已经有很多模型压缩和加速的方法，对卷积层进行通道剪枝是其中最常用的一种方法。这一类方法不会破坏原有的模型结构，原来模型的参数可以不加修改的直接应用于新的模型，因此实现起来较为容易，也不依赖于具体的硬件和第三方库。但是剪枝方法也相对较为粗放，容易破坏模型的泛化能力，造成模型质量的急剧下降。现有的剪枝方法通常没有考虑卷积层之间的敏感性差异，或是需要根据经验设置每一层的剪枝比例，造成剪枝的效果不理想，灵活性较差，带来了很大的应用困难。
技术实现思路
为解决上述问...
【技术保护点】
1.一种基于通道剪枝的卷积神经网络模型压缩方法，其特征在于，包括如下步骤：/n第一步，计算模型中所有卷积层特征图的平均激活，并按平均激活对每一层的特征图进行排序；/n第二步，选择每一个卷积层中平均激活最小的特征图中，对模型最终损失影响最小的特征图，从模型中将其剪除对应的通道；/n第三步，判断模型的准确率是否低于某一阈值T，若低于该阈值，则对基准模型进行微调，直至其收敛，返回第一步；/n第四步，判断剪枝的比例是否达到预设的比例R，若没有达到，则返回第二步，否则执行第五步；/n第五步，重新对模型进行微调，恢复准确率。/n
【技术特征摘要】
1.一种基于通道剪枝的卷积神经网络模型压缩方法，其特征在于，包括如下步骤：
第一步，计算模型中所有卷积层特征图的平均激活，并按平均激活对每一层的特征图进行排序；
第二步，选择每一个卷积层中平均激活最小的特征图中，对模型最终损失影响最小的特征图，从模型中将其剪除对应的通道；
第三步，判断模型的准确率是否低于某一阈值T，若低于该阈值，则对基准模型进行微调，直至其收敛，返回第一步；
第四步，判断剪枝的比例是否达到预设的比例R，若没有达到，则返回第二步，否则执行第五步；
第五步，重新对模型进行微调，恢复准确率。
2.根据权利要求1所述的基于通道剪枝的卷积神经网络模型压缩方法，其特征在于，第一步中特征图平均激活的计算方法为：
假设样本集的数量为N，卷积层输入矩阵为a∈RN×H×W×C，H、W和C分别为特征图的高、宽，和通道的数量；则第k个通道对应的特征图的平均激活为：
。
<...
【专利技术属性】
技术研发人员：王慧青，焦越，余厚云，李坤宇，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。