一种卷积神经网络通道剪枝方法技术

本发明专利技术公开了一种卷积神经网络通道剪枝方法，本发明专利技术将拓扑学关系引入特征图分析，建立了隐层输出特征图关系与拓扑关系的映射，不仅可以应用于卷积神经网络，对于所有以深度神经网络为基础的更深层次网络，甚至所有隐层存在高相关性的深层次网络，都具有简单且有效的剪枝作用，使通道剪枝算法得以广泛运用于各类深层次网络设计，降低计算设备的硬件要求。降低计算设备的硬件要求。

【技术实现步骤摘要】
一种卷积神经网络通道剪枝方法


[0001]本专利技术涉及网络剪枝
，具体提供一种基于隐层特征图拓扑相关性的卷积神经网络通道剪枝方法。

技术介绍

[0002]深度学习在文本识别、图像分类和语音处理等方面性能卓越，已成为解决具有复杂特征的数据分类问题的主要方法之一。作为深度学习的重要分支，卷积神经网络对结构性数据具有良好的特征提取能力。理论上，复杂程度较高的隐层可以获取数据的全部特征。受限于计算资源的有限性，复杂程度较高的隐层需要计算海量数据，对硬件的需求较高。因此，根据实际问题来合理优化卷积神经网络的模型结构至关重要，尤其是在性能和计算损耗之间取得合理的平衡。在精简结构的同时尽可能保留性能，对卷积神经网络的轻量化与移动部署具有重要的研究意义。
[0003]通道剪枝是一种降低模型计算时间和空间复杂度的方法。这种方法通过精简预训练模型结构，去除冗余通道，来达到提高模型拟合速度并降低计算量的目的。
[0004]现有的通道剪枝方法主要有：
[0005]1.面向卷积核权重剪枝，统计不同通道卷积核的权重矩阵的数学指标，如最大值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络通道剪枝方法，其特征在于，包括以下步骤：步骤1：获取隐层输出特征图并调整结构：通过预训练卷积神经网络获得目标数据集的各层隐层输出特征图，当隐层输出特征图的纹理清晰时，增加预训练的卷积神经网络深度，直至隐层输出特征图出现纹理模糊；步骤2：逐层建立卷积神经网络的拓扑结构并完成剪枝；步骤3：分析隐层输出特征图的拓扑关系：对不同通道的隐层输出特征图进行相关性分析，利用隐层输出特征图之间的相关性确定对应通道拓扑关系；步骤4：建立拓扑结构并筛选待剪枝对象：以全部通道作为拓扑点，以对应通道拓扑关系确定拓扑点的连接，筛选拓扑结构中拓扑关系密集的拓扑块对应的通道作为待剪枝对象；步骤5：设置剪枝评价函数并完成剪枝过程：获取待剪枝对象后，设置剪枝评价函数量化所有待剪枝对象，提取预训练卷积神经网络的权重和偏置参数，移除量化值较低的待剪枝对象的权重和偏置参数；步骤6：参数导入与模型重新拟合：经过通道剪枝处理，将保留的权重和偏置参数导入结构对应的精简卷积神经网络，完成精简卷积神经网络对目标数据集的重新拟合，由此实现结构精简并且尽可能保留预训练卷积神经网络的性能，当获取的层剪枝完成后，进入下一层的剪枝，直至所有层剪枝完成。2.如权利要求1所述的卷积神经网络通道剪枝方法，其特征在于，所述步骤1具体步骤如下：步骤1.1：隐层输出特征图可视化：将目标数据集在预训练卷积神经网络中的数据输出转换为可视化图像，利用可视化图像观察图像纹理在隐层中的变化；步骤1.2：隐层深度调整：当隐层输出特征图的纹理清晰时增加预训练卷积神经网络的深度，直至隐层输出特征图出现纹理模糊。3.如权利要求1所述的卷积神经网络通道剪枝方法，其特征在于，所述步骤3具体步骤如下：步骤3.1：隐层输出特征图的相关性量化：n个通道对应的隐层输出特征图集合为{X
i
}
i＝1,2,3..n
，且隐层输出特征图X
i
是大小为r*r的图像，将每个隐层输出特征图的像素矩阵按行展平为一维向量，展平后的一维向量形式为：y
i
＝con(([1 0 0...0]
1*r
*X
i
)，([0 1 0...0]
1*r
*X
i
)，......([0 0 0...1]
1*r
*X
i
))
ꢀꢀꢀꢀꢀ
(1)其中，y
i
...

【专利技术属性】
技术研发人员：邵海见，刘健，邓星，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：