【技术实现步骤摘要】
本申请的实施例涉及网络压缩，特别涉及一种卷积神经网络的剪枝方法。
技术介绍
1、网络剪枝技术是深度神经网络中备受关注的压缩方法之一，其凭借简单易行和显著的效果而受到青睐。滤波器剪枝是网络剪枝技术的一个可行方案，滤波器剪枝专注于消除卷积神经网络中的冗余卷积核或通道，从而实现神经网络参数规模的降低。通过巧妙选择需要剪枝的滤波器，滤波器剪枝技术可以在保持模型准确性的同时显著减少参数量和计算量，从而实现对神经网络的压缩。此外，通过减少参数量和相应的计算需求，滤波器剪枝使模型在推理阶段更加高效，能够很好地适用于在资源有限的环境中部署深度学习模型。这不仅提高了模型的实用性，还在一定程度上减轻了对硬件资源的需求。值得注意的是，滤波器剪枝并不依赖于专用的硬件或软件支持，其可以在现有深度学习库的基础上实现。因此，采用滤波器剪枝的模型无需额外的设备或技术支持，更易于在不同的环境和平台上应用和部署。
2、目前大量的滤波器剪枝研究主要关注于冗余滤波器的识别。公开号为cn113657594a的中国专利公开了一种软滤波器剪枝的方法，其不仅考虑了滤波器自身的绝对距离也考虑了滤波器的分布信息来进行剪枝。公开号为cn116451771a的中国专利公开了一种图像分类卷积神经网络压缩方法及芯粒器件数据分配方法，综合考虑了滤波器的输入影响因子和输出影响因子来进行剪枝。这些方案通过评估单个滤波器的信息丰富度来探索滤波器的输入输出的影响，从而达到模型压缩的目。
3、然而，本申请的专利技术人发现，上述方案未能全面评估卷积神经网络的整体信息结构，这导致
技术实现思路
1、本申请的实施例的主要目的在于提出一种卷积神经网络的剪枝方法，旨在对卷积神经网络进行科学剪枝，降低模型的计算负担，实现模型的轻量化，同时确保剪枝后的模型的性能不会显著下降。
2、为实现上述目的，本申请的实施例提出了一种卷积神经网络的剪枝方法，包括：将样本数据输入至目标模型中，逐层逐滤波器地执行卷积操作，得到所述目标模型的各层的各滤波器输出的特征图；其中，所述目标模型是基于卷积神经网络构建的模型，所述滤波器用于表征卷积核；遍历所述目标模型的各层的各滤波器，将当前滤波器输出的特征图展平，根据所述当前滤波器对应的展平后的特征图，计算所述当前滤波器的内部特征活跃度；基于闵氏距离，计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度，并根据所述当前滤波器对应的展平后的特征图与所述当前滤波器同一层的其他滤波器对应的展平后的特征图之间的特征差异度，确定所述当前滤波器的替代性得分；基于所述当前滤波器的内部特征活跃度和替代性得分，确定所述当前滤波器的重要性得分，并根据预设的剪枝率和所述当前层的各滤波器的重要性得分，对所述当前层进行剪枝；在完成对所述目标模型的各层的剪枝后，得到所述目标模型的轻量化模型。
3、为实现上述目的，本申请的实施例还提出了一种卷积神经网络的剪枝装置，包括：卷积操作执行模块、滤波器内部活跃性选择器、滤波器间替代性选择器、重要性得分计算模块和剪枝执行模块；所述卷积操作执行模块用于将样本数据输入至目标模型中，逐层逐滤波器地执行卷积操作，得到所述目标模型的各层的各滤波器输出的特征图；其中，所述目标模型是基于卷积神经网络构建的模型，所述滤波器用于表征卷积核；所述滤波器内部活跃性选择器用于遍历所述目标模型的各层的各滤波器，将当前滤波器输出的特征图展平，根据所述当前滤波器对应的展平后的特征图，计算所述当前滤波器的内部特征活跃度；所述滤波器间替代性选择器用于基于闵氏距离，计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度，并根据所述当前滤波器对应的展平后的特征图与所述当前滤波器同一层的其他滤波器对应的展平后的特征图之间的特征差异度，确定所述当前滤波器的替代性得分；所述重要性得分计算模块用于基于所述当前滤波器的内部特征活跃度和替代性得分，确定所述当前滤波器的重要性得分；所述剪枝执行模块用于根据预设的剪枝率和所述当前层的各滤波器的重要性得分，对所述当前层进行剪枝，并在完成对所述目标模型的各层的剪枝后，得到所述目标模型的轻量化模型。
4、本申请的实施例提出的一种卷积神经网络的剪枝方法，在给定目标模型的情况下，通过卷积操作获取目标模型的各层的个滤波器输出的特征图，引入内部活跃性选择器思想和滤波器间替代性选择器思想，分别计算各滤波器对应的内部特征活跃度和替代性得分，综合内部特征活跃度和替代性得分确定各滤波器的重要性得分，根据重要性得分对不重要的滤波器进行剪枝，生成目标模型的轻量化模型。考虑到业内的剪枝技术忽略了滤波器自身的信息量以及滤波器之间特征的相互关系，未能全面评估卷积神经网络的整体信息结构，因此本申请不仅仅从单一视角挖掘滤波器的冗余度，而是全面考虑了滤波器内部信息的丰富性以及滤波器之间的可替代性，从而综合考量滤波器的重要性，移除重要性较低的滤波器，从而实现对卷积神经网络进行科学剪枝，降低模型的计算负担，实现模型的轻量化，同时确保剪枝后的模型的性能不会显著下降。
5、在一些可选的实施例中，所述根据所述当前滤波器对应的展平后的特征图，计算所述当前滤波器的内部特征活跃度，包括：基于所述当前滤波器对应的展平后的特征图中的各像素，计算所述当前滤波器对应的展平后的特征图的特征向量均值；基于所述当前滤波器对应的展平后的特征图的各像素和所述特征向量均值，计算所述当前滤波器对应的展平后的特征图的平均标准差，并将所述平均标准差作为所述当前滤波器的内部特征活跃度。使用当前滤波器对应的展平后的特征图的平均标准差作为当前滤波器的内部特征活跃度，可以很好地反映当前滤波器内部的信息量，可以很好地从当前滤波器自身出发来衡量当前滤波器的重要性。
6、在一些可选的实施例中，所述基于所述当前滤波器对应的展平后的特征图中的各像素，计算所述当前滤波器对应的展平后的特征图的特征向量均值，通过以下公式实现：
7、
8、其中，表示所述当前滤波器对应的展平后的特征图中的第个像素，和分别表示所述当前滤波器对应的展平后的特征图的高和宽，表示所述当前滤波器属于所述目标模型的第层，表示所述样本数据所属的样本批次，表示所述当前滤波器对应的展平后的特征图的特征向量均值；
9、所述基于所述当前滤波器对应的展平后的特征图的各像素和所述特征向量均值，计算所述当前滤波器对应的展平后的特征图的平均标准差，并将所述平均标准差作为所述当前滤波器的内部特征活跃度，通过以下公式实现：
10、
11、其中，表示所述当前滤波器对应的展平后的特征图，即所述目标模型的第层的第个滤波器对应的展平后的特征图，表示所述样本批次的总数，表示所述当前滤波器对应的展平后的特征图的平均标准差，即所述当前滤波器的内部特征活跃度。
12、在一些可选的实施例中，所述基于闵氏距离，计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度，通过以下公式实现：
13、
14本文档来自技高网...
【技术保护点】
1.一种卷积神经网络的剪枝方法，其特征在于，包括：
2.根据权利要求1所述的一种卷积神经网络的剪枝方法，其特征在于，所述根据所述当前滤波器对应的展平后的特征图，计算所述当前滤波器的内部特征活跃度，包括：
3.根据权利要求2所述的一种卷积神经网络的剪枝方法，其特征在于，所述基于所述当前滤波器对应的展平后的特征图中的各像素，计算所述当前滤波器对应的展平后的特征图的特征向量均值，通过以下公式实现：
4.根据权利要求3所述的一种卷积神经网络的剪枝方法，其特征在于，所述基于闵氏距离，计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度，通过以下公式实现：
5.根据权利要求4所述的一种卷积神经网络的剪枝方法，其特征在于，所述基于所述当前滤波器的内部特征活跃度和替代性得分，确定所述当前滤波器的重要性得分，通过以下公式实现：
6.根据权利要求1至5中任一项所述的一种卷积神经网络的剪枝方法，其特征在于，所述根据预设的剪枝率和所述当前层的各滤波器的重要性得分，对所述当前层进行剪枝，包括：
7.根据权利要求1至5中任一项所
8.一种卷积神经网络的剪枝装置，其特征在于，包括：卷积操作执行模块、滤波器内部活跃性选择器、滤波器间替代性选择器、重要性得分计算模块和剪枝执行模块；
...【技术特征摘要】
1.一种卷积神经网络的剪枝方法，其特征在于，包括：
2.根据权利要求1所述的一种卷积神经网络的剪枝方法，其特征在于，所述根据所述当前滤波器对应的展平后的特征图，计算所述当前滤波器的内部特征活跃度，包括：
3.根据权利要求2所述的一种卷积神经网络的剪枝方法，其特征在于，所述基于所述当前滤波器对应的展平后的特征图中的各像素，计算所述当前滤波器对应的展平后的特征图的特征向量均值，通过以下公式实现：
4.根据权利要求3所述的一种卷积神经网络的剪枝方法，其特征在于，所述基于闵氏距离，计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度，通过以下公式实现：
5.根据权利要求4所...
【专利技术属性】
技术研发人员：姚西文，高晨阳，汤恒仁，冯晓绪，程塨，韩军伟，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。