用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法技术

本发明专利技术提供一种用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，使用结构化剪枝方法，将不重要的卷积核整个剔除，可以在任意设备上实现参数压缩和计算加速。为保证目标检测的准确性，通过设计一个通道注意力打分模块来评估网络中各个卷积通道的重要性，在训练中仅保留重要性打分高于既定阈值的通道参与计算。由于打分模块的输出特征谱中抑制了即将被裁剪通道所对应的输出特征的幅值，即训练过程中冗余参数已经被剪去，则仅被保留的参数会参与下一层网络的计算，减轻计算量。本发明专利技术避免了手工设计评价指标；通道注意力打分模块具有即插即用的特性，适应性强；训练过程中非重要参数已经被抑制，极大地减少了细调剪枝网络所需时间。剪枝网络所需时间。剪枝网络所需时间。

【技术实现步骤摘要】
用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法


[0001]本专利技术涉及计算机视觉深度学习技术，特别涉及一种用于自然场景文本检测的基于通道注意力(Channel Attention)的卷积神经网络(Convolutional Neural Networks，CNN)剪枝技术。

技术介绍

[0002]卷积神经网络是在计算机视觉领域广泛使用的算法模型，CNN的出现有效提高了自然场景下文本检测任务的精度。庞大的网络架构设计通常能够显著地提升精度，但同时也带来了更高的内存占用和算力消耗。这一特性导致CNN难以在诸如手机、智能眼镜等资源受限的环境中部署。运用模型剪枝技术削减CNN模型参数与计算量，对于CNN算法在嵌入式设备端的部署有着重要意义。
[0003]模型剪枝算法通常会预训练一个参数稠密模型以取得高精度，再剪除不重要的权重以消除冗余，最后微调剪枝后的模型以恢复性能。剪枝算法的核心在于设计有效的评价体系和指标来评估网络参数的重要程度，用于指导删除冗余参数。常见的参数重要性评价方法有基于权重幅值评价，例如L1范数，基于KL散度评估，模拟退火，重要性采样等直接评价方法。一种常用的间接评估方法是将损失函数的梯度利用权重构造泰勒级数近似，令某一权重为零后损失函数值变化较小，则说明该权重不重要。此外，评估与通道相对应的输出特征图以替代分析卷积通道的重要性也是一类有效的评价方法，例如将输出特征谱的矩阵平均秩作为剪枝依据。
[0004]早期剪枝方法从模型中删除单个参数以获得稀疏化结构从而实现参数压缩，即这类非结构化剪枝方法通常将不重要的参数置为零，模型的参数量并没有下降，想要获得实际的推理加速效果需要特殊的硬件设备支持，难以在现有硬件设备上取得加速效果。一些结构化剪枝方法手工设计重要性评价方式，评价指标通常较为单一，重要性表达能力不足；对于不同网络、不同任务可能需要重新设计有效的评价方式。此外，预训练
‑
剪枝
‑
微调的三步剪枝法，普遍存在训练时间冗长，模型剪枝后会导致目标检测精度会大幅下降的问题，需要耗费时间重新细调剪枝之后的模型来恢复精度。

技术实现思路

[0005]本专利技术所要解决的问题是，提供一种适用于自然场景文本检测任务的，可以极大地节省剪枝微调所需时间的，加快建立用于自然场景文本检测的卷积神经网络的方法。
[0006]本专利技术为解决上述技术问题所采用的技术方案是，用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，包括以下步骤：
[0007]步骤1：预训练用于自然场景文本检测的参数稠密的卷积神经网络；
[0008]步骤2：在所述卷积神经网络中添加通道注意力打分模块；
[0009]步骤3：使用自然场景文本检测训练集优化通道注意力打分模块的参数，直至到达
预定迭代次数；
[0010]步骤4：使用自然场景文本检测测试集获得通道注意力打分模块中各通道的重要性打分；
[0011]步骤5：统计测试集中所有样本下的通道重要性打分，计算重要性打分均值；
[0012]步骤6：确定阈值；
[0013]步骤7：卷积神经网络中卷积核的重要程度使用重要性打分均值来衡量，将卷积神经网络中重要性打分均值小于阈值的通道所对应的卷积核进行剪枝；
[0014]步骤8：将剪枝之后的将卷积神经网络作为自然场景文本检测模型；
[0015]步骤9：使用自然场景文本检测训练集细调自然场景文本检测模型。
[0016]具体的，通道注意力打分模块包括全局平均池化层、全局最大池化层、卷积层、激活函数模块和缩放模块，其工作步骤包括：
[0017]1)全局平均池化层接收输入的图像特征谱F，输出各个通道内特征平均值Avg至卷积层；全局最大池化层接收输入的图像特征谱F，输出各个通道内特征最大值Max至卷积层；
[0018]2)卷积层将各个通道的Avg与Max求和后重新编码得到注意力得分S，输出各个通道的注意力得分S至激活函数；
[0019]3)激活函数对各个通道的注意力得分S重新映射后获得各通道的重要性打分S'；
[0020]4)缩放模块使用各通道的重要性打分S'对图像特征谱F进行加权，将加权结果作为通道注意力打分模块的输出特征F'＝F+F
×
S'。
[0021]本专利技术使用结构化剪枝方法，将不重要的卷积核整个剔除，可以在任意设备上实现参数压缩和计算加速。为保证文本目标检测的准确性，通过设计一个通道注意力打分模块来评估网络中各个卷积通道的重要性，在训练中仅保留重要性打分高于既定阈值的通道参与计算。由于打分模块的输出特征谱中抑制了即将被裁剪通道所对应的输出特征的幅值，即训练过程中冗余参数已经被剪去，则仅被保留的参数会参与下一层网络的计算，减轻计算量。
[0022]本专利技术的有益效果是，以卷积核为最小单位进行结构化剪枝，剪枝后模型可以在现有嵌入式设备上获得内存压缩与推理加速的效果；使用通道注意力机制让网络来学习哪些输出特征不重要，避免了手工设计评价指标；通道注意力打分模块具有即插即用的特性，适用于任意卷积神经网络的剪枝；训练过程中非重要参数已经被抑制，极大地减少了细调剪枝网络所需时间。
附图说明
[0023]图1：通道注意力打分模块结构图。
[0024]图2：DBNet剪枝实验例网络结构示意图。
具体实施方式
[0025]首先对实施例采用的通道注意力打分模块进行说明，具体结构设计如图1所示，包括全局平均池化层Avg Pooling、全局最大池化层Max Pooling、卷积层、tanh激活函数模块和缩放模块Scale；卷积层使用由激活函数ReLU连接的两层尺寸为1
×
1的卷积层Conv。
[0026]通道注意力打分模块工作流程步骤如下：
[0027]将尺寸为H
×
W
×
C的图像特征谱F输入全局平均池化层Avg Pooling，得到尺寸为1
×1×
C的通道内特征平均值向量Avg；
[0028]将尺寸为H
×
W
×
C的图像特征谱F输入全局最大池化层Max Pooling，得到尺寸为1
×1×
C的通道内特征最大值向量Max；
[0029]使用两层尺寸为1
×
1的卷积层对(Avg+Max)进行重新编码，获得注意力得分S；
[0030]tanh激活函数模块使用tanh激活函数和两个超参数α、β对注意力得分S重新映射，调整打分区间范围至(
‑
α+β,α+β)，得到打分S'＝α
×
tanh(S)+β；
[0031]缩放模块Scale使用S'对输入特征谱各个通道的参数分别进行放缩，得到通道注意力打分模块的输出特征谱F'＝F+F
×
S'。
[0032]上述流程中的超参数α和β通常取0.5和
‑
0.5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，其特征在于，包括以下步骤：步骤1：预训练用于自然场景文本检测的参数稠密的卷积神经网络；步骤2：在所述卷积神经网络中添加通道注意力打分模块；步骤3：使用自然场景文本检测训练集优化通道注意力打分模块的参数，直至到达预定迭代次数；步骤4：使用自然场景文本检测测试集获得通道注意力打分模块中各通道的重要性打分；步骤5：统计测试集所有样本下的通道重要性打分，计算重要性打分均值；步骤6：确定阈值；步骤7：将卷积神经网络中重要性均值打分小于阈值的通道所对应的卷积核进行剪枝；步骤8：将剪枝之后的将卷积神经网络作为自然场景文本检测模型；步骤9：使用自然场景文本检测训练集细调自然场景文本检测模型。2.如权利要求1所述方法，其特征在于，通道注意力打分模块包括全局平均池化层、全局最大池化层、卷积层、激活函数模块和缩放模块，其工作步骤包括：1)全局平均池化层接收输入的图像特征谱F，输出各个通道内特征平均值Avg至卷积层...

【专利技术属性】
技术研发人员：何乃宇，李宏亮，周毓轩，谢晶晶，梁悦，刘黛瑶，孟凡满，吴庆波，许林峰，潘力立，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：