用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法技术

本发明专利技术提供一种用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，使用结构化剪枝方法，将不重要的卷积核整个剔除，可以在任意设备上实现参数压缩和计算加速。为保证目标检测的准确性，通过设计一个通道注意力打分模块来评估网络中各个卷积通道的重要性，在训练中仅保留重要性打分高于既定阈值的通道参与计算。由于打分模块的输出特征谱中抑制了即将被裁剪通道所对应的输出特征的幅值，即训练过程中冗余参数已经被剪去，则仅被保留的参数会参与下一层网络的计算，减轻计算量。本发明专利技术避免了手工设计评价指标；通道注意力打分模块具有即插即用的特性，适应性强；训练过程中非重要参数已经被抑制，极大地减少了细调剪枝网络所需时间。剪枝网络所需时间。剪枝网络所需时间。

【技术实现步骤摘要】
用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法


[0001]本专利技术涉及计算机视觉深度学习技术，特别涉及一种用于自然场景文本检测的基于通道注意力(Channel Attention)的卷积神经网络(Convolutional Neural Networks，CNN)剪枝技术。

技术介绍

[0002]卷积神经网络是在计算机视觉领域广泛使用的算法模型，CNN的出现有效提高了自然场景下文本检测任务的精度。庞大的网络架构设计通常能够显著地提升精度，但同时也带来了更高的内存占用和算力消耗。这一特性导致CNN难以在诸如手机、智能眼镜等资源受限的环境中部署。运用模型剪枝技术削减CNN模型参数与计算量，对于CNN算法在嵌入式设备端的部署有着重要意义。
[0003]模型剪枝算法通常会预训练一个参数稠密模型以取得高精度，再剪除不重要的权重以消除冗余，最后微调剪枝后的模型以恢复性能。剪枝算法的核心在于设计有效的评价体系和指标来评估网络参数的重要程度，用于指导删除冗余参数。常见的参数重要性评价方法有基于权重幅值评价，例如L1范数，基于KL散度评估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于自然场景文本检测的基于通道注意力的卷积神经网络剪枝方法，其特征在于，包括以下步骤：步骤1：预训练用于自然场景文本检测的参数稠密的卷积神经网络；步骤2：在所述卷积神经网络中添加通道注意力打分模块；步骤3：使用自然场景文本检测训练集优化通道注意力打分模块的参数，直至到达预定迭代次数；步骤4：使用自然场景文本检测测试集获得通道注意力打分模块中各通道的重要性打分；步骤5：统计测试集所有样本下的通道重要性打分，计算重要性打分均值；步骤6：确定阈值；步骤7：将卷积神经网络中重要性均值打分小于阈值的通道所对应的卷积核进行剪枝；步骤8：将剪枝之后的将卷积神经网络作为自然场景文本检测模型；步骤9：使用自然场景文本检测训练集细调自然场景文本检测模型。2.如权利要求1所述方法，其特征在于，通道注意力打分模块包括全局平均池化层、全局最大池化层、卷积层、激活函数模块和缩放模块，其工作步骤包括：1)全局平均池化层接收输入的图像特征谱F，输出各个通道内特征平均值Avg至卷积层...

【专利技术属性】
技术研发人员：何乃宇，李宏亮，周毓轩，谢晶晶，梁悦，刘黛瑶，孟凡满，吴庆波，许林峰，潘力立，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：