一种基于权重注意力提升卷积神经网络性能的方法技术

本发明专利技术公开了一种基于权重注意力提升卷积神经网络性能的方法，其特点是采用归一化统计空间信息量并利用尺度因子生成权重注意力的方法，将权重注意力模块嵌入到不同的CNN架构的卷积神经网络中增强网络模型的特征学习能力，实现网络性能的优化，具体包括：对各中间特征图进行权重注意力的校正和重复嵌入权重注意力的残差卷积块进行重要性特征的提取等步骤。本发明专利技术与现有技术相比具有嵌入任何架构的卷积神经网络模型中提升模型在图像分类等任务上的性能，即插即用，几乎不增加网络开销的情况下获得较大的性能收益，是一款既轻量又高效的注意力机制来优化神经网络，具有广泛的应用前景。应用前景。应用前景。

【技术实现步骤摘要】
一种基于权重注意力提升卷积神经网络性能的方法


[0001]本专利技术涉及计算机视觉和深度学习
，具体地说是一种基于权重注意力提升卷积神经网络性能的方法。

技术介绍

[0002]近年来神经网络和深度学习在计算机视觉和图像分类领域得到广泛应用，其中卷积神经网络(CNN)以其优异的特征表达的能力被广泛运用。由于卷积神经网络常需要堆叠大量卷积层去提取特征，导致神经网络模型会提取较多冗余特征使模型不能很好的辨别重要的和不重要的特征。研究人员通过借鉴人类视觉的注意力机制，对焦点聚集的区域投入更多资源获取所需关注目标的细节信息，从而忽视或抑制其他无用信息。为了改善网络模型把计算资源集中在提取重要的特征上，各种注意力机制比如SENet、ECANet等相继提出用来捕获不同特征，图通道依赖性得到相应重要性权重进行通道校正。但是其中的全局平均池化损失了空间信息，CBAM等注意力机制在加强通道相关性的同时考虑空间维度上的像素依赖关系。
[0003]现有技术的注意力机制嵌入模型之后存在网络参数量增加和训练速度变慢的情况，使得网络模型的性能表现没有得充分提升本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于权重注意力提升卷积神经网络性能的方法，其特征在于采用归一化统计空间信息量并利用尺度因子生成权重注意力的方法，将权重注意力模块嵌入到不同的CNN架构的卷积神经网络中增强网络模型的特征学习能力，实现网络性能的优化，具体包括如下步骤：步骤a：输入图像到卷积神经网络，通过卷积层和池化层进行浅层特征提取及下采样，然后重复堆叠残差连接的卷积块进行深层特征提取，获得含有C个通道的中间特征图X；步骤b：将中间特征图X沿通道维度进行特征分组，得到G组分别含有C/G个通道的特征图X1；步骤c：将各特征图X1分别在空间维度上进行归一化，利用其仿射变换中的尺度因子评估不同特征图的空间信息量，以衡量不同特征图的重要性；步骤d：对尺度因子经过Lp
‑
Norm，进而得到不同特征图的重要性权重因子ω；步骤e：将重要性权重因子ω逐通道分配给各特征图X1后得到特征图X2；步骤f：对每一个特征图X2采用可学习参数α和β进行再校准得到特征图X3，增强特征表达能力，所述可学习参数α和β由下述(a)式随网络一同进行训练：X3＝αX2+β
ꢀꢀ<...

【专利技术属性】
技术研发人员：文颖，李嘉丰，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：