一种用于卷积神经网络的正则化方法技术

本发明专利技术揭示了一种用于卷积神经网络的正则化方法，利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。应用本发明专利技术该优化的正则化方法，在增加有限的计算开销下，赋予了自启发式和目的性，能使得卷积神经网络的训练结果对图像特征的利用更广泛，对样本各种有辨识力特征的捕捉更准确且全面。更准确且全面。更准确且全面。

【技术实现步骤摘要】
networks from overfitting,
”ꢀ
Journal of Machine Learning Research, 2014.[7] Golnaz Ghiasi, Tsung
‑
Yi Lin, and Quoc V. Le,
ꢀ“
Dropblock: A regularization method for convolutional networks,
”ꢀ
in Advances in Neural Information Processing Systems, NeurIPS 2018.[8] Jonathan Tompson, Ross Goroshin, Arjun Jain, YannLeCun, and Christoph Bregler,
ꢀ“
Efficient object localizationusing convolutional networks,
”ꢀ
in IEEE Conferenceon Computer Vision and Pattern Recognition,CVPR 2015.[9] Jie Hu, Li Shen, and Gang Sun,
ꢀ“
Squeeze
‑
andexcitationnetworks,
”ꢀ
in IEEE Conference on ComputerVision and Pattern Recognition, CVPR 2018.[10] Sanghyun Woo, Jongchan Park, Joon
‑
Young Lee, andIn So Kweon,
ꢀ“
CBAM: convolutional block attentionmodule,
”ꢀ
in 15th European Conference on ComputerVision (ECCV 2018).[11] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba,“Learning deep features for discriminative localization,”in IEEE Conference on Computer Vision andPattern Recognition (CVPR), 2016.[12] Zhihao Ouyang, Yan Feng, Zihao He, Tianbo Hao, TaoDai, and Shu
‑
Tao Xia,
ꢀ“
Attentiondrop for convolutionalneural networks,
”ꢀ
in IEEE International Conference onMultimedia and Expo, ICME 2019。

技术实现思路

[0006]本专利技术的目的旨在提出一种用于卷积神经网络的正则化方法，以解决用于卷积神经网络的正则化技术在使用过程中的遮挡区域完全随机而导致的不稳定，进而造成特征过强或过弱正则而导致的模型训练效果不理想。
[0007]本专利技术实现上述目的的技术解决方案是：一种用于卷积神经网络的正则化方法，其特征在于：利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。
[0008]上述用于卷积神经网络的正则化方法，进一步地，S1中，采用全局平均池化的方法将每个特征映射的空间信息并聚合成通道向量，表示为，其中U为前一个卷积层输出的特征图，记为，H、W分别为特征图的高度和宽度，C为通道数，再通过将通道向量中的各个元素送入共享网络生成通道注意地图，捕捉通道依赖关系，表示为，而后对通道注意地图中的所有值进行排序，并根据丢弃概率选择以topK的值作为依据选定目标通道。
[0009]S2中定位主要目标的重要特征使用基于最大像素位置替换空间注意力机制，首先
定位各层特征图中最大像素点（a，b），根据丢弃块尺寸k计算得到目标区域边界，然后根据S1所得目标通道和目标区域的边界计算得到模板，输出面向下一卷积层的特征图，使用模板并归一化特征，表达为：，其中，和表示第个元素，表示单元数，表示值为“1”的单元数，表示点乘运算。
[0010]应用本专利技术优化的正则化方法的技术解决方案，具备突出的实质性特点和显著的进步性：该方法在增加有限的计算开销下，提出了启发式、有目的性的正则化措施，能使得卷积神经网络的训练结果对图像特征的利用更广泛，对样本各种有辨识力特征的捕捉更准确且全面。
附图说明
[0011]图1为本专利技术用于卷积神经网络的正则化方法的流程示意图。
[0012]图2为本专利技术相对现有技术的结果展示及对比示意图。
具体实施方式
[0013]以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握，从而对本专利技术的保护范围做出更为清晰的界定。
[0014]鉴于计算机视觉中的注意力机制可以很好地从特征中突出各空间或通道维度的重要性[9,10]。由此，本专利技术提出在正则化技术中引入注意力机制的思想，通过为正则化技术添加自动启发式思维，从空间和通道维度改善正则化技术，使其更加智能。以此解决传统正则化技术在使用过程中的遮挡区域完全随机而导致的不稳定，进而造成特征过强或过弱正则而导致的模型训练效果不理想。
[0015]本专利技术该用于卷积神经网络的正则化方法，其特征概述为：利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。举例而说：在对狗这一类别的学习过程中，本正则化技术，定向遮挡狗的主要特征（例如，狗头），从而激励模型学习样本中其他重要特征（狗尾、狗腿等），由此实现对特征的更全面学习，有效改善模型正则化技术对图像特征不稳定遮挡的问题。
[0016]上述S1中主要用于寻找目标通道，给定前一个卷积层的输出U，记为，其中H、W分别为特征图的高度和宽度，C为通道数。采用全局平均池化的方法将每个特征映射的空间信息并聚合成通道向量，这一向量可视作为通过空间维度收缩产生的统计量，而其过程可以表示为，再通过将通道向量中的各个元素送入共享网络生成通道注意地图，捕捉通道依赖关系，表示为，而后对通道注意地图中的所有值进行排序，并根据丢弃概率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于卷积神经网络的正则化方法，其特征在于：利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。2.根据权利要求1所述用于卷积神经网络的正则化方法，其特征在于：S1中，采用全局平均池化的方法将每个特征映射的空间信息并聚合成通道向量，表示为，其中U为前一个卷积层输出的特征图，记为，H、W分别为特征图的高度和宽度，C为通道数，再通过将通道向量中的各个元素送入共享网络生成通道注意地图，捕捉通道依赖关系，表示为，而后对通道注意地图中的所有值进行排序，并根据丢弃概率选择以topK的值作为依据选定目标通道。3.根据权利要求2所述用于卷积神经网络的正则化方法，其特征在于：所述通道向量的聚合操作表达为：，其中表示中第c个元素。4.根据权利要求2所述用于卷积神经网络的正则化方法，其特征在于：所述共享网络由一个参数为的降维层、一个ReLU激活函数、一个参数为的升维层和一个Sigmoid激活函数前后...

【专利技术属性】
技术研发人员：朱徽，赵晓芳，
申请(专利权)人：中科苏州智能计算技术研究院，
类型：发明
国别省市：