一种用于卷积神经网络的正则化方法技术

本发明专利技术揭示了一种用于卷积神经网络的正则化方法，利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。应用本发明专利技术该优化的正则化方法，在增加有限的计算开销下，赋予了自启发式和目的性，能使得卷积神经网络的训练结果对图像特征的利用更广泛，对样本各种有辨识力特征的捕捉更准确且全面。更准确且全面。更准确且全面。

【技术实现步骤摘要】
networks from overfitting,
”ꢀ
Journal of Machine Learning Research, 2014.[7] Golnaz Ghiasi, Tsung
‑
Yi Lin, and Quoc V. Le,
ꢀ“
Dropblock: A regularization method for convolutional networks,
”ꢀ
in Advances in Neural Information Processing Systems, NeurIPS 2018.[8] Jonathan Tompson, Ross Goroshin, Arjun Jain, YannLeCun, and Christoph Bregler,
ꢀ“
Efficient object localizationusing convolutional networks,
”ꢀ
in IEEE Conferenceon Computer Vision and Pat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于卷积神经网络的正则化方法，其特征在于：利用通道和空间注意力机制，以定向化地使用基于丢弃的正则化方法，包括步骤：S1、对应一个卷积层的特征图，使用注意力模块寻找目标通道；S2、选择与目标通道相对应的原始特征所映射的目标区域，定位主要目标的重要特征；S3、在后训练中定向遮挡重要特征，激励模型主动学习除遮挡的重要特征外更多有辨识力的次要特征。2.根据权利要求1所述用于卷积神经网络的正则化方法，其特征在于：S1中，采用全局平均池化的方法将每个特征映射的空间信息并聚合成通道向量，表示为，其中U为前一个卷积层输出的特征图，记为，H、W分别为特征图的高度和宽度，C为通道数，再通过将通道向量中的各个元素送入共享网络生成通道注意地图，捕捉通道依赖关系，表示为，而后对通道注意地图中的所有值进行排序，并根据丢弃概率选择以topK的值作为依据选定目标通道。3.根据权利要求2所述用于卷积神经网络的正则化方法，其特征在于：所述通道向量的聚合操作表达为：，其中表示中第c个元素。4.根据权利要求2所述用于卷积神经网络的正则化方法，其特征在于：所述共享网络由一个参数为的降维层、一个ReLU激活函数、一个参数为的升维层和一个Sigmoid激活函数前后...

【专利技术属性】
技术研发人员：朱徽，赵晓芳，
申请(专利权)人：中科苏州智能计算技术研究院，
类型：发明
国别省市：