一种基于注意力机制的神经网络正则化方法技术

本发明专利技术公开了一种基于注意力机制的神经网络正则化方法。本发明专利技术步骤：(1)批量图像输入和预处理；(2)利用CNN卷积神经网络进行特征提取；(3)利用注意力机制进行关键特征筛选；(4)交换不同目标图像的关键特征；(5)不同图像的关键特征和非关键特征共同组成重构图像的语义信息；(6)设计一种自适应置信度估计方法，判断重构图像的所属类别；(7)利用重构图像对神经网络进行训练得到更准确的训练模型。本发明专利技术通过样本拓充和充分挖掘图像的潜在特征，以提升模型的鲁棒性和整体性能。本发明专利技术的优势在于使用注意力机制指导图像特征自适应重构，适用范围广、模型精确度高、鲁棒性强。鲁棒性强。鲁棒性强。

【技术实现步骤摘要】
一种基于注意力机制的神经网络正则化方法


[0001]本专利技术涉及计算机视觉
，涉及深度学习中的注意力机制与神经网络正则化方法，融合了特征重构与自适应置信度估计的方法。

技术介绍

[0002]近年来，随着深度神经网络的发展，目标识别、语义分割、图文说明等领域深度学习任务越来越复杂化和多样化。面对复杂的任务，更宽的宽度和更深的模型往往会具有更强的表达能力。然而，越大的模型意味着越多的参数量，这需要更多的计算机资源：内存占用、参数、操作计数、推理时间和功耗等。
[0003]特别地，当神经网络达到一定深度后，由于过拟合等原因，精度不再随着深度加深而提升。而越大的模型过越容易拟合，归根结底的原因就是数据样本少、数据完备性不足或难以支撑巨大参数的优化，从而导致训练精度高而测试精度过低的现象。因此，网络正则化技术是一种很好提升模型鲁棒性和整体性能的方法。

技术实现思路

[0004]本专利技术的目的是针对复杂模型训练时由于数据完备性不足而容易引发的过拟合问题，本专利技术设计了一种基于注意力机制的神经网络正则化方法，旨在进行样本拓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的神经网络正则化方法，其特征在于包括以下步骤：步骤1、批量图像的预处理：包括随机裁剪、随机翻转、正则化操作；步骤2、利用权重共享的编码器网络进行特征提取：将预处理后的训练图像输入Resnet模型，从Resnet模型的任意中间层提取高维特征图，该中间层之前的网络即是权重共享的编码器网络，提取到的高维特征图将用于之后的特征重构，特征重构后的特征图将重新输入该中间层之后的网络进行训练；步骤3、利用注意力机制进行关键特征筛选：通过步骤2骤得到高维特征图，将这些高维特征图输入注意力提取网络SENet，利用注意力机制筛选并提取特征图中的关键特征；步骤4、交换不同目标图像的关键特征：随机选取一张特征图上的关键特征替换另一特征图上的关键特征，得到一张新的重构特征图，该重构特征图包含了两张图像目标的信息；步骤5、当前图像的关键特征和另一图像的补充特征共同组成重构图像的语义信息：重构特征图包含了一张特征图上的关键特征和另一特征图上的补充特征；步骤6、设计一种自适应置信度估计方法，判断重构图像的所属类别：新的重构特征图包含了两张图像的目标信息，利用自适应置信度估计的方法，评估重构特征图所属目标类别的概率大小；步骤7、利用重构图像对神经网络进行训练得到更准确的训练模型：通过上述步骤得到了重构特征图及其标签，因此可以使用重构的特征图进行网络训练，充分挖掘神经网络的学习潜力，增强模型鲁棒性。2.根据权利要求1所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤(1)中输入的批量图像可以是任意数据集的。3.根据权利要求1所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤2得到特征图的步骤具体是：将图像输入Resnet模型后，随机选择一中间层进行正则化操作；该中间层之前的网络为权重共享的编码器网络；该中间层的输出就是要提取的批量图像的高维特征图，记为其中c、h、w分别表示特征图的通道数、高、宽。4.根据权利要求3所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤(3)中利用注意力机制进行关键特征筛选的步骤具体是：4

【专利技术属性】
技术研发人员：李建军，李胜炎，周云帆，俞杰，陆奇，唐政，惠国宝，赵露露，田万勇，李新付，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：