一种双注意力机制下的深度网络困难样本生成方法及应用技术

本发明专利技术公开了一种新的用于深度学习的困难样本的生成方法及应用，设计一种双向注意力机制自动生成困难样本，有助于深度模型跳出局部最优解，使模型的鲁棒性更强。该方法的注意力机制不仅能够强调突出前景目标，同时能够在一定程度上避免背景杂波的影响，使得遮挡的区域更加集中且生成的困难样本更具有对抗性，进而可提高了深度网络目标识别精度。

【技术实现步骤摘要】
一种双注意力机制下的深度网络困难样本生成方法及应用
本专利技术涉及一种双注意力机制下的深度网络困难样本生成方法，属于人工智能

技术介绍
深度学习的方法需要增加训练样本的多样性来提高模型的泛化能力，缓解过拟合现象。然而，对于大多数识别任务来说，收集一个大的数据集是比较困难的问题。数据增强是一个值得考虑的替代方法，不需要人工标注大量的图片。通常的数据扩充方法包括随机裁剪、镜像图像以及图像抖动等，参考文献[1-2]。近来，对抗生成网络的发展为模型引入额外的扩充数据带来了可靠的选择，参考文献[3-4]。但是通常来说，使用对抗生成网络进行数据扩充需要额外的数据集，因为需要利用额外数据集的风格或姿态等信息生成训练集可利用的数据集。为了在增加样本数量的同时，增强样本对网络的约束力，人们开始研究困难样本的生成。文献[5]在网络的输入图片中随机擦除一些区域避免网络陷入过拟合从而使得网络更加鲁棒。但是另一方面，随意遮挡样本有可能给网络增加噪音，从而使得网络收敛得更慢。文献[6]利用滑动窗口生成困难样本池，根据不同的困难样本本文档来自技高网...

【技术保护点】
1.一种深度网络困难样本生成方法，其特征在于，包括如下步骤：/nS01、获取训练集图像，将训练集图像I

【技术特征摘要】
1.一种深度网络困难样本生成方法，其特征在于，包括如下步骤：
S01、获取训练集图像，将训练集图像Ik，k＝1,2,...,N输入基础网络ResNet-50，提取来自conv5_3层的特征其中W×H为特征F的高和宽，C为F的通道数，N为训练集图像数量；
S02、建立空间注意机制，得到空间注意权重矩阵
S03、建立通道注意机制，得到通道注意向量ac；
S04、逐步应用通道注意向量ac和空间注意权重矩阵as生成双注意力加强特征，完成将空间注意机制与通道注意机制融合，得到双注意力加强特征
S05、利用Grad-cam对双注意力加强特征进行处理，得到对应于Ik的关注热图，并利用OTSU算法对关注热图进行二值化操作，得到关注二值图片Bk，k＝1,2,...,N；
S06、对于每一张Bk，k＝1,2,...,N，选取其最大的连通域，在对应的原图Ik，k＝1,2,...,N上将该连通域对应像素的灰度值置为0，即生成双注意机制下的困难样本Jk，k＝1,2,...,N。


2.根据权利要求1所述的一种深度网络困难样本生成方法，其特征在于，步骤S02具体为：
(1)提取来自conv5_3层的特征F；
(2)提取特征F中空间位置l＝(x,y)处的空间特征
(3)空间位置l＝(x,y)处的注...

【专利技术属性】
技术研发人员：化春键，王珊珊，陈莹，李祥明，钱春俊，裴佩，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32