一种结合注意力机制与对抗生成网络的舰船影像生成方法技术

本发明专利技术公开了一种结合注意力机制与对抗生成网络的舰船影像生成方法，包括以下步骤：

【技术实现步骤摘要】
一种结合注意力机制与对抗生成网络的舰船影像生成方法


[0001]本专利技术涉及影像生成领域，特别是一种结合注意力机制与对抗生成网络的舰船影像生成方法
。

技术介绍

[0002]随着遥感技术和人工智能技术的发展，遥感影像目标检测在各行各业应用都极为普遍，遥感影像中的敏感舰船目标获取极为不易
。
在实际深度学习算法应用的过程中，由于样本数量匮乏，限制了现有目标检测算法的实现效果，因此遥感舰船目标扩充方法具有非常重要的现实意义
。
[0003]为了对遥感影像中的舰船目标进行扩充，现有基于对抗神经网络的舰船目标扩充算法存在以下不足：
1.
生成器提取特征的能力不够，导致生成的样本质量较差；
2.
判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；
3.
损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量
。
[0004]中国专利申请
CN116468880A
，提出来一种基于生成对抗网络的
SAR
影像任意方向舰船目标生成方法，包括以下步骤：利用少量包含任意方向舰船目标的
SAR
影像进行预处理；引入任意方向舰船目标位置约束和引入任意方向舰船目标像素值约束，对包含任意方向舰船目标的
SAR
影像并进行位置约束
、
像素值约束的特征提取；对提取的位置约束的特征
、
像素值约束特征和特征向量的特征进行融合，得到融合后的特征图；将融合后的特征图输入到
SAR
影像舰船目标生成网络中，生成任意方向舰船目标的
SAR
影像及其标签；结合
SAR
影像舰船目标的特点，设计损失函数；利用损失函数来训练
SAR
影像任意方向舰船目标生成网络
。
但是该申请仍然存在一定的局限性：
[0005]1.
生成器提取特征的能力不够，导致生成的样本质量较差；
[0006]2.
判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；
[0007]3.
损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量
。
[0008]中国专利申请
CN113936143B
，提出了基于注意力机制和生成对抗网络的影像识别泛化方法，设计了一种多层并行注意力机制模型捕获影像的细节特征，提出了发散数据融合算法提高分类器性能以及设计了扰动正则化实现最大域传递，并结合上述各个部分以及要解决的问题，提出了基于注意力机制和生成对抗网络的影像识别域泛化方法，建立了具有影像识别泛化能力的网络模型
。
但是该申请仍然存在一定的局限性：
[0009]1.
判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；
[0010]2.
损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量
。

技术实现思路

[0011]本专利技术的目的在于提供一种结合注意力机制与对抗生成网络的舰船影像生成方法
。
本专利技术以对抗生成网络为基础，在生成器中添加自注意力模块提取目标特征，在判别器中结合双分支注意力机制提高对生成器生成影像的判别能力输出判别结果，在损失函数中增加正则项加速了收敛，加强了判别器与生成器的相互约束，提高了生成影像的质量
。
[0012]本专利技术为了实现上述目的，采用的技术方案如下：
[0013]一种结合注意力机制与对抗生成网络的舰船影像生成方法，包括以下步骤：
[0014]S1
，训练集中选取真实影像，添加随机噪声，生成影像数据；
[0015]S2
，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像；
[0016]S3
，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断；
[0017]S4
，加入正则项的损失函数根据判别器结果，判断生成器和判别器的平衡状态；
[0018]S5
，当生成器和判别器未达到平衡状态，更新生成器和判别器的参数，重复
S1
到
S4
，直到生成器和判别器达到平衡状态
。
[0019]优选的，所述
S2
中，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像的具体步骤包括：
[0020]S201
，影像数据输入生成器的头部，依次经过主体，输出原特征图；
[0021]S202
，原特征图输入自注意力模块，自注意力模块提取特征图；
[0022]S203
，将自注意力模块提取的特征图与原特征图进行特征组合输出组合特征图；
[0023]S204
，自注意力模块输出的组合特征图，输入尾部，生成影像后输出影像；
[0024]S205
，将生成器的输出影像输入训练集中
。
[0025]优选的，所述
S202
中，自注意力模块提取特征图的具体步骤包括：
[0026]A1
，原特征图经过3个卷积，可以得到三个特征空间映射后的特征；
[0027]A2
，将三个特征空间映射后的特征展开，计算每个区域之间的特征相关性矩阵；
[0028]A3
，通过特征相关性矩阵得到注意力图；
[0029]A4
，根据注意力图计算自注意力模块所提取的特征图
。
[0030]优选的，所述
A2
步骤中，计算每个区域之间的特征相关性矩阵的具体步骤为：
[0031]A201
，计算特征图中所有区域的总数；
[0032]A202
，将三个特征空间映射后的特征展开，得到展开的特征映射；
[0033]A203
，根据
A202
，计算每个区域之间的特征相关性矩阵
。
[0034]优选的，所述
A4
步骤中，计算自注意力模块所提取的特征图的具体步骤为：
[0035]A401
，计算自注意力模块第
j
个区域所提取的特征图；
[0036]A402
，根据
A401
，计算自注意力模块所提取的特征图
。
[0037]优选的，所述
S3
中，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断的具体步骤包括：
[0038]S301
，将真实影像和
S2
中生成器的输出影像输入判别器的头部，依次经过主体，输出特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，包括以下步骤：
S1
，训练集中选取真实影像，添加随机噪声，生成影像数据；
S2
，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像；
S3
，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断；
S4
，加入正则项的损失函数根据判别器结果，判断生成器和判别器的平衡状态；
S5
，当生成器和判别器未达到平衡状态，更新生成器和判别器的参数，重复
S1
到
S4
，直到生成器和判别器达到平衡状态
。2.
根据权利要求1所述的结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，所述
S2
中，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像的具体步骤包括：
S201
，影像数据输入生成器的头部，依次经过主体，输出原特征图；
S202
，原特征图输入自注意力模块，自注意力模块提取特征图；
S203
，将自注意力模块提取的特征图与原特征图进行特征组合输出组合特征图；
S204
，自注意力模块输出的组合特征图，输入尾部，生成影像后输出影像；
S205
，将生成器的输出影像输入训练集中
。3.
根据权利要求2所述的结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，所述
S202
中，自注意力模块提取特征图的具体步骤包括：
A1
，原特征图经过3个卷积，可以得到三个特征空间映射后的特征；
A2
，将三个特征空间映射后的特征展开，计算每个区域之间的特征相关性矩阵；
A3
，通过特征相关性矩阵得到注意力图；
A4
，根据注意力图计算自注意力模块所提取的特征图
。4.
根据权利要求3所述的结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，所述
A2
步骤中，计算每个区域之间的特征相关性矩阵的具体步骤为：
A201
，计算特征图中所有区域的总数；
A202
，将三个特征空间映射后的特征展开，得到展开的特征映射；
A203
，根据
A202
，计算每个区域之间的特征相关性矩阵
。5.
根据权利要求3所述的结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，所述
A4
步骤中，计算自注意力模块所提取的特征图的具体步骤为：
A401
，计算自注意力模块第
j
个区域所提取的特征图；
A402
，根据
A401
，计算自注意力模块所提取的特征图
。6.
根据权利要求1所述的结合注意力机制与对抗生成网络的舰船影像生成方法，其特征在于，所述
S3
中，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断的具体步骤包括：
S301
，将真实影像和
S2
中生成器的输出影像输入判别器的头部，依次经过主体，输出特征图；
S302
，将特征图输入双分支注意力机制的判别器，输出组合特征图；
S303

【专利技术属性】
技术研发人员：谭金林，乔梦雨，刘亚虎，万生阳，
申请(专利权)人：陕西航天技术应用研究院有限公司，
类型：发明
国别省市：