SAR舰船识别跨模态域迁移学习、识别方法及系统技术方案

本发明专利技术公开了一种SAR舰船识别跨模态域迁移学习、识别方法及系统，属于人工智能与合成孔径雷达目标识别技术领域，解决现有技术中的图像转换生成的图像质量不佳的问题。本发明专利技术对源域光学数据集中的光学舰船图像和目标域SAR数据集中的SAR舰船图像进行预处理；基于CycleGAN的特征编码器和特征解码器构建连接特征编码器和特征解码器的密集连接特征转换器和轻量化注意力机制模块，得到轻量化生成器网络模型，基于一个进行OPT2SAR任务的轻量化生成器网络模型、一个进行SAR2OPT任务的轻量化生成器网络模型和鉴别器得到ADCG网络；将预处理得到的源域光学数据集和目标域SAR数据集对ADCG网络进行训练，并用于光学舰船图像的伪SAR图像。本发明专利技术用于图像转换和SAR舰船目标识别。别。别。

【技术实现步骤摘要】
SAR舰船识别跨模态域迁移学习、识别方法及系统


[0001]一种SAR舰船识别跨模态域迁移学习、识别方法及系统，用于图像转换和SAR舰船目标识别，属于人工智能与合成孔径雷达目标识别


技术介绍

[0002]合成孔径雷达(SAR)和光学传感器是目前使用最广泛的地球观测传感器，二者具有不同的成像能力。光学图像因数据获取途径简单、图像内容易于理解和标记，具有大样本数据量特点。SAR作为一种主动式微波遥感技术，不受气候和自然环境因素影响，具有全天时、全天候穿透云层探测的能力以及长时间稳定连续地获取地表信息的优势，因此SAR在各个领域具有广泛应用，SAR舰船自动目标识别(Automatic Target Recognition，ATR)技术作为SAR图像解译的重要分支，也因在海洋监测、海洋运输管理等方面的重要价值而受到了广泛关注。目前随着深度学习的发展，基于卷积神经网络(CNN)的方法，如VGG16、ResNet系列、DenseNet、MobileNet、InceptionNet、EfficientNet等网络，基于CNN强大的特征表达能力，通过数据驱动的方式在舰船ATR领域取得了显著成功。
[0003]尽管基于卷积神经网络的SAR舰船目标识别方法已经取得了显著的成效，但是他们任然需要大量的标记数据来训练分类器。SAR传感器提供的视觉信息不如光学传感器丰富，图像中存在大量的斑点噪声，人类视觉不能适应微波散射现象，难以理解复杂的散射特性，使得解译SAR图像获得标记样本需要依靠专家知识，并且大规模SAR舰船数据集的目标标记非常耗时，因此具有小样本数据量、类别不平衡的特点。SAR舰船ATR技术在训练样本稀缺的现状之下，基于深度学习网络模型的训练任务变得十分困难，对舰船识别的准确性产生了巨大的影响。
[0004]为了在不增加模型复杂度的前提下提高舰船识别精度，基于迁移学习的舰船识别任务热度逐渐上升。利用迁移学习的方法实现光学舰船数据和SAR舰船数据的联合分析，进行域知识转移，可以有效地解决SAR舰船ATR深度学习网络模型有效标记样本稀缺、类别不平衡的问题，提升舰船ATR精度。
[0005]不幸的是，对于光学和SAR这类不同的交叉模态域，源域和目标域之间的显著数据分布差异可能无法在低层中传输，会导致非常严重的域失配问题。为了解决域失配问题，一些学者提出了域自适应方法，对源域和目标域的数据进行对齐以确保二者有相似的概率分布。另外一些学者提出了通过建立映射实现跨模态域转移的方法，通过跨域映射，源域中的图像获得目标域的特征，减少异构图像之间的非线性差异，这种方法被称为图像到图像的转换(Image
‑
to
‑
Image Translation，I2IT)，其中,基于生成对抗网络(GAN)的方法取得了很好的效果。在本案中，我们旨在通过转移光学域知识来解决SAR域有效标记样本数量少以及类别不平衡的挑战。由于光学域和SAR域这类不同的交叉模态域显著的数据分布差异，当前的光学舰船图像识别方法不能直接应用于SAR图像，尚待解决的主要问题如下所述：(1)与光学图像不同，SAR图像没有颜色和亮度信息，而主要包括纹理、结构和形状信息。(2)特征对齐的方法虽然可以减少特征的离散性，但是因为光学和SAR成像机制不同，域差异较
大，不适合在低层共享特征空间进行传输。
[0006]由于上述各种挑战，要实现光学域到SAR域的跨模态域知识迁移任务并不容易，但GAN的出现为光学到SAR(OPT2SAR)的图像转换提供了新思路。然而，目前多数基于GAN的图像转换方法都受到监督学习和需要成对训练样本的条件限制，例如，条件生成对抗网络(cGAN)、Pix2Pix。实际上，在舰船识别领域当中，成对的光学图像数据与遥感图像数据是很难获得的。无监督的图像转换模型，例如，CycleGAN、UGATIT、DualGAN和DiscoGAN，不需要成对的训练图像，降低了舰船切片数据的获取难度。CycleGAN作为无监督非成对图像转换任务中最著名的方法，将循环一致性损失和身份损失引入到原始GAN的损失函数中，使循环一周生成的图像与原始图像具有较高的相似性，在无监督非成对图像转换任务中展现了出色的翻译效果。
[0007]上述基于CycleGAN网络的对抗学习方法用于光学图像之间的转换，实现光学域到SAR域的舰船跨模态域知识迁移任务，即在OPT2SAR的舰船图像转换任务中CycleGAN网络却仍然存在一些技术问题：(1)光学数据集中舰船岸基背景复杂，干扰了CycleGAN网络对舰船主体特征的快速提取；并且光学数据集与SAR数据集的舰船主体在画面中的占比比例不同，CycleGAN网络在图像转换的过程中无法解决源域和目标域舰船主体尺度不一的问题。(2)由9个残差块堆叠而成的CycleGAN生成器网络结构复杂、参数量大，需要耗费大量训练时间，也会导致特征冗余。在目前提出的二阶段舰船ATR迁移学习方法中，第一阶段往往都直接使用CycleGAN做像素级域知识迁移，没有考虑到上述问题并对CycleGAN做适用于舰船ATR的网络改进。
[0008]综上所述，采用CycleGAN网络(即直接使用开源生成对抗网络)实现光学域到SAR域的图像转换(即实现舰船OPT2SAR跨模态域知识迁移任务)存在如下技术问题：
[0009]1.图像转换生成的图像质量不佳，或复杂岸基背景会干扰舰船主体的图像转换，从而影响后续舰船分类精度的问题；
[0010]2.网络结构复杂、参数量大，需要耗费大量训练时间，也会导致特征冗余，从而造成对资源需求要求高的问题。

技术实现思路

[0011]本专利技术的目的在于提供一种SAR舰船识别跨模态域迁移学习、识别方法及系统，解决现有技术中的图像转换生成的图像质量不佳，或复杂岸基背景会干扰舰船主体的图像转换，从而影响后续舰船分类精度的问题。
[0012]为了实现上述目的，本专利技术采用的技术方案为：
[0013]一种SAR舰船识别跨模态域迁移学习方法，包括如下步骤：
[0014]S1、对源域光学数据集中的光学舰船图像和目标域SAR数据集中的SAR舰船图像进行预处理；
[0015]S2、基于CycleGAN的特征编码器和特征解码器构建连接特征编码器和特征解码器的密集连接特征转换器和轻量化注意力机制模块，得到轻量化生成器网络模型，基于一个进行OPT2SAR任务的轻量化生成器网络模型、一个进行SAR2OPT任务的轻量化生成器网络模型和鉴别器得到ADCG网络；
[0016]S3、将预处理得到的源域光学数据集中的光学舰船图像和目标域SAR数据集中的
SAR舰船图像同时输入ADCG网络对其进行训练，并利用训练好的ADCG网络生成待转换的光学舰船图像的伪SAR图像。
[0017]进一步，所述步骤S1的具体步骤为：
[0018]S1.1、利用线性插值方法将获取的源域光学数据集中的各光学舰船图像统一到256*256大小；
[0019]S1.2、基于源域光学数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SAR舰船识别跨模态域迁移学习方法，其特征在于，包括如下步骤：S1、对源域光学数据集中的光学舰船图像和目标域SAR数据集中的SAR舰船图像进行预处理；S2、基于CycleGAN的特征编码器和特征解码器构建连接特征编码器和特征解码器的密集连接特征转换器和轻量化注意力机制模块，得到轻量化生成器网络模型，基于一个进行OPT2SAR任务的轻量化生成器网络模型、一个进行SAR2OPT任务的轻量化生成器网络模型和鉴别器得到ADCG网络；S3、将预处理得到的源域光学数据集中的光学舰船图像和目标域SAR数据集中的SAR舰船图像同时输入ADCG网络对其进行训练，并利用训练好的ADCG网络生成待转换的光学舰船图像的伪SAR图像。2.根据权利要求1所述的一种SAR舰船识别跨模态域迁移学习方法，其特征在于，所述步骤S1的具体步骤为：S1.1、利用线性插值方法将获取的源域光学数据集中的各光学舰船图像统一到256*256大小；S1.2、基于源域光学数据集中的各光学舰船图像的大小，先对获取的目标域SAR数据集中的各SAR舰船图像中心裁剪为128*128大小，再利用线性插值方法将裁剪后的图像放大到256*256大小。3.根据权利要求2所述的一种SAR舰船识别跨模态域迁移学习方法，其特征在于：所述密集连接特征转换器包括依次相连接的三个DenseBlock块，第一个DenseBlock块包括依次相连接的BasicBlock块与两个BottleneckBlock块，BasicBlock块包括一个Conv层，BottleneckBlock块包括依次相连接的1x1Conv层和3x3Conv层，以及将1x1Conv层卷积前和3x3Conv层卷积后的特征通道进行拼接的Concat操作，其中，DenseBlock块表示密集块，BasicBlock块表示基础块，BottleneckBlock块表示瓶颈块；所述第二个DenseBlock块和第三个DenseBlock块分别包括依次相连接的三个BottleneckBlock块。4.根据权利要求3所述的一种SAR舰船识别跨模态域迁移学习方法，其特征在于，所述轻量化注意力机制模块包括CAM子模块和SAM子模块，CAM子模块的输入为密集连接特征转换器的输出，SAM子模块的输出与其输入逐元素相乘的结果为特征解码器的输入，SAM子模块的输入为CAM子模块的输出与其输入逐元素相乘的结果，CAM子模块表示通道注意模块，SAM子模块表示空间注意模块；CAM子模块包括平均池化层和最大池化层，分别与平均池化层和最大池化层相连接的具有多个隐藏层的多层感知器，对多层感知器输出的结果使用逐元素求和来合并输出特征向量，即得到通道注意力图；SAM子模块包括依次相连接的最大池化层和平均池化层，对平均池化层的输出进行拼接的卷积层，和对卷积层输出的结果进行编码，即得到空间注意力图。5.根据权利要求4所述的一种SAR舰船识别跨模态域迁移学习方法，其特征在于，所述ADCG网络中轻量化生成器网络模型和鉴别器的博弈形式的表达为：
其中，G代表轻量化生成器网络模型，D代表判别器，即鉴别器，E代表期望，v～P
r
(v)代表真实数据v及其数据分布P
r
(v)，z～P
g
(z)代表伪数据z及其特定概率分布P
g
(z)，min
G
max
D
V(D,G)表示轻量化生成器网络模型和鉴别器之间的最大最小博弈；ADCG网络的总损失函数表达为：L
OPT2SAR
‑
GAN
＝αL
GAN
+βL
cycle
+γL
identity
其中，α、β和γ分别表示L
GAN
、L
cycle
和L
identity
的权重；对抗性博弈形成的OPT2SAR过程描述如下:其中，G
O
→
S
表示OPT2SAR任务对抗性博弈形成过程中的轻量化生成器网络模型，OPT2SAR任务表示将光学舰船图像转换为伪SAR图像，D
SAR
表示真实SAR图像和伪SAR图像的鉴别器，{x
SAR
～X
SAR
}、{X
opt
～X
opt
}分别表示预处理后得到的源域光学数据集和目标域SAR数据集，x
SAR
和x
opt
表示分别来自源域光学数据集和目标域SAR数据集中的光学舰船图像和SAR舰船图像；周期一致性损失函数定义为:其中，G
S
→
O
(G
O
→
S
(x
opt
))≈x
opt
和G
O
→
S
(G
S
→
O
(x
SAR
))≈x
SAR
，G
S
→
O
表示SAR2OPT任务对抗性博弈形成过程中的轻量化生成器网络模型，SAR2OPT任务表示将SAR舰船图像转换为伪光学图像；身份损失函数为:6.一种SAR舰船识别跨模态域迁移识别方法，其特征在于：根据权利要求1
‑
5任意一项得到的伪SAR图像扩充目标域SAR数据集，并基于扩充后的目标域SAR数据集训练VGG16、ResNet50和MobileNet三个分类网络进行待识别SAR舰船图像中的SAR舰船目标识别。7...

【专利技术属性】
技术研发人员：高贵，代钰曦，刘佳，姚力波，段定峰，刘涛，张晰，李恒超，郁文贤，
申请(专利权)人：航天东方红卫星有限公司，
类型：发明
国别省市：