一种基于多类别地貌风格迁移的制造技术

本发明专利技术公开了一种基于多类别地貌风格迁移的

【技术实现步骤摘要】
一种基于多类别地貌风格迁移的SAR图像仿真方法


[0001]本专利技术属于航空图像处理
，尤其是涉及一种基于多类别地貌风格迁移的
SAR
图像仿真方法
。

技术介绍

[0002]合成孔径雷达相比于其他遥感手段，其工作能力较强，具有其他遥感手段难以比拟的特点，目前广泛应用
。SAR
图像解译对于
SAR
系统的应用十分重要，
SAR
图像生成技术不仅可以用于欺骗干扰，还可以为后期图像处理研究提供数据等，是诸多
SAR
图像应用领域中的重要环节
。
现实中
SAR
图像解译经常面临数据集不足的问题，而且由于噪声干扰的影响，
SAR
数据集的质量也参差不齐
。
而利用传统方法较难克服干扰的影响和提高生成图像质量，所以研究生成仿真
SAR
图像的新方法是亟待解决的问题
。
[0003]现有的可见光图像到
SAR
图像仿真算法分为基于传统图像处理和基于深度学习的算法两大类，利用传统方法补充
SAR
图像数据集可以对现有的图像进行裁剪
、
加噪等操作来扩充数据，也可以将图像进行分割重建来扩充数据集
。
但通过分割和重构的方式得到的重建图像的效果并不高，不能提升数据集的质量，不是真正意义上的有效扩充方法
。
随着深度学习在图像处理领域的发展，深度生成模型对于生成和处理
SAR
图像数据集可以提供很大的帮助，其中卷积神经网络
(Convolutional Neural Network
，
CNN)
较为常用，成为了构建诸多复杂生成模型的基础，所以应用神经网络搭建针对性的模型来解决实际
SAR
图像分割中的困难十分必要
。
生成对抗模型是目前深度生成模型中最具潜力的代表，通过生成对抗模型可实现不同风格之间的迁移
。
在无监督类别中被认为是最具前景的生成模型，能够得到近似真实的数据，有着以假乱真的效果
。
由于其强大的生成能力，训练稳定，收敛较快，生成样本多样化等优点，所以在数据扩充方面，采用该类模型来进行图像生成，可以更好地节约人力物力资源，故将生成对抗类模型引入
SAR
图像生成领域具有重要意义
。
基于生成对抗的
SAR
图像仿真方法在应用于场景较单一的数据集时表现优异，但在具有多种类别的地貌的复杂场景下的数据集表现较差
。
[0004]在
SAR
成像过程中，不同的地貌会产生多样的差异
。
平坦地貌通常呈现出均匀的回波强度，这是因为平坦的地表反射能量相对均匀，而不同类型的地物例如水体和森林则具有不同的微波反射特征，水体通常呈现出较暗的回波，因为它们能够吸收微波能量，森林则会呈现出散射回波的复杂模式，因为树木和枝叶对微波信号的散射效应
。
地表的粗糙度会导致不同的散射效应，粗糙的地表能够导致较强的散射效应，使得回波信号更强，相反，光滑的地表能够减少散射，导致回波信号较弱
。
而地形变化例如山脉和峡谷则会导致不同方向的微波信号反射回雷达，产生不同的相位差，从而在
SAR
影像中显示出明显的斑驳图案
。
此外，建筑物和人造结构的直角和边缘会呈现为明显的亮点或暗点
。
然而，
SAR
成像还受到其他因素的影响，如观测参数
、
大气条件和土壤湿度等
。
综合这些因素，不同类别的地貌在
SAR
影像中展现出丰富的特点
。
总而言之，
SAR
成像的如此特点，导致不同场景下可见光图像到
SAR
图像仿真的
SAR
图像的特征往往差别较大，直接用生成对抗网络进行处理往往不能兼
顾多个多类别地貌场景，造成
SAR
仿真图像失真
。
[0005]因此，有必要提供一种基于多类别地貌风格迁移的
SAR
图像仿真方法，来解决上述问题
。

技术实现思路

[0006]本专利技术的目的是提供一种基于多类别地貌风格迁移的
SAR
图像仿真方法，通过语义分割的准确分割和处理，能够更好地捕捉复杂场景中不同地貌的细节和特征，它能够针对不同地貌类别进行个别处理，从而更好地模拟每个地貌对应的
SAR
图像
。
通过拼接这些处理后的图像，能够还原出一个与可见光图像相对应的完整
SAR
仿真图像，从而提供更全面
、
准确的数据信息
。
[0007]为实现上述目的，本专利技术提供了一种基于多类别地貌风格迁移的
SAR
图像仿真方法，包括以下步骤：
[0008]S1
：取若干张遥感可见光图像和
SAR
图像分别划分训练集和测试集，并进行预处理；
[0009]S2
：用步骤
S1
中得到的语义分割数据集训练改进的训练语义分割模型；
[0010]S3
：用可见光与
SAR
数据集训练改进的生成对抗模型；
[0011]S4
：用训练好的语义分割模型对遥感图像进行分割，形成若干组不同地貌的图像；
[0012]S5
：对分割后的若干组不同地貌的可见光图像各自用生成对抗模型进行处理，生成对应的若干组不同地貌的
SAR
仿真图像；
[0013]S6
：将生成的若干组不同地貌的
SAR
仿真图像进行拼接，得到完整的仿真图像；
[0014]S7
：对步骤
S6
中得到的拼接后的
SAR
仿真图像进行一系列图像融合处理，得到融合处理后的
SAR
仿真图像；
[0015]S8
：对步骤
S7
中得到的融合处理后的
SAR
仿真图像进行噪声仿真处理，得到最终结果
。
[0016]优选的，在步骤
S1
中，所需数据集以无人机遥感数据为基础，数据来源于无人机拍摄的可见光图像和在相同视角下的
SAR
图像，具体包括以下步骤：
[0017]S11
：将所有图像的尺寸切割为长宽相等的正方形，将数据复制两份；
[0018]S12
：取其中一份，对这一份数据中的可见光图像进行语义分割标注，将可见光与
SAR
两类图像按
9:1
的比例分为训练集和测试集，作为语义分割数据集；
[0019]S13...

【技术保护点】

【技术特征摘要】
1.
一种基于多类别地貌风格迁移的
SAR
图像仿真方法，其特征在于：包括以下步骤：
S1
：取若干张遥感可见光图像和
SAR
图像分别划分训练集和测试集，并进行预处理；
S2
：用步骤
S1
中得到的语义分割数据集训练改进的训练语义分割模型；
S3
：用可见光与
SAR
数据集训练改进的生成对抗模型；
S4
：用训练好的语义分割模型对遥感图像进行分割，形成若干组不同地貌的图像；
S5
：对分割后的若干组不同地貌的可见光图像各自用生成对抗模型进行处理，生成对应的若干组不同地貌的
SAR
仿真图像；
S6
：将生成的若干组不同地貌的
SAR
仿真图像进行拼接，得到完整的仿真图像；
S7
：对步骤
S6
中得到的拼接后的
SAR
仿真图像进行一系列图像融合处理，得到融合处理后的
SAR
仿真图像；
S8
：对步骤
S7
中得到的融合处理后的
SAR
仿真图像进行噪声仿真处理，得到最终结果
。2.
根据权利要求1所述的一种基于多类别地貌风格迁移的
SAR
图像仿真方法，其特征在于：在步骤
S1
中，所需数据集以无人机遥感数据为基础，数据来源于无人机拍摄的可见光图像和在相同视角下的
SAR
图像，具体包括以下步骤：
S11
：将所有图像的尺寸切割为长宽相等的正方形，将数据复制两份；
S12
：取其中一份，对这一份数据中的可见光图像进行语义分割标注，将可见光与
SAR
两类图像按
9:1
的比例分为训练集和测试集，作为语义分割数据集；
S13
：用语义分割标注的结果将另一份数据中可见光图像和
SAR
图像按照不同地貌类别分割为不同的图片，各自按
9:1
的比例分为训练集和测试集，作为对应不同地貌类别的不同的生成对抗数据集
。3.
根据权利要求2所述的一种基于多类别地貌风格迁移的
SAR
图像仿真方法，其特征在于：在步骤
S2
中，具体包括以下步骤：
S21
：对
DeepLabV3+
模型引入注意力机制，加强图像处理过程中分割边缘部分的权重，得到改进的语义分割模型；
S22
：模型改进完成后，输入
S1
中得到的语义分割数据集中的训练集，开始训练；
S23
：训练完成后，使用测试集来评估模型的性能表现，将测试集中的图像输入到训练好的模型中，获得模型对图像的分割预测结果；
S24
：得到预测的结果后，将预测结果与真实的标注进行比较，使用评估指标来评估模型的准确性和泛化能力；
S25
：根据测试结果，进行模型的调优
。4.
根据权利要求3所述的一种基于多类别地貌风格迁移的
SAR
图像仿真方法，其特征在于：在步骤
S3
中，用
S1
的可见光与
SAR
数据集训练改进的生成对抗模型，具体包括以下步骤：
S31
：对
CycleGAN
模型引入
Wasserstein
距离和梯度惩罚项机制，得到一种改进的生成对抗模型；改进后的模型生成器，将图像输入后，首先经过残差网络，提取图像特征，然后进入四个支路，在第一个支路中，经过
reshape
和
transpose
操作，在第二个和第三个支路中，经过
reshape
操作，第四个支路不做处理；对第一个支路和第二个支路的输出结果进行矩阵乘法运算，得到的结果经过
softmax
操作后与第三个支路的输出结果进行矩阵乘法运算，然后经过
reshape
操作，与第四个支路
的数据叠加，最后经过卷积，得到输出图像；整个模型的优化目标如下：其中，
x,y
为输入判别器的图像，
D
A
(
·
),D
B
(
·
)
为判别器输出结果，
G
A
(
·
)
，
G
B
(
·
)
为生成器输出结果，
p
r
为真实数据分布，
p
g
为网络生成数据分布，为分布
p
r
和
p
g
之间的
Wasserstein
距离，
C
·
是判别器网络的梯度，为判别器网络梯度对应的正则化项，参数
λ
i
是梯度惩罚项的系数，：～
p
k
为沿着真实数据分布和网络生成数据分布采样点之间连线上的数据采样点，
·
～
p
dt
(
·
)
为输入数据
·
所服从的概率分布；
S32
：模型改进完成后，输入步骤一中得到的生成对抗数据集中的训练集，开始训练；
S33
：训练过程的时间，取决于数据集的规模和模型的复杂程度，模型训练...

【专利技术属性】
技术研发人员：李红光，孟令捷，李新军，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：