一种利用生成对抗网络批量合成特定角度SAR图像的方法技术

本发明专利技术公开了一种利用生成对抗网络批量合成特定角度SAR图像的方法，包括以下步骤：S1、设定生成网络G，从隐空间Z随机采样得到的随机n维向量Z映射为不同尺度的SAR图片I，所有的SAR图片构成空间J；S2、设定针对SAR图片的多尺度判别网络J

【技术实现步骤摘要】
一种利用生成对抗网络批量合成特定角度SAR图像的方法


[0001]本专利技术涉及图像处理
，具体的说是一种利用生成对抗网络批量合成特定角度SAR图像的方法。

技术介绍

[0002]生成对抗网络(GAN,Generative Adversarial Networks)，由生成网络和判别网络组成，生成网络用于拟合目标数据分布，判别网络用于衡量生成网络生成的数据分布与真实数据分布的差异。当前，学者们已经就GAN完成了许多超分辨率，文字图像转换等领域的研究。GAN在计算机视觉领域的核心应用是生成图像数据集，包括数字、签名、人脸、室外场景等对象。此外，GAN在图像复原、图像去雾和雨滴及自然语言处理等前沿领域也有优秀的应用。
[0003]GAN已成为计算机视觉中新的科研热点。对比传统方法，GAN无需依赖标签数据，而是经由模型自身内部的对抗以优化参数。但GAN的训练过程中难以达到纳什均衡，使其训练过程比较困难。丘成桐团队在低维情况下只对判别网络进行训练和优化而后导出了生成网络的显示解，且论证了WGAN的训练方式并没有得到最优解。为了解决该问题，Rodfird提出DCGAN，通过实验枚举生成网络和判别网络框架，获得一组较好的网络结构，但并没有从根本解决问题。Mart
í
nArjovsky等人提出WGAN，解决了GAN训练不稳定的问题，基本解决了原有GAN模型的模式崩溃，训练不稳定等问题。此后IshaanGulrajani等人提出WGAN
‑
GP，WGAN
‑
GP解决了WGAN中可能的梯度消失或梯度爆炸的隐患。
[0004]为了进一步提高生成图像的质量，Karras提出StyleGAN，一种结合了风格迁移的GAN模型。StyleGAN能稳定地生成高质量、高分辨率的图像。但对于SAR图像识别软件进行测试和择优时，需要模拟和已有图像角度不一致的图像，且SAR图像固有的相干斑噪声增加了该问题的难度。
[0005]在深度学习时代之前，大多数SAR图像模拟技术都是基于光线追踪或光栅化方法。为了模拟高质量的图像，此类方法通常需要专业知识为每个目标手动构建精确的计算机辅助绘图(CAD)模型，这增加了时间和经济成本。随着深度学习算法的发展，逐渐使用生成模型来模拟SAR图像，通过支持向量机和主成分分析得到目标SAR图像。此外，还有使用条件GAN(DCGAN)来模拟SAR图像。然而，这些方法主要有两个缺点：1)所采用的GAN的结构对于SAR图像过于平凡，难以产生高质量的模拟结果；2)无法准确地根据所需角度模拟特定的SAR图像。

技术实现思路

[0006]本专利技术的目的在于提出了一种利用生成对抗网络批量合成特定角度SAR图像的方法，该方法根据SAR图片的特性精心设计了一种新颖的生成对抗网络(GAN)结构和高效的SAR目标图像模拟算法，可以根据给定方位角生成高分辨率目标。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]一种利用生成对抗网络批量合成特定角度SAR图像的方法，包括以下步骤：
[0009]S1、设定生成网络G，从隐空间Z随机采样得到的随机n维向量Z映射为不同尺度的SAR图片I，所有的SAR图片构成空间J；
[0010]S2、设定针对SAR图片的多尺度判别网络J
→
R，输出输入图片为真实图片的概率；
[0011]S3、利用生成对抗网络在图像空间训练，使生成网络能模拟真实的SAR图片；
[0012]S4、解耦生成网络，获得和SAR图片方位角这一语义相关的方向向量n及边界向量Z
inf
；
[0013]S5、利用生成网络G、方向向量n及边界向量Z
inf
，批量合成特定方位角的SAR图像序列。
[0014]优选地，步骤S1通过以下步骤实现：
[0015]S11、采用多尺度生成网络结构，并去除第一层的输入噪声；
[0016]S12、对输入的隐向量Z进行仿射变换，仿射变换的公式如下：
[0017]G1(Z)＝Vz+b
[0018]其中,V是一个矩阵，b是一个t维偏置向量，G1：R
k
→
R
t
作为特征解纠缠变换，将k
‑
维潜在空间Z投影到t
‑
维特征空间其中，χ为语义空间，X∈χ为语义向量，χ的每个维度独立地控制生成图像的一个语义；
[0019]S13、将语义向量X发送到生成模块，不同尺度的生成模块依序组成整个生成网络，生成模块的所有输入都包含相同的语义向量，且第一个生成模块合成图像具有来自语义向量的最低分辨率m0×
m0，中间的生成模块接收由前一个生成模块生成的图像并将其与语义向量X组合在一起合成具有更高分辨率的图像，最后一个生成模块模拟具有目标分辨率的图像，其采用的公式如下：
[0020][0021][0022]其中，i代表生成模块的序号，指最低分辨率m0的图像，S指语义向量，B0(S)指初始生成模块及其输入语义向量S，指分辨率为2
i
m0的图片，指第i个生成模块及其输入语义向量S和图片
[0023]S14、通过每个生成模块中关键子模块Adain将语义向量X
i
归一化，再通过特征y
i
的相应标量进行缩放和偏置，通过关键子模块Adain融合语义向量和特征图，控制生成图像的风格，关键子模块Adain为：
[0024][0025]其中，AdaIN(X
i
,y)指AdaIN模块，y
s,i
指第i层输入语义向量方差，y
b,i
指第i层输入语义向量均值，X
i
指第i层输入的特征图，μ指均值计算，α指方差计算。
[0026]优选地，步骤S2中所述多尺度判别网络与生成网络对称，是一个多尺度分类器，其由若干判别模块构成；所述判别模块由针对SAR图像的表征结构DMAM和若干卷积层构成；所述表征结构DMAM由下述公式描述：
[0027]M
i
＝S
i
(A(F7×7(I)))
[0028][0029]其中，F7×7是内核大小为7
×
7的2D卷积，A是一个自注意力模块，S
i
是内核大小为2i+1的可变形卷积；使用F,A,S
i
得到三张具有不同空间信息M1到M3的特征图；表示张量连接算子，P是ASPP模块，U是最终的特征图，即DMAM的输出，使用大写字母H表示DMAM，并采用上述两个函数来融合空间信息；
[0030]基于表征结构DMAM，不同尺度的判别模块表示为：
[0031]Y1＝K(H(I1)),i＝1
[0032]Y
i
＝K(αH(I
i
)+(1
‑
α)R
i
(Y
i
‑1)),i＞1...

【技术保护点】

【技术特征摘要】
1.一种利用生成对抗网络批量合成特定角度SAR图像的方法，其特征在于，包括以下步骤：S1、设定生成网络G，从隐空间Z随机采样得到的随机n维向量Z映射为不同尺度的SAR图片I，所有的SAR图片构成空间J；S2、设定针对SAR图片的多尺度判别网络J
→
R，输出输入图片为真实图片的概率；S3、利用生成对抗网络在图像空间训练，使生成网络能模拟真实的SAR图片；S4、解耦生成网络，获得和SAR图片方位角这一语义相关的方向向量n及边界向量Z
inf
；S5、利用生成网络G、方向向量n及边界向量Z
inf
，批量合成特定方位角的SAR图像序列。2.如权利要求1所述的一种利用生成对抗网络批量合成特定角度SAR图像的方法，其特征在于，步骤S1通过以下步骤实现：S11、采用多尺度生成网络结构，并去除第一层的输入噪声；S12、对输入的隐向量Z进行仿射变换，仿射变换的公式如下：G1(Z)＝Vz+b其中,V是一个矩阵，b是一个t维偏置向量，G1：R
k
→
R
t
作为特征解纠缠变换，将k
‑
维潜在空间Z投影到t
‑
维特征空间其中，χ为语义空间，X∈χ为语义向量，χ的每个维度独立地控制生成图像的一个语义；S13、将语义向量X发送到生成模块，不同尺度的生成模块依序组成整个生成网络，生成模块的所有输入都包含相同的语义向量，且第一个生成模块合成图像具有来自语义向量的最低分辨率m0×
m0，中间的生成模块接收由前一个生成模块生成的图像并将其与语义向量X组合在一起合成具有更高分辨率的图像，最后一个生成模块模拟具有目标分辨率的图像，其采用的公式如下：其采用的公式如下：其中，i代表生成模块的序号，指最低分辨率m0的图像，S指语义向量，B0(S)指初始生成模块及其输入语义向量S，指分辨率为2
i
m0的图片，指第i个生成模块及其输入语义向量S和图片S14、通过每个生成模块中关键子模块Adain将特征图X
i
归一化，再通过语义向量y
i
的相应标量进行缩放和偏置，通过关键子模块Adain融合语义向量和特征图，控制生成图像的风格，关键子模块Adain为：其中，AdaIN(X
i
,y)指AdaIN模块，y
s,i
指第i层输入语义向量方差，y
b,i
指第i层输入语义向量均值，X
i
指第i层输入的特征图，μ指均值计算，α指方差计算。3.如权利要求2所述的一种利用生成对抗网络批量合成特定角度SAR图像的方法，其特征在于，步骤S2中所述多尺度判别网络与生成网络对称，是一个多尺度分类器，其由若干判别模块构成；所述判别模块由针对SAR图像的表征结构DMAM和若干卷积层构成；所述表征结
构DMAM由下述公式描述：M
i
＝S
i
(A(F7×7(I)))其中，F7×7是内核大小为7
×
7的2D卷积，A是一个自注意力模块，S
i
...

【专利技术属性】
技术研发人员：王连生，胡利平，高洁，周联昱，
申请(专利权)人：厦门大学，
类型：发明
国别省市：