有限样本下属性引导的SAR图像生成方法技术

本发明专利技术提供了一种有限样本下属性引导的SAR图像生成方法。主要解决训练样本有限的情况下，现有的SAR图像生成对抗网络容易产生网络崩塌或者生成的仿真图像的真实感较差的问题。本发明专利技术的步骤如下：(1)构建训练集；(2)构建生成器网络；(3)构建判别器网络；(4)构建属性引导的生成对抗网络；(5)训练属性引导的生成对抗网络；(6)使用训练好的属性引导的生成对抗网络生成SAR仿真图像。本发明专利技术可在训练样本数量有限情况下训练属性引导的生成对抗网络，再利用训练好的属性引导的生成对抗网络，生成指定类别和方位角度的SAR图像，且生成的SAR图像的真实性更高。

【技术实现步骤摘要】
有限样本下属性引导的SAR图像生成方法
本专利技术属于雷达
，更进一步涉及雷达遥感图像处理
中的一种有限样本下属性引导的SAR图像生成方法。本专利技术可在训练集中目标域数据集中每类的样本数量有限时，生成指定类别和方位角度的SAR图像。
技术介绍
基于深度神经网络的目标特征提取和识别非常依赖目标数据集中的样本数量，但是获取大量具有标注信息的SAR图像是一件非常费事且昂贵的任务。获取大量SAR图像的方法主要有三种技术手段，一种是传统的基于物理仿真模型的方法，如几何光学逼近、Kirchhoff物理光学方法等方法，这些方法计算过程复杂，消耗极大的内存空间；一种是通过对数据进行平移、剪切、旋转、缩放、添加噪声等方式，增加数据样本的数量；另一种是基于生成对抗网络的图像生成算法，这种方法可以生成逼真且多样的样本图像，具有端到端的优势，但是尚存在以下不足：训练过程中需要大量的训练数据，且容易产生生成图像质量较差的问题。电子科技大学在其拥有的专利技术“一种基于深度卷积生成对抗网络的SAR图像定向生成方法”(专利申请号2018101674160，授权公告号CN108399625B)中提出了一种基于生成对抗网络的SAR图像生成方法。该方法在深度卷积生成对抗网络方法基础上，提出了一种深度卷积生成对抗网络添加方位角判别模型的方法。该方法的具体步骤是，基于SAR目标分割与边缘提取，通过边缘外接最小外接矩形法，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，作为此生成SAR图像目标的方位角。该方法定向生成SAR图像，对于SAR图像数据集的数据扩充起到很大作用。该方法存在的不足之处是：在大量训练样本的基础上，训练生成对抗网络，以此来提高利用训练好的模型生成图像的质量。但是，当训练样本有限的情况下，容易产生网络崩塌或者生成的仿真图像质量较差等问题。西安电子科技大学在其拥有的专利技术“一种高分辨SAR图像的快速仿真方法”(申请号201610330190.2，授权公告号CN105842698B)中提出了一种高分辨SAR图像的快速仿真方法。该方法的具体步骤包括：建立目标场景的三维模型；确定目标场景的成像几何以及所需的采样射线的起点以及方向矢量；对目标场景建立基于bin的SAH-BVH面元划分结构；利用上述的BVH结构进行快速的射线追踪并获取交点信息；确定获取的后向散射能量图；合成最终的SAR图像。该方法能够高效快速的仿真所需目标场景的SAR图像，用于SAR图像的解译以及目标的自动识别。但是该方法仍然存在的不足之处是：首先要建立关于目标的三维模型，但在复杂的外部环境中，需考虑的因素繁多、建模过程较为复杂，导致仿真结果真实感较差，无法准确地获得所需目标场景的SAR图像样本。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出了一种有限样本下属性引导的SAR图像生成方法，旨在解决在训练集中目标域数据集中每类的样本数量有限情况下，训练生成对抗网络时带来的网络崩塌或者生成图像质量较差的问题。本专利技术实现上述目的的思路是：构建一个属性引导的生成对抗网络，生成器网络输入部分不仅包括随机向量，而且加入了图像的类别标签和方位角度信息，使得属性引导的生成对抗网络可以在图像重建过程中加入指定的类别标签和方位角度，生成指定类别标签和方位角度的仿真图像。通过采用少样本学习方法中情景训练的方式，即随机从训练集的全部类别中随机选取的n个类别，每个类别选取m幅SAR图像组成了支撑集，利用支撑集训练属性引导的生成对抗网络，使得本专利技术可以适用于每类的训练样本数量较少的SAR图像。本专利技术的具体步骤包括如下：(1)构建训练集：(1a)提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30；(1b)对SAR数据集中每个类别目标的SAR图像设置类别标签；(1c)将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集；(1d)将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集；(2)构建生成器网络：(2a)搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层；所述归一化层采用BatchNormalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现；(2b)设置生成器网络的每层参数：将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2；将全连接层的神经元个数设置为2048；(3)构建判别器网络：(3a)搭建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层；所述激活函数层均采用LeakyReLU函数实现；(3b)设置判别器网络的每层参数：将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2；将每个激活函数层的LeakyReLU函数的斜率均设置为0.2；将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等；(4)将生成器网络和判别器网络级联成属性引导的生成对抗网络；(5)训练属性引导的生成对抗网络：(5a)从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23；(5b)将支撑集中所有的SAR图像、支撑集中每张SAR图像对应的类别标签、支撑集中每张SAR图像对应的方位角度信息同时输入到判别器网络中，判别器网络对输入的每张SAR图像评估后输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用判别器网络的损失函数计算判别器网络的损失值；(5c)使用梯度下降法，计算每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.00005的Adam优化器更新判别器网络每个卷积层的每个卷积核的权重、全连接层的权重；(5d)生成B个满足正态分布的1×100维的随机向量，B＝n×m；(5e)将随机向量、支撑集中所有SAR图像对应的类别标签、支撑集中所有SAR图像对应的方位本文档来自技高网...

【技术保护点】
1.一种有限样本下属性引导的SAR图像生成方法，其特征在于，构建一个由属性引导的生成对抗网络，在训练集中目标域数据集的样本数量有限的情况下训练属性引导的生成对抗网网络，该方法的具体步骤如下：/n(1)构建训练集：/n(1a)提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30；/n(1b)对SAR数据集中每个类别目标的SAR图像设置类别标签；/n(1c)将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集；/n(1d)将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集；/n(2)构建生成器网络：/n(2a)搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层；/n所述归一化层采用Batch Normalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现；/n(2b)设置生成器网络的每层参数：将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2；/n将全连接层的神经元个数设置为2048；/n(3)构建判别器网络：/n(3a)搭建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层；所述激活函数层均采用Leaky ReLU函数实现；/n(3b)设置判别器网络的每层参数：将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2；将每个激活函数层的LeakyReLU函数的斜率均设置为0.2；将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等；/n(4)将生成器网络和判别器网络级联成属性引导的生成对抗网络；/n(5)训练属性引导的生成对抗网络：/n(5a)从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23；/n(5b)将支撑集中所有的SAR图像、支撑集中每张SAR图像对应的类别标签、支撑集中每张SAR图像对应的方位角度信息同时输入到判别器网络中，判别器网络对输入的每张SAR图像评估后输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用判别器网络的损失函数计算判别器网络的损失值；/n(5c)使用梯度下降法，计算每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.00005的Adam优化器更新判别器网络每个卷积层的每个卷积核的权重、全连接层的权重；/n(5d)生成B个满足正态分布的1×100维的随机向量，B＝n×m；/n(5e)将随机向量、支撑集中所有SAR图像对应的类别标签、支撑集中所有SAR图像对应的方位角度信息分别输入到生成器网络中，输出F幅SAR生成图像，F＝n×m；/n(5f)将F幅SAR生成图像、支撑集中每个SAR图像对应的类别标签、支撑集中每个SAR图像对应的方位角度信息分别输入到判别器网络中，判别器网络对输入的SAR生成图像评估后分别输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用生成器网络的损失函数计算生成器网络的损失值；/n(5g)利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度，使用学习率为0.00005的Adam优化器更新生成器网络每个反卷积层的每个卷积核的权重；/n(5h)判断判别器网络的损失函数和生成器网络的损失函数是否均收敛，若是，则得到训练好的属性引导的生成对抗网络，否则，执行步骤(5a)；/n(6)生成SAR图像：/n生成H个满足正态分布的1×100维的随机向量，将随机向量、P个类别标签、Q个方位角度信息输入到训练好的属性引导的生成对抗网络，输出与类别标签和方位角度信息对应的SAR生成图像，其中，H、P、Q的取值与待生成的SAR图像的数量相等。/n...

【技术特征摘要】
1.一种有限样本下属性引导的SAR图像生成方法，其特征在于，构建一个由属性引导的生成对抗网络，在训练集中目标域数据集的样本数量有限的情况下训练属性引导的生成对抗网网络，该方法的具体步骤如下：
(1)构建训练集：
(1a)提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30；
(1b)对SAR数据集中每个类别目标的SAR图像设置类别标签；
(1c)将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集；
(1d)将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集；
(2)构建生成器网络：
(2a)搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层；
所述归一化层采用BatchNormalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现；
(2b)设置生成器网络的每层参数：将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2；
将全连接层的神经元个数设置为2048；
(3)构建判别器网络：
(3a)搭建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层；所述激活函数层均采用LeakyReLU函数实现；
(3b)设置判别器网络的每层参数：将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2；将每个激活函数层的LeakyReLU函数的斜率均设置为0.2；将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等；
(4)将生成器网络和判别器网络级联成属性引导的生成对抗网络；
(5)训练属性引导的生成对抗网络：
(5a)从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23；
(5b)将支撑集中所有的SAR图像、支撑集中每张SAR图像对应的类别标签、支撑集中每张SAR图像对应的...

【专利技术属性】
技术研发人员：王英华，黄媛媛，刘宏伟，孙媛爽，王思源，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61