一种基于多任务学习的多角度SAR目标识别方法技术

本发明专利技术公开了一种基于多任务学习的多角度SAR目标识别方法，本发明专利技术构建了两种学习任务用以提升神经网络对于SAR目标特征的感知能力，一个是用以判断SAR目标角度的角度估计辅助任务，一个是在角度估计基础上进行目标识别的主任务。辅助任务充分利用了SAR图像数据中的角度特征，使用多任务学习中的参数共享学习机制来提升网络特征提取层对于目标散射特征、方位敏感特征的提取能力，为主任务的学习提供先验知识支撑。共享网络层基于深度残差学习框架进行设计，针对两种学习任务引入Softmax Loss和Center Loss两种损失函数共同监督训练，提高小样本情况下的合成孔径雷达目标识别效率。

A multi angle SAR target recognition method based on multi task learning

【技术实现步骤摘要】
一种基于多任务学习的多角度SAR目标识别方法
本专利技术涉及一种基于多任务学习的多角度SAR目标识别方法，属于合成孔径雷达自动目标识别

技术介绍
合成孔径雷达(SyntheticApertureRadar，SAR)是一种主动式微波传感器成像雷达，这种雷达利用一个小天线沿着长线阵的轨迹等速移动并辐射相参信号,把在不同位置接收的回波进行相干处理,从而获得较高分辨率的成像雷达。这种雷达可以不受太阳光照、雨雪等天气状况的影响，全天时、全天候的成像，且当其工作在合适的波长下可以穿透一些遮蔽物，正常成像，所成SAR图像的分辨率不受其波长、雷达作用距离的影响。鉴于其所具有的这些优秀特性，合成孔径雷达被广泛地应用于国民经济的各个领域。由于合成孔径雷达的独特的成像机理，获得的SAR图像不可避免的会存在一些斑点噪声，使其不同于易于人眼感知的光学图像，影响图像的读取和解译。传统的SAR图像目标判读解译的方法主要是依靠研究学习过SAR图像的特点并拥有经验的人来进行人工分析判断。然而不同的人具有不同的先验知识和评判标准，有时为了一定程度上消除主观误差还需要进行多人分析综合评判，成本高、效率低。故而探索高效而准确的SAR自动目标识别技术(AutomaticTargetRecognition，ATR)成为国内外学者的研究热点。随着深度学习理论在计算机识别领域的发展，人们开始探索基于深度学习方法的新的SAR目标识别方法，使用深度学习的方法来解决SAR目标识别的问题。到目前为止，国内外学者们以卷积神经网络(ConvolutionalNeuralNetwork,CNN)理论为基础提出了大量有效的SAR目标识别算法，推动了SAR-ATR技术的不断发展。然而，虽然卷积神经网络能够高效的提取SAR目标的层次特征，得到令人满意的识别效果，但是前提是需要大量的样本进行训练，在实际的应用过程中，通常难以获取到大量标注的样本数据。多任务学习作为机器学习领域比较有前景的一个领域，其关注点不在于单个任务，尽可能利用一切可以辅助优化度量指标的其他信息，通过共享相关任务之间的表征，可以更好的完成目标任务。近年来，基于多任务学习的研究已经涌现出了一批不错的成果，诸如人脸识别、脸部特征点检测以及目标检测等。本专利技术基于多任务学习(Multi-taskLearning，ML)的方法，构建了两种学习任务用以提升神经网络对于SAR目标特征的感知能力，一个是用以判断SAR目标角度的角度估计辅助任务，一个是在角度估计基础上进行目标识别的主任务，最大限度地挖掘多角度SAR遥感图像数据的潜力，精准的完成了大擦地角差异条件下SAR目标的识别，并且进一步有效的提升了小样本情况下SAR目标识别效率。
技术实现思路
本专利技术的主要目的是最大限度地挖掘多角度SAR遥感图像的数据潜力，解决有限数据集条件下训练样本和测试样本概率分布不一致的学习问题，解决大擦地角差异条件下的目标识别问题，提供一种基于多任务学习的方法，充分利用SAR图像数据中的角度特征，实现小样本情况下的合成孔径雷达目标识别。多任务学习作为机器学习领域比较有前景的研究方向，其学习机制主要有两种，参数硬共享和参数软共享。本专利技术主要使用参数硬共享的学习机制，如图1所示，即共享角度估计和识别任务的隐藏层，保留特定任务的输出层，来提升网络特征提取层对于目标散射特征、方位敏感特征的提取能力，为主任务的学习提供了先验知识支撑。该方法所用的网络架构是He等人于2016年提出的更易于优化的深度残差学习框架，并且在两个堆叠的卷积层之间加入dropout层，用以缓解小样本数据集所带来的过拟合问题。本专利技术使用深度残差网络提取合成孔径雷达目标的深层次特征，包括以下步骤：步骤1、准备数据集：统一输入到网络的图像尺寸，划分训练集和测试集。1)使用卷积神经网络完成目标识别任务的第一步就是要对输入到网络的数据做统一的规范化处理。由SAR图像与光学图像的成像机理不同，不可以简单地用池化的方式来统一图像的尺寸，所以首先要将图像裁剪到统一的尺寸大小。之后使数据集图像中的每个像素点的像素值都进行归一化处理，从而将图像的像素值压缩到0-1之间2)生成类别标签，准备对应任务的训练集和测试集。3)数据预处理。步骤2、构建基于多任务学习的网络框架。众所周知，随着网络结构的深度的增加，网络的性能在一定程度上会有所提升。但是在实际应用中，更深神经网络往往在训练过程中会出现梯度消失/爆炸、收敛速度慢等致命问题，尤其是在本身训练样本不足的情况下。于是本专利技术选择18层的残差网络作为主体网络结构，可以学习到可分性更强的高层抽象特征。本专利技术选择的网络模型比其他方法采用的网络模型更深，将层的学习变为学习关于该层输入的残差函数，而不是学习未参考的函数，显著的通过增加深度提升了准确性。残差函数的定义为y＝F(x,{Wi})+x(1)其中x和y对应层的输入和输出向量，Wi为主干支路上可训练的权值，函数F(x,{Wi})表示需要学习的残差映射。具体实现方式即在网络中某一位置添加一条快捷连接(shortcutconnection),将前层的特征直接传递过来,这个新连接称为恒等映射(Identitymapping)。使用快捷连接要保证输入和输出具有相同的维度。当我们在进行两种维度的跨越进行连接的时候，通过快捷连接来执行线性投影Ws，来匹配维度，有两种方式可以进行，第一种，额外的进行填充零输入，增加维度；第二种方式，1x1卷积核，步长为2，输出可表示为y＝F(x,{Wi})+Wsx(2)模块中主干支路的映射关系F(·)由多个卷积层(Convolutionlayer)构成，本方法在两个堆叠的卷积层之间引入了Dropout层，并将保留概率设置为0.2，如图2所示。对每一层卷积层的输出都做批标准化处理(BatchNormalization)和使用修正线性单元(RectifiedLinearUnit,ReLU)来激活神经元。小样本情况下，在训练过程中非常容易出现的问题之一便是过拟合。本文使用Hinton在其论文中提出的Dropout来缓解过拟合。Dropout是指在训练过程中，将一些隐含节点的权值以一定的概率暂时失效，从而降低网络节点之间的联合适应性，同时也降低了网络的计算复杂度，最终提高模型的泛化能力。BN层本质上是一个归一化网络层，通过对上一层卷积层的输出进行标准化处理来调整数据分布，再传入下个层，能够降低权值初始化的成本，从而加快了训练速度，这样就可以使用较大的学习率来训练网络。BN算法的伪代码如下表所示：其中m表示当前训练批次的大小；从上述伪代码的公式中不难看出，标准化后的数值服从高斯分布，其均值为0、方差为1，大部分的值落在非线性激活函数的线性区内，影响网络性能，造成网络性能的下降。故而BN层会对标准化后的值再进行一次扩展和平移修正，作用是自适应的调整标准化的强度。在本专利技术中，将γ设置为1，β设置为0。激活函数，是在人工神经网络的神经元上运行的本文档来自技高网...

【技术保护点】
1.一种基于多任务学习方法的多角度SAR目标识别方法，其特征在于：该方法的步骤包括：/n步骤1、数据集的准备及预处理操作；/n数据集所用数据是运动和静止目标的获取与识别计划公开的MSTAR图像公共数据集的一部分；采集数据的传感器为高分辨率的聚束式合成孔径雷达；/n1)选择标准工作条件下的目标图像来训练角度估计的模型，目标的姿态覆盖范围均为0°～360°；训练集数据采集在17°成像侧视角下，测试集数据采集在15°侧视角下；由于MSTAR数据集包含目标的0-360°的方位角，将目标角度估计的任务作为辅助任务，充分利用SAR图像数据中的角度特征；分别读取训练集和测试集中的方位角信息；利用生成的角度标签和已有数据来完成角度估计任务模型的训练，挖掘SAR图像目标中所具有的角度信息；/n在处理训练集的图像时，首先对图像做中心裁剪操作，作为网络的输入；这样提取出来的用作训练的目标就具有了位移的特性，而卷积神经网络所具有的平移不变性也得以发挥；在输入网络时，3次加载图像将数据量扩充3倍，与随机裁剪操作配合使用；将数据集图像中的每个像素点的像素值都进行归一化处理，把图像的像素值压缩到0-1之间；/n2)而识别任务所用数据为扩展工作条件下获取的4类地面目标，训练集的侧视角为17°，测试集的侧视角为30°；/n步骤2、构建基于多任务学习的18层的残差网络模型；/n任务共享层的网络结构采用ResNet-18，把经过预处理后的图像输入到第一层卷积层，该层卷积层包含卷积核，卷积操作设置padding为1，即在特征图四周填充一行或列的零，然后在进行卷积运算；/n之后网络的中间部分由四个模块堆叠而成，每个模块包含两个残差结构；在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，将卷积核的个数设置为原来的2倍来增加输出的特征图数量，使其变为原来的2倍；除每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射；每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍；/n对于特定的任务对应一个特定的全连接层，MSTAR数据集包含目标的0-360°的方位角，对30°俯仰角下拍摄的目标识别问题，由于目标类别共四类；/n步骤3、使用深度残差网络训练角度估计任务的模型，保留预测效果好的模型参数；/n使用步骤1中准备好的用于角度估计任务的训练集和测试集，网络的输出端连接一层全连接层；全连接层的输入为前边共享网络层对样本所提取到的256维特征，全连接层的输出的维度为类别标签数72；/n训练过程中，将数据以批次的形式输入到网络中，在这里设置batch size为32；完成一个批次的训练相当于完成了一次迭代，当所有的训练数据都在网络中训练过一遍后即为完成一轮迭代；每完成一轮迭代后会利用当前的模型参数对测试集进行一次测试，最终记录下最好的测试结果，并将测试结果最好的网络模型保存下来；/n步骤4、选取合适的优化函数，使用步骤2搭建好的网络构架，共享步骤3中训练得到的网络参数，学习目标识别任务的全连接层；/n使用步骤3中保留的网络模型及参数，只更改网络模型的输入和输出；输入数据使用的是步骤1中准备好的用于目标识别任务的训练集和测试集；网络的最后一层全连接层的输出的维度为目标类别数目4类；/n将SAR图像经过预处理后，即对第三类目标做锐化滤波后，按批次输入到网络中开始训练，每个epoch之后，训练数据的顺序将被打乱；把一个批次的数据输入进网络中，经过网络的前向传播后得到输出结果，使用组合损失函数计算真实标签与输出结果的损失，用来平衡两个损失函数的参数λ设置为0.01；通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重W和偏置b的梯度；最后再通过Adam优化函数更新网络参数，利用优化函数SGD更新Center Loss中类别的中心位置，设置学习率lr为0.5，其中β...

【技术特征摘要】
1.一种基于多任务学习方法的多角度SAR目标识别方法，其特征在于：该方法的步骤包括：
步骤1、数据集的准备及预处理操作；
数据集所用数据是运动和静止目标的获取与识别计划公开的MSTAR图像公共数据集的一部分；采集数据的传感器为高分辨率的聚束式合成孔径雷达；
1)选择标准工作条件下的目标图像来训练角度估计的模型，目标的姿态覆盖范围均为0°～360°；训练集数据采集在17°成像侧视角下，测试集数据采集在15°侧视角下；由于MSTAR数据集包含目标的0-360°的方位角，将目标角度估计的任务作为辅助任务，充分利用SAR图像数据中的角度特征；分别读取训练集和测试集中的方位角信息；利用生成的角度标签和已有数据来完成角度估计任务模型的训练，挖掘SAR图像目标中所具有的角度信息；
在处理训练集的图像时，首先对图像做中心裁剪操作，作为网络的输入；这样提取出来的用作训练的目标就具有了位移的特性，而卷积神经网络所具有的平移不变性也得以发挥；在输入网络时，3次加载图像将数据量扩充3倍，与随机裁剪操作配合使用；将数据集图像中的每个像素点的像素值都进行归一化处理，把图像的像素值压缩到0-1之间；
2)而识别任务所用数据为扩展工作条件下获取的4类地面目标，训练集的侧视角为17°，测试集的侧视角为30°；
步骤2、构建基于多任务学习的18层的残差网络模型；
任务共享层的网络结构采用ResNet-18，把经过预处理后的图像输入到第一层卷积层，该层卷积层包含卷积核，卷积操作设置padding为1，即在特征图四周填充一行或列的零，然后在进行卷积运算；
之后网络的中间部分由四个模块堆叠而成，每个模块包含两个残差结构；在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，将卷积核的个数设置为原来的2倍来增加输出的特征图数量，使其变为原来的2倍；除每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射；每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍；
对于特定的任务对应一个特定的全连接层，MSTAR数据集包含目标的0-360°的方位角，对30°俯仰角下拍摄的目标识别问题，由于目标类别共四类；
步骤3、使用深度残差网络训练角度估计任务的模型，保留预测效果好的模型参数；
使用步骤1中准备好的用于角度估计任务的训练集和测试集，网络的输出端连接一层全连接层；全连接层的输入为前边共享网络层对样本所提取到的256维特征，全连接层的输出的维度为类别标签数72；
训练过程中，将数据以批次的...

【专利技术属性】
技术研发人员：张帆，杜文瑞，周勇胜，尹嫱，洪文，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：北京;11