基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法技术

本发明专利技术针对小样本条件下雷达目标HRRP识别难题，提出了基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。首先，设计了合适小样本目标的预训练模型，提出了一种可提高预训练模型泛化性能的损失函数，并用源域数据对预训练模型进行从头训练。在预训练模型的基础上，重新设置全连接层和输出层结构并初始化，构成微调模型。在微调过程中，为解决目标域数据集样本较少且类别不均衡导致识别性能不理想的问题，提出了一种可减少类别间样本不均衡引起的识别偏差并提高特征可分性的损失函数。在小样本条件下，与从头训练的卷积神经网络模型相比，所提方法在提高识别正确率的同时，提高了收敛速度和模型的稳定性。提高了收敛速度和模型的稳定性。提高了收敛速度和模型的稳定性。

【技术实现步骤摘要】
基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法


[0001]本专利技术属于雷达目标自动识别技术，针对少量标签样本条件下的雷达HRRP目标识别正确率较低的问题，提供了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。

技术介绍

[0002]对于合作目标来说，获得角域完备且数量充足的HRRP较为容易，但在实际应用中，尤其战时，电磁环境复杂，待识别目标多为非合作目标，机动性较强，且HRRP类别标签需要专业人员进行人工判读，因此获取足够数量的目标HRRP有标签样本难度较大。因此，在雷达目标识别领域，小样本条件下的雷达目标HRRP识别是亟需解决的难题之一。
[0003]目前已有的小样本识别方法存在以下缺点：1)模型需要角域完备的训练样本，而实际应用中，小样本条件很难保证训练样本覆盖目标全角域；2)低自由度的模型需要的训练样本较少，但识别正确率较低，高自由度的模型识别正确率高，但需要的训练样本较多，少量样本条件下的识别正确率有待于进一步提高。针对上述方法中存在的问题，考虑利用深度学习方法解决小样本条件下的雷达HRRP目标识别问题。
[0004]与浅层方法相比，深度网络可以更好的提取HRRP的高阶特征。目前基于深度网络的雷达HHRP小样本目标识别研究较少，目前方法多采用栈式自编码模型提取目标的深层特征，并通过共享HRRP全局特征以减少样本数量。与栈式自编码相比，卷积神经网络具有更好的目标识别性能，但直接利用小样本数据对模型进行从头训练，会导致过拟合现象产生。针对这一问题，本文提出了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。

技术实现思路

[0005]本专利技术的目的在于，针对小样本条件下HRRP的识别率低的问题，提供了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法，所提方法在提高识别正确率的同时，提高了收敛速度和模型的稳定性。
[0006]本专利技术的技术解决方案为：利用源域数据集对预训练模型进行从头训练；利用目标域数据对预训练模型进行微调。为实现上述目的，本专利技术实现步骤如下：
[0007]预训练过程：
[0008]输入：N类目标HRRP仿真数据集
[0009]输出：预训练模型卷积层结构与权重
[0010]步骤1：按照图2中模型A构建预训练模型，初始化模型权值，卷积层的权值θ
c
＝{k
c
,b
c
}，全连接层的权值参数W，θ
c
和W均服从均值为0，方差为的正态分布，其中n
i
和n
o
分别为相应层的输入向量和输出向量的维度。
[0011]步骤2：前向传播，根据公式计算每个迭代过程中小批量样本(min
‑
batch)的损失
函数。
[0012]步骤3：反向传播，利用链式法则计算梯度，并利用随机梯度下降法进行参数更新。
[0013]步骤4：重复步骤2、3，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。
[0014]微调过程：
[0015]输入：M类目标HRRP实测数据集
[0016]输出：用于小样本识别的微调模型
[0017]步骤5：按照图3中模型B构建微调模型，初始化模型权值，其中卷积层的权值初始值与预训练模型步骤4中保存的卷积层权值相同，全连接层的权值W服从正态分布，
[0018]步骤6：前向传播，根据公式计算每个迭代过程中小批量样本的损失函数。
[0019]步骤7：反向传播，利用链式法则计算梯度，首先将所有卷积层的学习率设置为0，仅更新全连接层和输出层权值，再由卷积层C4
‑
C1，依次将其学习率设置为非零值，逐层更新权值。
[0020]步骤8：重复步骤6、7，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。
[0021]本专利技术相比现有技术具有如下技术效果：
[0022](1)所提模型为数据驱动的端对端模型，训练过后的模型可自动提取目标的深层特征。
[0023](2)所提方法根据目标域小样本的特点，设计了合适的预训练模型，提出了一种可提高预训练模型泛化性能的损失函数。
[0024](3)在微调过程中，为解决目标域数据集样本较少且类别不均衡导致识别性能不理想的问题，提出了一种可减少类别间样本不均衡引起的识别偏差并提高特征可分性的损失函数。
附图说明
[0025]图1：迁移学习流程图；
[0026]图2：预训练模型(模型A)结构图；
[0027]图3：微调模型(模型B)结构图。
具体实施方式
[0028]以下结合说明书附图对本专利技术作进一步详细描述。参照说明书附图，本专利技术所构建的模型说明如下：
[0029]从头训练的深度卷积神经网络需要大量的有标签训练样本，训练样本过少会导致模型产生过拟合现象，迁移学习是一种解决小样本问题的有效方法。迁移学习，是指利用数据、任务或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。迁移学习包含两个基本概念，分别为域和任务。域分为源域D
S
和目标域D
T
。在目标识别任务中，源域为与目标无关的数据集，数据量较为充足，目标域为与目标相关的数据集，数据量较少，不足以对模型进行从头训练。域D包含两个内容：X和P(X)，其中，X为特征空间，包含数
据集及其对应的特征总和，P(X)为特征空间对应的概率，可以理解为特征的分布。任务即为模型实现的功能，任务分为源域任务和目标域任务。任务T同样包含两部分：Y和f(x)，其中，Y表示标签空间，f(x)表示预测函数，由特征空间X和标签空间Y学习得到。通常，源域与目标域不同，源域任务和目标域任务可相同可不同。
[0030]本专利技术使用的源域为N类目标HRRP仿真数据集，目标域为M类目标HRRP实测数据集。因此源域(源任务)和目标域(目标任务)均不相同。迁移学习的流程如图1所示，首先，根据目标域特点和源域任务设计预训练模型，并利用源域对预训练模型进行训练，其次，根据目标域任务，以预训练模型为基础设计微调模型，并利用目标域对微调模型进行训练即可得到所需模型。
[0031]下面将从两个方面对所提方法进行详细的介绍与分析：1、模型预训练过程，2、模型微调过程。
[0032]1模型预训练过程
[0033](1)预训练模型
[0034]从头训练深度卷积神经网络需要大量训练数据，训练数据过少会导致过拟合现象产生，模型泛化性能较差。模型深度对识别正确率影响较大，深度卷积神经网络的浅层特征为低阶的结构特征，深层特征为高阶语义特征，必须保证一定的深度才能取得较好的识别效果，本专利技术所提方法针对小样本识别问题，预训练模型层数不宜过多，所提方法使用的预训练模型(简称为模型A)结构如图2所示。
[0035]模型A包含四个卷积层，四个池化层，一个全连接层，一个输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度迁移学习的雷达HRRP小样本目标识别预训练方法，其特征在于，包括以下步骤：输入：N类目标HRRP仿真数据集；输出：预训练模型卷积层结构与权重；步骤1，构建预训练模型，初始化模型权值，卷积层的权值θ
c
＝{k
c
,b
c
}，全连接层的权值参数W，θ
c
和W均服从均值为0，方差为的正态分布，其中n
i
和n
o
分别为相应层的输入向量和输出向量的维度；步骤2，前向传播，计算每个迭代过程中小批量样本的损失函数L
p
；步骤3，反向传播，利用链式法则计算梯度，并利用随机梯度下降法进行参数更新；步骤4，重复步骤2、3，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。2.如权利要求1所述的基于深度迁移学习的雷达HRRP小样本目标识别预训练方法，其特征在于，步骤2中的损失函数L
p
具体为：L
p
＝L
b
+αL
t
其中，模糊交叉熵函数L
b
具体为截断交叉熵损失函数L
t
具体为α为L
t
的权重，y
i
＝(y
i1
,y
i2
,...,y
ic
)表示类别标签，表示输出层的输出结果，c...

【专利技术属性】
技术研发人员：郭晨，王海鹏，孙顺，潘新龙，郭强，刘颢，黄友澎，贾舒宜，唐田田，任利强，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：