基于多重融合深度神经网络的目标识别方法技术

本发明专利技术提出了一种基于多重融合深度神经网络的目标识别方法，主要解决现有技术中空间目标识别准确度较低的技术问题，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于多重融合深度神经网络的目标识别模型；(3)对基于多重融合深度网络的目标识别模型进行迭代训练；(4)获取目标ISAR图像和光学图像的识别结果。本发明专利技术通过将目标的ISAR图像与光学图像进行多模态融合识别，分别提取目标ISAR图像与光学图像的基于通道注意力的融合特征与双线性池化融合特征，使网络能够提取更丰富的目标特征信息、提高特征拼接时对特征的不同贡献与重要性的关注度，从而提高了对空间目标的识别准确率。别准确率。别准确率。

【技术实现步骤摘要】
基于多重融合深度神经网络的目标识别方法


[0001]本专利技术属于图像处理
，涉及一种目标识别方法，具体涉及一种基于多重融合深度神经网络的ISAR图像与光学图像的目标识别方法，可用于对空间目标的有效识别。

技术介绍

[0002]目标识别任务是根据不同类别的目标在信息中所反映特征的不同，来对目标进行类别区分。对于雷达目标的识别，传统雷达目标识别方法通过手动设计特征提取器，从原始数据中提取有效特征并实现类别判断，因此需要大量的时间及专家知识，同时，在许多任务中很难界定所提取的特征是否有效，这给雷达目标识别带来了极大的困难。近年来，基于数据驱动的深度学习雷达目标识别方法取得了较大进展，能够避免复杂的特征设计与选择过程，并从数据中自动学习出有效特征。但是，现有深度学习雷达目标识别方法主要为单模态识别，即仅利用单一模态数据进行雷达目标特征提取和类别判断，因此可能存在数据信息量不足的问题，导致无法满足准确识别目标的需求。深度学习多模态融合识别方法是利用多个模态数据的互补信息融合与冗余信息剔除来学习到更好的特征表示，从而有效提升模型识别性能。现有基于深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重融合深度神经网络的ISAR图像与光学图像融合的目标识别方法，其特征在于，包括如下步骤：(1)获取训练样本集R和测试样本集E：获取包括K个目标类别的S幅ISAR图像A＝{A
s
|1≤s≤S}和S幅光学图像B＝{B
s
|1≤s≤S}，并对每幅ISAR图像A
s
和每幅光学图像B
s
分别进行归一化，然后对经过归一化后的每幅ISAR图像和每幅光学图像中包含的目标进行标注，再将M幅归一化ISAR图像、光学图像及其对应的标签作为训练样本集R，将剩余的归一化ISAR图像和光学图像及其对应的标签作为测试样本集E，其中K≥3，S≥800，A
s
、B
s
分别表示对同一目标以相同地面观测视角观测的第s幅ISAR图像、光学图像；(2)构建基于多重融合深度神经网络的目标识别模型H：构建包括卷积特征提取网络和多重融合深度神经网络的目标识别模型H，多重融合深度神经网络包括双线性池化融合网络、通道注意力融合网络、相加融合网络，其中：卷积特征提取网络包括并行排布的第一卷积特征提取网络和第二卷积特征提取网络；双线性池化融合网络包括并行排布的第一双线性池化特征提取网络和第二双线性池化特征提取网络，以及与该两个双线性池化特征提取网络输出端连接的特征融合层；第一卷积特征提取网络的输出与第一双线性池化特征提取网络以及通道注意力融合网络的输入端连接，第二卷积特征提取网络的输出与第二双线性池化特征提取网络以及通道注意力融合网络的输入端连接；双线性池化融合网络和通道注意力融合网络的输出端与相加融合网络的输入端连接；(3)对基于多重融合深度网络的目标识别模型H进行迭代训练：(3a)初始化迭代次数为t，最大迭代次数T，T≥20，第t迭代的目标识别模型为H
t
，H
t
的权值参数为ω
t
，并令t＝1；(3b)将训练样本集R作为基于多重融合深度网络的目标识别模型为H
t
的输入，卷积特征提取网络中的第一卷积特征提取网络对每个ISAR图像训练样本进行卷积特征提取，得到R对应的ISAR图像卷积特征集合，同时第二卷积特征提取网络对每个光学图像训练样本进行卷积特征提取，得到R对应的光学图像卷积特征集合；(3c)多重融合深度神经网络对每个ISAR图像卷积特征与其对应的光学图像卷积特征进行多重融合：(3c1)双线性池化融合网络中的第一双线性池化特征提取网络对每个ISAR图像卷积特征进行双线性池化特征提取，同时第二双线性池化特征提取网络对每个光学图像卷积特征进行双线性池化特征提取，特征融合层对所提取的每ISAR图像的双线性池化特征及其对应的光学图像的双线性池化特征进行特征融合；同时通道注意力融合网络对每个ISAR图像卷积特征及其对应的光学图像卷积特征进行基于通道注意力的特征融合；(3c2)相加融合网络对双线性池化融合网络得到的每个双线性池化融合特征，与其对应的通道注意力融合网络得到的基于通道注意力的融合特征进行相加融合，得到训练样本集R中每个目标的预测标签y；(3d)采用交叉熵损失函数，通过每个目标的预测标签y及其对应的真实标签y
*
计算H
t
的
损失值L
t
，并求取L
t
对权值参数ω
t
的偏导再采用梯度下降法，通过对权值参数ω
t
进行更新；(3e)判断t≥T是否成立，若是，得到训练好的目标识别模型H
*
，否则，令t＝t+1，并执行步骤(3b)；(4)获取目标ISAR图像和光学图像的识别结果：将测试样本集E作为训练好的目标识别模型H
*
的输入进行前向传播，得到E中包含的所有目标的预测标签，每个预测标签对应的目标即为识别结果。2.根据权利要求1所述的基于多重融合深度神经网络的ISAR图像与光学图像融合的目标识别方法，其特征在于，步骤(2)中所述的目标识别模型H，其中：卷积特征提取网络，其中的第一卷积特征提取网络和第二卷积特征提取网络均包括六个网络层，每个网络层包括顺次级联的卷积层、批归一化层、ReLU激活层和最大值池化层...

【专利技术属性】
技术研发人员：白雪茹，毛宇航，周雪宁，刘潇丹，周峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：