一种基于特征融合的跨模态信息目标识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征融合的跨模态信息目标识别方法及装置，获取目标的雷达数据和第一SAR图像数据；将雷达数据转换为第二SAR图像数据；提取第一SAR图像数据的第一特征数据，以及提取第二SAR图像数据的第二特征数据，并对第一特征数据和第二特征数据进行联合，得到融合特征数据；根据融合特征数据确定目标的类别；本发明专利技术通过同时获取雷达数据和SAR图像，并将雷达数据转换为SAR图像，可以实现雷达数据的充分利用，缩小两模态之间的特征维度差异，再结合联合特征表达，可以有效地提升目标识别准确度。识别准确度。识别准确度。

【技术实现步骤摘要】
一种基于特征融合的跨模态信息目标识别方法及装置


[0001]本专利技术属于信息融合及目标识别
具体设计一种基于特征融合的跨模态信息目标识别方法及装置。

技术介绍

[0002]目标识别技术已经广泛应用于国防等领域。异类网络的广泛使用产生了不同来源、不同类型、不同分布的多模式的数据。在复杂背景和干扰的存在下，多模态信息融合技术可以通过挖掘这些数据之间的差异性和互补性，提高目标识别的准确性、可靠性和鲁棒性。
[0003]海上舰船目标作为海上监测和战时打击的重点目标，能否被快速准确地识别尤为关键，对维护国防安全有着重要意义。目前合成孔径雷达(SAR)图像和雷达辐射源信号识别成为研究海洋目标检测与监视的常用途径。高分辨SAR系统的分辨率已经可以达到厘米级，能够清晰地对大型战术目标进行清晰地成像。雷达辐射源识别可以实时辨认对抗雷达的类型，确定雷达的载体、用途和威胁等级等。然而，SAR图像容易受到背景强散射杂波的不均匀性、目标的不完整性、十字旁瓣模糊和临近目标干扰等因素的影响，导致一些舰船不能很好地被识别。在不少的雷达技术性能中，有些数据相同或很近，也会导致识别结果有可能是多种雷达。
[0004]多模态数据的融合方法主要有基于模型和与模型无关两种。基于模型的方法主要有概率图模型、基于核的方法和神经网络模型。与模型无关的方法包括特征级融合、决策级融合和混合融合。特征级融合主要有协同特征表示和联合特征表示。决策级融合是对两类或多类数据分别进行决策任务，再将每种模态数据的决策结果通过贝叶斯规则融合、最大值融合或平均值融合等规则进行融合。混合融合则是特征级融合与决策级融合的结合。
[0005]目前，多模态信息特征融合的主要方法是联合特征表示和协同特征表示，再通过联合特征表示来完成特征融合时，由于SAR图像的特征维度远大于雷达数据，目前已有的直接相连或者相乘的方法可能会导致融合后雷达数据信息直接被忽略，进而造成目标识别准确度低和鲁棒性差。

技术实现思路

[0006]本专利技术的目的是提供一种基于特征融合的跨模态信息目标识别方法，以充分利用雷达数据的信息，并结合SAR图像信息提升目标识别的准确度。
[0007]本专利技术采用以下技术方案：一种基于特征融合的跨模态信息目标识别方法，包括以下步骤：
[0008]获取目标的雷达数据和第一SAR图像数据；
[0009]将雷达数据转换为第二SAR图像数据；
[0010]提取第一SAR图像数据的第一特征数据，以及提取第二SAR图像数据的第二特征数据，并对第一特征数据和第二特征数据进行联合，得到融合特征数据；
[0011]根据融合特征数据确定目标的类别。
[0012]优选的，将雷达数据转换为第二SAR图像数据包括：
[0013]通过雷达数据分类器为雷达数据进行分类；
[0014]根据分类结果为雷达数据选择对应的模态转换网络；
[0015]采用模态转换网络提升雷达数据的维度，得到第二SAR图像数据；其中，第二SAR图像数据的维度与第一SAR图像数据的维度相等。
[0016]优选的，模态转换网络由依次连接的全连接层组成。
[0017]优选的，模态转换网络由依次连接的五个全连接层组成；
[0018]依次连接的五个全连接层的输入特征维度和输出特征维度分别为(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。
[0019]优选的，采用VGG19网络提取第一SAR图像数据的第一特征数据；
[0020]采用VGG19网络提取第二SAR图像数据的第二特征数据。
[0021]优选的，对第一特征数据和第二特征数据进行联合包括：
[0022]采用特征联合模型对对第一特征数据和第二特征数据进行联合；其中，特征联合模型为：
[0023][0024]其中，F(s,r)表示融合特征数据，s表示第一特征数据，r表示第二特征数据，σ(r)表示第二特征数据的方差，μ(s)表示第一特征数据的均值，σ(s)表示第一特征数据的方差，μ(r)表示第二特征数据的均值。
[0025]优选的，特征联合模型使用均方误差损失函数计算融合前后的信息损失，并反向传播训练权值；其中，损失函数L为：
[0026]L＝L
sar
+L
radar
，
[0027]其中，L
sar
表示第一SAR图像数据联合前后的损失值，L
sar
＝||f
sar
‑
f
fusion
||2，f
sar
表示第一SAR图像数据经VGG19网络得到的第一特征图，f
fusion
表示联合特征图，L
radar
表示第二SAR图像数据联合前后的损失值，L
radar
＝||μ(f
fusion
)
‑
μ(f
radar
)||2+||σ(f
fusion
)
‑
σ(f
radar
)||2，μ(f
fusion
)表示联合特征图的均值，f
radar
第二SAR图像数据经VGG19网络得到的第二特征图，μ(f
radar
)表示第二特征图的均值，σ(f
fusion
)表示联合特征图的方差，σ(f
radar
)表示第二特征图的方差。
[0028]优选的，根据融合特征数据确定目标的类别包括：
[0029]以融合特征数据为输入数据，使用密集卷积网络确定目标的类别。
[0030]本专利技术的另一种技术方案：一种基于特征融合的跨模态信息目标识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于特征融合的跨模态信息目标识别方法。
[0031]本专利技术的有益效果是：本专利技术通过同时获取雷达数据和SAR图像，并将雷达数据转换为SAR图像，可以实现雷达数据的充分利用，缩小两模态之间的特征维度差异，再结合联合特征表达，可以有效地提升目标识别准确度。
附图说明
[0032]图1为本专利技术实施例一种基于特征融合的跨模态信息目标识别方法的流程图；
[0033]图2为本专利技术实施例一种基于特征融合的跨模态信息目标识别装置的结构示意图。
具体实施方式
[0034]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0035]基于SAR图像与雷达辐射源信号识别不受彼此因素影响或影响较小的前提，上述两种信息具有一定的互补性。因此，本专利技术中将上述两种信息进行融合有利于提高目标识别的准确性和鲁棒性。
[0036]考虑到SAR图像和雷达辐射源数据模态不同、特征维度相差大，目前已有的通过相加或者相乘来联合特征的方法可能会导致维度较小的雷达辐射源信号的特征直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合的跨模态信息目标识别方法，其特征在于，包括以下步骤：获取目标的雷达数据和第一SAR图像数据；将所述雷达数据转换为第二SAR图像数据；提取所述第一SAR图像数据的第一特征数据，以及提取所述第二SAR图像数据的第二特征数据，并对所述第一特征数据和第二特征数据进行联合，得到融合特征数据；根据所述融合特征数据确定目标的类别。2.如权利要求1所述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，将所述雷达数据转换为第二SAR图像数据包括：通过雷达数据分类器为所述雷达数据进行分类；根据分类结果为所述雷达数据选择对应的模态转换网络；采用模态转换网络提升所述雷达数据的维度，得到第二SAR图像数据；其中，所述第二SAR图像数据的维度与所述第一SAR图像数据的维度相等。3.如权利要求2所述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，所述模态转换网络由依次连接的全连接层组成。4.如权利要求3述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，所述模态转换网络由依次连接的五个全连接层组成；依次连接的所述五个全连接层的输入特征维度和输出特征维度分别为(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。5.如权利要求2或4述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，采用VGG19网络提取所述第一SAR图像数据的第一特征数据；采用所述VGG19网络提取所述第二SAR图像数据的第二特征数据。6.如权利要求5述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，对所述第一特征数据和第二特征数据进行联合包括：采用特征联合模型对对所述第一特征数据和第二特征数据进行联合；其中，所述特征联合模型为：其中，F(s,r)表示融合特征数据，s表示第一特征数据，r表示第二特征数据，σ(r)表示第二特征数据的方差，μ(s)表示第一特征数据的均值，σ(s)表示第一特征数据的方差，μ(r)表示第二特征数据的均值。7.如权利要求6述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，所述特征联合模型使用均方误差损失...

【专利技术属性】
技术研发人员：刘准钆，刘蕊，冯斌，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：