一种基于红外多波段图像自适应融合的目标识别方法技术

本发明专利技术公开了一种基于红外多波段图像自适应融合的目标识别方法，方法包括：获取相同场景的红外短波、中波、长波图像，保持红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；使用改进的Faster RCNN网络进行目标识别训练，其中在Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；将融合后的多通道图像图像输入改进的Faster RCNN网络进行目标识别，输出目标识别结果。本发明专利技术容易实现，计算复杂度也低，相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，对于不同场景的鲁棒性更强。场景的鲁棒性更强。场景的鲁棒性更强。

【技术实现步骤摘要】
一种基于红外多波段图像自适应融合的目标识别方法


[0001]本专利技术属于目标识别
，尤其涉及一种基于红外多波段图像自适应融合的目标识别方法。

技术介绍

[0002]目标的红外图像反映了其在对应波段的红外特性，不同波段的图像包含了不同的目标特征信息，这些信息往往具有互补性，将不同来源的信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，为识别提供更加丰富的数据支撑，相较于单波段图像，使识别精度进一步提高。按照融合层次的不同，图像融合可分为像素级、特征级和决策级。典型的像素级融合依赖手工设计的方法将多幅图像组合为一幅图像，对场景和干扰的适应性较差；特征级融合则是将不同来源图像的特征进行融合，鲁棒性较好，但算法的运算量将大大增加，尤其是对于卷积神经网络结构的算法；决策级融合则是将基于不同来源图像得到的结果进行融合，需要设计额外的应对措施来面对不同的决策。除此以外，这种高水平的融合无法很好地建立不同类型图像之间的内部特征关系，并成倍增加资源数量和运行时间。

技术实现思路

[0003]有鉴于此，本专利技术提出了一种基于红外多波段图像自适应融合的目标识别方法，由于目标在不同波段的图像中具有不同的特征信息，而这些信息往往具有互补性和合作性。因此本专利技术在识别时，将多波段信息进行融合，利用不同模态图像的信息互补性使融合图像对场景的描述更加全面，得到比仅使用单波段信息更加准确可靠的识别结果。特别适用于存在严重遮挡场景下的目标识别。
[0004]本专利技术公开的基于红外多波段图像自适应融合的目标识别方法，包括以下步骤：
[0005]获取相同场景的红外短波、中波、长波图像，保持所述红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；
[0006]使用改进的Faster RCNN网络进行目标识别训练，所述改进的Faster RCNN网络在Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；
[0007]将融合后的多通道图像图像输入所述改进的Faster RCNN网络进行目标识别，输出目标识别结果。
[0008]进一步的，使用SE
‑
Workbench仿真软件得到相同场景的红外短波、中波、长波图像。
[0009]进一步的，所述特征融合模块使用晚融合技术，使用concat方法将多个特征进行连接。
[0010]本专利技术的有益效果如下：
[0011]本专利技术针对远距离被动红外成像存在光照较差、观测视角不理想、目标尺寸较小、
清晰度较低、严重遮挡等现实问题，提出了基于红外多波段图像自适应融合的目标识别方法，该方法与特征级和决策级融合相比，更容易实现，计算复杂度也低。相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，而不是利用离散小波变换等手工设计的像素级融合，因此对于不同场景的鲁棒性更强。
附图说明
[0012]图1本专利技术基于红外多波段图像自适应融合的目标识别示意图；
[0013]图2识别网络框架；
[0014]图3严重遮挡情况下长波识别结果；
[0015]图4严重遮挡情况下短波识别结果；
[0016]图5严重遮挡情况下中波识别结果；
[0017]图6严重遮挡情况下本专利技术的多波段融合识别结果。
具体实施方式
[0018]下面结合附图对本专利技术作进一步的说明，但不以任何方式对本专利技术加以限制，基于本专利技术教导所作的任何变换或替换，均属于本专利技术的保护范围。
[0019]参考图1，本专利技术的实现示意图。本专利技术的步骤如下：
[0020]S1：将单通道的多波段图像组合为多通道图像，划分为训练集和测试集进行实验，输入识别网络后，无监督地融合多波段信息
[0021]红外多波段图像融合：利用SE
‑
Workbench仿真软件得到相同场景的红外短波、中波、长波图像，保持了不同来源图像之间的严格配准。将单通道的多波段图像组合为多通道图像。SE
‑
Workbench提供所有红外感光(IR)，加强光(NVG),电磁(EM),听觉(AC)传感器的仿真服务并能沉浸在一种复杂的人造环境中。SE
‑
Workbench主要包括三维地形建模模块、物理模型建模模块、纹理结构分类模块、大气模型建模模块、热量模型建模模块、红外快速图像生成模块、红外射线追踪模块、图形用户界面配置工具模块和红外传感器模块等。本专利技术使用红外快速图像生成模块得到相同场景的红外短波、中波、长波图像。
[0022]S2：识别方法为在Faster RCNN网络的基础上，加入特征融合模块，提高对于小尺度目标的检测精度。
[0023]本专利技术中的特征融合模块，融合不同尺度的特征以提高性能。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。
[0024]本专利技术使用早融合(Early fusion)技术，先融合多层的特征(长波、中波和短波)，然后在融合后的特征上训练预测器(只在完全融合之后，才统一进行检测)。采用concat操作，特征融合方法如下：
[0025]concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
[0026]S3：识别结果
[0027]图3、图4和图5分别为严重遮挡情况下单独用长波、中波和短波识别结果，都出现了识别框重复；图6为本专利技术利用多波段图像时，识别效果稳健。从实验结果可以看出，不同
波段的图像信息具有互补性，能够提升目标识别性能。
[0028]本专利技术的有益效果如下：
[0029]本专利技术针对远距离被动红外成像存在光照较差、观测视角不理想、目标尺寸较小、清晰度较低、严重遮挡等现实问题，提出了基于红外多波段图像自适应融合的目标识别方法，该方法与特征级和决策级融合相比，更容易实现，计算复杂度也低。相较于像素级融合，采用了无监督学习方式来融合不同来源的图像，而不是利用离散小波变换等手工设计的像素级融合，因此对于不同场景的鲁棒性更强。
[0030]本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
[0031]而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外多波段图像自适应融合的目标识别方法，其特征在于，包括以下步骤：获取相同场景的红外短波、中波、长波图像，保持所述红外短波、中波、长波图像之间的严格配准，并融合为一张多通道图像；使用改进的Faster RCNN网络进行目标识别训练，所述改进的Faster RCNN网络在Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块，提高对于小尺度目标的检测精度；将融合后的多通道图像图像输入所...

【专利技术属性】
技术研发人员：刘聆，刘冬云，彭波，
申请(专利权)人：长沙一扬电子科技有限公司，
类型：发明
国别省市：