融合可见光与红外两波段图像目标特征的目标识别方法技术

本发明专利技术公开一种融合可见光与红外两波段图像目标特征的目标识别方法，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。该方法是一种以目标整体区域为出发点，在配准可见光与红外两波段图像同一目标区域的基础上实现融合可见光与红外两波段图像目标特征的目标识别方法。

【技术实现步骤摘要】
融合可见光与红外两波段图像目标特征的目标识别方法
本专利技术涉及一种融合可见光与红外两波段图像目标特征的目标识别方法，属于目标识别

技术介绍
现代化战争迫切需求能够全天候将战场目标从复杂背景中识别出来。飞机、火箭弹、巡航导弹等重要军事目标的热辐射波长大多集中在3～5微米的中红外波段和8～10微米的远红外波段内；在不同的大气环境下，中红外波段和远红外波段辐射的透射率不同。可见光图像具有丰富的颜色信息、纹理信息，能够捕捉战场目标的细节。红外图像能全天候成像，很好地保留了目标的边缘信息，结构信息完整。中红外图像比远红外图像的纹理细节丰富、包含的信息多，尤其是在目标的高温热辐射集中区域；远红外图像比中红外图像整体偏亮。为了更高质量的全天候识别目标，融合可见光与红外两波段图像目标特征的目标识别成为关键技术。目前，多源图像融合的研究大都是基于特征点匹配的像素级融合，当不同源图像数量增加且图像背景复杂化时，特征点匹配效果差，存在大量的误匹配特征点对，最终导致像素级融合图像存在重影现象，不利于后期的目标识别。
技术实现思路
针对上述技术问题，本专利技术旨在提供一种以目标整体区域为出发点，在配准可见光与红外两波段图像同一目标区域的基础上实现融合可见光与红外两波段图像目标特征的目标识别方法。为实现上述目的，本专利技术采用如下技术方案：一种融合可见光与红外两波段图像目标特征的目标识别方法，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。在所述对可见光与中、远红外两波段图像进行目标配准阶段，先对波段进行粗分类后进行精配准；首先将可见光图像进行中值滤波，中红外、远红外图像进行先中值滤波后直方图均衡，建立目标区域成像模型，提取图像目标区域，然后提取目标区域的空间灰度直方图特征，对所述目标区域进行在其所属光源下进行粗分类；其次根据各类包含的目标数量以及类与类之间的显著特征差异判定哪些可见光图像目标类、中红外图像目标类和远红外图像目标类属于同一类目标；当某类目标数大于或等于2时，提取该类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征，计算目标可见光图像与目标远红外图像之间的相似度，以及目标中红外图像与目标远红外图像之间的相似度，各自最大相似度对应的两种光源图像目标是同一个目标，以目标远红外图像为中间变量实现同类目标在3种光源下图像目标配准。在所述对可见光与中、远红外两波段图像进行目标识别阶段，基于目标配准结果，建立目标可见光与红外两波段图像样本库，计算得到融合特征，将其输入到softmax分类器中，实现融合可见光与中、远红外两波段图像目标特征的目标识别。另外还有Logistic、SVM、K-Means、RandomForest、KNN等分类器。Softmax分类器识别的类别不局限于两类，可实现多类目标识别。Softmax分类器以互熵损失函数为代价函数，计算测试样本属于每个类别的概率，最大概率对应的类别即是该测试样本的类别。Softmax分类器看的是分类的准确率，对错误的分类敏感程度更高，它的损失函数值始终存在，是一个永不满足的分类器。因此，在深度学习领域我们使用的更多的是Softmax分类器。所述对可见光与红外两波段图像进行目标配准阶段的具体过程为：步骤1.1，对图像预处理，可见光图像进行中值滤波，中红外、远红外图像进行中值滤波和直方图均衡；步骤1.2，根据可见光、中红外和远红外图像成像特点，确定图像目标区域与背景区域的特征差异，建立图像目标区域成像模型，提取多源图像中的目标区域；步骤1.3，针对各单源图像，提取其每个目标区域的空间灰度直方图特征，计算每个目标区域之间的相似性，将各单源图像目标区域粗分类；步骤1.4，比较可见光图像、中红外图像以及远红外图像中各类目标包括的目标数量，将所含目标数相同的可见光图像目标类、中红外图像目标类和远红外图像目标类对应起来，称之为同类型的可见光图像目标、中红外图像目标和远红外图像目标。若各单源图像中不同类目标包括的目标数量一致，则需要通过各类之间区分度大的目标特征(比如面积)来确定哪类可见光图像目标、中红外图像目标和远红外图像目标是属于同一类型的。步骤1.5，当粗分类中某类目标数量大于或等于2时，提取该类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征；先进行目标远红外图像与目标中红外图像比较，再进行目标远红外图像与目标可见光图像比较；步骤1.6，针对同类型的两种光源图像目标，计算目标的空间边缘方向直方图相似度。以远红外图像目标为中间变量，最大相似度对应的中红外图像目标与该远红外图像目标是同一个目标，实现同类目标中远红外图像目标和中红外图像目标配准；最大相似度对应的可见光图像目标与该远红外图像目标是同一个目标，实现同类目标中远红外图像目标和可见光图像目标配准。最终实现同类目标中可见光图像目标、中红外图像目标和远红外图像目标配准。在所述对可见光与中、远红外两波段图像进行目标识别阶段的具体过程为：步骤2.1，在所述步骤1.6中得到的配准过的目标基础上，目标建立目标可见光与中、远红外两波段图像样本库，一半作为训练集，一半作为测试集；步骤2.2，用卷积神经网络自动提取可见光与中、远红外两波段图像目标的有效特征，得到融合特征，将其作为softmax分类器的输入，最终实现融合可见光与红外两波段图像目标特征的目标识别。本专利技术具有如下创新：1、融合了目标的可见光、中红外与远红外三波段图像特征进行目标识别，充分利用了目标不同源图像之间的互补信息。2、在可见光与红外两波段图像目标配准阶段，提出先在单源图像上进行目标粗分类，再在同类目标中进行可见光图像目标、中红外图像目标与远红外图像目标的精配准，可提高目标配准速率。同时，目标粗分类阶段是在单源图像内进行的，可减小不同源图像成像特性不同造成的影响。3、目标识别阶段用到了卷积神经网络，它可以自动提取目标可见光图像、目标中红外图像与目标远红外图像的融合特征，可减小人为提取特征带来的误差。附图说明图1是本专利技术可见光与红外两波段图像目标配准方法流程框图；图2是本专利技术融合可见光与红外两波段图像目标特征的目标识别方法流程框图。具体实施方式该方法分为可见光与红外两波段图像目标配准和可见光与红外两波段图像目标识别两部分，具体步骤如下：(1)可见光与红外两波段图像目标配准当目标数量很大时，基于盲搜索机制的可见光与红外两波段图像目标配准方法的时间复杂度也大，所以本专利技术提出了基于先粗分类后精配准的可见光与红外两波段图像目标配准方法：①图像预处理，可见光图像进行中值滤波，中红外、远红外图像进行中值滤波和直方图均衡；②研究可见光、中红外和远红外图像成像特点，明确图像目标区域与背景区域的特征差异，建立图像目标区域成像模型；③依据可见光、中红外和远红外图像目标区域成像模型，提取多源图像中的目标区域；④针对各单源图像，提取其每个目标区域的空间灰度直方图特征，计算每个目标区域之间的相似性，认为相似度大于0.5的为同一类目标，实现各单源图像目标区域的粗分类(单源图像内目标先粗分类可减小不同源图像成像原理的差异对配准精度的影响)；⑤比较可见光图像、中红外图像以及远红外图像中各类目标包括的目标数量，将所含目标数相本文档来自技高网...

【技术保护点】
一种融合可见光与红外两波段图像目标特征的目标识别方法，其特征在于，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。

【技术特征摘要】
1.一种融合可见光与红外两波段图像目标特征的目标识别方法，其特征在于，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。2.根据权利要求1所述的一种融合可见光与红外两波段图像目标特征的目标识别方法，其特征在于，在所述对可见光与中、远红外两波段图像进行目标配准阶段，先对波段进行粗分类后进行精配准；首先将可见光图像进行中值滤波，中红外、远红外图像进行先中值滤波后直方图均衡，建立目标区域成像模型，提取出图像目标区域，然后提取目标区域的空间灰度直方图特征，对所述目标区域进行在其所属光源下进行粗分类；其次根据各类包含的目标数量以及类与类之间的显著特征差异判定哪些可见光图像目标类、中红外图像目标类和远红外图像目标类属于同一类目标；提取某一类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征，计算目标可见光图像与目标远红外图像之间的相似度，以及目标中红外图像与目标远红外图像之间的相似度，各自最大相似度对应的两种光源图像目标是同一个目标，以目标远红外图像为中间变量实现同类目标在3种光源下图像目标配准。3.根据权利要求1所述的一种融合可见光与红外两波段图像目标特征的目标识别方法，其特征在于，在所述对可见光与中、远红外两波段图像进行目标识别阶段，基于目标配准结果，建立目标可见光与红外两波段图像样本库，计算得到融合特征，将其输入到分类器中，实现融合可见光与中、远红外两波段图像目标特征的目标识别。4.根据权利要求2所述的一种融合可见光与红外两波段图像目标特征的目标识别方法，其特征在于，所述对可见光与红外两波段图像进行目标配准阶段的具体过程为：步骤1.1，对图像预处理，可见光图像进行中值滤波，中红外、远红外图像进行中值滤波和直方图均衡；步骤1.2，根据可见光、中红外和远红外图像成像特点，确定图像目标区域与背景区域的特征差异，建立图像目标区域成像模型，提取多源图像中的目标区域；步骤1.3，针对各单源图像，提取其每个目标区域的空间灰度直方图特征，计算每个目标区域之间的相似性，将各单源图像目标区域粗分类；步骤1.4，比较可见光图像、中红外图像以及远红外图像中各类目标包括的目标数量，将所含目标数相同的可见光图像目标类、中红外图像目标类和远红外图像目...

【专利技术属性】
技术研发人员：闫钧华，谢天夏，张寅，黄伟，蔡旭阳，杜君，白雪含，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32