一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法技术

本发明专利技术公开了一种基于多特征融合与多核迁移学习的红外人体目标识别方法。首先，基于红外图像特殊的成像机理，对红外场景中的目标提取一种改进的CLBP特征‑‑MSF‑CLBP来表达纹理信息，以及一种改进的局部HOG特征‑‑HOG‑FV来表达形状信息，以发掘目标中的有效特征；其次，针对上述提取到的两种异构特征，采用串联融合的方法进行特征融合，使得对目标特征信息的描述更为客观全面。最后，设计了一种融合多核分类与TrAdaBoost迁移学习框架的分类器，有效地解决了带标签的红外样本图像匮乏的问题，同时增强了待分类数据的区分性，以获取更优的识别效果。该方法从特征提取的改进和分类器的设计两方面着手，改善了特征信息的表达，提升了复杂背景下红外人体目标识别的性能。

An Infrared Human Target Image Recognition Method Based on Multi-feature Fusion and Multi-core Migration Learning

The invention discloses an infrared human target recognition method based on multi-feature fusion and multi-core migration learning. Firstly, based on the special imaging mechanism of infrared image, an improved CLBP feature MSF Collection fusion makes the description of target feature information more objective and comprehensive. Finally, a classifier which combines multi-core classification and TrAdaBoost transfer learning framework is designed, which effectively solves the problem of lack of labeled infrared sample images, and enhances the discrimination of the data to be classified, so as to obtain better recognition results. This method improves the expression of feature information and improves the performance of infrared human target recognition under complex background by improving feature extraction and classifier design.

【技术实现步骤摘要】
一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
本专利技术属于红外图像处理和模式识别
，尤其涉及一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法。
技术介绍
红外场景下的人体目标识别是红外图像处理和模式识别领域中一个重要的研究分支，其已广泛应用于视频监控，目标跟踪和汽车辅助驾驶系统等实际应用中。为了实现红外图像中人体目标的有效识别，关键在于对人体目标进行准确且全面的特征提取，以及设计合理的分类器来进行分类识别。首先，在红外图像目标特征提取方面，一直以来，众多学者们提出并改进了很多优秀的特征提取算法，如改进的方向梯度直方图(HistogramofOrientedGradient，HOG)特征，改进的局部二值模式特征(LocalBinaryPattern,LBP)，局部强度差异直方图(HistogramsofLocalIntensityDifferences,HLID)特征以及强度自相似(IntensitySelfSimilarity,ISS)特征等等。上述的方法通过对红外人体目标提取某单一方面的特征如形状特征或者纹理特征来进行特征表示，这种特征提取的不全面性本文档来自技高网...

【技术保护点】
1.一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，该方法包括以下步骤：(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；(2)对训练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF‑CLBP；(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG‑FV；(4)将上述提取出的特征MSF‑CLBP与HOG‑FV进行串联融合；(5)设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练；(6)利用训练好的分类...

【技术特征摘要】
1.一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，该方法包括以下步骤：(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；(2)对训练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP；(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行FisherVector编码得到特征HOG-FV；(4)将上述提取出的特征MSF-CLBP与HOG-FV进行串联融合；(5)设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练；(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果。2.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(1)中，所述可见光图像的数目是红外图像数目的2-3倍。3.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(2)中，对练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP，方法如下：(2.1)单演信号滤波以原信号的Riesz变换为基础，对于训练样本集中的任意一幅样本图像f(z)，坐标为z＝(x,y)，对应的Riesz变换表示为：其中，x，y表示的是像素点在x轴和y轴方向上的坐标；z＝(x,y)，z指的是像素点在二维坐标系中的坐标，包括x轴和y轴两个方向；对于图像f(z)，经过单演信号滤波后的信号表示为：fM(z)＝(f(z),fx(z),fy(z))＝(f(z),Rx(z)*f(z),Ry(z)*f(z))其中，*代表卷积运算，通过计算局部幅值A，局部相位φ以及局部方向θ来对图像进行解析，对应的计算公式如下：(2.2)对上述经单演信号滤波后的图像进行CLBP特征提取，来获取图像的纹理特征MSF-CLBP，通过对图像中圆形子窗口中的像素值进行CLBP_SP,R，CLBP_MP,R以及CLBP_CP,R三种算子的运算以获取像素间差值的符号信息和差量信息以及中心像素点的灰度信息，对应的计算方法如下：其中，P为所选图像子窗口中像素点的个数；R为所选圆形子窗口的半径；gp为子窗口中像素点的灰度值，gc为中心像素点的灰度值，gn为图像中像素点的灰度值，N为子窗口的个数；(2.3)将CLBP_SP,R与CLBP_MP,R进行串联，建立一个二维联合直方图，降为一维之后再与CLBP_CP,R进行串联，处理之后所得的特征即为样本图像的MSF-CLBP特征；(2.4)通过上述方法计算得到训练样本集与辅助训练样本集的MSF-CLBP特征集，分别表示为SMC与DMC。4.根据权利要求3所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(3)中，对练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行FisherVector编码得到特征HOG-FV，方法如下：(3.1)对于一幅样本图像I，在提取局部HOG特征时，首先利用梯度算子[-1，0，1]求取每个像素点的横向梯度和纵向梯度H(x,y)和V(x,y)，像素点的梯度幅值M(x,y)和方向O(x,y)通过下列公式计算：O(x,y)＝tan-1[V(x,y)/H(x,y)](3.2)将I分成若干单元，该单元包含了若干个像素点的正方形区域，正方形区域大小为2*2或4*4，将每个单元划分为9个梯度方向，得到一个9维的向量，把相邻的4个单元组成一个块，得到一个36维的HOG块向量，然后，通过L2归一化对所得块向量进行处理，并使用PCA方法将特征向量降至30维；(3.3)对提取出的局部HOG特征向量进行FisherVector编码，设样本图像有T个待编码的局部HOG特征描述子，表示为X＝{xt},t＝1,2...,...

【专利技术属性】
技术研发人员：王鑫，张鑫，宁晨，黄凤辰，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32