基于核稀疏典型相关分析热红外人脸图像可见光重建方法技术

本发明专利技术提出了一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：利用热像仪和光学相机同时采集若干个训练样本，建立数据集；对数据集全局训练，利用全局训练得到的数据对热红外测试图像全局重建得到重建的全局可见光谱图像，对数据集局部细化训练，热红外测试图像的局部细化的重建得到重建的可见光谱残差图像块，利用可见光谱残差图像块重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。本发明专利技术获得了热红外光谱和可见光谱两组数据的最佳投影方向，提升了特征的可分离性，剔除了冗余信息，获取了最佳的识别效果，解决了弱光环境下的人脸识别难题，充分利用现有的可见光数据库进行人脸匹配。

Visible Light Reconstruction of Thermal Infrared Face Images Based on Kernel Sparse Canonical Correlation Analysis

The present invention proposes a visible light reconstruction method for thermal infrared face image based on nuclear sparse canonical correlation analysis. The steps are as follows: using thermal imager and optical camera to collect several training samples at the same time and establish data sets; global training of data sets, global reconstruction of thermal infrared test images using the data obtained from global training to obtain the reconstructed global visible spectrum image, logarithm. Local thinning training is used to reconstruct the visible spectral residual image block. The average of overlapping pixels of the visible spectral residual image block and the reconstructed global visible spectral image are combined to obtain the visible spectral face reconstruction image. The method obtains the best projection direction of two sets of data of thermal infrared spectrum and visible spectrum, improves the separability of features, eliminates redundant information, obtains the best recognition effect, solves the difficult problem of face recognition in weak light environment, and makes full use of the existing visible light database for face matching.

【技术实现步骤摘要】
基于核稀疏典型相关分析热红外人脸图像可见光重建方法
本专利技术涉及弱光环境下目标人脸身份认证的
，尤其涉及一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法。
技术介绍
当前公安司法系统或其他身份认证系统存储的人脸样本均为可见光图像，而在夜间或光线不足的场所，常规监控系统很难获取有效的可见光图像，从而导致了违法犯罪案件关键证据的取证困难。热像仪在热红外光谱中运行，通过捕捉红外辐射成像，不依赖于照明，取决于物体的温度变化。热红外光谱人脸图像的辨别特征是由人的脸部肌肉组织和血管分布等固有因素所决定，具有较强的鲁棒性，不受环境光照等因素的影响。通过将热像仪采集的热红外光谱人脸图像映射到可见光谱空间，再将重建的可见光人脸图像与现有的大量可见光人脸数据库进行匹配识别，解决了弱光环境下公安司法机关案件取证、罪犯追逃和公共安全管理部门身份认证的难题，将具有极大的应用前景。
技术实现思路
针对现有可见光人脸识别技术无法应对弱光环境的技术问题，本专利技术提出一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，解决了目前低照度下获取的可见光人脸图像无法与现有可见光数据库匹配的问题。为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。对数据集全局训练的方法的步骤为：(1)将数据集中热光谱图像和可见光谱图像分别进行中心化：其中，Ximg为热光谱图像空间，n＝1,2,…,N，N为数据集中训练样本的总数量；Yimg为可见光谱图像空间；中心化热光谱数据为中心化热光谱数据空间；中心化可见光谱数据为中心化可见光谱数据空间；μX为数据集中所有热光谱图像的均值向量，μY为数据集中所有可见光谱图像的均值向量；(2)执行主分量分析，将中心化热光谱数据空间和中心化可见光谱数据空间分别投影到特征空间：其中，PX为对热光谱图像应用主分量分析获得的特征投影矩阵，PY为对可见光谱图像应用主分量分析获得的特征投影矩阵，为热光谱特征空间，热光谱特征训练数据为可见光谱特征空间，可见光谱特征训练数据(3)热光谱训练特征数据和可见光谱特征训练数据进行中心化：其中，中心化热光谱特征训练数据为热光谱特征空间Xeig的中心化数据空间；中心化可见光谱特征训练数据为可见光谱特征空间Yeig的中心化数据空间；vX为热光谱特征空间Xeig的均值向量，vY为可见光谱特征空间Yeig的均值向量；(4)执行核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY，将中心化热光谱特征训练数据空间和中心化可见光谱特征训练数据空间投影到相关空间：其中，Xcoh为相干空间中的热光谱训练数据，Ycoh为相干空间中的可见光谱训练数据。利用核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY的方法为：应用核稀疏典型相关分析优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化：同时，使核稀疏重构误差最小化：以式(7)作为最优化目标函数，以式(8)和(9)作为约束条件，求解满足式(7)、(8)和(9)表示的约束最优化问题，得到热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY；其中，和分别为热光谱训练数据和可见光谱训练数据的核内积矩阵，T表示矩阵的转置；分别为中心化热光谱特征训练数据和中心化可见光谱特征训练数据相对应的核稀疏表示系数向量。所述热红外测试图像的全局重建的方法为：(1)将数据集中测试样本的热光谱图像ximg由图像空间投影到特征空间为：xeig＝PX(ximg-μX)(21)其中，xeig为测试样本的特征图像；(2)将测试样本由特征空间投影到相关空间：xcoh＝QX(xeig-vX)(22)其中，xcoh为测试样本相关空间中的热光谱数据；(3)在相关空间中应用局部线性嵌入获得全局重建权重向量，利用全局重建权重向量估计重建的可见光谱数据：其中，ycoh为测试样本在相关空间中重建的可见光谱数据，为相关空间中重建的可见光谱数据ycoh的K个可见光谱邻域像素，K为自然数，k＝1,2，...,K；(4)将相关空间中重建的可见光谱数据ycoh投影回图像空间：其中，yeig为测试样本的可见光谱特征图像，为可见光谱训练数据相关空间投影矩阵QY的伪逆矩阵，为测试样本重建的全局可见光谱人脸图像。所述获得全局重建权重向量的方法为：求解最小化误差函数ε1：其中，w＝(w1,w2,...,wK)T是全局重建权重向量，引入元素为gj,k的局部格拉姆矩阵G，得：其中，j,k＝1,2，...,K；重建误差通过使用拉格朗日乘子法，令来实现最小化，计算全局重建权重向量w为：其中，为矩阵G-1的元素，矩阵G-1为局部格拉姆矩阵G的逆矩阵；像素为测试样本相关空间中的热光谱数据xcoh的K个热光谱邻域像素。所述热光谱邻域像素Ax为选取相关空间中与热光谱数据xcoh最相近的K个同类样本像素点组成的集合；可见光谱邻域像素Ay与热光谱邻域像素Ax对应匹配，热光谱邻域像素Ax和可见光谱邻域像素Ay均通过最近邻算法KNN获得。所述对数据集局部细化训练的方法为：(1)计算重建的全局可见光谱人脸图像与可见光谱图像和热光谱图像的图像块的重建误差：其中，表示对重建的全局可见光谱人脸图像用滑动窗口进行检索后得到的图像块，为全局重建的可见光谱训练数据；表示对可见光谱图像用滑动窗口进行本文档来自技高网...

【技术保护点】
1.一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，其步骤如下：步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。...

【技术特征摘要】
1.一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，其步骤如下：步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。2.根据权利要求1所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，对数据集全局训练的方法的步骤为：(1)将数据集中热光谱图像和可见光谱图像分别进行中心化：其中，Ximg为热光谱图像空间，n＝1,2,…,N，N为数据集中训练样本的总数量；Yimg为可见光谱图像空间；中心化热光谱数据为中心化热光谱数据空间；中心化可见光谱数据为中心化可见光谱数据空间；μX为数据集中所有热光谱图像的均值向量，μY为数据集中所有可见光谱图像的均值向量；(2)执行主分量分析，将中心化热光谱数据空间和中心化可见光谱数据空间分别投影到特征空间：其中，PX为对热光谱图像应用主分量分析获得的特征投影矩阵，PY为对可见光谱图像应用主分量分析获得的特征投影矩阵，为热光谱特征空间，热光谱特征训练数据为可见光谱特征空间，可见光谱特征训练数据(3)热光谱训练特征数据和可见光谱特征训练数据进行中心化：其中，中心化热光谱特征训练数据为热光谱特征空间Xeig的中心化数据空间；中心化可见光谱特征训练数据为可见光谱特征空间Yeig的中心化数据空间；vX为热光谱特征空间Xeig的均值向量，vY为可见光谱特征空间Yeig的均值向量；(4)执行核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY，将中心化热光谱特征训练数据空间和中心化可见光谱特征训练数据空间投影到相关空间：其中，Xcoh为相干空间中的热光谱训练数据，Ycoh为相干空间中的可见光谱训练数据。3.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，利用核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY的方法为：应用核稀疏典型相关分析优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化：同时，使核稀疏重构误差最小化：以式(7)作为最优化目标函数，以式(8)和(9)作为约束条件，求解满足式(7)、(8)和(9)表示的约束最优化问题，得到热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY；其中，和分别为热光谱训练数据和可见光谱训练数据的核内积矩阵，T表示矩阵的转置；分别为中心化热光谱特征训练数据和中心化可见光谱特征训练数据相对应的核稀疏表示系数向量。4.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述热红外测试图像的全局重建的方法为：(1)将数据集中测试样本的热光谱图像ximg由图像空间投影到特征空间为：xeig＝PX(ximg-μX)(21)其中，xeig为测试样本的特征图像；(2)将测试样本由特征空间投影到相关空间：xcoh＝QX(xeig-vX)(22)其中，xcoh为测试样本相关空间中的热光谱数据；(3)在相关空间中应用局部线性嵌入获得全局重建权重向量，利用全局重建权重向量估计重建的可见光谱数据：其中，ycoh为测试样本在相关空间中重建的可见光谱数据，为相关空间中重建的可见光谱数据ycoh的K个可见光...

【专利技术属性】
技术研发人员：栗科峰，卢金燕，熊欣，李小魁，王炜，刘小巍，李娜，
申请(专利权)人：河南工程学院，
类型：发明
国别省市：河南,41