基于极成像的立体-高光谱人脸识别方法技术

本发明专利技术提出了一种基于极成像的立体‑高光谱人脸识别的方法，用于解决现有多光谱人脸识别方法中存在的识别结果稳定性差和识别效率低的技术问题，包括如下步骤，1、利用极光谱系统采集人脸信息；2、根据人脸信息中的二维极图像对人脸进行立体重构；3、对二维人脸进行区域块划分，并根据该划分结果对立体人脸和人脸光谱信息进行区域块划分；4、提取区域块的综合特征向量；5、分别对多个人脸和待识别人脸采用步骤1到步骤4得到样本库数据和待识别人脸数据；6、训练样本库数据得到分类器；7、将待识别人脸数据输入到分类器中，并识别人脸。本发明专利技术具有稳定性好和识别效率高特点，可用于金融交易、安全防务、通关安检等的身份鉴定。

【技术实现步骤摘要】

本专利技术属于生物特征识别
，涉及一种人脸识别方法，具体涉及一种基于极成像的立体-高光谱人脸识别方法，可用于金融交易、安全防务、通关安检等的身份鉴定。
技术介绍
世界上居住着67亿相貌各异、肤色不同的人类，人脸作为一项重要的生物特征，在人与人之间的交流中具有重要地位。当今社会中，人脸已经成为一种重要的用于身份鉴定的特征。人脸识别系统按功能可以分为三种：面向安防类、管理监督类和多媒体娱乐类，对识别准确率的要求也依次降低。据报道，在美国每年有上亿美元的政府福利资金被非法冒领，另外，因为缺少完善的身份识别系统，也出现了包括恐怖袭击威胁的多种社会安全问题。近年来发生的连续恐怖袭击的悲剧，在加强安保措施的同时对各国的边境检查、入境审察能力也敲响了警钟。因此，研究面向安防类的更加精确、高效的人脸识别技术具有明确的、紧迫的研究意义。人脸识别过程一般被描述为，给定一个静态或者动态的人脸图像，利用已有的人脸数据库来确定图像中的一个或者多个人的身份。其主要解决三个任务：身份认证、身份识别、监控。身份认证是判断图像中的人脸是否是他所声明的身份，只需要将输入的人脸图像与数据库中所存储的该身份的模板图像相比对，是一对一的比较；身份识别是利用人脸数据库来确定图像中人脸的身份，需要将输入的人脸图像与库中所有的身份模板图像进行比对并给出相似度，来判别输入人脸是库中的哪个身份(相似度最高)，是一对多的比较。监视是指在监控范围内发现人脸并跟踪和分割出来，并判断该人脸是否在监控列表上，如果是的话，再进一步确认他们的身份。人脸识别的基本流程主要包括数据采集、人脸检测、人脸配准、人脸特征提取以及人脸识别等过程。使用图像传感器如CCD或CMOS等获取人脸图像或视频，通过预处理提高图像质量，然后进行人脸检测、姿态估计和特征点定位，即从图
像中分割出感兴趣的人脸区域，对人脸区域进行配准和归一化，再对归一化后的人脸图像进行特征提取，输入到分类器中与人脸库中模板图像特征向量进行匹配计算，最后输出识别结果。人脸识别从描述人脸的方法上可以分为两大类：基于几何特征人脸表示方法和基于纹理的人脸表示方法。基于人脸几何结构的识别方法利用人脸在结构组成上的特征信息，从人脸二维图像求取边缘和轮廓作为特征，进而利用特征比对的方式判断特征之间的相似度。本质上，从二维图片中提取的信息是丢失了真实三维人脸深度维信息后的子集，而且人脸的外形特征并不稳定，容易受光照和表情变化的影响，因此基于二维人脸图像的几何结构识别方法稳定性不高，在大面积的阴影影响下甚至会失效。从而，近两年来基于三维或深度几何特征的人脸识别方法被提出，通过激光扫描、立体成像等技术获得带有深度信息的人脸三维模型，并从模型中提取有效的特征，例如使用前额曲率、鼻子高度等信息组成描述三维人脸的特征向量，进而通过模板匹配的方法进行识别。空间多维度信息的引入成功的解决了人脸特征受光照变化的影响，使识别准确率达到了90％以上。另一方面，国内外的研究学者们还开展了大量的基于纹理信息的人脸识别方法研究。此类方法从人脸的光谱维信息出发，利用光谱在人脸表面分布的规律性和固定性作为人脸的特征描述，进而利用模式识别的方法完成人脸识别。作用于人脸的光分为主动和被动光源，光源光谱的波段范围也从可见光扩展到近红外，光谱的分辨率范围从多色、多光谱再到高光谱。依托于统计模式识别的理论和技术的发展，涌现出大量的基于纹理信息的人脸识别算法。二十世纪九十年代被提出的“特征脸(Eignface)”是具有代表性的识别方法。至今“特征脸”方法仍旧是人脸识别领域中用来评测新算法的基准算法之一，被应用于各个光谱波段的人脸识别。随着机器学习技术的兴起与快速发展，神经网络、深度学习等方法被应用到人脸检测中并获得了很大的成功，尤其是最近两年来随着高性能计算机硬件的推广，人工智能技术有了重大的突破，利用机器学习对大规模样本训练后获得良好的分类器，进而对人脸图像或视频进行检测和识别。虽然，“机器学习”的应用发展的如火如荼，但是在处理人脸检测与识别问题上还是存在明显不足的：需要大量的有监督训练数据作为支撑，以提高系统的泛化能力；目前已有的人脸数据库中具有完整标签信息的很少，限制了大部分监督学习算法；模型训练
时间和资源消耗很大，如要调整训练策略和参数，需要很长的周期。目前，研究者所使用的人脸识别方法从空间上已经由低维向高维空间发展，从光谱上已经由单色灰度图像向宽波段乃至高(多)光谱发展。一方面，通过激光扫描、立体成像等技术获得带有深度信息的人脸三维模型，并从模型中提取有效的几何特征，空间维度信息的引入解决了人脸特征受光照和表情变化的影响。另一方面，利用波光片或分光棱镜的光学手段获得人脸的光谱信息，并从获得的人脸光谱信息中提取人脸局部的光谱特征，光谱维度信息的扩展解决了人脸识别受阴影和部分遮挡因素的影响。例如，中国专利申请，授权公告号为CN102831400 B，名称为“一种多光谱人脸识别方法及其系统”的专利技术专利，该专利技术包括光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪，多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块，人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别，然后将识别的结果进行输出，中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别。该专利技术虽然能够在识别过程中提供明显的类间距离，但是仍存在两处不足一是由于使用多光谱成像系统采集人脸图像数据，无法获得人脸的立体结构信息，使识别结果容易受到光照变化、涂覆与遮挡的影响，导致识别结果稳定性差，另外该专利技术由于在截取人脸区域样本时需要手动操作，降低了人脸识别的效率。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于极成像的立体-高光谱人脸识别方法，用于解决现有多光谱人脸识别方法中存在的识别结果稳定性差和识别效率低的技术问题。为实现上述目的，本专利技术采取的技术方案，包括如下步骤：步骤1，利用极光谱系统采集人脸数据，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息；步骤2，从得到的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的多个极图像进行融合，并对融合后的极图像进行仿射变换，得到人脸三个不同视点的图像；步骤3，利用多视点立体匹配方法，对得到人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；步骤4，对所述融合后的极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；步骤5，根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块；步骤6，对得到的多个局部区域块中的每个局部区域块，计算三维结构的特征向量，同时提取光谱信息的特征向量，并对这两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；步骤7，对多个样本人脸采用步骤1到步骤6，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；步骤8，将得到的人脸样本库数据输入到线性支持向量机模型中进行训练，得到针对不同目标类型的分类器；步骤9，对待识别人脸采用本文档来自技高网...

【技术保护点】
一种基于极成像的立体‑高光谱人脸识别方法，其特征在于，包括如下步骤：(1)利用极光谱系统采集人脸数据，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息；(2)从得到的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的多个极图像进行融合，并对融合后的极图像进行仿射变换，得到人脸三个不同视点的图像；(3)利用多视点立体匹配方法，对得到人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；(4)对所述融合后的极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；(5)根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块；(6)对得到的多个局部区域块中的每个局部区域块，计算三维结构的特征向量，同时提取光谱信息的特征向量，并对这两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；(7)对多个样本人脸采用步骤(1)到步骤(6)，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；(8)将得到的人脸样本库数据输入到线性支持向量机模型中进行训练，得到针对不同目标类型的分类器；(9)对待识别人脸采用步骤(1)到步骤(6)，得到待识别人脸的多个带有分类标签的局部综合特征向量；(10)将得到的待识别人脸的多个带有分类标签的局部综合特征向量，输入到所述的分类器中进行分类，得到待识别人脸多个局部区域块所属的目标类型，并根据待识别人脸的多个局部区域块是否属于同一目标类型，判断该人脸是否与样本库相符。...

【技术特征摘要】
1.一种基于极成像的立体-高光谱人脸识别方法，其特征在于，包括如下步骤：(1)利用极光谱系统采集人脸数据，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息；(2)从得到的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的多个极图像进行融合，并对融合后的极图像进行仿射变换，得到人脸三个不同视点的图像；(3)利用多视点立体匹配方法，对得到人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；(4)对所述融合后的极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；(5)根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块；(6)对得到的多个局部区域块中的每个局部区域块，计算三维结构的特征向量，同时提取光谱信息的特征向量，并对这两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；(7)对多个样本人脸采用步骤(1)到步骤(6)，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；(8)将得到的人脸样本库数据输入到线性支持向量机模型中进行训练，得到针对不同目标类型的分类器；(9)对待识别人脸采用步骤(1)到步骤(6)，得到待识别人脸的多个带有分类标签的局部综合特征向量；(10)将得到的待识别人脸的...

【专利技术属性】
技术研发人员：吴鑫，张建奇，刘鹏飞，杨琛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61