基于光谱与多波段融合的人脸识别监控系统及识别方法技术方案

本发明专利技术涉及一种基于光谱与多波段融合的人脸识别监控系统及识别方法，该系统包括光谱摄像头、人脸光谱图像采集模块、人脸光谱图像数据预处理模块、人脸光谱图像数据库、人脸光谱图像识别模块；所述光谱摄像头包括光学镜头和硅基探测器，所述硅基探测器包括光电转换基底、设置在光电转换基底上面的滤光薄膜；所述滤光薄膜包括N个单元，每个单元包括三个区域，具体为可见光谱感应区、近红外光谱图像感应区和RGGB图像采集区，N个单元覆盖光电转换基底上的所有像素点；该系统实现通过一个摄像头即可获取人脸在可见‑近红外光波段的反射多光谱数据、近红外波段人脸图像和RGGB人脸图像的目的，大大降低监控系统的成本，实现了人脸更精准的识别。

【技术实现步骤摘要】
基于光谱与多波段融合的人脸识别监控系统及识别方法
本专利技术属于光学领域，涉及人脸识别与监控相关
，具体涉及一种基于光谱与多波段融合的人脸识别监控系统及识别方法。
技术介绍
视频监控在安全领域一直扮演着重要的角色。随着科技的发展，人脸识别技术以最为友好的生物特征认证技术，通过摄像头动态捕捉人面部图像，再进行比对识别的方法进入了监控领域。人脸识别技术的核心在于，利用面部各器官及特征部位的方位关系或人体姿态骨架特征，形成识别参数，其与模板数据库中的参数进行识别计算，最终给出判断，例如：CN110796079A公开的“基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统”。但随着一些高清3D面具出现和通过化妆更改面容特征等不法欺诈手段的出现(这里我们统称真假人脸)，使这种生物识别技术失效，安全性面临了巨大的挑战。即使监控系统嵌入了人脸识别活体检测技术，通过抬头、低头、或念一串文字等面部动作，来判定检测对象是否为活体，也无法做到对视频中真假人脸的实时智能分析。另外，现有的RGGB摄像头成像很大程度上受光线环境的影响，在光线条件恶劣的情况下无法实现人脸、活体检测。中国专利CN110874588A公开了“动态优化人脸识别中光线影响的方法与装置”，提出通过设置RGGB摄像头及红外摄像头双目摄像头的方法，利用红外摄像头进行人脸识别处理，避免光线条件影响。中国专利CN108090477A公开的“一种基于多光谱融合的人脸识别方法与装置”同样提出利用RGGB图像和红外图像进行人脸识别。虽然利用红外图像这种方案能够解决光线不好的问题，但在识别真假人脸上仍然起不到有效作用，加上红外摄像头价格相对昂贵，不适于推广。中国专利CN202887210U公开了“一种多光谱人脸识别系统”，该系统利用多光谱成像系统获取生物体的光谱特征信息，利用人脸皮肤的光谱反射率识别真假人脸，避免人脸识别过程中的一些伪装欺骗手段。但是该识别系统所用的高精度光谱仪价格昂贵，仍不适于推广。因此，有必要开发一种价格低廉、能够有效进行真假人脸识别，且识别准确的人脸识别监控系统。
技术实现思路
鉴于上述问题，本专利技术的第一个目的在于提供一种基于光谱与多波段融合的人脸识别监控系统，该系统通过将硅基探测器分成多个单元，每个单元有三个区域，每个区域上分别刻蚀不同波段的光谱调制膜层，实现通过一个摄像头即可获取人脸在可见-近红外光波段的反射多光谱数据、近红外波段人脸图像和RGGB人脸图像的目的，大大降低监控系统的成本；而且该系统在对人脸进行识别时，可利用光谱数据识别是否为真实人体皮肤，再结合近红外波段人脸图像和RGGB人脸图像进一步识别，双重识别有效保证了人脸识别的准确性，提高识别安全性，解决了目前监控系统人脸识别错判的弊端。为实现上述目的，本专利技术具体是采用如下技术方案实现的：一种基于光谱与多波段融合的人脸识别监控系统，该系统包括光谱摄像头、人脸光谱图像采集模块、人脸光谱图像数据预处理模块、人脸光谱图像数据库、人脸光谱图像识别模块；其中，所述光谱摄像头包括光学镜头和硅基探测器，所述硅基探测器包括光电转换基底、设置在光电转换基底上面的滤光薄膜；所述滤光薄膜包括N个单元，每个单元包括三个区域，具体为可见光谱感应区、近红外光谱图像感应区和RGGB图像采集区，N个单元覆盖光电转换基底上的所有像素点；所述可见光谱感应区，用于将入射的可见光光谱进行区分；可见光谱感应区是由已知且透光率不同的n种材料通过逐一涂覆、刻蚀后拼接而成，可见光谱感应区为单层结构，包括T1、T2......Tn个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1，可见光谱感应区与近红外光谱图像感应区和RGGB图像采集区构成一个周期性结构；所述近红外光谱图像感应区的透射波段分为780-850nm、850-950nm、950-1050nm、1050-1200nm，用于探测波长大于780nm的近红外光波段的深层面部特征图像，其是由已知且近红外透光率不同的四种材料通过逐一涂覆、刻蚀后拼接而成，近红外光谱图像感应区为单层结构，包括Tir1、Tir2、Tir3、Tir4四个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1；所述RGGB图像采集区，用于监控区人脸彩色图像采集，RGGB图像采集区包括透射红、绿、绿、蓝三种颜色的四个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1；所述光电转换基底用于将透过可见光谱感应区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；将透过近红外光谱图像感应区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；将透过RGGB图像采集区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；所述人脸光谱图像采集模块，用于根据入射光信号强度信息和对应光电转换基底像素位置信息，反演出人脸光谱数据和图像数据，包括人脸在可见-近红外波段的反射多光谱数据、近红外波段人脸图像和RGGB人脸图像；所述近红外波段人脸图像和RGGB人脸图像采用图像反演方式进行获取，所述多光谱数据的反演方式如公式(1)所示Si＝∫I(λ)Ti(λ)η(λ)dλ，(1)其中，S为光电转换基底输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，包括可见光波段的滤光薄膜的光谱透过率和近红外光波段的滤光薄膜的光谱透过率，η为光电转换基底的量子效率，λ为入射波长；所述人脸光谱图像数据预处理模块，用于将近红外光谱图像感应区和RGGB图像采集区获取的人脸图像进行降噪处理，并将降噪后的RGGB人脸图像和近红外波段人脸图像进行特征提取，在可见光谱感应区获取的多光谱图像以及在近红外光谱感应区获取的多光谱图像中，对人脸的多光谱数据进行提取，将多维的人面部特征数据与人脸光谱图像数据库中图像及多光谱数据进行比对；所述人脸光谱图像数据库，用于储存所要搜寻的Nx个特征人脸的图像特征数值和光谱数据，以及多种假面具材料多光谱数据，便于与监控区域内出现的人脸图像及其光谱比对；所述人脸光谱图像识别模块，用于将人脸可见-近红外波段的反射多光谱数据、预处理后的近红外波段人脸图像和RGGB人脸图像数据与人脸光谱图像数据库中的信息进行对比。作为本专利技术的优选，该系统还包括补光光源，所述补光光源发射波段包括可见光和近红外光，用于夜晚或光线不足环境下对监控区的人员进行监控，加强深层面部图像采集。作为本专利技术的优选，所述光学镜头在监控区域内可根据目标距离自动调节焦距。作为本专利技术的优选，所述硅基探测器为CMOS图像传感器或CCD图像传感器。作为本专利技术的优选，所述可见光谱感应区的制备方法为：选择n种光谱透过率不同的聚酰亚胺类滤光薄膜材料，先在光电转换基底上涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需本文档来自技高网...

【技术保护点】
1.一种基于光谱与多波段融合的人脸识别监控系统，其特征在于，该系统包括光谱摄像头、人脸光谱图像采集模块、人脸光谱图像数据预处理模块、人脸光谱图像数据库、人脸光谱图像识别模块；/n其中，所述光谱摄像头包括光学镜头和硅基探测器，所述硅基探测器包括光电转换基底、设置在光电转换基底上面的滤光薄膜；所述滤光薄膜包括N个单元，每个单元包括三个区域，具体为可见光谱感应区、近红外光谱图像感应区和RGGB图像采集区，N个单元覆盖光电转换基底上的所有像素点；/n所述可见光谱感应区，用于将入射的可见光光谱进行区分；可见光谱感应区是由已知且透光率不同的n种材料通过逐一涂覆、刻蚀后拼接而成，可见光谱感应区为单层结构，包括T

【技术特征摘要】
1.一种基于光谱与多波段融合的人脸识别监控系统，其特征在于，该系统包括光谱摄像头、人脸光谱图像采集模块、人脸光谱图像数据预处理模块、人脸光谱图像数据库、人脸光谱图像识别模块；
其中，所述光谱摄像头包括光学镜头和硅基探测器，所述硅基探测器包括光电转换基底、设置在光电转换基底上面的滤光薄膜；所述滤光薄膜包括N个单元，每个单元包括三个区域，具体为可见光谱感应区、近红外光谱图像感应区和RGGB图像采集区，N个单元覆盖光电转换基底上的所有像素点；
所述可见光谱感应区，用于将入射的可见光光谱进行区分；可见光谱感应区是由已知且透光率不同的n种材料通过逐一涂覆、刻蚀后拼接而成，可见光谱感应区为单层结构，包括T1、T2......Tn个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1，可见光谱感应区与近红外光谱图像感应区和RGGB图像采集区构成一个周期性结构；
所述近红外光谱图像感应区的透射波段分为780-850nm、850-950nm、950-1050nm、1050-1200nm，用于探测波长大于780nm的近红外光波段的深层面部特征图像，其是由已知且近红外透光率不同的四种材料通过逐一涂覆、刻蚀后拼接而成，近红外光谱图像感应区为单层结构，包括Tir1、Tir2、Tir3、Tir4四个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1；
所述RGGB图像采集区，用于监控区人脸彩色图像采集，RGGB图像采集区包括透射红、绿、绿、蓝三种颜色的四个子单元，每个子单元覆盖光电转换基底上的M个像素，其中M大于等于1；
所述光电转换基底用于将透过可见光谱感应区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；将透过近红外光谱图像感应区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；将透过RGGB图像采集区的光信号转换为电信号，经过放大及模数转换后形成数字信号或者编码输出；
所述人脸光谱图像采集模块，用于根据入射光信号强度信息和对应光电转换基底像素位置信息，反演出人脸光谱数据和图像数据，包括人脸在可见-近红外波段的反射多光谱数据、近红外波段人脸图像和RGGB人脸图像；所述近红外波段人脸图像和RGGB人脸图像采用图像反演方式进行获取，所述多光谱数据的反演方式如公式(1)所示
Si＝∫I(λ)Ti(λ)η(λ)dλ，(1)
其中，S为光电转换基底输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，包括可见光波段的滤光薄膜的光谱透过率和近红外光波段的滤光薄膜的光谱透过率，η为光电转换基底的量子效率，λ为入射波长；
所述人脸光谱图像数据预处理模块，用于将近红外光谱图像感应区和RGGB图像采集区获取的人脸图像进行降噪处理，并将降噪后的RGGB人脸图像和近红外波段人脸图像进行特征提取，在可见光谱感应区获取的多光谱图像以及在近红外光谱感应区获取的多光谱图像中，对人脸的多光谱数据进行提取，将多维的人面部特征数据与人脸光谱图像数据库中图像及多光谱数据进行比对；
所述人脸光谱图像数据库，用于储存所要搜寻的Nx个特征人脸的图像特征数值和光谱数据，以及多种假面具材料多光谱数据，便于与监控区域内出现的人脸图像及其光谱比对；
所述人脸光谱图像识别模块，用于将人脸可见-近红外波段的反射多光谱数据、预处理后的近红外波段人脸图像和RGGB人脸图像数据与人脸光谱图像数据库中的信息进行对比。


2.根据权利要求1所述的一种基于光谱与多波段融合的人脸识别监控系统，其特征在于，该系统还包括补光光源，所述补光光源发射波段包括可见光和近红...

【专利技术属性】
技术研发人员：任玉，聂刚，周浩，刘禹辰，刘晓慧，王朔，张永生，蔡红星，姚治海，
申请(专利权)人：吉林求是光谱数据科技有限公司，
类型：发明
国别省市：吉林;22