一种多模态人脸识别的方法技术

本申请提供一种多模态人脸识别的方法

【技术实现步骤摘要】
一种多模态人脸识别的方法、装置及智能门锁


[0001]本专利技术涉及计算机视觉领域，具体涉及一种多模态人脸识别的方法
、
装置及智能门锁
。

技术介绍

[0002]智能门锁市场的发展离不开通信技术和生物识别技术两大核心技术的进步，通信技术影响着远程交互的效率和稳定性，而生物特征识别技术决定着开锁性能的可靠性和安全性
。
在人脸识别智能门锁的初期，使用的大部分产品都是
2D
人脸识别技术
。
近年来，智能门锁制造商转向了另一种热成像人脸识别技术，即
3D
人脸识别技术
。

技术实现思路

[0003]根据本申请的一方面，提出一种多模态人脸识别的方法，人脸识别装置包括多通道摄像头，红外摄像头和数据处理模块，所述方法包括：
[0004]通过所述多通道摄像头与所述红外摄像头对视场范围内的待识别对象同时分别采集图像，以得到第一图像和第二图像，其中，所述第一图像由所述多通道摄像头采集得到，且包括彩色图像信息和红外图像信息；所述第二图像为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态人脸识别的方法，其特征在于，人脸识别装置包括多通道摄像头，红外摄像头和数据处理模块，所述方法包括：通过所述多通道摄像头与所述红外摄像头对视场范围内的待识别对象分别采集图像，以得到第一图像和第二图像，其中，所述第一图像由所述多通道摄像头采集得到，且包括彩色图像信息和红外图像信息；所述第二图像为所述红外摄像头采集得到；基于所述第一图像和所述第二图像，分别进行关键点检测以得到第一图像的人脸关键点位置和第二图像的人脸关键点位置；根据所得到的人脸关键点位置，进行关键点匹配以得到深度图像；对所述第一图像
、
所述第二图像和所述深度图像进行质量判断以得到采集图像质量判断结果；根据所述采集图像质量判断结果，进行多模态人脸识别
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：将人脸数据包含的彩色图像信息
、
红外图像信息和深度图像信息分别保存到注册库中
。3.
根据权利要求1所述的方法，其特征在于，所述根据所述采集图像质量判断结果，进行多模态人脸识别，包括：将所述第一图像
、
所述第二图像及所述深度图像作为特征提取对象；根据所述采集图像质量判断结果，设置置信度；根据所述置信度，对所述第一图像
、
所述第二图像及所述深度图像分配相应的特征参与占比，以对所述特征提取对象进行特征提取
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述采集图像质量判断结果，进行多模态人脸识别，包括：对应用环境进行光线检测；根据所述光线检测的结果，选择所述第一图像和所述第二图像，或者选择所述第二图像和所述深度图像作为特征提取对象，以进行特征提取
。5.
根据权利要求3或4所述的方法，其特征在于，所述根据所述采集图像质量判断结果，进行多模态人脸识别，还包括：将所述特征提取对象分别输入彩色识别网络
、
红外识别网络和
3D
识别网络，以进行特征提取；其中，通过所述彩色识别网络提取到的彩色特征为第一识别特征，通过所述红外识别网络提取到的红外特征为第二识别特征，通过所述
3D
识别网络提取到的
3D
特征为第三识别特征
。6.
根据权利要求5所述的方法，其特征在于，所述注册库中存储有人脸数据所包含的彩色图像信息
、
红外图像信息和深度图像信息，所述根据所述采集图像质量判断结果，进行多模态人脸识别，还包括：如果所述采集图像质量判断结果满足第一阈值条件，选择将所述第一识别特征和所述注册库中的所述彩色图像信息进行比对，得到第一比对值，将所述第二识别特征和所述注册库中的所述红外图像信息进行比对，得到第二比对值；将所述第一比对值和所述第二比对值进行融合计算，以得到识别比对值；
如果所述采集图像质量判断结果满足第二阈值条件，选择将所述第二识别特征和所述注册库中的所述红外图像信息进行比对，得到第三比对值，将所述第三识别特征和所述注册库中的所述深度图像信息进行比对，得到第四比对值；将所述第三比对值和所述第四比对值进行融合计算，以得到识别...

【专利技术属性】
技术研发人员：戴怡洁，张新远，金俊杰，吴倩，项国平，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：