适应可见光和近红外的人脸自动识别方法及系统技术方案

本发明专利技术公开一种适应可见光和近红外的人脸自动识别方法及系统，首先，分别将摄像头在可见光模式下采集的人脸数据集和近红外模式下采集的人脸数据集作为两个不同领域的数据集；然后构建一种领域适配迁移学习目标检测算法，对多源数据集进行有效训练，最终获取一种具有领域不变性的迁移学习人脸识别模型，实现同时对白天和晚上不同光线条件下的人脸准确识别，从而保证船舶驾驶台的值班安全

【技术实现步骤摘要】
适应可见光和近红外的人脸自动识别方法及系统


[0001]本专利技术涉及人脸识别与智能航海
，特别是一种适应可见光和近红外的人脸自动识别方法及系统
。

技术介绍

[0002]人脸识别是生物特征识别领域中最常用的一种模态，近年来在公共安全领域得到了广泛的应用
。
目前，现有人脸识别方法的关键都在于提取人脸数据中与身份相关的本质特征，同时消除其中受非身份因素影响的部分，这些非身份因素一般包括：环境光照
、
姿态
、
表情
、
头部饰物等
。
而其中环境光照是影响人脸识别精度的最主要的因素，为了达到稳定而准确识别人脸的目的，人脸识别系统需要适应不同的光照环境
。
现有人脸识别算法根据输入图像进行分类，一般分为两种：基于可见光的人脸识别和基于近红外图像的人脸识别
。
其中，基于可见光的人脸识别算法以可见光人脸图像作为算法模型的输入，对输入图像进行人脸框的定位，然后对框出的人脸进行相应的特征提取；基于近红外的人脸识别算法以近红外图像作为算法模型的输入，同样对输入图像进行人脸框的定位后，再提取相应的人脸特征
。
一般的人脸识别系统都采用普通的可见光人脸图像进行识别，这类系统容易收到环境光线变化的影响，在识别之前往往需要采用一些预处理算法对光照进行处理
。
但是由于船舶驾驶台的特殊性，要求驾驶台在航行期间不允许开灯，以避免影响值班人员的视觉造成事故，这就使得驾驶台在晚上基本处于无光的环境，
[0003]因此，晚上可见光人脸识别算法就不适用
。
虽然晚上可以采用近红外摄像头，利用另一套单独的近红外人脸识别算法来实现晚上的人脸识别
。
但是，这种方式需要在一个嵌入式设备上运行两套算法，不利于实际应用
。
为了使得一种人脸算法能够同时适应两个可见光图像和近红外图像，需研究一种专门的人脸识别算法模型，需要一种能够同时适应可见光和近红外图像的人脸识别算法及系统
。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种适应可见光和近红外的人脸自动识别方法及系统，该方法利用可见光和近红外两种图像的领域适配检测算法提取船舶驾驶台值班人员的人脸特征并自动识别
。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]本专利技术提供的适应可见光和近红外的人脸自动识别方法，包括以下步骤：
[0007]S1
：采集人脸识别的多源数据集，所述多源数据集包括可见光人脸图像数据集和近红外人脸图像数据集：
[0008]S2
：构建具有迁移学习能力的
MTCNN
人脸检测模型，所述
MTCNN
人脸检测模型用于接收多源数据集，并提取在可见光和近红外环境下的人脸图像数据中的具有领域不变性的人脸检测框，得到领域不变性人脸特征；
[0009]S3
：构建具有迁移学习能力的
MobileFaceNet
领域适配人脸识别网络，所述人脸识
别网络用于接收人脸检测框，自动获取人脸的特征，并根据获取的人脸特征与已知人脸特征进行判断得到人脸识别结果
。
[0010]进一步，所述具有领域不变性的人脸特征按照以下方式得到：
[0011]将可见光和近红外两种领域的图像组成样本对，输入到
MTCNN
领域适配人脸检测模型，同时提取两种领域图像样本的人脸位置，对获取的两种人脸进一步输入到
MobileFaceNet
领域适配人脸识别模型，获取人脸特征，并进行领域适配，使得在可见光和近红外环境下的同一个人脸所提取的人脸特征具有领域不变性
。
[0012]3.
如权利要求1所述的，其特征在于：所述步骤
S3
中获取领域不变性人脸特征是按照以下方式得到：
[0013]同时将可见光人脸框区域和近红外人脸框区域输入到
MobileFaceNet
领域适配人脸识别网络；
[0014]利用构建好的领域适配人脸识别网络对两种人脸进行领域适配，使得输出的人脸特征处在同一个希尔伯特空间
。
[0015]进一步，所述
MTCNN
领域适配人脸检测模型包括
P
‑
net
领域适配模块
、R
‑
net
领域适配模块
、O
‑
net
领域适配模块；
[0016]所述
P
‑
net
领域适配模块，利用人脸图像数据集中
P
‑
net
模型样本数据和近红外人脸图像数据集中的
P
‑
net
模型样本数据进行
P
‑
net
领域适配模型的训练；得到初步人脸目标框检测；
[0017]所述
R
‑
net
领域适配模块
,
利用人脸图像数据集中
R
‑
net
模型样本数据和近红外人脸图像数据集中的
R
‑
net
模型样本数据进行
R
‑
net
领域适配模型的训练；得到人脸目标框细化筛选；
[0018]所述
O
‑
net
领域适配模块
,
利用人脸图像数据集中
O
‑
net
模型样本数据和近红外人脸图像数据集中的
O
‑
net
模型样本数据进行
O
‑
net
领域适配模型的训练；得到人脸目标最终检测；
[0019]所述
P
‑
net
模型样本数据为预设第一像素尺寸的样本数据；
[0020]所述
R
‑
net
模型样本数据为预设第二像素尺寸的样本数据；
[0021]所述
O
‑
net
模型样本数据为预设第三像素尺寸的样本数据
。
[0022]进一步，所述
MTCNN
领域适配人脸检测模型包括
P
‑
net
领域适配模块，所述
P
‑
net
领域适配模块包括原
P
‑
net
模块
、P
‑
net
领域适配分支；
[0023]所述
P
‑
net
领域适配分支，用于在
P
‑
net
模块的
backbone
阶段进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
适应可见光和近红外的人脸自动识别方法，其特征在于：包括以下步骤：
S1
：采集人脸识别的多源数据集，所述多源数据集包括可见光人脸图像数据集和近红外人脸图像数据集：
S2
：构建具有迁移学习能力的
MTCNN
人脸检测模型，所述
MTCNN
人脸检测模型用于接收多源数据集，并提取在可见光和近红外环境下的人脸图像数据中的具有领域不变性的人脸检测框，得到领域不变性人脸特征；
S3
：构建具有迁移学习能力的
MobileFaceNet
领域适配人脸识别网络，所述人脸识别网络用于接收人脸检测框，自动获取人脸的特征，并根据获取的人脸特征与已知人脸特征进行判断得到人脸识别结果
。2.
如权利要求1所述的适应可见光和近红外的人脸自动识别方法，其特征在于：所述具有领域不变性的人脸特征按照以下方式得到：将可见光和近红外两种领域的图像组成样本对，输入到
MTCNN
领域适配人脸检测模型，同时提取两种领域图像样本的人脸位置，对获取的两种人脸进一步输入到
MobileFaceNet
领域适配人脸识别模型，获取人脸特征，并进行领域适配，使得在可见光和近红外环境下的同一个人脸所提取的人脸特征具有领域不变性
。3.
如权利要求1所述的适应可见光和近红外的人脸自动识别方法，其特征在于：所述步骤
S3
中获取领域不变性人脸特征是按照以下方式得到：同时将可见光人脸框区域和近红外人脸框区域输入到
MobileFaceNet
领域适配人脸识别网络；利用构建好的领域适配人脸识别网络对两种人脸进行领域适配，使得输出的人脸特征处在同一个希尔伯特空间
。4.
如权利要求1所述的适应可见光和近红外的人脸自动识别方法，其特征在于：所述
MTCNN
领域适配人脸检测模型包括
P
‑
net
领域适配模块
、R
‑
net
领域适配模块
、O
‑
net
领域适配模块；所述
P
‑
net
领域适配模块，利用人脸图像数据集中
P
‑
net
模型样本数据和近红外人脸图像数据集中的
P
‑
net
模型样本数据进行
P
‑
net
领域适配模型的训练；得到初步人脸目标框检测；所述
R
‑
net
领域适配模块
,
利用人脸图像数据集中
R
‑
net
模型样本数据和近红外人脸图像数据集中的
R
‑
net
模型样本数据进行
R
‑
net
领域适配模型的训练；得到人脸目标框细化筛选；所述
O
‑
net
领域适配模块
,
利用人脸图像数据集中
O
‑
net
模型样本数据和近红外人脸图像数据集中的
O
‑
net
模型样本数据进行
O
‑
net
领域适配模型的训练；得到人脸目标最终检测；所述
P
‑
net
模型样本数据为预设第一像素尺寸的样本数据；所述
R
‑
net
模型样本数据为预设第二像素尺寸的样本数据；所述
O
‑
net
模型样本数据为预设第三像素尺寸的样本数据
。5.
如权利要求1所述的适应可见光和近红外的人脸自动识别方法，其特征在于：所述
MTCNN
领域适配人脸检测模型包括
P
‑
net
领域适配模块，所述
P
‑
net
领域适配模块包括原
P
‑
net
模块
、P
‑
net
领域适配分支；
所述
P
‑
net
领域适配分支，用于在
P
‑
net
模块的
backbone
阶段进行特征图的领域适配；所述
P
‑
net
领域适配分支包括输入层
、GRL
梯度反转层
、
卷积层以及
sigmoid
函数；所述输入层输入的数据为将原
P
‑
net
模块的第三个卷积层输出的特征图；所述
GRL
梯度反转层
,
使用梯度下降法来训练；所述卷积层，用于获取领域特征图；所述
Sigmoid
函数，用于获取领域特征图上每个特征点的领域分类分数；所述
P
‑
net
领域适配模块中的总损失函数
L
P
为：其中，
N
表示训练样本总数；
λ
1P
、
λ
2P
分别表示
P
‑
net
领域的人脸位置偏移量损失函数和人脸领域分类损失函数的调和因子；
y
ip
表示
P
‑
net
领域的真实类别标签；
x
ip
表示输入到整个
P
‑
net
领域适配网络的数据集样本实例对；
L
yp
为
P
‑
net
领域的人脸类别分类损失函数；
L
sp
为
P
‑
net
领域的人脸位置偏移量损失函数；
L
dp
为
P
‑
net
领域的人脸领域分类损失函数；
G
fp
(x
ip
；
θ
fp
)
为
P
‑
net
领域的第三个卷积层输出的特征对应的特征提取网络；
G
yp
(G
fp
(x
ip
；
θ
fp
)
；
θ
yp
)
为
P
‑
net
领域的人脸类别标签的函数；
G
sp
(G
fp
(x
ip
；
θ
fp
)
；
θ
sp
)
为
P
‑
net
领域的人脸位置偏移量的函数；
G
dp
(G
fp
(x
ip
；
θ
fp
)
；
θ
dp
)
为
P
‑
net
领域的领域适配网络分支输出领域类别标签的函数；
θ
fp
、
θ
yp
、
θ
sp
、
θ
dp
分别表示
P
‑
net
领域的相应网络的参数
。6.
如权利要求1所述的适应可见光和近红外的人脸自动识别方法，其特征在于：所述
MTCNN
领域适配人脸检测模型包括
R
‑
net
领域适配模块；所述
R
‑
net
领域适配模块包括原
R
‑
net
模块
、R
‑
net
领域适配分支；所述
R
‑
net
领域适配分支包括输入层
、GRL
梯度反转层
、
全连接层以及
sigmoid
函数；所述输入层输入的数据为原
R
‑
net
模块的第1个全连接层输出的特征向量；所述
GRL
梯度反转层
,
使用梯度下降法来训练网络；所述全连接层，用于增强
R
‑
net
领域适配分支的泛化能力；所述
Sigmoid
函数，用于获取领域特征向量上每个特征点的领域分类分数；所述
R
‑
net
领域适配网络模块的总损失函数
L
R
为：
其中，
N
表示训练样本总数；
λ
1R
λ

【专利技术属性】
技术研发人员：龚燕峰，陈梓豪，唐倩，谭家万，唐皇，杨雪锋，程锡龙，张海锐，冉未，范雄方，李万嵩，
申请(专利权)人：金睛兽数字科技重庆有限公司，
类型：发明
国别省市：