基于温度信息的人脸活体检测方法技术

本发明专利技术的基于温度信息的人脸活体检测方法，首先建立相机模型，求出RGB图像与红外图像对应的坐标关系；然后检测出RGB图像中人脸的关键点坐标，代入RGB图像与红外图像的坐标关系中，计算出红外图像中额头的位置区域坐标，最后通过红外图像获取额头的温度信息，利用额头温度判断是否为活体，可以对多个活体同时进行检测。本发明专利技术的基于温度信息的人脸活体检测方法，根据所检测的温度即可判断目标是否为活体，并可判断其温度是否正常，可有效杜绝目前打印合法用户照片、制作3D人脸模型、播放用户视频的欺骗攻击行为。视频的欺骗攻击行为。视频的欺骗攻击行为。

【技术实现步骤摘要】
基于温度信息的人脸活体检测方法


[0001]本专利技术涉及一种基于温度信息的人脸活体检测方法，更具体的说，尤 其涉及一种的基于温度信息的人脸活体检测方法。

技术介绍

[0002]活体检测在人脸识别中起着重要的作用，对于人脸识别系统而言，缺 少活体检测易受到欺骗攻击，常见欺骗行为如打印合法用户照片、制作3D 人脸模型、播放用户视频等，使人脸识别系统不够安全，与人脸识别门禁 的安全需求不匹配。因此，将温度信息与人脸检测算法结合，实现活体检 测具有重大意义。

技术实现思路

[0003]本专利技术为了克服上述技术问题的缺点，提供了一种基于温度信息的人 脸活体检测方法。
[0004]本专利技术的基于温度信息的人脸活体检测方法，其特征在于，通过以下 方法来实现：首先将彩色摄像头与红外热像仪传感器紧邻地设置于同一平 面内建立相机模型，通过建立的相机模型求出彩色摄像头所采集的RGB图 像与红外热像仪所采集的红外图像对应的坐标关系；然后通过MTCNN人 脸检测算法检测出RGB图像中人脸的关键点坐标，通过双眼瞳孔的坐标计 算出额头位置区域，将RGB图像中额头的位置区域坐标，代入获取RGB 图像与红外图像的坐标关系中，计算出红外图像中额头的位置区域坐标， 最后通过红外图像获取额头的温度信息，运用多元回归模型进行温度补偿 得到额头温度，利用额头温度判断是否为活体，同时，此方法可以对多个 活体同时进行检测。
[0005]本专利技术的基于温度信息的人脸活体检测方法，具体通过以下步骤来实 现：
[0006]a).布置摄像头，将用于采集彩色图像的彩色摄像头与用于采集温度信 息的红外热像仪传感器，置于同一平面内并紧邻设置，并将彩色摄像头与 红外热像仪的视野调节为一致；
[0007]b).获取彩色图像，获取彩色摄像头所采集的彩色图像，记为RGB图像， 画面大小为L
×
H，即宽度为L个像素、高度为H个像素；
[0008]c).获取红外热像仪图像，红外热像仪输出的数据为温度数值，将温度 数值转化为像素值，首先，将获取的温度值归一化，归一化后的温度值即 为像素值，此时为灰度图像，然后利用Jet颜色映射算法将灰度图像转化为 红外图像；设所转化的红外图像大小为l
×
h，即宽度为l个像素、高度为h个 像素；如果红外图像与RGB图像大小相等，则无需进行调整，执行步骤d)； 如果红外图像小于RGB图像则通过差值算法将红外图像与RGB图像调整 为大小一致；
[0009]d).求对应坐标关系，根据彩色摄像头的成像原理、红外热像仪的成像 原理，以及彩色摄像头与红外热像仪传感器设置于同一平面的位置关系， 求取RGB图像与红外图像的坐标关系；
[0010]e).确定额头区域坐标及温度，首先通过MTCNN人脸检测算法，在实 时采集的RGB图像中获取包含左眼瞳孔通孔位置、右眼瞳孔位置和脸宽在 内的人脸信息，再根据两眼瞳孔位置和脸宽信息确定出额头区域位置左上 点的坐标E1(X1,Y1)和右下点的坐标E2(X2,Y2)，然后将RGB图像中的额头位 置坐标E1(X1,Y1)和E2(X2,Y2)带入步骤d)中获取的RGB图像与红外图像的坐 标关系中，求其在红外图像中的坐标，记为E
′1(X
′1,Y
′1)和E
′2(X
′2,Y
′2)；最后，获 取红外图像中E
′1(X
′1,Y
′1)和E
′2(X
′2,Y
′2)坐标区域内点的额头温度值，运用多元回 归模型进行温度补偿得到额头温度值，将额头区域温度值求平均值得到T， 并根据温度均值T判断所检测的目标是否为活体。
[0011]本专利技术的基于温度信息的人脸活体检测方法，步骤c)中通过公式(1) 将每个点的温度值转化为像素值：
[0012][0013]其中，temperature为某点的温度值，max为最大温度值，min为最小温 度值，C为温度值temperature所转化的像素点的值。
[0014]本专利技术的基于温度信息的人脸活体检测方法，步骤d)所述的求对应坐 标关系具体通过以下步骤来实现：
[0015]d
‑
1).建立彩色摄像头成像模型，设物平面采用世界大地坐标系o
‑
XYZ， 彩色摄像头的像平面采用相机坐标系o
‑
xyz，物平面内一点
c
P(X
c
,Y
c
,Z
c
)经由 相机坐标系投影到相机成像平面内的坐标为P(x,y)，根据彩色摄像头的成像 原理得到如下关系式：
[0016][0017]其中，f为相机的焦距；
[0018]将关系式(2)转化为矩阵形式，如公式(3)所示：
[0019][0020]其中，(x,y)为P在图像坐标系下的物理坐标，单位为mm；(X
c
,Y
c
,Z
c
)为 c
P在相机坐标系下的坐标，单位为mm；f为相机的焦距，单位为mm；
[0021]d
‑
2).物理坐标至像素坐标的转换，设图像坐标系下的物理坐标(x,y)对 应的像素坐标为(u,v)，其满足如下关系式：
[0022][0023]式中，(u0,v0)为像平面中心点的像素坐标，d
x
、d
y
分别为每个像素点在x轴和y轴方向上的长度；
[0024]d
‑
3).求取透视变换矩阵，假设物平面内的点在相机坐标系中坐标为 p(x,y,z)，通过相机镜头成像，得到像平面内一点p'(x',y')，由于像平面内 成的像是反向的，在像平面关于相机平面对称的位置引入焦对称平面，并 取焦对称平面作为像平面；联立公式(3)和(4)，可以得到相机坐标系内 的点到像素坐标系内的转化关系，即推导出相机坐标系中坐标p(x,y,z)到像 素坐标系中坐标p
″1(x
″
,y
″
)的透视变换矩阵如下：
[0025][0026]式中，(u0,v0)为像平面中心的像素坐标；
[0027]通过上述建立的透视变换矩阵，可将相机空间内的一点转化到成像平 面内，同理也可以通过像素坐标平面内的一点求解出对应相机空间三维坐 标的一点，进而推导出需要得到的彩色摄像头图像到红外热像仪图像的定 位模型；
[0028]d
‑
4).求取变换关系，设物体上的一点p'在物平面内活动，到镜头的距 离恒为Z，该物体在彩色摄像头的像平面内成像为点p(x,y)，在红外热像 仪的成像平面内成像为点p
″
(x
″
,y
″
)，f和f
″
分别表示彩色摄像头和热成像 摄像头的焦距，L表示彩色摄像头的位置，依据L点建立的彩色摄像头的L 坐标系，R表示热成像摄像头的位置，依据R点建立的红外热像仪的R坐 标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于温度信息的人脸活体检测方法，其特征在于，通过以下方法来实现：首先将彩色摄像头与红外热像仪传感器紧邻地设置于同一平面内建立相机模型，通过建立的相机模型求出彩色摄像头所采集的RGB图像与红外热像仪所采集的红外图像对应的坐标关系；然后通过MTCNN人脸检测算法检测出RGB图像中人脸的关键点坐标，通过双眼瞳孔的坐标计算出额头位置区域，将RGB图像中额头的位置区域坐标，代入获取RGB图像与红外图像的坐标关系中，计算出红外图像中额头的位置区域坐标，最后通过红外图像获取额头的温度信息，运用多元回归模型进行温度补偿得到额头温度，利用额头温度判断是否为活体，同时，此方法可以对多个活体同时进行检测。2.根据权利要求1所述的基于温度信息的人脸活体检测方法，其特征在于，具体通过以下步骤来实现：a).布置摄像头，将用于采集彩色图像的彩色摄像头与用于采集温度信息的红外热像仪传感器，置于同一平面内并紧邻设置，并将彩色摄像头与红外热像仪的视野调节为一致；b).获取彩色图像，获取彩色摄像头所采集的彩色图像，记为RGB图像，画面大小为L
×
H，即宽度为L个像素、高度为H个像素；c).获取红外热像仪图像，红外热像仪输出的数据为温度数值，将温度数值转化为像素值，首先，将获取的温度值归一化，归一化后的温度值即为像素值，此时为灰度图像，然后利用Jet颜色映射算法将灰度图像转化为红外图像；设所转化的红外图像大小为l
×
h，即宽度为l个像素、高度为h个像素；如果红外图像与RGB图像大小相等，则无需进行调整，执行步骤d)；如果红外图像小于RGB图像则通过差值算法将红外图像与RGB图像调整为大小一致；d).求对应坐标关系，根据彩色摄像头的成像原理、红外热像仪的成像原理，以及彩色摄像头与红外热像仪传感器设置于同一平面的位置关系，求取RGB图像与红外图像的坐标关系；e).确定额头区域坐标及温度，首先通过MTCNN人脸检测算法，在实时采集的RGB图像中获取包含左眼瞳孔通孔位置、右眼瞳孔位置和脸宽在内的人脸信息，再根据两眼瞳孔位置和脸宽信息确定出额头区域位置左上点的坐标E1(X1,Y1)和右下点的坐标E2(X2,Y2)，然后将RGB图像中的额头位置坐标E1(X1,Y1)和E2(X2,Y2)带入步骤d)中获取的RGB图像与红外图像的坐标关系中，求其在红外图像中的坐标，记为E
′1(X
′1,Y
′1)和E
′2(X
′2,Y
′2)；最后，获取红外图像中E
′1(X
′1,Y
′1)和E
′2(X
′2,Y
′2)坐标区域内点的额头温度值，运用多元回归模型进行温度补偿得到额头温度值，将额头区域温度值求平均值得到T，并根据温度均值T判断所检测的目标是否为活体。3.根据权利要求2所述的基于温度信息的人脸活体检测方法，其特征在于，步骤c)中通过公式(1)将每个点的温度值转化为像素值：其中，temperature为某点的温度值，max为最大温度值，min为最小温度值，C为温度值temperature所转化的像素点的值。4.根据权利要求2所述的基于温度信息的人脸活体检测方法，其特征在于，步骤d)所述的求对应坐标关系具体通过以下步骤来实现：d
‑
1).建立彩色摄像头成像模型，设物平面采用世界大地坐标系o
‑
XYZ，彩色摄像头的
像平面采用相机坐标系o
‑
xyz，物平面内一点
c
P(X
c
,Y
c
,Z
c
)经由相机坐标系投影到相机成像平面内的坐标为P(x,y)，根据彩色摄像头的成像原理得到如下关系式：其中，f为相机的焦距；将关系式(2)转化为矩阵形式，如公式(3)所示：其中，(x,y)为P在图像坐标系下的物理坐标，单位为mm；(X
c
,Y
c
,Z
c
)为
c
P在相机坐标系下的坐标，单位为mm；f为相机的焦距，单位为mm；d
‑
2).物理坐标至像素坐标的转换，设图像坐标系下的物理坐标(x,y)对应的像素坐标为(u,v)，其满足如下关系式：式中，(u0,v0)为像平面中心点的像素坐标，d
x
、d
y
分别为每个像素点在x...

【专利技术属性】
技术研发人员：王书新，王康，康超，张允刚，潘为刚，董兴学，高珅琦，徐飞，胡浩，李正磊，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：