一种红外人脸对齐方法技术

本发明专利技术公开了一种红外人脸对齐方法，包括以下步骤：(1)对训练样本图像进行人工标注五官热图，组成图像对；(2)选择部分图像对作为训练样本，输入模型进行多次训练，调整网络模型参数，选用余下图像对作为测试样本，输入模型，得到热红外三官图生成结果；(3)定位生成五官位置；(4)利用生成五官位置；(5)人脸关键点定位；(6)进行误差评价，若误差不满足要求，则返回步骤(2)；若满足要求，则执行步骤(7)；(7)利用定位的关键点，与标准脸进行仿射变换，得到对齐后图像，然后输出对齐后人脸图像。本发明专利技术通过卷积神经网络训练后的三官提取图像来获得热红外人脸关键点，其定位准确，偏差和误差小，识别率高。

An infrared face alignment method

【技术实现步骤摘要】
一种红外人脸对齐方法
本专利技术属于生物特征识别
，更具体地，涉及一种人脸对齐方法。
技术介绍
人脸识别技术能够为人们的日常生活带来极大的便利，提升人民生活质量。目前，可见光的人脸识别技术已经日趋成熟，其工程应用设备已在生活中广泛部署，如：银行采用人脸识别技术进行身份验证、现今的手机多支持人脸识别解锁。可见光的人脸识别技术大体可分为传统的人工设计特征并进行提取与深度学习的机器学习特征并进行提取两种方式。传统方式如HOG、Haar+adaboost等相较于深度学习的方法而言，其检测精度较差，但其识别速度较快；深度学习方式进行人脸识别，其检测效率高，且精度可达到人眼水平，但其需要大量的带标注的样本进行训练。但不论是哪种方式，在整个人脸识别过程中，都面临如下问题：①易遭到攻击。对于传统方式的人脸检测，通过戴眼镜等方式就可能导致识别出现问题；对于深度学习方式的人脸检测，通过额头贴带有攻击图像的纸条便可使系统识别失效。两种方式都会被照片欺骗，产生误识别，导致风险的出现。②需要外界光源支持。可见光式的人脸识别需要一定的光源，如在无光源情况下，则无法形成人脸图像，整个人脸识别流程难以进行。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种红外人脸对齐方法，其利用人体的热辐射，无需光源的辅助，为被动式人脸识别检测；并且因为热红外成像本身便利用的是人体的热辐射，这也在根源上消除了照片攻击的风险。为实现上述目的，按照本专利技术的一个方面，提供了一种红外人脸对齐方法，其特征在于，包括以下步骤：(1)对三通道的热红外人脸图像提取三官区域形成三官提取图像，三通道的热红外人脸图像与其提取的三官提取图像组成图像对，以此方式，获得M个图像对；其中，三官指双眼、鼻子和嘴巴；(2)搭建卷积神经网络，将M个所述图像对分为M-N个训练集和N个测试集，并将训练集输入卷积神经网络训练出网络模型；(3)在测试集的热红外人脸图像中选取Q张正脸图像，各正脸图像与该正脸图像提取的三官提取图像作为标定图像对，然后将测试集中的各个热红外人脸图像输入网络模型，网络模型输出的三官区域图像作为三官生成图像，其中，各标定图像对中的热红外人脸图像的三官生成图像分别作为三官标定图像；(4)利用三官区域中各像素的坐标和通道值，实现三官生成图像和测试集中三官提取图像的三官区域的定位；(5)分别获取左眼、右眼、鼻子和嘴巴区域的形心作为人脸关键点，其中三官标定图像获取的人脸关键点作为标定关键点；(6)将步骤(5)获得的三官生成图像的人脸关键点与测试集中三官提取图像的人脸关键点比对进行误差评价，若误差不满足要求，则返回步骤(2)；若满足要求，则执行步骤(7)；(7)对于待对齐的热红外人脸图像，通过网络模型生成待对齐的三官生成图像，然后获得待对齐的三官生成图像的人脸关键点，通过待对齐的三官生成图像的人脸关键点与标定关键点获得仿射变换矩阵，然后通过仿射变换矩阵将待对齐的热红外人脸图像对齐后输出。优选地，步骤(1)具体过程如下：(1.1)采集宽度为W且高度为H的单通道的热红外人脸图像，通过以下公式将其通道扩展为3：Ci(u，v)＝Corg(u，v)，i＝1，2，3C(u，v)＝[R＝C1(u，v)，G＝C2(u，v)，B＝C3(u，v)]其中，u、v分别表示热红外人脸图像中各像素在u-v照片坐标系下的宽度坐标和高度坐标，Corg(u，v)表示单通道的热红外人脸图像中坐标(u，v)处的通道值，C(u，v)表示转换为三通道后的热红外人脸图像中坐标(u，v)处的通道值，Ci(u，v)表示转换为三通道后的热红外人脸图像中坐标(u，v)处的通道i的通道值，R、G、B分别代表红色通道值、绿色通道值、蓝色通道值；(1.2)对于经过步骤(1.1)处理后的图像，形成三官提取图像的过程如下：Herg＝HoriWerg＝Wori其中，Herg、Hori分别表示三官提取图像的高和三通道的热红外人脸图像的高，Werg、Wori分别表示三官提取图像的宽和三通道的热红外人脸图像的宽，C(u，v)表示坐标(u，v)处的像素的通道值，AreaIrrelevant表示无关区域，AreaEyes表示双眼区域，包含左眼区域与右眼区域；AreaNose表示鼻子区域，AreaMouth表示嘴巴区域。优选地，步骤(4)具体过程如下：对于三官生成图像，对三官区域进行如下定位：AreaNose＝{C(u，v)＝[R＝0，G≥220，B＝0]|0≤u≤W，0≤v≤H}AreaMouth＝{C(u，v)＝[R≥220，G＝0，B＝0]|0≤u≤W，0≤v≤H}Areaeye＝{C(u，v)＝[R＝0，G＝0，B≥220]|0≤u≤W，0≤v≤H}优选地，步骤(5)的具体过程如下：(5.1)采用形心公式计算各目标区域质心作为人脸关键点，步骤(5)已确定各区域的位置，则先采用已定位的鼻子区域获得鼻子区域的形心：其中，表示鼻子区域的形心的坐标；Nosetotal表示鼻子区域内的像素的总数，xj表示鼻子区域处的第j个像素的宽度坐标，yj表示鼻子区域处的第j个像素的高度坐标；嘴巴处的形心获取如下：Mouthtotal表示嘴巴区域内的像素的总数，xk表示鼻子区域处的第k个像素的宽度坐标，yk表示鼻子区域处的第k个像素的高度坐标；对于眼睛区域，采用鼻子关键点与嘴巴关键点的连线将眼睛区域划分为左眼区域和右眼区域，具体划分如下：其中，为左眼区域的形心坐标，和分别为宽度值和高度值，Leyetotal表示左眼区域的像素总和，xl表示左眼区域的第l个像素的宽度坐标，yl表示左眼区域的第l个像素的高度坐标；为右眼区域的形心坐标，和分别为宽度值和高度值，Reyetotal表示右眼区域的像素总和，xr表示右眼区域的第r个像素的宽度坐标，yr表示右眼区域的第r个像素的高度坐标。优选地，所述步骤(6)具体过程如下：(6.1)对于测试集中同一个图像对的热红外人脸图像获得的三官生成图像与三官提取图像，通过下式进行人脸关键点误差分析：其中，error表示三官生成图像相较于三官提取图像的误差，其作为网络模型生成效果的评判基准，表示三官提取图像的人脸关键点的坐标，和分别表示宽度坐标和高度坐标，(xt，yt)表示三官生成图像的人脸关键点的坐标，xt和yt分别表示宽度坐标和高度坐标。(6.2)将测试集的所有三官提取图像与获得的三官生成图像按步骤7.1)进行误差分析，以分别获取误差error；(6.3)获得平均误差如下：其中，N为测试集中图像对的总数量；若平均误差则执行步骤(7)，其中δ为设定的误差阈值。优选地，所述步骤(7)具体过程如下：(7.1)每张三官标定图像获得标定关键点的坐标信息后，按下式本文档来自技高网...

【技术保护点】
1.一种红外人脸对齐方法，其特征在于，包括以下步骤：/n(1)对三通道的热红外人脸图像提取三官区域形成三官提取图像，三通道的热红外人脸图像与其提取的三官提取图像组成图像对，以此方式，获得M个图像对；其中，三官指双眼、鼻子和嘴巴；/n(2)搭建卷积神经网络，将M个所述图像对分为M-N个训练集和N个测试集，并将训练集输入卷积神经网络训练出网络模型；/n(3)在测试集的热红外人脸图像中选取Q张正脸图像，各正脸图像与该正脸图像提取的三官提取图像作为标定图像对，然后将测试集中的各个热红外人脸图像输入网络模型，网络模型输出的三官区域图像作为三官生成图像，其中，各标定图像对中的热红外人脸图像的三官生成图像分别作为三官标定图像；/n(4)利用三官区域中各像素的坐标和通道值，实现三官生成图像和测试集中三官提取图像的三官区域的定位；/n(5)分别获取左眼、右眼、鼻子和嘴巴区域的形心作为人脸关键点，其中三官标定图像获取的人脸关键点作为标定关键点；/n(6)将步骤(5)获得的三官生成图像的人脸关键点与测试集中三官提取图像的人脸关键点比对进行误差评价，若误差不满足要求，则返回步骤(2)；若满足要求，则执行步骤(7)；/n(7)对于待对齐的热红外人脸图像，通过网络模型生成待对齐的三官生成图像，然后获得待对齐的三官生成图像的人脸关键点，通过待对齐的三官生成图像的人脸关键点与标定关键点获得仿射变换矩阵，然后通过仿射变换矩阵将待对齐的热红外人脸图像对齐后输出。/n...

【技术特征摘要】
1.一种红外人脸对齐方法，其特征在于，包括以下步骤：
(1)对三通道的热红外人脸图像提取三官区域形成三官提取图像，三通道的热红外人脸图像与其提取的三官提取图像组成图像对，以此方式，获得M个图像对；其中，三官指双眼、鼻子和嘴巴；
(2)搭建卷积神经网络，将M个所述图像对分为M-N个训练集和N个测试集，并将训练集输入卷积神经网络训练出网络模型；
(3)在测试集的热红外人脸图像中选取Q张正脸图像，各正脸图像与该正脸图像提取的三官提取图像作为标定图像对，然后将测试集中的各个热红外人脸图像输入网络模型，网络模型输出的三官区域图像作为三官生成图像，其中，各标定图像对中的热红外人脸图像的三官生成图像分别作为三官标定图像；
(4)利用三官区域中各像素的坐标和通道值，实现三官生成图像和测试集中三官提取图像的三官区域的定位；
(5)分别获取左眼、右眼、鼻子和嘴巴区域的形心作为人脸关键点，其中三官标定图像获取的人脸关键点作为标定关键点；
(6)将步骤(5)获得的三官生成图像的人脸关键点与测试集中三官提取图像的人脸关键点比对进行误差评价，若误差不满足要求，则返回步骤(2)；若满足要求，则执行步骤(7)；
(7)对于待对齐的热红外人脸图像，通过网络模型生成待对齐的三官生成图像，然后获得待对齐的三官生成图像的人脸关键点，通过待对齐的三官生成图像的人脸关键点与标定关键点获得仿射变换矩阵，然后通过仿射变换矩阵将待对齐的热红外人脸图像对齐后输出。


2.根据权利要求1所述的一种红外人脸对齐方法，其特征在于，步骤(1)具体过程如下：
(1.1)采集宽度为W且高度为H的单通道的热红外人脸图像，通过以下公式将其通道扩展为3：
Ci(u，v)＝Corg(u，v)，i＝1，2，3
C(u，v)＝[R＝C1(u，v)，G＝C2(u，v)，B＝C3(u，v)]
其中，u、v分别表示热红外人脸图像中各像素在u-v照片坐标系下的宽度坐标和高度坐标，Corg(u，v)表示单通道的热红外人脸图像中坐标(u，v)处的通道值，C(u，v)表示转换为三通道后的热红外人脸图像中坐标(u，v)处的通道值，Ci(u，v)表示转换为三通道后的热红外人脸图像中坐标(u，v)处的通道i的通道值，R、G、B分别代表红色通道值、绿色通道值、蓝色通道值；
(1.2)对于经过步骤(1.1)处理后的图像，形成三官提取图像的过程如下：
Herg＝Hori
Werg＝Wori



其中，Herg、Hori分别表示三官提取图像的高和三通道的热红外人脸图像的高，Werg、Wori分别表示三官提取图像的宽和三通道的热红外人脸图像的宽，C(u，v)表示坐标(u，v)处的像素的通道值，AreaIrrelevant表示无关区域，AreaEyes表示双眼区域，包含左眼区域与右眼区域；AreaNose表示鼻子区域，AreaMouth表示嘴巴区域。


3.根据权利要求2所述的一种红外人脸对齐方法，其特征在于，步骤(4)具体过程如下：
对于三官生成图像，对三官区域进行如下定位：
AreaNose＝{C(u，v)＝[R＝0，G≥220，B＝0]|0≤u≤W，0≤v≤H}
AreaMouth＝{C(u，v...

【专利技术属性】
技术研发人员：张天序，苏轩，李正涛，郭诗嘉，郭婷，
申请(专利权)人：南京华图信息技术有限公司，
类型：发明
国别省市：江苏;32