双目视觉深度特征与表观特征相结合的人脸活体检测方法技术

本发明专利技术提供了一种双目视觉深度特征与表观特征相结合的人脸活体检测方法，包括：步骤1：建立双目视觉系统；步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点；步骤3：获取双目深度特征，以及双目深度特征对应的分类得分；步骤4：从左图像中截取完整人脸区域，归一化至固定尺寸，并提取局部二值模式特征LBP作为底层表观特征描述子；步骤5：获得微纹理特征对应的人脸活体检测得分；步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，完成待检图像是否为活体的判断。本发明专利技术算法简单、运算速度快、精确度高等优点，为活体人脸检测提供了一种新的可靠的方法。

【技术实现步骤摘要】
双目视觉深度特征与表观特征相结合的人脸活体检测方法
本专利技术涉及计算机视觉与机器学习
，具体地，涉及双目视觉深度特征与表观特征相结合的人脸活体检测方法。
技术介绍
人脸识别在近十年取得了重要进展，作为有效的基于生物特征的身份认证方案，其应用范围逐渐扩大，已应用到各行各业中。与此同时，对人脸识别系统的攻击也不断出现，花样翻新的攻击手段使人脸识别系统的安全遭遇了较大挑战，处理不好，将造成巨大损失。这些攻击手段中，利用照片或视频进行欺骗最常见，入侵者可能将人脸图片在图像采集设备前旋转、翻转、弯曲、摇摆等方法造成一种类似于合法用户的真人效果去欺骗认证系统。为防守此类攻击，验证人像是现实活体人脸还是进行欺骗的照片或其它假冒人脸是必不可少的一个环节。因此，人脸活体识别技术应运而生。目前人脸活体识别工作集中在基于单张照片的光线反射分量分析、多张照片序列统计分析，以及结合生理活动、联合语音识别的多膜生物特征融合等。浙江大学计算机科学学院孙霖和潘纲所在的团队专利技术了另一种预防视频回放攻击的方法，分别用Gabor、SIFT和LBP等特征描述算子对人脸图像和背景图像进行特征点的定位和特征值提取，然后用欧氏距离度量两个特征点的相似度。李江伟等人提出通过2D傅里叶频谱变换来抵抗照片欺骗，照片中人脸的表情和姿势是不变的，那么序列中频率分量的标准差必然非常小，这些差异都可以通过分析2D傅里叶频谱来体现。潘纲等人还提出一种基于Adaboost算法的眼睛开合度计算方法，并将其嵌入到条件随机场人眼模型当中，通过检测眨眼识别活体。K.Kollreider等人发表的将人脸检测和光流估计结合到一起来进行活体检测，基本思想是人脸的中间区域(如鼻子)产生的二维运动比外围区域(如耳朵)要明显，将光流模板匹配和基于Gabor模型的特征分类结合到一起，给出了一个包含人脸中心位置的标准光流模板；中科院模式识别实验室所在团队提出用多种人脸线索来检测人脸用低秩稀疏矩阵来描述人脸的非刚性，以此来判断是否活体。上述方案的局限性是均没有利用到人脸的三维结构特征，仅利用二维特征，很难达到满意的活体识别效果，此外，目前大部分活体技术需要用户的配合，制约了在实际场景中的应用。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种双目视觉深度特征与表观特征相结合的人脸活体检测方法。根据本专利技术提供的双目视觉深度特征与表观特征相结合的人脸活体检测方法，包括如下步骤：步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；步骤3：采用非平行无校正的双目深度算法对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用人脸结构配准以及配准优化迭代算法，对所有抽象三维关键点进行模板脸结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像中截取完整人脸区域，归一化至固定尺寸；并对人脸图像提取局部二值模式特征LBP作为底层表观特征描述子；步骤5：用K-means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋BOF编码，得到图像中层特征描述，即BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子，也即微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。优选地，所述步骤3中采用非平行无校正双目深度算法是指：计算每个关键点的初始深度，根据双目摄像机的内参数矩阵，旋转矩阵及平移矩阵，结合人脸关键点在左、右图像中对应的像素齐次坐标，根据投影法求解得到右相机坐标系下人脸关键点的Z坐标值，所述Z坐标值即为关键点的深度。优选地，所述步骤3中采用人脸结构配准及配准优化迭代算法是指：对所有关键点进行模板脸配准的模板脸是在训练过程中确定，其中结构配准算法的思想是经过若干次配准变换后，使得待检人脸中每个三维抽象关键点与模板脸中对应点的误差和最小；具体地，使用基于单位四元组的定向点集配准算法求使得配准误差和最小的平移向量、旋转矩阵及尺度因子，得到待检人脸的配准变换参数后，对待检人脸的每个抽象三维关键点进行第一次配准变换；最终得到结构配准后的归一化深度特征向量，送入双目深度特征分类器进行分类，得到分类得分，记为scoredepth。优选地，所述步骤3包括：步骤3.1：训练过程中选取20对正对摄像头拍摄的真人脸图像；在配准前，每个关键点的深度值需归一化，此时，将每个关键点扩展为抽象三维关键点，前两维是关键点在左图像中的空间坐标，第三维是该关键点的归一化深度：p:[xl,yl,d]T，p为添加深度维度后的三维抽象关键点，d为关键点归一化深度值，xl表示三维抽象关键点在左图像中x方向的像素坐标，yl表示三维抽象关键点在左图像中y方向的像素坐标；每个待检人脸均为68个深度归一化后的三维抽象关键点的集合，模板脸同样是68个三维抽象关键点的集合，其中模板脸中每一个抽象三维关键点的x、y坐标是20个对应抽象三维关键点的x、y坐标的平均值，深度坐标是20个对应抽象三维关键点的归一化深度值的平均值；步骤3.2：将每个待检人脸均与模板脸结构配准后再进行分类器的分类。优选地，所述步骤4包括：步骤4.1：在任意半径的圆形邻域中应用多种LBP算子，计算中心像素点对应的多个LBP特征值；遍历人脸区域的每一个像素，得到LBP特征向量；得到未进行等价模式转化的特征脸，该特征脸的尺寸和归一化后的人脸区域的尺寸相同，但类型为三通道，即该特征脸的每一个像素处的值都是对应人脸区域位置的未进行等价模式转化的LBP特征向量；步骤4.2：对所述LBP特征向量进行等价模式转换，等价模式转化后的LBP特征脸，同时保留了空间位置信息以及纹理特征信息，作为底层特征描述子。优选地，所述步骤5包括：步骤5.1：使用K均值聚类算法得到长度为256的特征码书，BOF编码模型将LBP特征脸中每一个像素对应的LBP特征向量进行编码，得到尺寸相同的BOF码字特征脸；具体地，使用K-means聚类算法，训练得到容量为256的特征码书，BOF编码模型将MSLBP特征脸中每一个像素对应的MSLBP特征向量进行标量编码，即MSLBP特征向量的归类，得到BOF码字特征脸；步骤5.2：采用空间金字塔模型进行尺度划分，进一步编码得到最终的高层特征描述子：微纹理特征；将图像空间化为不同的尺度，在每个尺度下的每个子区间内，统计各自归一化BOF码字直方图，乘以不同尺度所对应的不同的特征权重，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量；将微纹理特征向量送入微纹理特征本文档来自技高网...

【技术保护点】
一种双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，包括如下步骤：步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；步骤3：采用非平行无校正的双目深度算法对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用人脸结构配准以及配准优化迭代算法，对所有抽象三维关键点进行模板脸结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像中截取完整人脸区域，归一化至固定尺寸；并对人脸图像提取局部二值模式特征LBP作为底层表观特征描述子；步骤5：用K‑means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋BOF编码，得到图像中层特征描述，即BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子，也即微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。...

【技术特征摘要】
1.一种双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，包括如下步骤：步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；步骤3：采用非平行无校正的双目深度算法对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用人脸结构配准以及配准优化迭代算法，对所有抽象三维关键点进行模板脸结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像中截取完整人脸区域，归一化至固定尺寸；并对人脸图像提取局部二值模式特征LBP作为底层表观特征描述子；步骤5：用K-means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋BOF编码，得到图像中层特征描述，即BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子，也即微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。2.根据权利要求1所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤3中采用非平行无校正双目深度算法是指：计算每个关键点的初始深度，根据双目摄像机的内参数矩阵，旋转矩阵及平移矩阵，结合人脸关键点在左、右图像中对应的像素齐次坐标，根据投影法求解得到右相机坐标系下人脸关键点的Z坐标值，所述Z坐标值即为关键点的深度。3.根据权利要求1所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤3中采用人脸结构配准及配准优化迭代算法是指：对所有关键点进行模板脸配准的模板脸是在训练过程中确定，其中结构配准算法的思想是经过若干次配准变换后，使得待检人脸中每个三维抽象关键点与模板脸中对应点的误差和最小；具体地，使用基于单位四元组的定向点集配准算法求使得配准误差和最小的平移向量、旋转矩阵及尺度因子，得到待检人脸的配准变换参数后，对待检人脸的每个抽象三维关键点进行第一次配准变换；最终得到结构配准后的归一化深度特征向量，送入双目深度特征分类器进...

【专利技术属性】
技术研发人员：宋潇，林天威，赵旭，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31