一种基于双目视觉的人脸检测识别方法技术

本发明专利技术公开了一种基于双目视觉的人脸检测识别方法，包括：（1）通过双目摄像头获取左右两张人脸图片；（2）通过hog特征检测两张图片，从两张图像中找出对应的两张人脸图片；（3）在获取的两张包含人脸的图片中提取人脸特征；（4）通过双目视觉测距方法获得人脸特征点深度信息，从而解算出人脸三维模型；（5）使用统计学方法对解算后的结果进行分析，实现识别。具体而言，是通过支持向量机对三维人脸模型进行分类，从而实现人脸识别。通过以上拍摄，检测，建模及分类技术实现人脸检测，三维重构及识，具有处理高效快捷，安全可靠，能够提供更完整、更丰富的检测信息的特点。

【技术实现步骤摘要】
一种基于双目视觉的人脸检测识别方法
本专利技术属于数字图像处理
，具体涉及一种基于双目视觉的人脸检测识别方法。
技术介绍
自2001年起，公安部门就开始使用人脸检测技术来防范打击重大刑事犯罪并取得国家的支持。在2008年北京奥运会举行时应用了人脸检测技术，这标志着我国的人脸检测进入实用阶段。此后，在上海世博会上，该技术得到更加广泛的应用，同时各大公司也纷纷加入，加速了人脸检测技术在国内的大规模应用。随着国内在此领域的技术进步，“三化两合”将是人脸检测技术发展的必然趋势。其中：“三化”指主流化、芯片化、标准化；“两合”指与其他生物特征的多生物特征融合与REID的联合。目前，国内外对于人脸检测的研究主要是基于二维图像的，各类文献中所使用的人脸检测和检测的方法各不相同，但大多数方法都集中于对一个单一的二维图像进行人脸检测，目前主流的人脸识别包括以下几种，基于几何特征的人脸识别；基于特征脸的人脸识别；基于模板匹配的人脸识别；基于神经网络的人脸识别；基于隐马尔可夫模型(HMM)的人脸识别；基于弹性匹配方法的人脸识别；基于贝叶斯决策的人脸识别；基于支持向量机的人脸识别；对于基于双目视觉的三维人脸检测系统较少。目前的人脸识别主要还是针对二维图像或二维动态视频序列进行研究。二维图像识别技术在其他领域己有很多的应用，但是由于人脸是个塑变体，使得通过二维图像识别技术对人脸识别存在困难。另外，基于二维图像的人脸识别，不可避免受到环境光线、背景、视角等和人脸的姿态、表情、遮挡等不利影响，因而其识别精度很难有进一步的提高。二维人脸图像只是三维人脸图像的平面投影结果，在此过程中必然丢失一部分信息，且人脸由于受光照条件、背景、姿态、表情等因素的影响，基于单目摄像头的人脸检测方法难以解决这些问题。
技术实现思路
为了克服基于二维图像人脸识别技术的不足，本专利技术提供一种基于双目视觉的人脸检测识别方法，基于双目视觉采集人脸特征进行三维检测研究，可以大大提高检测效率和准确度。引入双目视觉技术，相对于普通单目摄像头得到的二维人脸图像，双目摄像头所形成的三维人脸图像，可以获得更多的信息，特别是人脸的深度信息。用以解决传统单目摄像头对于在一些特殊场景下人脸检测困难的问题。为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种基于双目视觉的人脸检测识别方法，包括：步骤(1)获取左右两张包含人脸的图片；步骤(2)分别对两张包含人脸的图片进行hog特征检测，得到两幅图片对应的人脸图像；步骤(3)对得到的两幅人脸图像进行特征提取，得到人脸特征点；步骤(4)基于提取到的人脸特征点，通过双目测距算法计算出各个人脸特征点的四维坐标点信息，基于人脸特征点的四维坐标点信息拟合出人脸三维模型；步骤(5)通过支持向量机算法对人脸三维模型进行识别，得到识别结果。在一些实施例中，步骤(1)中，通过双目摄像头获取两张包含人脸的图片。在一些实施例中，步骤(3)中，对得到的两幅人脸图像利用卷积神经网络进行特征提取，得到人脸特征点。在一些实施例中，步骤(3)中，人脸特征点选取9个特征点，分别为2个眼球中心点、4个眼角点、鼻孔的中点和2个嘴角点。在一些实施例中，卷积神经网络采用改进版P_Net网络，输入层尺寸设置为1202×1202×3，第二层网络为600×600×10，池化层为2×2的矩阵，第三层网络为300×300×16，池化层为2×2的矩阵，第四层网络为1×1×1000，最后一层输出层的尺寸为2×9。在一些实施例中，步骤(4)中，通过双目测距算法计算出各个特征点的四维坐标点信息，计算公式如下：P点是待计算深度的目标，Ol和Or分别为左右两幅图像对应的两点，fl、fr分为左右两幅图像对应点到镜头的距离，Xl、Yl分别是P在左照片上的位置，Xr、Yr分别是P在右照片上的位置；r1至r9为9个特征点在两幅照片上的坐标位置；相机坐标系和世界坐标系之间的关系可用旋转矩阵R来表示，其中时间矩阵表示相机坐标系和世界坐标系之间的时间变换关系，Z为待测目标相对世界坐标系的深度，Z为待测目标相对世界坐标系的深度，通过R，将xl、yl、zl、xr、yr、zr转换为相对世界坐标系的位置。在一些实施例中，步骤(4)中，基于人脸特征点的四维坐标点信息，通过三次样条插值拟合出人脸三维模型。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的基于双目视觉的人脸检测识别方法，主要针对单目摄像头人脸识别受光照条件、背景、姿态、表情等因素的影响，不能够很好的进行人脸识别的问题。针对此缺陷，使用双目摄像头获取人脸的图像建立了人脸的三维模型，最后通过支持向量机算法，实现人脸的识别，有效解决了外界干扰较大的情况下，单目摄像头人脸识别不能很好的工作的问题。附图说明图1是本专利技术实施例中所涉及方法的总体流程图；图2是改进版P_Net网络的结构；图3是双目视觉计算深度示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细说明：如图1所示，本专利技术的一种人脸检测识别方法，包括以下步骤：(1)通过双目摄像头获取两幅人脸的图像，在获取图像时，人脸应该可能的于双目摄像头正对，以便获得更为可靠的人脸图像。摄像头的清晰度应不低于500万像素，便于获得更为精确的人脸特征点位置。人脸对于摄像头的距离应该确保人脸尽可能的占用照片面积。(2)在得到左右两幅图像之后，使用改进版P_Net网络对输入进行计算，如图2所示，将输入尺寸设置为1202×1202×3，第二层网络设置为600×600×10，池化层为2×2的矩阵，第三层网络设置为300×300×16，池化层为2×2的矩阵，第四层网络设置为1×1×1000，最后一层输出为2×9。这里输出2×9的原因是设计该网络的原因是为了找出人脸中2个眼球中心点、4个眼角点、鼻孔的中点和2个嘴角点这9个角点的位置，而每个角点在一张照片上拥有两个方向上的坐标，所以输出为2×9。(3)在得到9个点在两幅照片上的坐标位置之后，通过双目测距算法得到每个角点的深度坐标信息。其测距算法如图3所示：P点是待计算深度的目标，Zl、Zr为待测目标分别在左右两幅图像中的深度，Ol和Or分别为左右两幅图像对应的两点，fl、fr分为左右两幅图像对应点到镜头的距离，Xl、Yl分别是P在左照片上的位置，Xr、Yr分别是P在右照片上的位置；r1至r9为9个特征点(分别为2个眼球中心点、4个眼角点、鼻孔的中点和2个嘴角点)在两幅照片上的坐标位置；计算公式如下：相机坐标系和世界坐标系之间的关系可用旋转矩阵R来表示，其中时间矩阵表示两种坐标系的时间变换关系，Z为待测目标相对世界坐标系的深度，通过R，将xl、yl、zl、xr、yr、zr转换为相对世界坐标系的位置。(4)在得到9个点的深度信息之后，我们就得到本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的人脸检测识别方法，其特征在于，包括：/n步骤(1)获取左右两张包含人脸的图片；/n步骤(2)分别对两张包含人脸的图片进行hog特征检测，得到两幅图片对应的人脸图像；/n步骤(3)对得到的两幅人脸图像进行特征提取，得到人脸特征点；/n步骤(4)基于提取到的人脸特征点，通过双目测距算法计算出各个人脸特征点的四维坐标点信息，基于人脸特征点的四维坐标点信息拟合出人脸三维模型；/n步骤(5)通过支持向量机算法对人脸三维模型进行识别，得到识别结果。/n

【技术特征摘要】
1.一种基于双目视觉的人脸检测识别方法，其特征在于，包括：
步骤(1)获取左右两张包含人脸的图片；
步骤(2)分别对两张包含人脸的图片进行hog特征检测，得到两幅图片对应的人脸图像；
步骤(3)对得到的两幅人脸图像进行特征提取，得到人脸特征点；
步骤(4)基于提取到的人脸特征点，通过双目测距算法计算出各个人脸特征点的四维坐标点信息，基于人脸特征点的四维坐标点信息拟合出人脸三维模型；
步骤(5)通过支持向量机算法对人脸三维模型进行识别，得到识别结果。


2.根据权利要求1所述的基于双目视觉的人脸检测识别方法，其特征在于：步骤(1)中，通过双目摄像头获取两张包含人脸的图片。


3.根据权利要求1所述的基于双目视觉的人脸检测识别方法，其特征在于：步骤(3)中，对得到的两幅人脸图像利用卷积神经网络进行特征提取，得到人脸特征点。


4.根据权利要求1所述的基于双目视觉的人脸检测识别方法，其特征在于：步骤(3)中，人脸特征点选取9个特征点，分别为2个眼球中心点、4个眼角点、鼻孔的中点和2个嘴角点。


5.根据权利要求3所述的基于...

【专利技术属性】
技术研发人员：李磊，宦蕴哲，蒋晨阳，王永春，金玮，李建业，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32