一种基于深度视频流的三维人脸识别方法技术

本发明专利技术涉及一种基于深度视频流的三维人脸识别方法，包括：通过深度相机，对到人脸部位数据进行采集；采集到的点云数据进行人脸检测，获取人脸区域R

【技术实现步骤摘要】
一种基于深度视频流的三维人脸识别方法
本专利技术涉及人脸识别领域，尤其涉及一种基于深度视频流的三维人脸识别方法。
技术介绍
在现有的人脸识别方法中，对于动态视频流的准确人脸检测以及虚假人脸攻击的防范是两项重点需求。首先，对于动态场景下的视频流，人脸目标存在大角度变换、遮挡、光照不均匀、运动模糊等种种问题，会极大的影响人脸检测的精度与效果。其次，各种虚假人脸攻击如视频攻击、照片攻击等方法使人脸识别技术在实际应用中的安全性大为降低。目前基于视频流的人脸识别方法普遍存在这两个问题。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的是提供一种对深度点云进行人脸检测得到人脸点云，并根据人脸点云进行模型拟合，获得准确的的人脸建模模型与人脸关键点，然后对人脸点云进行深度防伪判定与质量判定，得到真实的人脸点云，最后对真实人脸点云进行人脸识别的基于深度视频流的三维人脸识别方法。为达到上述目的，本专利技术采用以下技术方案，一种基于深度视频流的三维人脸识别方法，包括：步骤101：通过深度相机，对到人脸部位的单帧点云Pi，点云P的数据进行采集；步骤102：对步骤101采集到的点云数据进行人脸检测，得到点云集合Ci；通过单帧点云Pi，获取人脸区域Ri，以及对应人脸区域的点云集合Ci；步骤103：通过步骤102中的得到的点云集合Ci，，通过该点云集合Ci对人脸点云记进行模型拟合，得到关键点；步骤104：根据步骤103中得到的关键点的三维信息，判断人脸的真伪，当判断人脸为虚假，返回至步骤101，当判断人脸为真实，进入到步骤105；步骤105：对步骤104中判断为人脸真实的人脸点云三维信息进行人脸质量的判断，当人脸质量不合格时，返回至步骤101中，当人脸质量合格时进入到步骤106中；步骤106：对步骤105中判断为合格的人脸点云信息进行最终的人脸识别。所述的步骤101中深度相机至少包括结构光深度相机、tof深度相机和双目深度相机，该深度相机获取的视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云。所述步骤103中得到的关键点的方法如下：设三维人脸模板为其中为平均脸，ai为模型参数，mi为模型特征向量，同时设模板中的人脸关键点集合为K。计算当前帧人脸点云在模板M下的最优表示其中为表示参数，同时得到对应的人脸特征点集合Kc。所述步骤104中判断人脸真伪的方法如下：根据人脸模板的关键点集合K与当前帧的关键点集合Kc，通过求解目标方程其中A，B，C为平面S的参数，分别拟合对应平面S与Sc，使得关键点集合中的关键点到对应平面的距离最近，并计算最近平均距离D与Dc；之后进行判断，若当前帧平均距离与模板平均距离的绝对值之差Dist＝|D-Dc|大于阈值Thd，则判断人脸为虚假，返回至步骤101，若小于阈值则判断人脸为真实，继续进入步骤105。所述的步骤105判断人脸质量的方法如下：首先根据当前帧关键点拟合对应平面S＝ax+by+cz+d，得到平面法向量Vc＝(a，b，c)，同时得到平面的旋转角度Rc＝[Yaw，Rol，Pitch]，其中yaw为偏航角度，roll为滚转角度，pitch为俯仰角度，若旋转角度大于旋转阈值Thr＝[Thy，Thr，Thp]，其中Thy为偏航阈值，Thr为滚转阈值，Thp为俯仰阈值，则人脸质量不合格，返回至步骤101，反之则继续进入步骤106。所述步骤106中对人脸进行最终的识别方法如下：对于判别后的人脸点云Ci以及参数集合将参数集合作为当前帧人脸的特征向量，并与待识别人脸库中的特征向量计算余弦距离其中Ac为待识别特征向量，Ar为人脸库中特征向量，最小的余弦距离对应的人脸即为人脸识别的最终结果。一种基于深度视频流的三维人脸识别装置：包括采集模块，将深度相机获取的数据信息进行采集；拟合模块，用于将采集模块采集到的数据与三维人脸模板进行拟合；质量模块，用于判断经过拟合模块拟合后的三维人脸数据是否质量合格；识别模块，用于判断质量模块判断后质量合格的三维人脸数据在待识别人脸库中的对应位置；所述的采集模块对深度相机获取的数据信息进行采集，并将采集后的信息发送给拟合模块进行处理，所述的拟合模块进行将采集模块采集到的数据信息与储存的三维人脸模板的信息进行拟合得到拟合数据信息，将拟合数据信息发送给质量模块，所述的质量模块将接受到的拟合模块发送的拟合数据信息，并对该拟合数据信心进行判断，判断该拟合数据的人脸信息质量是否合格，经合格的人脸信息发送给识别模块进行最终的人脸识别判断，所述的人脸识别判断质量模块得到的合格的人脸信息在待识别人脸库中位置。本专利技术的有益效果是：解决了二维人脸识别容易被虚假人脸攻击的问题，解决了动态场景下存在大角度变换、遮挡、光照不均匀、运动模糊等问题，解决了三维人脸识别中点云数据容易存在空洞、不完整等问题。附图说明图1是本专利技术的流程示意图；图2是本专利技术中结构框图。具体实施方式下面结合附图和实施例对本专利技术进行详细的描述。在本专利技术的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。实施例如图1所示的一种基于深度视频流的三维人脸识别方法，包括：步骤101：通过深度相机，对到人脸部位的单帧点云Pi，点云P的数据进行采集；深度相机至少包括结构光深度相机、tof深度相机和双目深度相机，该深度相机获取的视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云；步骤102：对步骤101采集到的点云数据进行人脸检测，得到点云集合Ci；通过单帧点云Pi，获取人脸区域Ri，以及对应人脸区域的点云集合Ci；步骤103：通过步骤102中的得到的点云集合Ci，通过该点云集合Ci对人脸点云记进行模型拟合，得到关键点；设三维人脸模板为其中为平均脸，ai为模型参数，mi为模型特征向量，同时设模板中的人脸关键点集合为K。计算当前帧人脸点云在模板M下的最优表示其中为表示参数，同时得到对应的人脸特征点集合Kc。步骤104：根据步骤103中得到的关键点的三维信息，判断人脸的真伪，当判断人脸为虚假，返回至步骤101，当判断人脸为真实，进入到步骤105；根据人脸模板的关键点集合K与当前帧的关键点集合Kc，通过求解目标方程：...

【技术保护点】
1.一种基于深度视频流的三维人脸识别方法，其特征在于，包括：/n步骤101：通过深度相机，对到人脸部位的单帧点云P

【技术特征摘要】
1.一种基于深度视频流的三维人脸识别方法，其特征在于，包括：
步骤101：通过深度相机，对到人脸部位的单帧点云Pi，点云P的数据进行采集；
步骤102：对步骤101采集到的点云数据进行人脸检测，得到点云集合Ci；通过单帧点云Pi，获取人脸区域Ri，以及对应人脸区域的点云集合Ci；
步骤103：通过步骤102中的得到的点云集合Ci，，通过该点云集合Ci对人脸点云记进行模型拟合，得到关键点；
步骤104：根据步骤103中得到的关键点的三维信息，判断人脸的真伪，当判断人脸为虚假，返回至步骤101，当判断人脸为真实，进入到步骤105；
步骤105：对步骤104中判断为人脸真实的人脸点云三维信息进行人脸质量的判断，当人脸质量不合格时，返回至步骤101中，当人脸质量合格时进入到步骤106中；
步骤106：对步骤105中判断为合格的人脸点云信息进行最终的人脸识别。


2.根据权利要求1所述的一种基于深度视频流的三维人脸识别方法，其特征在于，所述的步骤101中深度相机至少包括结构光深度相机、tof深度相机和双目深度相机，该深度相机获取的视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云。


3.根据权利要求1所述的一种基于深度视频流的三维人脸识别方法，其特征在于，所述步骤103中得到的关键点的方法如下：
设三维人脸模板为其中为平均脸，ai为模型参数，mi为模型特征向量，同时设模板中的人脸关键点集合为K。计算当前帧人脸点云在模板M下的最优表示其中为表示参数，同时得到对应的人脸特征点集合Kc。


4.根据权利要求1所述的一种基于深度视频流的三维人脸识别方法，其特征在于，所述步骤104中判断人脸真伪的方法如下：
根据人脸模板的关键点集合K与当前帧的关键点集合Kc，通过求解目标方程
其中A，B，C为平面S的参数，分别拟合对应平面S与Sc，使得关键点集合中的关键点到对应平面的距离最近，并计算最近平均距离D与Dc；之后进行判断，若当前帧平均距离与模板平均距离的绝对值之差Dist＝|D-Dc|大于阈值...

【专利技术属性】
技术研发人员：马可，程甲一，刘昕，张帮中，其他发明人请求不公开姓名，
申请(专利权)人：河南中原大数据研究院有限公司，
类型：发明
国别省市：河南;41