基于3D点云几何特征的人脸活体检测方法技术

本发明专利技术涉及一种基于3D点云几何特征的人脸活体检测方法，根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；计算测试人脸的FPFH总特征和平均脸的总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。本方法不需要用户进行进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。

A method of human face detection based on 3D point cloud geometry

【技术实现步骤摘要】
基于3D点云几何特征的人脸活体检测方法
本专利技术涉及图像处理
，具体涉及基于3D点云几何特征的人脸活体检测方法。
技术介绍
目前，随着图像处理和计算机视觉技术的进步和发展，人脸识别在日常生活中的应用越来越广泛，在享受人脸识别技术给人们生活带来便捷的同时，识别人脸欺骗，提高人脸识别安全性显得尤为重要。当前的人脸活体检测方法大多是基于2D图像来实现的，通过提取2D纹理图片的特征，利用机器学习或者深度学习方法。这些方法受光照场景、姿态、表情等影响较大，不同的环境和场景下，检测的效果不够稳定，利用3D人脸点云可以减少光照和姿态这些因素带来的影响，提高检测的精度。现有的一些相机设备如RealSenseSR300等，利用结构光点云可以很方便得到3D人脸点云，使得利用3D点云来实现活体检测变得现实可行。现有的基于3D的点云的人脸防伪方法，直接用3D点云坐标，没有充分挖掘点云几何信息，只考虑了点云坐标点信息，且没有深度提取3D人脸点云的整体特征，特征描述很单一，对弯曲或者褶皱打印照片攻击难以防御。这些方法如：防视频、照片欺骗的人脸活体检测方法(2019106964037)，一种三维脸部活体检测方法、脸部认证识别方法及装置(201810777429X)，人脸的活体检测方法、装置、计算机设备及可读介质(2018100443154)，用于活体检验的方法和装置，电子设备和存储介质(2019102398251)等。
技术实现思路
本专利技术的目的是为解决上述技术问题的不足，提供基于3D点云几何特征的人脸活体检测方法，本方法不需要用户进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。本专利技术为解决上述技术问题的不足，所采用的技术方案是：基于3D点云几何特征的人脸活体检测方法：根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；计算测试人脸的FPFH总特征和平均脸的FPFH总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：包括以下步骤：步骤101：预先采集大量的真人3D点云数据，对采集的真人3D点云数据进行预处理，得到大量预处理过的真人3D人脸点云；步骤102：对所有预处理过的真人3D人脸点云，利用鼻尖点的坐标找到鼻尖点周围最近邻的N个点，对鼻尖点和最近邻的N个点，以第一个人的鼻尖点坐标为基准，计算其余人脸的鼻尖点坐标与第一个人的鼻尖点坐标的差，对齐鼻尖点，利用鼻尖点坐标差，平移其余人脸的N个点云坐标，最后通过求所有预先采集的真人3D人脸点云在这N个点的平均坐标，得到鼻子平均点云，按照上述方法计算得到真人的左眼、右眼、左嘴角以及右嘴角的平均点云；步骤103：根据步骤102得到的5个关键点周围区域内的点云，利用每个点最近邻的5个点坐标，估计出每个点的法向量；步骤104：对于平均脸的左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点，分别计算五个关键点最近邻的M个点，利用这个M个点的点云坐标和法向量信息计算关键点周围的M个点区域内的每个点上的FPFH；步骤105：对关键点周围M个点的区域内的每个点云，对上述104步骤得到的每个关键点周围的M个点的FPFH特征求平均，每个关键点都得到一个33维的特征，将平均脸的五个关键点周围得到的平均FPFH特征依次串联起来，得到165维的总特征fmean；步骤106：采集测试人脸的3D点云数据，对采集的测试人脸3D点云数据进行裁剪、填洞以及去噪预处理，得到测试人脸3D模型；步骤107：检测出预处理之后的测试人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角这5个关键点，参照步骤103-105的方法，并分别计算测试人脸的五个关键点周围M个点的FPFH特征的平均值，串联起来得到165维的总特征ftest；步骤108：计算平均脸的165维FPFH总特征fmean与测试人脸的165维FPFH总特征ftest的欧氏距离d；步骤109：计算不同的真人的总FPFH特征和平均脸的总FPFH特征的欧氏距离，取欧氏距离的最小值作为阈值，判断该测试人脸与平均脸的总FPFH特征的欧式距离d与阈值的大小，若距离大于阈值则判定当前测试为真人，否则认为是攻击。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤101还包括以下步骤：对所有预先采集的真人3D点云数据，统计经过预处理后的点云数目，若预处理后的点云数目超过30000，则需要对点云进行用随机采样的降采样处理，保留原始点云的80％，若点云数目少于10000，则需要对点云进行插值，得到更加稠密的点云。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤102中鼻子平均点云的计算方法具体为：假设预先采集了S个真人的人脸，nosei(i＝1…S)表示第i个人的鼻尖点坐标，Fij(i＝1…S，j＝1…N)表示预处理之后第i个真人人脸的鼻尖点的第j个最近邻点坐标，Pij(i＝1…S，j＝1…N)表示经过鼻尖点坐标校准之后的第i个真人人脸的鼻尖点的第j个最近邻点坐标，校准的公式为：Pij＝Fij-(nosei-nose1)(1)表示鼻尖点的平均点云的第j个点坐标，则对鼻尖点附近的N个点均按公式(2)来计算，即得到鼻尖点的平均点云。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤103中估计点云的法向量是利用点云的附近邻域的点来拟合平面来实现的，该点的法向量即为拟合平面的法线方向。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤106还包括以下步骤：对预处理后的测试点云参照进行降采样处理或插值处理，保证测试的点云和平均脸点云的点云采样的一致性。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述N为1000，M为500。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤101和106中采用双边滤波对3D点云数据进行去噪处理。作为本专利技术基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤108中欧氏距离d的计算方法为：有益效果本专利技术的人脸活体检测方法利用3D点云来实现人脸活体检测，充分利用3D点云的几何特征，利用点云的坐标和法向量信息，计算了点云的快速点特征直方图(FPFH)，能够实现应对不同的光照、姿态变化的人脸活体检测。此外，本专利技术的方法不需要用户进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。附图说明图1为本专利技术人脸活体检测方法的本文档来自技高网...

【技术保护点】
1.基于3D点云几何特征的人脸活体检测方法，其特征在于：/n根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；/n计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；/n计算测试人脸的FPFH总特征和平均脸的FPFH总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。/n

【技术特征摘要】
1.基于3D点云几何特征的人脸活体检测方法，其特征在于：
根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；
计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；
计算测试人脸的FPFH总特征和平均脸的FPFH总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。


2.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：包括以下步骤：
步骤101：预先采集大量的真人3D点云数据，对采集的真人3D点云数据进行预处理，得到大量预处理过的真人3D人脸点云；
步骤102：对所有预处理过的真人3D人脸点云，利用鼻尖点的坐标找到鼻尖点周围最近邻的N个点，对鼻尖点和最近邻的N个点，以第一个人的鼻尖点坐标为基准，计算其余人脸的鼻尖点坐标与第一个人的鼻尖点坐标的差，对齐鼻尖点，利用鼻尖点坐标差，平移其余人脸的N个点云坐标，最后通过求所有预先采集的真人3D人脸点云在这N个点的平均坐标，得到鼻子平均点云，按照上述方法计算得到真人的左眼、右眼、左嘴角以及右嘴角的平均点云；
步骤103：根据步骤102得到的5个关键点周围区域内的点云，利用每个点最近邻的5个点坐标，估计出每个点的法向量；
步骤104：对于平均脸的左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点，分别计算五个关键点最近邻的M个点，利用这个M个点的点云坐标和法向量信息计算关键点周围的M个点区域内的每个点上的FPFH；
步骤105：对关键点周围M个点的区域内的每个点云，对上述104步骤得到的每个关键点周围的M个点的FPFH特征求平均，每个关键点都得到一个33维的特征，将平均脸的五个关键点周围得到的平均FPFH特征依次串联起来，得到165维的总特征fmean；
步骤106：采集测试人脸的3D点云数据，对采集的测试人脸3D点云数据进行裁剪、填洞以及去噪预处理，得到测试人脸3D模型；
步骤107：检测出预处理之后的测试人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角这5个关键点，参照步骤103-105的方法，并分别计算测试人脸的五个关键点周围M个点的FPFH特征的平均值，串联起来得到165维的总特征ftest；
步骤108：计算平均脸的165维FPFH总特征fmea...

【专利技术属性】
技术研发人员：郝坤坤，李慧斌，黄义妨，侯宗庆，马可，
申请(专利权)人：河南中原大数据研究院有限公司，
类型：发明
国别省市：河南;41