一种基于粗糙-精细拟合的三维人脸检测方法技术

一种基于粗糙‑精细拟合的三维人脸检测方法，包括如下步骤：S1、获取深度数据并且表示为单帧点云；S2、对单帧点云进行聚类获取质心和注意力区域；S3、以平均脸型模板为基础、以单帧点云为目标通过ICP算法进行可变模型拟合得到粗糙拟合结果点云和粗糙拟合分数；S4、将粗糙拟合结果点云中的所有关键点划分到若干个子集合中，以子集合为模板、以单帧点云为目标通过ICP算法进行非刚性变换拟合得到细节拟合结果点云和细节拟合分数；S5、根据细节拟合结果点云中关键点的位置计算局部特征，并且匹配得到关键点分数；S6、对关键点分数进行融合得到检测分数，并且判断是否检测成功。本发明专利技术提供一种基于粗糙‑精细拟合的三维人脸检测方法，检测精度高。

A 3D face detection method based on rough fine fitting

【技术实现步骤摘要】
一种基于粗糙-精细拟合的三维人脸检测方法
本专利技术涉及人脸识别
，具体的说是一种基于粗糙-精细拟合的三维人脸检测方法。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。在人脸识别技术中，人脸检测是在先步骤，人脸检测结果的精确度直接影响人脸识别的成功率。现有技术中，人脸检测主要可以分为二维检测和三维检测两类。在二维检测的方法中，普遍存在的问题有：1、对光照敏感，容易受到不同环境下光照影响而降低检测率；2、对化妆、肤色等外表信息敏感，同一个人在不同的化妆与肤色情况下检测结果会有较大差别。二维检测的典型案例可以参考中国专利“201810265189.5”公开的“人脸检测方法及装置”和中国专利“201910005175.4”公开的“人脸检测方法及人脸检测系统”。在三维检测的方法中，普遍存在的问题有：1、三维人脸检测依赖人工标注标定，难以自动化；2、基于pca模型的三维人脸模型可变性较差，难以进行准确的人脸定位。三维检测的典型案例可以参考中国专利“201810353351.9”公开的“三维人脸识别方法和三维人脸识别系统”和中国专利“200810057183.5”公开的“基于视频流的三维人脸动作检测和跟踪方法”。
技术实现思路
为了解决现有技术中的不足，本专利技术提供一种基于粗糙-精细拟合的三维人脸检测方法，检测精度高，抗干扰能力强。为了实现上述目的，本专利技术采用的具体方案为：一种基于粗糙-精细拟合的三维人脸检测方法，包括如下步骤：S1、获取深度数据并且表示为单帧点云；S2、对单帧点云进行聚类获取质心和注意力区域；S3、以平均脸型模板为基础、以单帧点云为目标通过ICP(迭代就近点)算法进行可变模型拟合得到粗糙拟合结果点云和粗糙拟合分数，并且基于粗糙拟合分数判断深度数据是否可用，若可用则执行S4，若不可用则返回S1；S4、将粗糙拟合结果点云中的所有关键点划分到若干个子集合中，以子集合为模板、以单帧点云P为目标通过ICP算法进行非刚性变换拟合得到细节拟合结果点云和细节拟合分数；S5、根据细节拟合结果点云中关键点的位置计算局部特征，并且匹配得到关键点分数；S6、对粗糙拟合分数、细节拟合分数和对关键点分数进行融合得到检测分数，并且判断是否检测成功。作为一种优选方案，S1中，单帧点云P用六维数据[x,y,z,r,g,b]表示，其中[x,y,z]为空间维数据，[r,g,b]为颜色空间维数据。作为一种优选方案，S2的具体方法为：S2.1、将单帧点云P在空间中的宽度范围表示为width、高度范围表示为height、深度范围表示为depth；S2.2、利用K-means聚类算法对单帧点云P进行聚类得到N个聚类中心，每个聚类中心为一个质心；S2.3、对每个聚类中心进行判断，将位于ratio_x×width、ratio_y×height、ratio_z×depth以及(1-ratio_x)×width、(1-ratio_y)×heigh、(1-ratio_z)×depth空间范围内的点云聚类滤除，其中ratio_x、ratio_y、ratio_z分别为宽度阈值、高度阈值、深度阈值；S2.4、滤除所在聚类中点数小于O的聚类中心，得到最终点云聚类Np，每一个Np最终点云聚类对应一个注意力区域，O为点数阈值。作为一种优选方案，S3的具体方法为：S3.1、构建三维人脸可变模型其中为平均脸型模板，ai为模型参数，mi为模型特征向量；S3.2、以为模版、以Np为目标点云，通过ICP算法计算可变模型粗糙拟合结果，得到旋转矩阵R、平移矩阵T、粗糙拟合分数Scoarse；S3.3、将Pi转换到人脸对应位置，转换方法为：Pcoarse＝R×M+T；其中Pcoarse为粗拟合可变模型结果点云；S3.4、设定粗糙拟合分数阈值THcoarse，若Scoarse＜THcoarse则深度数据可用并且执行S4，否则深度数据不可用并且返回S1。作为一种优选方案，S4的具体方法为：S4.1、对于Pcoarse中的关键点集合K中的每一个关键点Ki，提取Ki三位空间邻域中的U个点形成局部关键点云集合Ui；S4.2、以每一个Ui为模版，以P为目标点云，通过ICP算法计算局部关键点云细节拟合结果，得到旋转矩阵Ri、平移矩阵Ti、细节拟合分数Si，所有的Si组成细节分数集合Sfine；S4.3、将Ui转换到人脸对应位置，每一个Ui对应的细节拟合变换点云集合Ufine，所有的Ufine点云集合组成集合Uall，转换方法为：Ufine＝Ri×Ui+Ti；S4.4、计算细节拟合分数：其中Ks为关键点集合中的关键点数。作为一种优选方案，S5的具体方法为：S5.1、Pcoarse点云中的关键点集合K中的每一个关键点Ki以及细节拟合变换点云集合Ufine，通过KDTree算法计算Ui在P上的最近邻局部点云集合KDi；S5.2、通过3DLBP算法计算局部关键点云特征LBPui与LBPkdi；S5.3、计算特征匹配分数：S5.4、判断关键点是否合格，若S1bp＜TH1bp，则关键点不合格，否则关键点合格，其中TH1bp为局部关键点阈值；S5.5从将Sfine中将不合格关键点或者细节拟合变换点云集合对应的分数删除，同时所有S1bp组成局部关键点分数集合Skey。作为一种优选方案，S6的具体方法为：S6.1、计算最终的人脸检测分数：其中λ1、λ2、λ3为权重参数，Ns、Nkey分别为Sfine与Skey集合中的样本数；S6.2、判断若Soutput＞THoutput，其中THoutput为检测阈值，则检测成功，否则检测失败。有益效果：本专利技术能够解决二维人脸检测容易收到不同环境光照、不同妆容、不同肤色影响从而降低检测性能的问题，能够解决人脸存在大幅度表情形变与姿态变化时的准确人脸检测与定位问题，能够解决三维人脸数据中经常出现的存在空洞、不完整等问题，从而实现更加精确的人脸识别检测效果。附图说明图1是本专利技术的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种基于粗糙-精细拟合的三维人脸检测方法，包括S1至S6。S1、获取深度数据并且表示为单帧点云，单帧点云P用六维数据[x,y,z,r,g,b]表示，其中[x,本文档来自技高网...

【技术保护点】
1.一种基于粗糙-精细拟合的三维人脸检测方法，其特征在于：包括如下步骤：/nS1、获取深度数据并且表示为单帧点云；/nS2、对单帧点云进行聚类获取质心和注意力区域；/nS3、以平均脸型模板为基础、以单帧点云为目标通过ICP(迭代就近点)算法进行可变模型拟合得到粗糙拟合结果点云和粗糙拟合分数，并且基于粗糙拟合分数判断深度数据是否可用，若可用则执行S4，若不可用则返回S1；/nS4、将粗糙拟合结果点云中的所有关键点划分到若干个子集合中，以子集合为模板、以单帧点云P为目标通过ICP算法进行非刚性变换拟合得到细节拟合结果点云和细节拟合分数；/nS5、根据细节拟合结果点云中关键点的位置计算局部特征，并且匹配得到关键点分数；/nS6、对粗糙拟合分数、细节拟合分数和对关键点分数进行融合得到检测分数，并且判断是否检测成功。/n

【技术特征摘要】
1.一种基于粗糙-精细拟合的三维人脸检测方法，其特征在于：包括如下步骤：
S1、获取深度数据并且表示为单帧点云；
S2、对单帧点云进行聚类获取质心和注意力区域；
S3、以平均脸型模板为基础、以单帧点云为目标通过ICP(迭代就近点)算法进行可变模型拟合得到粗糙拟合结果点云和粗糙拟合分数，并且基于粗糙拟合分数判断深度数据是否可用，若可用则执行S4，若不可用则返回S1；
S4、将粗糙拟合结果点云中的所有关键点划分到若干个子集合中，以子集合为模板、以单帧点云P为目标通过ICP算法进行非刚性变换拟合得到细节拟合结果点云和细节拟合分数；
S5、根据细节拟合结果点云中关键点的位置计算局部特征，并且匹配得到关键点分数；
S6、对粗糙拟合分数、细节拟合分数和对关键点分数进行融合得到检测分数，并且判断是否检测成功。


2.如权利要求1所述的一种基于粗糙-精细拟合的三维人脸检测方法，其特征在于：S1中，单帧点云P用六维数据[x,y,z,r,g,b]表示，其中[x,y,z]为空间维数据，[r,g,b]为颜色空间维数据。


3.如权利要求2所述的一种基于粗糙-精细拟合的三维人脸检测方法，其特征在于：S2的具体方法为：
S2.1、将单帧点云P在空间中的宽度范围表示为width、高度范围表示为height、深度范围表示为depth；
S2.2、利用K-means聚类算法对单帧点云P进行聚类得到N个聚类中心，每个聚类中心为一个质心；
S2.3、对每个聚类中心进行判断，将位于ratio_x×width、ratio_y×height、ratio_z×depth以及(1-ratio_x)×width、(1-ratio_y)×heigh、(1-ratio_z)×depth空间范围内的点云聚类滤除，其中ratio_x、ratio_y、ratio_z分别为宽度阈值、高度阈值、深度阈值；
S2.4、滤除所在聚类中点数小于O的聚类中心，得到最终点云聚类Np，每一个Np最终点云聚类对应一个注意力区域，O为点数阈值。


4.如权利要求3所述的一种基于粗糙-精细拟合的三维人脸检测方法，其特征在于：S3的具体方法为：
S3.1、构建三维人脸可变模型其中为平均脸型模板，ai为模型参数，mi为模型特征向量；
S3.2、以为模版、以Np为目标点云，通过ICP算法计算可变模型粗糙拟合结果，得到旋转矩阵R、平移矩阵T、粗糙...

【专利技术属性】
技术研发人员：马可，李慧斌，侯宗庆，
申请(专利权)人：河南中原大数据研究院有限公司，
类型：发明
国别省市：河南;41