基于多帧点云融合与可变模型的三维人脸超分辨率方法技术

基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括：S1、获取视频帧深度图像与点云序列P

【技术实现步骤摘要】
基于多帧点云融合与可变模型的三维人脸超分辨率方法
本专利技术涉及人脸识别
，具体的说是基于多帧点云融合与可变模型的三维人脸超分辨率方法。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。点云超分辨率或者点云融合是人脸识别技术中的两种常用方法，主要是为了能够更好地重构人脸表面。现有的大部分点云超分辨率或者点云融合方法，通过将三维点云信息映射到二维图像空间再进行数据融合，存在如下缺点：1、三维到二维的映射转换会导致大量信息丢失，从而降低融合后的数据精度。2、对于人脸大姿态、表情等情况，二维图像无法很好的表示这些细节，容易导致融合失败。典型的例子有中国专利“201610051083.6”公开的“人脸三维点云超分辨率融合方法及应用其的数据处理装置”、中国专利“201910322098.5”公开的“一种基于深度图像融合的人脸三维重建方法和装置”和中国专利“201810690747.2”公开的“三维人脸模型重建方法及装置”。
技术实现思路
为了解决现有技术中的不足，本专利技术提供基于多帧点云融合与可变模型的三维人脸超分辨率方法，能够得到高精度的人脸点云。为了实现上述目的，本专利技术采用的具体方案为：基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括如下步骤：S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合；S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分；S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将分别对P0通过ICP算法进行配准得到第二粗糙拟合分数；S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}；S6、对Palign进行转换得到平滑融合点云Pfusion；S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云Mavg；S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。作为一种优选方案，S2中，可变模型为其中为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。作为一种优选方案，S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。作为一种优选方案，S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj。作为一种优选方案，S5的具体方法为：S5.1、将所有满足Sj＜Sr的点云从Pr中去除，其中Sr为配准阈值；S5.2、将Pr中余下的所有点云转换到P0所在的位置，具体的转换方法为：Pj0＝RjPj+Tj；其中Pj0为转换后的点云。作为一种优选方案，S6的具体方法为：S6.1、设Palign中的所有点云对象聚合的总体三维人脸点云为Pall，遍历Pall计算：其中Uall为点云质心，N为Pall的总点数；S6.2、对Palign中的每个对象以及Pall中的每一个点Pcommon进行质心去除，即：Pcommon＝Pcommon-Uall；S6.3、对Pall求取法向量得到法向量集合Nall；S6.4、通过MLS(移动最小二乘)算法对Pall与Nall进行平滑滤波融合得到Pfusion。作为一种优选方案，S7的具体方法为：S7.1、对Palign中的每个对象PK使用可变模型M进行可变拟合得到可变拟合结果：Mk＝M+∑iakmi；其中Mk为对PK进行拟合得到的人脸点云，aK为对应的可变系数，所有aK系数构成可变系数集合A，A中所有对象的平均值为Aavg；S7.2、计算平均可变模型结果：Mavg＝M+∑iaavgmi。作为一种优选方案，S8中的融合方法为：Poutput＝Mavg+Pfusion。有益效果：本专利技术能够解决低成本深度采集设备采集到的信息分辨率较低、精度较差等问题，能够解决人脸大姿态、表情时的多帧人脸融合问题，能够解决低成本深度采集设备造成的人脸采集时存在空洞、数据缺失等问题。附图说明图1是本专利技术的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括S1至S8。S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合。S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数。S2中，可变模型为其中为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分。S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将分别对P0通过ICP算法进行配准得到第二粗糙拟合分数。S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj。S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}。S5的具体方法为S5.1至S5.2。S5.1、将所有满足Sj＜Sr的点云从Pr中去除，其中Sr为配准阈值。S5.2、将Pr中余下的所有点云转换到P0所在的位置，具体的转换方法为：Pj0＝RjPj+Tj；其中Pj0为转换后的点云。S6、对Palign进行转换得到平滑融合点云Pfusion。S6的具体方法为S6.1至S6.2。S6.1、设Palign中的所有点云对象聚合的总体三维人脸点云为Pall，遍历Pall计算：其中Uall为点云质心，N为Pall的总点数。S6.2、对Palig本文档来自技高网...

【技术保护点】
1.基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：包括如下步骤：/nS1、获取视频帧深度图像与点云序列P

【技术特征摘要】
1.基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：包括如下步骤：
S1、获取视频帧深度图像与点云序列Pi∈P，其中Pi为单帧点云，P为点云集合；
S2、以平均脸为模板、以Pi为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；
S3、根据第一粗糙拟合分数对Pi进行筛选得到检测成功点云集合Pf，并且进行集合划分；
S4、以Pf中的第一个点云P0为目标点云，以Pf中其余所有人脸点云Pr为模板，将分别对P0通过ICP算法进行配准得到第二粗糙拟合分数；
S5、根据第二粗糙拟合分数对Pr进行筛选，并且将通过筛选的点云转换至P0所在的位置，得到配准点云集合Palign＝{P0,Pj0}；
S6、对Palign进行转换得到平滑融合点云Pfusion；
S7、使用三维人脸可变模型对Palign中的对象Pk进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云Mavg；
S8、对Pfusion和Mavg进行融合得到三维人脸超分辨率点云Poutput。


2.如权利要求1所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S2中，可变模型为其中为平均脸，ai为模型参数，mi为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵Ri、第一平移矩阵Ti和第一粗糙拟合分数Si。


3.如权利要求2所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S3的具体方法为：将满足Si＜Sth的点云Pi从P中去除，其中Sth为第一粗糙拟合检测阈值，得到检测成功点云集合Pf。


4.如权利要求3所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S4中，配准得到第二粗糙拟合分数Sj、第二旋转矩阵Rj和第二平移矩阵Tj...

【专利技术属性】
技术研发人员：马可，李慧斌，侯宗庆，
申请(专利权)人：河南中原大数据研究院有限公司，
类型：发明
国别省市：河南;41