3D人脸点云重建方法及系统技术方案

本发明专利技术公开了一种3D人脸点云重建方法及系统，其中该方法包括初始点云建立、点云配准、点云重采样以及点云增强四个阶段；在点云配准阶段，通过神经网络学习的方式动态生成点云配准所需的系数，使得生成的点云数据更加精确，而且不过分依赖点对中的对应关系；同时通过神经网络下采样的方式生成相邻两帧点云的特征矩阵，并求出两特征矩阵的欧氏距离，从而减少点云的计算量，基本达到可实时处理的条件；另外，通过点云重采样来进一步降低重建后的点云的噪声，通过点云增强的方式来增加重建后的点云的鲁棒性，使之更好的应用于后续的曲面重建中。

【技术实现步骤摘要】
3D人脸点云重建方法及系统
本专利技术涉及3D人脸重建
，尤其涉及一种3D人脸点云重建方法及系统。
技术介绍
随着我国经济的发展，城市化水平进一步提高，驾驶员自动检测系统已经成为现代车载智能系统发展的重要方向。人脸识别系统作为其中的重要组成部分，也正从传统2D图像识别模式向3D深度学习模式发展。在3D人脸识别及相关任务中，对于人脸3D数据的点云重建问题，是其中一个前期处理中的重要分体。因此，基于3D数据的点云重建方法的关键技术，已成为国内外相关领域的研究热点。3D点云重建作为3D人脸识别等相关任务的前置任务之一，可以很大程度上避免2D人脸识别及其相关任务中的过于依赖成像质量的缺点，提高了人脸识别任务的精度和对于场景环境的鲁棒性。但由于传统点云重建方法需要消耗大量计算量，并且费时，且在重建过程中过于依赖ICP算法，即过于依赖点对之间的对应关系，无法处理缺少的对应关系和部分可见性的点云，导致在真实场景中无法应用。
技术实现思路
本专利技术的目的是为解决上述技术问题的不足而提供一种3D人脸点云重建方法，以提高3D人脸本文档来自技高网...

【技术保护点】
1.一种3D人脸点云重建方法，其特征在于，包括如下步骤：/n1)、从包括多帧人脸图像的视频流中选择相邻两帧人脸图像，通过处理得到分别与两帧人脸图像对应的初始点云S

【技术特征摘要】
1.一种3D人脸点云重建方法，其特征在于，包括如下步骤：
1)、从包括多帧人脸图像的视频流中选择相邻两帧人脸图像，通过处理得到分别与两帧人脸图像对应的初始点云ST、ST+1；
2)、然后通过预先定义的初始变换矩阵{Ri，Ti}对初始点云ST进行变换，得到S′T，将S′T与ST+1拼接融合后送入基于卷积神经网络的包括卷积层和最大池化层的系数预测网络，得到一组迭代系数矩阵(α，β)；
3)、将S′T和ST+1分别送入基于卷积神经网络的第一特征提取网络，所述第一特征提取网络用于对S′T和ST+1进行网络下采样，以得到两组特征矩阵FT与FT+1；
4)、通过一计算模型得出初始配准矩阵M0，所述计算模型的输入参数为一组迭代系数矩阵(α，β)，以及特征矩阵FT与FT+1；
5)、对初始配准矩阵M0进行归一化处理，得到最终配准矩阵MT；
6)、采用分解算法，对MT进行奇异值分解，得到变换矩阵{RT，TT}，采用{RT，TT}对{Ri，Ti}进行更新，作为下一帧点云变换的初始值。


2.根据权利要求1所述的3D人脸点云重建方法，其特征在于，所述初始配准矩阵M0的计算模型为：



其中，ΔF为FT与FT+1之间的欧氏距离。


3.根据权利要求1所述的3D人脸点云重建方法，其特征在于，在所述步骤1)中，从相邻两帧所述人脸图像得到所述初始点云的方法包括：
对所述人脸图像进行初步裁剪，所述人脸图像包括RGB图和深度图，将所选取的相邻两帧人脸图像输入基于卷积神经网络的人脸检测网络，从而获得与之对应的2D人脸框；
基于所述2D人脸框，分别将所选取的两帧人脸图像的RGB图像和深度图坐标系对齐，以得到分别与两帧人脸图像对应的初始点云ST、ST+1。


4.根据权利要求3所述的3D人脸点云重建方法，其特征在于，在所述步骤1)中，当初始点云ST、ST+1建立后，还包括对人脸图像进行再次裁剪的步骤：
以2D人脸框的中心为中点，根据一定的深度阈值对所述初始点云ST、ST+1进行裁剪；所述深度阈值可为预先设置的先验值或经过初步裁剪后的人脸图像中的深度数据的平均值。


5.根据权利要求3所述的3D人脸点云重建方法，其特征在于，在对人脸图像进行初步裁剪时，通过人脸检测网络还可获得2D人脸框上的关键点；所述3D人脸点云重建方法还包括对配准后的点云数据进行重采样的步骤：
7)、从所述2D人脸框中的关键点中随机选取一点作为初始点P0(x0，y0，z0)，并以P0点为中心，对一定阈值范围内的点，通过最远点采样法得到采样集合S1＝{Pi|i∈(0，1，2，...，N)}；
8)、对其余关键点重复上述步骤7)，得到所有关键点的采样集合S＝{Sj|j∈(0，1，2，...，M)}；其中，M为关键点个数；
9)、对集合S以外的样本点，通过k-means聚类得到k组集合，K＞1；
10)、以集合S作为初始点集，分别对K组集合进行采样，以得到最终采样点集合S′＝{St|t∈(0，1，2，...，M+k)}。


6.根据权利要求5所述的3D人脸点云重建方法，其特征在于，还包括对重采样后的点云数据进行点云增强的步骤：
通过基于卷积神经网络的第二特征提取网络对采样点集合S′进行逐点特征提取并在特征提取过程中加入权重因子μ，以得到特征增强的点云数据ft，当提取出的特征数据点为关键点数据时，μ取大于1的预设值，当提取出的特征数据点为非关键点数据时，μ取值为1；
将点云数据ft分别送入同一卷积神经网络的两个不同子网络中，通过卷积神经网络的线性层回归得到两组不同的参数TS和DP；
根据如下公式对ft进行更新，
ft＝TS×ft+DP。


7.一种3D人脸点云重建系统，其特征在于，包括初始点云建立单元和点云配准单元；其中，初始点云建立单元包括初始点云建立模块；所述配准单元包括坐标变换模块、迭代系数生成模块、第一特征提取模块、计算模块、优化模块以及第一更新模块；
所述初始点云建立模块，用于对从视频流中选取的相邻两帧人脸图像进行处理，以得到分别与两帧人脸图像对应的初始点...

【专利技术属性】
技术研发人员：顾一新，
申请(专利权)人：东莞正扬电子机械有限公司，
类型：发明
国别省市：广东;44