单目RGB-D相机实时人脸重建方法及装置制造方法及图纸

本发明专利技术公开了一种单目RGB‑D相机实时人脸重建方法及装置，其中，方法包括：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；根据人脸特征点的位置得到当前帧每个特征点的三维坐标；获取关键帧上每个人脸特征点的当前三维坐标；根据三维坐标和当前三维坐标得到关键帧到每一帧的全局刚性运动，以得到刚性运动结果；使用刚性运动结果作为ICP的初始化，以微调人脸刚性运动；将刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。该方法有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。

【技术实现步骤摘要】
单目RGB-D相机实时人脸重建方法及装置
本专利技术涉及三维重建
，特别涉及一种单目RGB-D相机实时人脸重建方法及装置。
技术介绍
相关技术中，三维重建技术是计算机视觉和计算机图形学领域的研究热点，是虚拟现实/增强现实、自动驾驶、机器人等领域的核心技术之一，有着广泛的应用。近年来出现了很多工作使用消费级别的深度相机(如微软Kinect、英特尔RealSense等)对一般场景与物体进行实时三维重建。这类工作大多基于ICP算法对已经重建好的几何部分和当前帧输入点云进行刚性配准，估计当前帧相对关键帧的刚性运动(全局的旋转和平移)。该方法在相机快速运动或者重建对象快速移动的时候具有较大的局限性，经常出现因为刚性运动估计不准确而导致重建失败。
技术实现思路
本申请是基于专利技术人对以下问题的认识和发现做出的：单目RGB-D相机实时三维重建是计算机图形学和计算机视觉领域的研究热点，如何根据单目RGB-D相机的输入数据快速、准确地重建一般物体的几何、反射率和环境光照等信息是一项重要的研究课题。近年来先进的重建技术在几何配准环节大都使用的是基于迭代最近点(ICP)算法，但这类方法一般只能应对较慢的相机或者物体的运动。本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种单目RGB-D相机实时人脸重建方法，该方法有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。本专利技术的另一个目的在于提出一种单目RGB-D相机实时人脸重建方法。为达到上述目的，本专利技术一方面实施例提出了一种单目RGB-D相机实时人脸重建方法，包括以下步骤：步骤S1：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；步骤S2：根据所述人脸特征点的位置得到当前帧每个特征点的三维坐标；步骤S3：获取关键帧上每个人脸特征点的当前三维坐标；步骤S4：根据所述三维坐标和所述当前三维坐标得到所述关键帧到每一帧的全局刚性运动，以得到刚性运动结果；步骤S5：使用所述刚性运动结果作为ICP的初始化，以微调人脸刚性运动；步骤S6：将所述刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。本专利技术实施例的单目RGB-D相机实时人脸重建方法，考虑到人脸结构的特殊性，利用先进的人脸图像特征点检测技术提高单目RGB-D相机实时重建人脸的准确性，针对人脸这类特殊目标提出的一种新的估计全局刚性运动的方法，可以处理人脸快速运动时人脸实时三维重建，从而有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。另外，根据本专利技术上述实施例的单目RGB-D相机实时人脸重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1进一步包括：将人脸外圈的特征点分为左特征点和右特征点；将所述左特征点和所述右特征点分别用指数函数曲线拟合，并且在拟合之后，保留同时位于两条曲线上方的区域的深度数据；将所述区域以外的深度值置为零。进一步地，在本专利技术的一个实施例中，所述步骤S2进一步包括：根据剩余的内部特征点寻找每个特征点在深度图像上对应的位置，并通过深度相机的内参矩阵反投影获取所述当前帧每个特征点的三维坐标。进一步地，在本专利技术的一个实施例中，所述步骤S3进一步包括：将当前重建的模型渲染其对应的深度图，并使用获取关键帧模型上特征点的当前三维坐标。进一步地，在本专利技术的一个实施例中，所述步骤S4进一步包括：将全局刚性运动建模为一个最优化问题，优化的目标为：其中，R和t分别表示待优化的刚性旋转和平移，n为特征点的数量，表示当前输入帧第i个特征点的三维坐标，表示关键帧第i个特征点的三维坐标。为达到上述目的，本专利技术另一方面实施例提出了一种单目RGB-D相机实时人脸重建装置，包括以下步骤：检测模块，用于通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；第一处理模块，用于根据所述人脸特征点的位置得到当前帧每个特征点的三维坐标；获取模块，用于获取关键帧上每个人脸特征点的当前三维坐标；第二处理模块，用于根据所述三维坐标和所述当前三维坐标得到所述关键帧到每一帧的全局刚性运动，以得到刚性运动结果；初始化模块，用于使用所述刚性运动结果作为ICP的初始化，以微调人脸刚性运动；更新模块，用于将所述刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。本专利技术实施例的单目RGB-D相机实时人脸重建装置，考虑到人脸结构的特殊性，利用先进的人脸图像特征点检测技术提高单目RGB-D相机实时重建人脸的准确性，针对人脸这类特殊目标提出的一种新的估计全局刚性运动的方法，可以处理人脸快速运动时人脸实时三维重建，从而有效去除了非人脸区域的深度，去除非刚性运动的影响，且可以利用人脸特征点提高刚性运动估计的准确性。另外，根据本专利技术上述实施例的单目RGB-D相机实时人脸重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述检测模块进一步用于将人脸外圈的特征点分为左特征点和右特征点，将所述左特征点和所述右特征点分别用指数函数曲线拟合，并且在拟合之后，保留同时位于两条曲线上方的区域的深度数据，将所述区域以外的深度值置为零。进一步地，在本专利技术的一个实施例中，所述第一处理模块进一步用于根据剩余的内部特征点寻找每个特征点在深度图像上对应的位置，并通过深度相机的内参矩阵反投影获取所述当前帧每个特征点的三维坐标。进一步地，在本专利技术的一个实施例中，所述获取模块进一步用于将当前重建的模型渲染其对应的深度图，并使用获取关键帧模型上特征点的当前三维坐标。进一步地，在本专利技术的一个实施例中，所述第二处理模块进一步用于将全局刚性运动建模为一个最优化问题，优化的目标为：其中，R和t分别表示待优化的刚性旋转和平移，n为特征点的数量，表示当前输入帧第i个特征点的三维坐标，表示关键帧第i个特征点的三维坐标。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的单目RGB-D相机实时人脸重建方法的流程图；图2为根据本专利技术一个具体实施例的单目RGB-D相机实时人脸重建方法的流程图；图3为根据本专利技术一个实施例的使用特征点估计刚性运动和ICP方法估计效果对比图；图4为根据本专利技术一个实施例的单目RGB-D相机实时人脸重建装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的单目RGB-D相机实时人脸重建方法及装置，首先将参照附图描述根据本专利技术实施例提出的单目RGB-D相机实时人脸重建方法。图1是本专利技术一个实施例的单目RGB-D相机实时人脸重建方法的流程图。如图1所示，该单目RGB-D相机实时人脸重建方法包括以下步骤：步骤S1：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人本文档来自技高网...

【技术保护点】
1.一种单目RGB‑D相机实时人脸重建方法，其特征在于，包括以下步骤：步骤S1：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；步骤S2：根据所述人脸特征点的位置得到当前帧每个特征点的三维坐标；步骤S3：获取关键帧上每个人脸特征点的当前三维坐标；步骤S4：根据所述三维坐标和所述当前三维坐标得到所述关键帧到每一帧的全局刚性运动，以得到刚性运动结果；步骤S5：使用所述刚性运动结果作为ICP的初始化，以微调人脸刚性运动；以及步骤S6：将所述刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。

【技术特征摘要】
1.一种单目RGB-D相机实时人脸重建方法，其特征在于，包括以下步骤：步骤S1：通过先进的人脸特征点检测算法在输入的人脸RGB图像上检测人脸特征点的位置；步骤S2：根据所述人脸特征点的位置得到当前帧每个特征点的三维坐标；步骤S3：获取关键帧上每个人脸特征点的当前三维坐标；步骤S4：根据所述三维坐标和所述当前三维坐标得到所述关键帧到每一帧的全局刚性运动，以得到刚性运动结果；步骤S5：使用所述刚性运动结果作为ICP的初始化，以微调人脸刚性运动；以及步骤S6：将所述刚性运动结果作用于关键帧模型，以更新模型的TSDF表示。2.根据权利要求1所述的单目RGB-D相机实时人脸重建方法，其特征在于，所述步骤S1进一步包括：将人脸外圈的特征点分为左特征点和右特征点；将所述左特征点和所述右特征点分别用指数函数曲线拟合，并且在拟合之后，保留同时位于两条曲线上方的区域的深度数据；将所述区域以外的深度值置为零。3.根据权利要求1所述的单目RGB-D相机实时人脸重建方法，其特征在于，所述步骤S2进一步包括：根据剩余的内部特征点寻找每个特征点在深度图像上对应的位置，并通过深度相机的内参矩阵反投影获取所述当前帧每个特征点的三维坐标。4.根据权利要求1所述的单目RGB-D相机实时人脸重建方法，其特征在于，所述步骤S3进一步包括：将当前重建的模型渲染其对应的深度图，并使用获取关键帧模型上特征点的当前三维坐标。5.根据权利要求1所述的单目RGB-D相机实时人脸重建方法，其特征在于，所述步骤S4进一步包括：将全局刚性运动建模为一个最优化问题，优化的目标为：其中，R和t分别表示待优化的刚性旋转和平移，n为特征点的数量，表示当前输入帧第i个特征点的三维坐标，表示关键帧第i个特征点的三维坐标。6.一种单目RGB...

【专利技术属性】
技术研发人员：徐枫，冯铖锃，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11