一种包含尺度信息的人脸三维重建方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域，实施例具体公开一种包含尺度信息的人脸三维重建方法及系统。本发明专利技术提供的人脸三维重建方法及系统，将从标准人脸三维模型中得到的标准人脸面部二维特征点，与从目标人脸二维图像中提取的目标人脸面部二维特征点进行匹配，调整标准人脸三维模型，获得初始目标人脸三维模型；将从目标人脸三维点云中提取的三维特征点，与从初始目标人脸三维模型中提取的三维特征点进行匹配，调整目标人脸三维点云，获得最终目标人脸三维点云。解决了现有方法不能重建具有尺度信息和表面信息的人脸三维模型的问题，获得了没有变形且拥有表面细节的人脸三维重建结果，实现了人脸三维模型更广阔的应用。

【技术实现步骤摘要】
一种包含尺度信息的人脸三维重建方法及系统
本专利技术涉及计算机视觉
，具体涉及一种包含尺度信息的人脸三维重建方法及系统。
技术介绍
传统的三维重建方法有：光度立体，结构光，双目视觉，TOF等等。光度立体视觉可以看成是一种三维表面重建方法，由它得到的物体表面细节非常丰富，还原度高，但是传统的光度立体视觉在整体上由于模型不精确性而存在偏差，并且存在尺度变化而无法直接用于三维测量，所重建出来的三维模型可能发生变形。结构光和TOF等算法结果也比较精确，但是都依赖于一些要求高的设备，应用场景是比较受限制的。双目立体视觉得到的重建结果有具体的尺度信息，但是噪声较大，算法不是很鲁棒。所以，依照前面所述的三维重建方法得到的重建结果都各有各的局限性。目前，越来越多的领域需要对人脸进行三维重建，以获得人脸三维立体模型的尺度信息和表面信息，因此，如何获得一个没有变形且拥有表面细节的人脸三维重建结果是目前亟待解决的问题。
技术实现思路
有鉴于此，本申请提供一种结合人脸特征点和人脸三维点云的方案，能够克服上述缺点，获得一个具有尺度信息和表面细节信息的人脸三维点云。为解决以上技术问题，本专利技术提供的技术方案是一种包含尺度信息的人脸三维重建方法，包括：获取目标人脸的目标人脸二维图像；从所述目标人脸二维图像中提取出目标人脸二维图像的N个二维特征点；获取标准人脸三维模型；从所述标准人脸三维模型中提取出标准人脸三维模型的N个三维特征点；根据所述标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点；将所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点进行匹配，并调整所述标准人脸三维模型，获得初始目标人脸三维模型；从所述初始目标人脸三维模型中提取出初始目标人脸三维模型的N个三维特征点；获取目标人脸的目标人脸三维点云；从所述目标人脸三维点云中提取出目标人脸三维点云的N个三维特征点；将所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点进行匹配，并调整所述目标人脸三维点云，获得最终目标人脸三维点云；其中N为大于1的正整数。优选地，所述根据所述标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点的方法，包括：将所述标准人脸三维模型的N个三维特征点投影到二维平面，获得标准人脸三维模型的N个二维特征点。优选地，所述将所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点进行匹配，并调整所述标准人脸三维模型，获得初始目标人脸三维模型的方法，包括：调整所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点重合，获得调整后的标准人脸三维模型的N个二维特征点；将所述调整后的标准人脸三维模型的N个二维特征点反投影到所述标准人脸三维模型，获得调整后的标准人脸三维模型的N个三维特征点；根据所述调整后的标准人脸三维模型的N个三维特征点调整所述标准人脸三维模型，获得初始目标人脸三维模型。优选地，所述根据所述调整后的标准人脸三维模型的N个三维特征点调整所述标准人脸三维模型，获得初始目标人脸三维模型的方法，包括：构造所述调整后的标准人脸三维模型的N个三维特征点与所述标准人脸三维模型的N个三维特征点的特征点差异能量函数；对所述调整后的标准人脸三维模型的N个三维特征点与所述标准人脸三维模型的N个三维特征点的各特征点差异能量值求和，通过最优化算法进行全局求解，获得实际调整后的标准人脸三维模型的N个三维特征点的坐标；根据所述实际调整后的标准人脸三维模型的N个三维特征点的坐标调整所述标准人脸三维模型，获得初始目标人脸三维模型。优选地，所述获取目标人脸的目标人脸三维点云的方法，包括：采用光度立体视觉方法获取目标人脸的目标人脸三维点云。优选地，所述将所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点进行匹配，并调整所述目标人脸三维点云，获得最终目标人脸三维点云的方法，包括：调整所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点重合，获得调整后的目标人脸三维点云的N个三维特征点；根据所述调整后的目标人脸三维点云的N个三维特征点调整所述目标人脸三维点云，获得最终目标人脸三维点云。优选地，所述根据所述调整后的目标人脸三维点云的N个三维特征点调整所述目标人脸三维点云，获得最终目标人脸三维点云的方法，包括：构造所述调整后的目标人脸三维点云的N个三维特征点与所述目标人脸三维点云的N个三维特征点的特征点差异能量函数；对所述调整后的目标人脸三维点云的N个三维特征点与所述目标人脸三维点云的N个三维特征点的各特征点差异能量值求和，通过最优化算法进行全局求解，获得实际调整后的目标人脸三维点云的N个三维特征点的坐标；根据所述实际调整后的目标人脸三维点云的N个三维特征点的坐标调整所述目标人脸三维点云，获得最终目标人脸三维点云。本专利技术还提供一种包含尺度信息的人脸三维重建系统，其特征在于，包括：目标人脸二维图像获取模块，用于获取目标人脸的目标人脸二维图像；目标人脸二维图像二维特征点提取模块，用于从目标人脸二维图像中提取出目标人脸二维图像的N个二维特征点；标准人脸三维模型获取模块，用于获取标准人脸三维模型；标准人脸三维模型三维特征点提取模块，用于从标准人脸三维模型中提取出标准人脸三维模型的N个三维特征点；标准人脸三维模型二维特征点获取模块，用于根据标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点；二维特征点匹配调整模块，用于将标准人脸三维模型的N个二维特征点与目标人脸二维图像的N个二维特征点进行匹配，并调整标准人脸三维模型，获得初始目标人脸三维模型；初始目标人脸三维模型三维特征点提取模块，用于从初始目标人脸三维模型中提取出初始目标人脸三维模型的N个三维特征点；目标人脸三维点云获取模块，用于获取目标人脸的目标人脸三维点云；目标人脸三维点云三维特征点提取模块，用于从目标人脸三维点云中提取出目标人脸三维点云的N个三维特征点；三维特征点匹配调整模块，用于将目标人脸三维点云的N个三维特征点与初始目标人脸三维模型的N个三维特征点进行匹配，并调整目标人脸三维点云，获得最终目标人脸三维点云。优选地，所述二维特征点匹配调整模块，包括：第一匹配单元，用于调整标准人脸三维模型的N个二维特征点与目标人脸二维图像的N个二维特征点重合，获得调整后的标准人脸三维模型的N个二维特征点；第一投影单元，用于将调整后的标准人脸三维模型的N个二维特征点反投影到标准人脸三维模型，获得调整后的标准人脸三维模型的N个三维特征点；第一调整单元，用于根据调整后的标准人脸三维模型的N个三维特征点调整标准人脸三维模型，获得初始目标人脸三维模型。优选地，所述三维特征点匹配调整模块，包括：第二匹配单元，用于调整目标人脸三维点云的N个三维特征点与初始目标人脸三维模型的N个三维特征点重合，获得调整后的目标人脸三维点云的N个三维特征点；第二调整单元，用于根据调整后的目标人脸三维点云的N个三维特征点调整目标人脸三维点云，获得最终目标人脸三维点云。本申请与现有技术相比，其有益效果详细说明如下：本专利技术实施例提供的包含尺度信息的人脸三维重建方法及系统，将从标准人脸三维模型中得到本文档来自技高网...

【技术保护点】
1.一种包含尺度信息的人脸三维重建方法，其特征在于，包括：获取目标人脸的目标人脸二维图像；从所述目标人脸二维图像中提取出目标人脸二维图像的N个二维特征点；获取标准人脸三维模型；从所述标准人脸三维模型中提取出标准人脸三维模型的N个三维特征点；根据所述标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点；将所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点进行匹配，并调整所述标准人脸三维模型，获得初始目标人脸三维模型；从所述初始目标人脸三维模型中提取出初始目标人脸三维模型的N个三维特征点；获取目标人脸的目标人脸三维点云；从所述目标人脸三维点云中提取出目标人脸三维点云的N个三维特征点；将所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点进行匹配，并调整所述目标人脸三维点云，获得最终目标人脸三维点云；其中N为大于1的正整数。

【技术特征摘要】
1.一种包含尺度信息的人脸三维重建方法，其特征在于，包括：获取目标人脸的目标人脸二维图像；从所述目标人脸二维图像中提取出目标人脸二维图像的N个二维特征点；获取标准人脸三维模型；从所述标准人脸三维模型中提取出标准人脸三维模型的N个三维特征点；根据所述标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点；将所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点进行匹配，并调整所述标准人脸三维模型，获得初始目标人脸三维模型；从所述初始目标人脸三维模型中提取出初始目标人脸三维模型的N个三维特征点；获取目标人脸的目标人脸三维点云；从所述目标人脸三维点云中提取出目标人脸三维点云的N个三维特征点；将所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点进行匹配，并调整所述目标人脸三维点云，获得最终目标人脸三维点云；其中N为大于1的正整数。2.根据权利要求1所述的包含尺度信息的人脸三维重建方法，其特征在于，所述根据所述标准人脸三维模型的N个三维特征点，获取标准人脸三维模型的N个二维特征点的方法，包括：将所述标准人脸三维模型的N个三维特征点投影到二维平面，获得标准人脸三维模型的N个二维特征点。3.根据权利要求1所述的包含尺度信息的人脸三维重建方法，其特征在于，所述将所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点进行匹配，并调整所述标准人脸三维模型，获得初始目标人脸三维模型的方法，包括：调整所述标准人脸三维模型的N个二维特征点与所述目标人脸二维图像的N个二维特征点重合，获得调整后的标准人脸三维模型的N个二维特征点；将所述调整后的标准人脸三维模型的N个二维特征点反投影到所述标准人脸三维模型，获得调整后的标准人脸三维模型的N个三维特征点；根据所述调整后的标准人脸三维模型的N个三维特征点调整所述标准人脸三维模型，获得初始目标人脸三维模型。4.根据权利要求3所述的包含尺度信息的人脸三维重建方法，其特征在于，所述根据所述调整后的标准人脸三维模型的N个三维特征点调整所述标准人脸三维模型，获得初始目标人脸三维模型的方法，包括：构造所述调整后的标准人脸三维模型的N个三维特征点与所述标准人脸三维模型的N个三维特征点的特征点差异能量函数；对所述调整后的标准人脸三维模型的N个三维特征点与所述标准人脸三维模型的N个三维特征点的各特征点差异能量值求和，通过最优化算法进行全局求解，获得实际调整后的标准人脸三维模型的N个三维特征点的坐标；根据所述实际调整后的标准人脸三维模型的N个三维特征点的坐标调整所述标准人脸三维模型，获得初始目标人脸三维模型。5.根据权利要求1所述的包含尺度信息的人脸三维重建方法，其特征在于，所述获取目标人脸的目标人脸三维点云的方法，包括：采用光度立体视觉方法获取目标人脸的目标人脸三维点云。6.根据权利要求1所述的包含尺度信息的人脸三维重建方法，其特征在于，所述将所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模型的N个三维特征点进行匹配，并调整所述目标人脸三维点云，获得最终目标人脸三维点云的方法，包括：调整所述目标人脸三维点云的N个三维特征点与所述初始目标人脸三维模...

【专利技术属性】
技术研发人员：晁志超，王时丽，龙学军，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51