一种基于双目立体和光度立体的人脸三维重建方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域，实施例具体公开一种基于双目立体和光度立体的人脸三维重建方法及系统，通过双目立体匹配获得目标人脸的初始深度图像；将两个光源与两个摄像装置配合采集的目标人脸的四张图像，通过光度立体表示后作为约束项，与初始深度图像结合，构造关于待求解深度图像的能量函数；对能量函数最小化求解获得优化后的深度图像，将优化后的深度图像转换为三维点云形式，获得目标人脸的三维点云。解决了现有的光度立体视觉用于三维重建至少需要三个光源，且无尺度特征存在形变的问题，实现了精确无变形的人脸三维重建。

A Method and System of Face 3D Reconstruction Based on Binocular Stereo and Photometric Stereo

The present invention relates to the field of computer vision technology. The embodiment specifically discloses a method and system of three-dimensional reconstruction of human face based on binocular stereo and photometric stereo, which obtains the initial depth image of the target face by binocular stereo matching, and four images of the target face collected by two light sources and two camera devices, which are expressed by photometric stereo as constraints and initial depth. The energy function of the depth image to be solved is constructed by combining the degree images. The optimized depth image is obtained by minimizing the energy function. The optimized depth image is transformed into a three-dimensional point cloud to obtain the three-dimensional point cloud of the target face. It solves the problem that the existing photometric stereo vision needs at least three light sources for three-dimensional reconstruction, and there is deformation in scale-free features, and achieves accurate and non-distortion face three-dimensional reconstruction.

【技术实现步骤摘要】
一种基于双目立体和光度立体的人脸三维重建方法及系统
本专利技术涉及计算机视觉
，具体涉及一种基于双目立体和光度立体的人脸三维重建方法及系统。
技术介绍
目前，人脸的三维重建方法主要包括四种：参数模型，物理肌肉模型，多幅图像视觉模型和三维形变。人脸参数模型和物理肌肉模型表示复杂，计算量大，缺乏真实感；多幅图像视觉建模是利用多张人脸图像或者视频序列，通过一定的视觉算法恢复出人脸的三维信息，这里就包括单目视觉，双目视觉以及多目视觉。单目视觉一般是通过单张人脸照片获取特征点，再对通用的三维人脸网格模型进行全局以及局部精细变形；双目视觉一般是通过两张不同视角的人脸图像进行立体匹配求取视差图来获得人脸的三维模型；多目视觉往往是通过多张图像进行同名特征点匹配来确定三维结构。该类算法受图像质量的影响较大，所以鲁棒性都不是很高，且结果并不是很精确。目前，光度立体视觉用于三维重建能够得到精确地三维模型，但是至少需要三个光源，且由于光度立体无尺度特征，所以重建的三维模型会存在一定程度的形变。
技术实现思路
有鉴于此，本申请提供一种将双目立体和采用两个光源的光度立体相结合，进行精确无变形的人脸三维重建的方法及系统，解决上述存在的问题。为解决以上技术问题，本专利技术提供的技术方案是一种基于双目立体和光度立体的人脸三维重建方法，该方法使用第一光源、第二光源以及构成双目立体视觉系统的第一摄像装置和第二摄像装置，该方法包括：通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像；将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像；开启第一光源，通过第一摄像装置获取目标人脸的第三图像，通过第二摄像装置获取目标人脸的第四图像；开启第二光源，通过第一摄像装置获取目标人脸的第五图像，通过第二摄像装置获取目标人脸的第六图像；将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式；将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数；对所述能量函数进行最小化求解，获得优化后的深度图像；将所述优化后的深度图像转换为三维点云形式，获得目标人脸的三维点云。优选地，所述通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像的方法，包括：开启第一光源和第二光源，通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像。优选地，所述将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像的方法，包括：将所述第一图像设为基准图像；采用局部立体匹配算法，将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像。优选地，所述将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式的方法，包括：其中I11i，I12i，I21i，I22i分别表示所述第三图像、所述第四图像、所述第五图像和所述第六图像中第i个像素的灰度值，ρ1i表示所述第三图像和所述第五图像中第i个像素对应点的反射率，ρ2i表示所述第四图像和所述第六图像中第i个像素对应点的反射率，表示所述第三图像和所述第五图像中第i个像素对应点的法向量方向，表示所述第四图像和所述第六图像中第i个像素对应点的法向量方向，表示第一光源的光照方向，表示第二光源的光照方向。优选地，所述将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数的方法，包括：假设初始深度图像为y，待求解的深度图像为z，构造关于待求解深度图像z的能量函数为：其中Δz表示的是物体深度的拉普拉斯算子，其中深度图像与法向量为偏倒关系。优选地，所述对所述能量函数进行最小化求解，获得优化后的深度图像的方法，包括：S01：提取出所述第一图像的N个二维特征点，生成二维网格化目标人脸；S02：根据所述初始深度图像，对所述二维网格化目标人脸的各个网格进行深度值优化，获得优化后的深度图像；S03：判断所述优化后的深度图像是否达到预设图像标准，若是，则输出所述优化后的深度图像，若否，进入步骤S04；S04：将所述二维网格化目标人脸的各个网格再划分为若干个网格，进入步骤S02。优选地，所述步骤S02中，根据所述初始深度图像，对所述二维网格化目标人脸的各个网格进行深度值优化，获得优化后的深度图像的方法，包括：根据所述初始深度图像，采用SPGD算法对所述二维网格化目标人脸的各个网格进行深度值优化，获得优化后的深度图像。本专利技术还提供一种基于双目立体和光度立体的人脸三维重建系统，包括：第一图像获取模块，用于通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像；双目立体匹配模块，用于将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像；第二图像获取模块，用于开启第一光源，通过第一摄像装置获取目标人脸的第三图像，通过第二摄像装置获取目标人脸的第四图像；第三图像获取模块，用于开启第二光源，通过第一摄像装置获取目标人脸的第五图像，通过第二摄像装置获取目标人脸的第六图像；光度立体表示模块，用于将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式；能量函数构造模块，用于将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数；能量函数求解模块，用于对所述能量函数进行最小化求解，获得优化后的的深度图像；三维点云转换模块，用于将所述优化后的深度图像转换为三维点云形式，获得目标人脸的三维点云。优选地，所述双目立体匹配模块包括：基准单元，用于将所述第一图像设为基准图像；匹配单元，用于采用局部立体匹配算法，将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像。优选地，所述能量函数求解模块包括：二维网格化目标人脸生成模块，用于提取出所述第一图像的N个二维特征点，生成二维网格化目标人脸；网格深度值优化模块，用于根据所述初始深度图像，对所述二维网格化目标人脸的各个网格进行深度值优化，获得优化后的深度图像；优化后深度图像判断模块，用于判断所述优化后的深度图像是否达到预设图像标准，若是，则输出优化后的深度图像，若否，则进入目标人脸网格再划分模块；目标人脸网格再划分模块，用于将所述二维网格化目标人脸的各个网格再划分为若干个网格，划分完成后进入网格深度值优化模块。本申请与现有技术相比，其有益效果详细说明如下：本专利技术实施例提供的基于双目立体和光度立体的人脸三维重建方法及系统，通过双目立体匹配获得目标人脸的初始深度图像；将两个光源与两个摄像装置配合采集的目标人脸的四张图像，通过光度立体表示后作为约束项，本文档来自技高网...

【技术保护点】
1.一种基于双目立体和光度立体的人脸三维重建方法，该方法使用第一光源、第二光源以及构成双目立体视觉系统的第一摄像装置和第二摄像装置，其特征在于，该方法包括：通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像；将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像；开启第一光源，通过第一摄像装置获取目标人脸的第三图像，通过第二摄像装置获取目标人脸的第四图像；开启第二光源，通过第一摄像装置获取目标人脸的第五图像，通过第二摄像装置获取目标人脸的第六图像；将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式；将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数；对所述能量函数进行最小化求解，获得优化后的深度图像；将所述优化后的深度图像转换为三维点云形式，获得目标人脸的三维点云。

【技术特征摘要】
1.一种基于双目立体和光度立体的人脸三维重建方法，该方法使用第一光源、第二光源以及构成双目立体视觉系统的第一摄像装置和第二摄像装置，其特征在于，该方法包括：通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像；将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像；开启第一光源，通过第一摄像装置获取目标人脸的第三图像，通过第二摄像装置获取目标人脸的第四图像；开启第二光源，通过第一摄像装置获取目标人脸的第五图像，通过第二摄像装置获取目标人脸的第六图像；将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式；将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数；对所述能量函数进行最小化求解，获得优化后的深度图像；将所述优化后的深度图像转换为三维点云形式，获得目标人脸的三维点云。2.根据权利要求1所述的基于双目立体和光度立体的人脸三维重建方法，其特征在于，所述通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像的方法，包括：开启第一光源和第二光源，通过第一摄像装置获取目标人脸的第一图像，通过第二摄像装置获取目标人脸的第二图像。3.根据权利要求1所述的基于双目立体和光度立体的人脸三维重建方法，其特征在于，所述将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像的方法，包括：将所述第一图像设为基准图像；采用局部立体匹配算法，将所述第一图像和所述第二图像进行双目立体匹配，获得目标人脸的初始深度图像。4.根据权利要求1所述的基于双目立体和光度立体的人脸三维重建方法，其特征在于，所述将所述第三图像、所述第四图像、所述第五图像和所述第六图像采用光度立体表示，获得第三图像光度立体式、第四图像光度立体式、第五图像光度立体式和第六图像光度立体式的方法，包括：其中I11i，I12i，I21i，I22i分别表示所述第三图像、所述第四图像、所述第五图像和所述第六图像中第i个像素的灰度值，ρ1i表示所述第三图像和所述第五图像中第i个像素对应点的反射率，ρ2i表示所述第四图像和所述第六图像中第i个像素对应点的反射率，表示所述第三图像和所述第五图像中第i个像素对应点的法向量方向，表示所述第四图像和所述第六图像中第i个像素对应点的法向量方向，表示第一光源的光照方向，表示第二光源的光照方向。5.根据权利要求4所述的基于双目立体和光度立体的人脸三维重建方法，其特征在于，所述将所述第三图像光度立体式、所述第四图像光度立体式、所述第五图像光度立体式和所述第六图像光度立体式作为约束项，与所述初始深度图像结合，构造关于待求解深度图像的能量函数的方法，包括：假设初始深度图像为y，待求解的深度图像为z，构造关于待求解深度图像z的能量函数为：其中Δz表示的是物体深度的拉普拉斯算子，其中深度图像与法向量为偏倒关系。6.根据权利要求1所述的基于双目立体...

【专利技术属性】
技术研发人员：晁志超，龙学军，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51