一种基于散斑的三维人脸重建方法及设备技术

本发明专利技术公开了基于散斑的三维人脸重建方法及设备，能够在提高图像特征丰富度的同时降低匹配计算量，实现在三维人脸重建效率和重建精度的同步提高。该方法包括：输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。

A 3D face reconstruction method and equipment based on speckle

The invention discloses a speckle-based three-dimensional face reconstruction method and equipment, which can improve the richness of image features while reducing the amount of matching calculation, and realize the synchronous improvement of the efficiency and accuracy of three-dimensional face reconstruction. The method includes: inputting multiple pairs of speckle images in line with binocular stereo vision; correcting the epipolar line of the input speckle image to keep the corresponding matching points in the same horizontal line; detecting the face of the speckle image pair corrected by epipolar line, extracting the region of interest image pairs of the face to be reconstructed; and image pairs of regions of interest of the face to be reconstructed. The first disparity map is obtained by first matching of image pairs; the search range of matching points is set according to the disparity of the first disparity map, and the second disparity map is obtained by second matching of the region of interest image pairs; the corresponding three-dimensional point cloud data is generated according to the second disparity map and camera calibration parameters, and the reconstructed three-dimensional point cloud data is obtained. Face.

【技术实现步骤摘要】
一种基于散斑的三维人脸重建方法及设备
本专利技术涉及多目立体视觉
，尤其涉及一种基于散斑的三维人脸重建方法及设备。
技术介绍
当前，三维数据广泛应用于航空航天、3D打印、地理测绘、人脸检测等众多领域。实时精确地获取时空域数据，一直是三维信息采集和三维场景重建的核心问题，也是计算机几何学领域研究的热点方向。三维人脸建模源于Parke的开创性研究，其目的是通过计算机生成逼真的三维人脸。获取三维人脸深度信息是重建高精度三维人脸模型的基本前提，而三维人脸数据的采集可通过单目或多目相机进行。其中，多目立体视觉主要应用场景是将二维投影图像恢复为三维场景，采用计算同一空间点在左右图像中的视差来获取该点的三维坐标信息，该方法对弱纹理区域重建效果较差，不适合应用于纹理不显著场景。飞行时间测量法通过测量光线到达物体飞行时间来获取深度值，需要极其精密的仪器设备来完成测量，因此该方法难以实现复杂场景下的实时三维重建。结构光法通过投射出经过被物体高度调制后的结构光场进行计算，即人工纹理，可提供具有丰富结构特征的纹理，增强局部图像在不同相机下的相关性，从而提高三维重建精度，因此成为研究热点。目前，申请号为201580008078.0的中国专利申请公开了一种三维人脸重建方法及设备，虽然其在理想情况下可能实现快速的三维重建，但该方法在用于散斑图像时由于采用相位展开方法其精度和速度都有所欠缺。申请号为200910093767.2的中国专利申请公开了另一种三维人脸重建方法，其采用人脸形变模型的纹理分量进行人脸纹理拟合，但用于散斑图像依然精度不高，生成模型与真实人脸有一定差距。现有的三维重建技术均存在计算量大且计算效率重建速度较慢、精度不高的技术问题。
技术实现思路
本专利技术的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于散斑的三维人脸重建方法及设备，能够在提高图像特征丰富度的同时降低匹配计算量，实现在三维人脸重建效率和重建精度的同步提高。为了实现上述目的，本专利技术采用的技术方案包括以下各方面。一种基于散斑的三维人脸重建方法，其包括：输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。一种基于散斑的三维人脸重建设备，其包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。综上所述，由于采用了上述技术方案，本专利技术至少具有以下有益效果：通过对待测人脸进行时空编码，通过双目相机采集高分辨率的散斑图像，使图像特征更加丰富；并采用人脸检测算法选取兴趣区域，过滤无关背景获得人脸区域，降低后续匹配阶段的搜索范围，减少后续匹配计算量，提升了算法的整体效率；采用改进后的时空ZNCC算法作为代价函数进行匹配计算，实现了高精度的三维人脸重建效果，相比于普通单帧图像采用时空图像进行三维人脸重建具有更高的精度。附图说明图1是根据本专利技术实施例的基于散斑的三维人脸重建方法的流程图。图2和图3是根据本专利技术实施例的示例性散斑图像对中的左右图像。图4和图5是根据本专利技术实施例的示例性感兴趣区域图像对中的左右图像。图6是根据本专利技术实施例的第一匹配处理中跳跃步长的示意图。图7是根据本专利技术实施例的示例性第一视差图。图8是对图7所示视差图进行图像后处理之后的视差图。图9是根据本专利技术实施例的示例性第二视差图。图10是对图9所示视差图进行图像后处理之后的视差图。图11和图12是根据本专利技术实施例重建的示例性三维人脸模型图像。图13是根据本专利技术实施例的基于散斑的三维人脸重建设备的结构示意图。具体实施方式下面结合附图及实施例，对本专利技术进行进一步详细说明，以使本专利技术的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。图1示出了根据本专利技术实施例的基于散斑的三维人脸重建方法的主要流程。该实施例的方法包括以下步骤：步骤101：输入多幅符合双目立体视觉的散斑图像对具体地，可以从存储器直接读取已经存储的散斑图像对，也可以通过具有散斑结构光投射器的双目立体视觉系统来获取。具体地，散斑结构光投射器在不同的时刻向被测人脸投射多幅不同的散斑图片，双目相机中的左右相机分别在对应的时刻拍摄经过人脸表面形态调制的光场，获取经过时间和空间特征调制(即时空编码)的散斑图像对，图2和图3示出了示例性散斑图像对中的左右图像。如此获取的散斑图像对包含了丰富的时空特征，能够提高后续立体匹配的成功率以及精度。步骤102：对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线例如，对于左右相机分别获取的每一对左右散斑图像Li和Ri(散斑图像索引i＝1,2,3,…)进行极线校正，使得左右散斑图像Li和Ri上的对应匹配点均处于同一水平线，即位于散斑图像对的同一行上，从而减少后续步骤的计算量。步骤103：对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对具体地，可以使用预设尺寸的矩形检测框对散班图像进行剪裁，获取含人脸中心部分的人脸区域图像，如图4和图5所示，其包括了人脸整体面部。其中，矩形检测框的尺寸可以设置为稍大于人脸区域范围(例如，矩形检测框与人脸区域的比例为1.5:1)，以为后续重建步骤预留足够的边缘区域，从而获取完整的三维人脸。步骤104：对感兴趣区域图像对进行第一匹配处理，获取第一视差图其中，第一匹配处理包括：从感兴趣区域图像对中的一者(例如左感兴趣区域图像)上的起始像素点开始，以预设的跳跃步长在另一者(例如右感兴趣区域图像，反之亦然)对应行上的预设视差阈值范围内进行匹配点搜索，并计算搜索到的对应匹配点之间的视差值，生成经过粗匹配的第一视差图。步骤105：根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图其中，第二匹配处理不设置跳跃步长，逐像素在另一幅图像中搜索匹配点，但由于根据第一视差图中各像素的视差值来设置搜索范围，能够大幅缩小搜索范围，减少计算量，提高搜索效率和准确率，从而快速获取精确匹配的第二视差图。步骤106：根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸此步骤可以采用OpenCV或Matlab等平台提供的功能模块，通过输入视差图数据和相机标定参数来获取相应的三维点云数据。其中，相机标定参数包括左右相机的参数标定，采用标准标定板拍摄不同姿态下的9张(或更多张)照片用于计算获取标定参数。下文结合示例性的实施例对上述的第一匹配处理和第二匹配处理进行详细说明。如图6所示，P0和P1是左感兴趣区域图像上的两个像素点，预设的跳跃步长可以设置为二者之间的距离S(例如，S＝15像素)，从起始像素(例如第一行第一个像素)开始，每隔距离S，在右感兴趣区域图像对应行上预设视差阈值范围内进行匹配点搜索。跳跃本文档来自技高网...

【技术保护点】
1.一种基于散斑的三维人脸重建方法，其特征在于，所述方法包括：输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。

【技术特征摘要】
1.一种基于散斑的三维人脸重建方法，其特征在于，所述方法包括：输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。2.根据权利要求1所述的方法，其特征在于，所述第一匹配处理包括：从感兴趣区域图像对中的一者上的起始像素点开始，以预设的跳跃步长在另一者对应行上的预设视差阈值范围内进行匹配点搜索，并计算搜索到的对应匹配点之间的视差值，生成第一视差图。3.根据权利要求1所述的方法，其特征在于，所述方法包括在进行第一匹配处理和第二匹配处理中：基于零均值归一化互相关ZNCC代价函数得到时空ZNCC匹配代价计算式：式中，CZNCC(x,y,d)表示左图像上像素点(x,y)经平移d个像素点后得到在右图像素点所花费的匹配代价；表示第n帧左图像上像素点的灰度，k和p表示以像素点(x,y)为窗口中心窗口内偏移(k,p)后的位置；n表示图像索引，m表示图像总数，表示左图像上像素点(x,y)平移d个像素点后在右图像上对应像素点的灰度；和分别表示左图像在中心点(x,y)处以及右图像在中心点(x+d,y)处以边长为2l+1的方形窗口内的平均灰度，l为窗口大小控制参数。4.根据权利要求3所述的方...

【专利技术属性】
技术研发人员：傅可人，谢宜江，朱江平，荆海龙，
申请(专利权)人：四川川大智胜软件股份有限公司，
类型：发明
国别省市：四川,51