基于双目立体视觉的人脸三维重建方法技术

本发明专利技术提供了一种基于双目立体视觉的人脸三维重建方法，包括：构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；利用所述双目立体视觉系统采集人脸图像，得到左右图像，对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；通过立体匹配算法平滑初始化视差；以及结合平滑后的初始化视差进行人脸三维重建。本发明专利技术采用普通摄像头作为图像的采集设备，能够节约设备的成本，且提高了人脸三维重建结果的准确度。

【技术实现步骤摘要】
基于双目立体视觉的人脸三维重建方法
本专利技术涉及双目立体视觉
，尤其涉及一种基于双目立体视觉的人脸三维重建方法。
技术介绍
人脸的三维结构信息广泛的应用在人脸图像处理中，例如人脸识别、人脸跟踪、人脸对齐等方面。在过去几年，国内外研究者提出了许多人脸三维重建的方法，一类方法是基于硬件设备进行三维人脸结构的采集，如使用三维激光扫描仪、结构光扫描仪等。这类方法能够获得精度较高的人脸三维结构数据，但是需要使用价格昂贵的硬件设备，使得此方法具有造价高、不灵活、复杂度高等诸多限制，并不适合应用于普通场合。另一类方法是基于视频或者基于多角度照片的三维人脸重建方法，这类方法成本低，使用灵活，能够应用在日常生活中。基于双目立体视觉的人脸三维重建属于第二类方法中的一种，如何使用双目立体图像来重建人脸的三维结构仍然是一个有挑战的问题，这种方法只使用一对图像，它们来自双目摄像头的左摄像头和右摄像头，从而对人脸的三维信息进行恢复。目前存在很多双目匹配的方法，包含全局立体匹配算法和局部立体匹配算法，如BM算法、SGM算法、Meshstereo算法等。但是人脸区域的低纹理问题是人脸三维重建主要需要解决的问题。因此，提出了专门针对人脸结构的双目立体匹配方法，如基于人脸先验的块匹配方法、基于种子点增长法等进行三维人脸结构的恢复，这类方法采用高分辨率(1380是人脸区域的的摄像头采集设备，获得较高准确的结果，或者采取普通分辨率(640采集设备，的摄像头，但是获得的人脸精度比较差。由于人脸是曲面结构，而基于视差平面的立体匹配算法针对曲面结构的能够进行很好的恢复。结合人脸初始结构视差，通过立体匹配算法获取人脸的三维结构。
技术实现思路
鉴于上述技术问题，本专利技术提供了一种基于双目立体视觉的人脸三维重建方法。根据本专利技术的一个方面，提供了一种基于双目立体视觉的人脸三维重建方法该双目立体视觉的人脸三维重建方法包括：步骤A，构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；步骤B，利用所述双目立体视觉系统采集人脸图像，由左摄像装置得到左图像，由右摄像装置得到右图像；对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；步骤C，对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；步骤D，利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；步骤E，通过立体匹配算法平滑初始化视差；以及步骤F，结合平滑后的初始化视差进行人脸三维重建。优选的，本专利技术双目立体视觉的人脸三维重建方法中，左摄像装置和右摄像装置为相同型号的相机或摄像头：步骤A包括：子步骤A1，对左摄像装置和右摄像装置进行标定，得到两者的内参数，畸变参数和对应三维点的外参数；基于左右摄像装置对应三维点的外参数，得到双目立体视觉系统的旋转矩阵R、平移矩阵T；子步骤A2，基于左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵；其中，左校正矩阵用于对左图像进行立体校正，右校正矩阵用于对右图像进行立体校正，经过左校正矩阵处理后的左图像中的点与经过右校正矩阵处理后的右图像中的匹配点在同一条扫描线上；步骤B中对左图像和右图像进行立体校正包括：利用左校正矩阵对左图像进行立体校正，利用右校正矩阵对右图像进行立体校正。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子步骤A1包括：子分步骤A1a，获取10～20组包含不同角度和方向的平面棋盘图像；子分步骤A1b，对获取的平面棋盘图像进行棋盘监测，定位出所述三维点所对应的棋盘格中的角点；根据张正友标定方法和Brown算法，获取左摄像装置和右摄像装置的内参数、畸变参数和棋盘角点对应的外参数；其中，所述棋盘角点对应的外参数包括：左摄像装置的旋转矩阵Rl和左摄像装置的平移矩阵Tl；右摄像装置的旋转矩阵Rr和右摄像装置的平移矩阵Tr；子分步骤A1c，将角点Q输入到左右摄像装置的摄像装置坐标系，对应左图和右图的坐标点Ql和Qr，存在如下式关系：Ql＝RlQ+TlQr＝RrQ+TrQl＝RT(Qr-T)其中，Q为角点Q在世界坐标系的三维坐标，左图为左摄像装置得到的图像，右图为右摄像装置得到的图像，推出下面关系：R＝Rr(Rl)厂＝Tr-RTl根据给定棋盘格的角点的对个联合视图，以及每个角点所对应的外参数矩阵，求解出旋转矩阵R和平移矩阵T；由于图像噪声和舍入误差，每一对棋盘都会使得R和T的结果出现细小不同，选用R和T参数的中值作为真实结果的初始值，运用Levenberg-Marquardt迭代算法查找棋盘角点在两个摄像装置视图上的最小投影误差，返回旋转矩阵R和平移矩阵T的结果。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子步骤A2中，利用Bouguet算法，左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵。优选的，本专利技术双目立体视觉的人脸三维重建方法中，步骤B中运用Haar-Adaboost分类器检测左图像和右图像上的人脸区域。优选的，本专利技术双目立体视觉的人脸三维重建方法中，步骤C包括：子步骤C1，定位左图像和右图像中人脸区域的人脸关键点；子步骤C2，匹配左图像和右图像中相关的人脸关键点，获得人脸先验的稀疏拓扑信息-左图人脸形状SL和右边人脸形状SR，其中左图人脸形状SL包含左脸关键点坐标{(lxi，lyi)，i∈[1，n]}，右边人脸形状SR包含右脸关键点坐标{(rxi，ryi)，i∈[1，n]}，n代表关键点的总数。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子步骤C1中，结合回归树集合ERT算法定位左图像和右图像的人脸关键点。优选的，本专利技术双目立体视觉的人脸三维重建方法中，步骤D包括：子步骤D1，计算左图像和右图像中匹配的人脸关键点的视差；子步骤D2，利用左图像和右图像中匹配的人脸关键点的视差，计算左图像和右图像中除匹配的人脸关键点之外的其他点的视差，实现人脸视差的稠密化，得到初始化视差。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子步骤D1中，依据下式计算左图像和右图像中匹配的人脸关键点的视差：其中，lxi代表第i个人脸关键点在左图像的所在的列，rxi代表在右图像中与其匹配的人脸关键点所在的列，视差D(pi)代表相对应的人脸关键点的列坐标差的绝对值，i＝1，2，3，......，n，n为匹配的关键点的个数。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子步骤D2包括：子分步骤D2a，利用脸部定位出的关键点对脸部进行Delaunay三角剖分，将脸部划分成n个三角形；子分步骤D2b，对于每一个三角形，通过三角形的三个顶点视差获得三角形内点的视差，实现人脸视差的稠密化，得到初始化视差。优选的，本专利技术双目立体视觉的人脸三维重建方法中，子分步骤D2b中，通过三角形的三个顶点视差获得三角形内点的视差包括：三角形的三个顶点为p1，p2，p3，对于三角形内的点p，都存在一个u和v，使得p点与点p1，p2，p3存在关系如公式：px＝(1-u-v)·p1x+u·p2x+v·p3xpy＝(1-u-v)·p1y+u·p2y+v·p3x通过将p点的坐标本文档来自技高网...

【技术保护点】
一种基于双目立体视觉的人脸三维重建方法，其特征在于，包括：步骤A，构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；步骤B，利用所述双目立体视觉系统采集人脸图像，由左摄像装置得到左图像，由右摄像装置得到右图像；对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；步骤C，对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；步骤D，利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；步骤E，通过立体匹配算法平滑初始化视差；以及步骤F，结合平滑后的初始化视差进行人脸三维重建。

【技术特征摘要】
1.一种基于双目立体视觉的人脸三维重建方法，其特征在于，包括：步骤A，构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；步骤B，利用所述双目立体视觉系统采集人脸图像，由左摄像装置得到左图像，由右摄像装置得到右图像；对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；步骤C，对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；步骤D，利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；步骤E，通过立体匹配算法平滑初始化视差；以及步骤F，结合平滑后的初始化视差进行人脸三维重建。2.根据权利要求1所述的人脸三维重建方法，其特征在于，所述左摄像装置和右摄像装置为相同型号的相机或摄像头：所述步骤A包括：子步骤A1，对左摄像装置和右摄像装置进行标定，得到两者的内参数，畸变参数和对应三维点的外参数；基于左右摄像装置对应三维点的外参数，得到双目立体视觉系统的旋转矩阵R、平移矩阵T；子步骤A2，基于左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵；其中，左校正矩阵用于对左图像进行立体校正，右校正矩阵用于对右图像进行立体校正，经过左校正矩阵处理后的左图像中的点与经过右校正矩阵处理后的右图像中的匹配点在同一条扫描线上；所述步骤B中对左图像和右图像进行立体校正包括：利用左校正矩阵对左图像进行立体校正，利用右校正矩阵对右图像进行立体校正。3.根据权利要求2所述的人脸三维重建方法，其特征在于，所述子步骤A1包括：子分步骤A1a，获取10～20组包含不同角度和方向的平面棋盘图像；子分步骤A1b，对获取的平面棋盘图像进行棋盘监测，定位出所述三维点所对应的棋盘格中的角点；根据张正友标定方法和Brown算法，获取左摄像装置和右摄像装置的内参数、畸变参数和棋盘角点对应的外参数；其中，所述棋盘角点对应的外参数包括：左摄像装置的旋转矩阵Rl和左摄像装置的平移矩阵Tl；右摄像装置的旋转矩阵Rr和右摄像装置的平移矩阵Tr；子分步骤A1c，将角点Q输入到左右摄像装置的摄像装置坐标系，对应左图和右图的坐标点Ql和Qr，存在如下式关系：Ql＝RlQ+TlQr＝RrQ+TrQl＝RT(Qr-T)其中，Q为角点Q在世界坐标系的三维坐标，左图为左摄像装置得到的图像，右图为右摄像装置得到的图像，推出下面关系：R＝Rr(Rl)T＝Tr-RTl根据给定棋盘格的角点的对个联合视图，以及每个角点所对应的外参数矩阵，求解出旋转矩阵R和平移矩阵T；由于图像噪声和舍入误差，每一对棋盘都会使得R和T的结果出现细小不同，选用R和T参数的中值作为真实结果的初始值，运用Levenberg-Marquardt迭代算法查找棋盘角点在两个摄像装置视图上的最小投影误差，返回旋转矩阵R和平移矩阵T的结果。4.根据权利要求2所述的人脸三维重建方法，其特征在于，所述子步骤A2中，利用Bouguet算法，左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵。5.根据权利要求1所述的人脸三维重建方法，其特征在于，所述步骤B中运用Haar-Adaboost分类器检测左图像和右图像上的人脸区域。6.根据权利要求1所述的人脸三维重建方法，其特征在于，所述步骤C包括：子步骤C1，定位左图像和右图像中人脸区域的人脸关键点；子步骤C2，匹配左图像和右图像中相关的人脸关键点，获得人脸先验的稀疏拓扑信息-左图人脸形状SL和右边人脸形状SR，其中左图人脸形状SL包含左脸关键点坐标{(lxi，lyi)，i∈[1，n]}，右边人脸形状SR包含右脸关键点坐标{(rxi，ryi)，i∈[1，n]}，n代表关键点的总数。7.根据权利要求6所述的人脸三维重建方法，其特征在于，所述子步骤C1中，结合回归树集合ERT算法定位左图像和右图像的人脸关键点。8.根据权利要求6所述的人脸三维重建方法，其特征在于，所述步骤D包括：子步骤D1，计算左图像和右图像中匹配的人脸关键点的视差；子步骤D2，利用左图像和右图像中匹配的人脸关键点的视差，计算左图像和右图像中除匹配的人脸关键点之外的其他点的视差，实现人脸视差的稠密化，得到初始化视差。9.根据权利要求8所述的人脸三维重建方法，其特征在于，所述子步骤D1中，依据下式计算左图像和右图像中匹配的人脸关键点的视差：

【专利技术属性】
技术研发人员：李卫军，林琴，董肖莉，宁欣，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：北京,11