基于散斑图像的深度估计方法及装置、人脸识别系统制造方法及图纸

一种基于散斑图像的深度估计方法及装置、人脸识别系统。方法包括：对输入散斑图像进行散斑点检测以确定目标散斑点(101)；将所述输入散斑图像与参考散斑图像做立体校正，以使所述待处理散斑图像与参考散斑图像行对准(102)；构建所述输入散斑图像中所述目标散斑点的目标拓扑结构(103)；利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的最匹配的参考散斑点(104)；根据与所述目标散斑点最匹配的参考散斑点确定所述目标散斑点与相匹配的参考散斑点之间的视差值(105)；基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图(106)；将所述视差图转换成所述输入散斑图像的深度图像(107)。该方法解决现有技术对散斑点检测的精度不高，导致散斑点匹配时误差较大以及散斑点的视差图效果不佳影响了深度图像的准确性的问题。

【技术实现步骤摘要】
【国外来华专利技术】基于散斑图像的深度估计方法及装置、人脸识别系统
本申请涉及计算机视觉
，尤其涉及一种基于散斑图像的深度估计方法及装置、人脸识别系统。
技术介绍
从图像中恢复深度图像是计算机视觉领域的一个基础问题，随着计算机视觉技术的发展，这一问题得到越来越多的关注。利用激光散斑的主动深度估计逐渐被研究人员所重视，由于激光模式在不同深度下基本不变，所以利用单独的相机拍摄图像，并与预先存储的参考散斑图像进行匹配从而得到视差图，进而转换成深度图像。但在现有的基于激光散斑的深度估计方法中，一方面对于采集的散斑图像中的散斑点检测的精度不高，导致后续做散斑点匹配时误差较大；另一方面，由于投射器在图像上投射的散斑点分布不均且比较分散，导致计算得到的散斑点的视差图效果不佳(较为稀疏)，影响了深度图像的准确性。申请内容有鉴于此，本申请实施例提供了一种基于散斑图像的深度估计方法及装置、人脸识别系统，用以解决现有技术对于采集的散斑图像中的散斑点检测的精度不高，导致后续做散斑点匹配时误差较大以及散斑点的视差图效果不佳影响了深度图像的准确性的问题。一方面，本申请实施例提供了一种基于散斑图像的深度估计方法，包括：对输入散斑图像进行散斑点检测以确定目标散斑点；将所述输入散斑图像与参考散斑图像做立体校正，以使所述输入散斑图像与参考散斑图像行对准；构建所述输入散斑图像中所述目标散斑点的目标拓扑结构；利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点；根据与所述目标散斑点相匹配的参考散斑点确定所述目标散斑点与相匹配的参考散斑点之间的视差值；基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图；将所述视差图转换成所述输入散斑图像的深度图像。可选的，所述对输入散斑图像进行散斑点检测包括：基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点；利用二次抛物面拟合算法确定各个所述初步散斑点的亚像素中心点，以所述亚像素中心点作为目标散斑点。可选的，在执行所述对输入散斑图像进行散斑点检测以确定目标散斑点之前还包括：对采集到的初始散斑图像进行预处理，以得到所述输入散斑图像。可选的，所述基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点包括：分别以所述输入散斑图像中的各个像素点为中心点，确定在所述中心点的第一邻域内各个像素点的灰度梯度；若所述各个像素点的灰度梯度满足预设梯度分布，则确定所述中心点为所述输入散斑图像中的初步散斑点。可选的，所述若所述各个像素点的灰度梯度满足预设梯度分布，则确定所述中心点为所述输入散斑图像中的初步散斑点包括：若所述第一邻域内的像素点的像素灰度值与所述像素点距离所述中心点的距离成反比，且所述第一邻域内满足预设梯度方向的像素点的个数大于预设像素个数阈值，则确定所述中心点为所述输入散斑图像中的初步散斑点。可选的，在执行所述基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点之后还包括：若确定的各个所述初步散斑点中存在多个位置相邻的初步散斑点，则基于所述多个相邻的初步散斑点构成联通区域，并仅将所述联通区域的中心点作为所述初步散斑点。可选的，所述利用二次抛物面拟合算法确定各个所述初步散斑点的亚像素中心点，以所述亚像素中心点作为目标散斑点包括：基于所述初步散斑点建立第二邻域；以所述第二邻域内的各个像素点的位置坐标以及像素点灰度值构建二次函数；在所述二次函数满足二次抛物面约束的条件下得到拟合曲面；将所述拟合曲面的最高点投影的位置坐标所对应的像素点作为所述初步散斑点的亚像素中心点。可选的，所述利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点包括：分别以所述输入散斑图像中的各个像素点为中心点，确定在所述中心点的第一邻域内各个像素点的灰度梯度；若所述各个像素点的灰度梯度满足预设梯度分布，则确定所述中心点为所述输入散斑图像中的初步散斑点。可选的，所述构建所述输入散斑图像中所述目标散斑点的目标拓扑结构包括：基于所述输入散斑图像中各个所述目标散斑点作为顶点构建多个目标三角面，各个所述目标三角面相互不重叠以形成目标三角网格。可选的，在执行所述构建所述输入散斑图像中所述目标散斑点的目标拓扑结构之后还包括：基于所述参考散斑图像中各个所述参考散斑点作为顶点构建多个参考三角面，各个所述参考三角面相互不重叠以形成参考三角网格；所述利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点包括：以所述目标散斑点为窗口中心建立第一窗口；分别以所述参考散斑图像上与所述目标散斑点同一行的各个参考散斑点为窗口中心建立第二窗口；将所述第一窗口内的各个目标三角网格和所述第二窗口内的各个参考三角网格做相似性评价；将所述相似性评价最高的第二窗口的窗口中心作为与所述目标散斑点相匹配的参考散斑点。可选的，所述基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图包括：以每个所述目标三角面的中心点作为插值点，该插值点的视差值基于所述目标三角面的三个顶点的视差值确定；基于各个所述目标散斑点的视差值和各个插值点的视差值生成所述输入散斑图像的视差图。另一方面，本申请实施例还提供了一种基于散斑图像的深度估计装置，包括：散斑点检测模块，用于对输入散斑图像进行散斑点检测以确定目标散斑点；立体校正模块，用于将所述输入散斑图像与参考散斑图像做立体校正，以使所述输入散斑图像与参考散斑图像行对准；拓扑结构建立模块，用于构建所述输入散斑图像中所述目标散斑点的目标拓扑结构；窗口匹配模块，用于利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点；视差值确定模块，用于根据与所述目标散斑点相匹配的参考散斑点确定所述目标散斑点的视差值；插值处理模块，用于基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图；深度图像生成模块，用于将所述视差图转换成所述输入散斑图像的深度图像。再一方面，本申请实施例还提供了一种人脸识别系统，包括上述基于散斑图像的深度估计装置。与现有技术相比，本技术方案至少具有如下有益效果：根据本申请实施例提供的基于散斑图像的深度估计方法，对输入散斑图像进行散斑点检测以确定目标散斑点，再将所述输入散斑图像与参考散斑图像做立体校正以使两个图像行对准，并构建所述输入散斑图像中所述目标散斑点的目标拓扑结构；然后，利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点，根据各个目标散斑点相匹配的参考散斑点确定各个目标散斑点的视差值。由于散斑投射器投射的散斑通常比较分散，因此仅基于目标散斑点的视差值得到的视差图较为稀疏，需要结合之前构建的目标散斑点的目标拓扑结构对视差值进行插值，从而得到更为密集的视差图，以提高深度图像的准确性。进一步，由于在移动终端的应本文档来自技高网...

【技术保护点】
一种基于散斑图像的深度估计方法，其特征在于，包括：/n对输入散斑图像进行散斑点检测以确定目标散斑点；/n将所述输入散斑图像与参考散斑图像做立体校正，以使所述输入散斑图像与参考散斑图像行对准；/n构建所述输入散斑图像中所述目标散斑点的目标拓扑结构；/n利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点；/n根据与所述目标散斑点相匹配的参考散斑点确定所述目标散斑点的视差值；/n基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图；/n将所述视差图转换成所述输入散斑图像的深度图像。/n

【技术特征摘要】
【国外来华专利技术】一种基于散斑图像的深度估计方法，其特征在于，包括：
对输入散斑图像进行散斑点检测以确定目标散斑点；
将所述输入散斑图像与参考散斑图像做立体校正，以使所述输入散斑图像与参考散斑图像行对准；
构建所述输入散斑图像中所述目标散斑点的目标拓扑结构；
利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点；
根据与所述目标散斑点相匹配的参考散斑点确定所述目标散斑点的视差值；
基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图；
将所述视差图转换成所述输入散斑图像的深度图像。


如权利要求1所述的方法，其特征在于，所述对输入散斑图像进行散斑点检测包括：
基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点；
利用二次抛物面拟合算法确定各个所述初步散斑点的亚像素中心点，以所述亚像素中心点作为目标散斑点。


如权利要求1所述的方法，其特征在于，在执行所述对输入散斑图像进行散斑点检测以确定目标散斑点之前还包括：对采集到的初始散斑图像进行预处理，以得到所述输入散斑图像。


如权利要求2所述的方法，其特征在于，所述基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点包括：
分别以所述输入散斑图像中的各个像素点为中心点，确定在所述中心点的第一邻域内各个像素点的灰度梯度；
若所述各个像素点的灰度梯度的方向满足预设梯度方向分布，则确定所述中心点为所述输入散斑图像中的初步散斑点。


如权利要求4所述的方法，其特征在于，所述若所述各个像素点的灰度梯度的方向满足预设梯度方向分布，则确定所述中心点为所述输入散斑图像中的初步散斑点包括：
若所述第一邻域内的像素点的像素灰度值与所述像素点距离所述中心点的距离成反比，且所述第一邻域内满足预设梯度方向的像素点的个数大于预设像素个数阈值，则确定所述中心点为所述输入散斑图像中的初步散斑点。


如权利要求2所述的方法，其特征在于，在执行所述基于像素点的灰度梯度对所述输入散斑图像进行检测以确定所述输入散斑图像中的初步散斑点之后还包括：
若确定的各个所述初步散斑点中存在多个位置相邻的像素点，则基于所述多个位置相邻的像素点构成联通区域，并仅将所述联通区域的中心点作为所述初步散斑点。


如权利要求2所述的方法，其特征在于，所述利用二次抛物面拟合算法确定各个所述初步散斑点的亚像素中心点，以所述亚像素中心点作为目标散斑点包括：
基于所述初步散斑点建立第二邻域；
以所述第二邻域内的各个像素点的位置坐标以及像素点灰度值构建二次函数；
在所述二次函数满足二次抛物面约束的条件下得到拟合曲面；
将所述拟合曲面的最高点投影的位置坐标所对应的像素点作为所述初步散斑点的亚像素中心点。


如权利要求1所述的方法，其特征在于，所述利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点包括：
以所述目标散斑点为窗口中心建立第一窗口；
分别以所述参考散斑图像上与所述目标散斑点同一行的各个参考散斑点为窗口中心建立第二窗口；
将所述第一窗口内和所述第二窗口内的像素灰度值做相关运算以得到匹配代价；
将所述匹配代价中的极值所对应的第二窗口的窗口中心作为与所述目标散斑点相匹配的参考散斑点。


如权利要求1所述的方法，其特征在于，所述构建所述输入散斑图像中所述目标散斑点的目标拓扑结构包括：
基于所述输入散斑图像中各个所述目标散斑点作为顶点构建多个目标三角面，各个所述目标三角面相互不重叠以形成目标三角网格。


如权利要求9所述的方法，其特征在于，在执行所述构建所述输入散斑图像中所述目标散斑点的目标拓扑结构之后还包括：基于所述参考散斑图像中各个所述参考散斑点作为顶点构建多个参考三角面，各个所述参考三角面相互不重叠以形成参考三角网格；
所述利用窗口匹配算法在所述参考散斑图像上寻找与每个所述目标散斑点处于同一行的相匹配的参考散斑点包括：
以所述目标散斑点为窗口中心建立第一窗口；
分别以所述参考散斑图像上与所述目标散斑点同一行的各个参考散斑点为窗口中心建立第二窗口；
将所述第一窗口内的各个目标三角网格和所述第二窗口内的各个参考三角网格做相似性评价；
将所述相似性评价最高的第二窗口的窗口中心作为与所述目标散斑点相匹配的参考散斑点。


如权利要求9所述的方法，其特征在于，所述基于所述目标散斑点的目标拓扑结构对所述视差值进行插值，以得到所述输入散斑图像的视差图包括：
以每个所述目标三角面的中心点作为插值点，该插值点的视差值基于所述目标三角面的三个顶点的视差值确定；
基于各个所述目标散斑点的视差值和各个插值点的视差值生成所述输入散斑图像的视差图。


一种基于散斑图像的深度估计...

【专利技术属性】
技术研发人员：吴勇辉，刘川熙，詹洁琼，
申请(专利权)人：深圳市汇顶科技股份有限公司，
类型：发明
国别省市：广东;44