一种基于立体匹配与结构光相结合的深度图获取方法技术

本发明专利技术涉及立体视觉领域，其公开了一种基于立体匹配与结构光相结合的深度图获取方法，解决图像弱纹理区域与图像曝光量不足情况下的立体匹配问题。在本发明专利技术中，当外部环境光充足且拍摄场景中不存在弱纹理区域时，直接利用自然光下拍摄的图像获取三维场景的深度信息；当采集的纹理信息稀少或者采集过程中外部环境光强较弱时，则主动投影编码结构光，以增加环境光强与物体纹理信息。由于结构光在增强场景纹理信息的同时受到场景调制，可直接利用结构光测量法获取场景深度信息。本发明专利技术适用于准确获取物体深度信息。

【技术实现步骤摘要】

本专利技术涉及立体视觉领域，具体涉及一种基于立体匹配与结构光相结合的深度图获取方法。
技术介绍
立体视觉是计算机视觉中的一个关键性问题，其获取的深度信息被广泛应用于工业产品的外观设计、艺术雕塑、建筑、机器人视觉、无人机避障、医学整形与美容、航空测绘和军事应用等领域。立体匹配是获取深度信息的一种重要方法，该方法通过计算空间点在两幅图像中的偏差，获得视差图，然后根据视差图来获取物体的深度信息。物体各点的视差通过寻找左右图像平面中的匹配点对获取，因此图像匹配成为了最终获取三维场景深度信息的关键。立体匹配中常见的问题有遮挡区域、视差不连续区域、高纹理区域、低纹理区域、重复纹理区域等。弱纹理区域由于其像素区分度低通常会导致误匹配。现有的算法中，区域匹配法以扩大窗口来增强弱纹理区域的可区分性，全局约束通过能量函数的平滑项来提高弱纹理的匹配率，基于颜色的分割算法在预处理中利用图像的颜色关系划分深度区域。上述算法都在小面积弱纹理匹配上取得了良好的效果。然而，当图像中弱纹理区域面积较大或者图像曝光量不足时，现有算法的优越性能降低。利用增大窗口的局部算法匹配大面积弱纹理区域，容易引起视差不连续区域的过分平滑，出现“前景肥大”效应；而基于能量函数优化的全局算法与基于颜色分割的算法在大面积弱纹理区域的匹配精度降低。同时，在图像曝光量不足的环境下(如黑暗环境)，采集图像特征信息无法满足匹配需求，运用现有的匹配算法无法获取物体深度信息。
技术实现思路
本专利技术所要解决的技术问题是：提出一种基于立体匹配与结构光相结合的深度图获取方法，解决图像弱纹理区域与图像曝光量不足情况下的立体匹配问题。本专利技术解决上述技术问题所采用的方案是：一种基于立体匹配与结构光相结合的深度图获取方法，其包括以下步骤：A、对结构光进行编码；B、标定双目摄像机；C、根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光；D、若不需要主动投影结构光，则利用标定后的双目摄像机拍摄左右图像，直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；E、若需要主动投影结构光，则利用投影仪投影编码后的结构光，并利用标定后的双目摄像机拍摄左右图像，若结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或者结构光测量法获取视差图或相位图，进入步骤F；若结构光用于增强三维场景的纹理信息，则分别记录结构光下与自然光下的图像信息，选取立体匹配法或者结构光测量法恢复弱纹理区域的深度信息，进而获取三维场景的视差图或相位图，进入步骤F；F、根据视差与深度之间的映射关系获取三维场景的深度图，或者，根据相位与深度之间的映射关系获取三维场景的深度图。作为进一步优化，步骤A中，当利用立体匹配法获取三维场景深度信息时，选用特征信息较为明显的编码方式编码结构光，包括：DeBruijn编码、基于图形信息的编码或基于几何特征的M-marry编码方式；当利用结构光测量法获取三维场景深度信息时，选用受场景调制具有一定变化规律的编码方式编码结构光，包括：正弦条纹图编码方式、格雷码条纹图编码方式。作为进一步优化，步骤B中，利用棋盘格对双目摄像机进行标定获得两个摄像机的内部参数与外部参数，内部参数包括主点、焦距以及相机的畸变参数，用于校正摄像机拍摄图像的切向畸变与径向畸变，外部参数用于确定相机在三维空间中的朝向和位置。作为进一步优化，步骤C中，根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光，具体包括：C1、通过摄像机获取自然光照下图像，通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足，若外部环境光强充足，则进入步骤C2，若外部环境光强不充足，则主动投影编码结构光以增加环境光强信息；C2、在外部环境光强充足的情况下，判断图像的纹理信息，若存在弱纹理区域，则主动投影编码结构光以增加纹理信息，同时利用标号记录下弱纹理区域位置。作为进一步优化，步骤C1中，所述通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足的方法是：C11.基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像，若为欠曝光图像，则进入步骤C12进一步判断；C12.对图像信噪比进行验证，若图像信噪比小于设定阈值，则判定为外部环境光不充足。作为进一步优化，步骤C11中，所述基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像的方法是：通过灰度直方图两端像素值个数为空的区域所占的比例Frat，直方图峰值灰度gpeak与灰度直方图的均值灰度gmean来估计图像曝光量：Frat＝(gmin+1)/(255-gmax+gmin+1)(1)其中，gmax为灰度直方图左边缘处的像素数量为零的最大灰度值数，gmin为灰度直方图右边缘处的像素数量为零的最小灰度值数；设定阈值M<0.5，当gpeak或gmean小于128，Frat<M时，判定该图像为欠曝光图像。作为进一步优化，步骤C12中，所述对图像信噪比进行验证的方法是：采用无参考峰值信噪比的方法来衡量图像的信噪比，将图像平坦区域的标准差作为噪声标准差，用该标准差代替均方误差，噪声标准差公式为：其中，N为图像的总个数，I(x,y)表示像素点的灰度值，像素均值μ的表达式为：将整幅图像分成多个小区域，分别求出各个区域的噪声标准差，升序排列各个区域的方差值，求出前的方差的均值视为整幅图像的噪声标准差，则图像的无参考峰值信噪比公式为：其中，L为图像最大灰阶数；设定阈值W，若求取的无操控峰值信噪比NPSNR小于设定阈值W，则判定为外部环境光不充足，则主动投影编码结构光以增加环境光强信息。作为进一步优化，步骤C2中，所述在外部环境光强充足的情况下，判断图像的纹理信息的方法是：基于图像像素灰度的梯度特性和特定窗口下像素灰度的统计特性判断图像的纹理信息：其中，N表示窗口中的像素个数，W(x,y)表示以像素(x,y)为中心的窗口，I(u,v)表示灰度图像中的像素点灰度值，s为窗口中像素的方差，k为窗口中像素的梯度值之和；设定阈值sr与kr，若s2<sr且k<kr，则判定该区域为弱纹理区域，则主动投影结构光以增加纹理信息。作为进一步优化，步骤E中，若结构光用于增强三维场景的纹理信息，选取立体匹配法恢复弱纹理区域的深度信息的方法是：根据弱纹理区域的标号信息分割弱纹理区域和非弱纹理区域，将结构光辅助得到的立体匹配视差信息作为弱纹理区域的视差信息，自然光下得到的立体匹配视差信息作为非弱纹理的视差信息，利用动态规划缝合线法与加权叠加法融合弱纹理区域和非弱纹理区域的视差信息，得到最终该场景的视差图：其中，在动态规划路径中融合代价的计算公式为：E(x,y)＝Ediff(x,y)+λEcolor(x,y)(7)其中，d1表示结构光辅助下得到的视差图，d2自然光下得到的视差图，I1表示结构光辅助下采集得到的灰度图，I2表示自然光下得到的灰度图，Ecolor用周围矩形区域V内的像素之差，表示区域V内像素点色彩上的强度关系，Ediff取两幅图像结构变化较小的位置处的梯度值来表示几何结构的相似性，λ是一个调节系数，NV为区域V内像素的总数，E为融合代价，E越小选择该点作为缝合线上点的机率越大；路径本文档来自技高网...

【技术保护点】
一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，包括以下步骤：A、对结构光进行编码；B、标定双目摄像机；C、根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光；D、若不需要主动投影结构光，则利用标定后的双目摄像机拍摄左右图像，直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；E、若需要主动投影结构光，则利用投影仪投影编码后的结构光，并利用标定后的双目摄像机拍摄左右图像，若结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或者结构光测量法获取视差图或相位图，进入步骤F；若结构光用于增强三维场景的纹理信息，则分别记录结构光下与自然光下的图像信息，选取立体匹配法或者结构光测量法恢复弱纹理区域的深度信息，进而获取三维场景的视差图或相位图，进入步骤F；F、根据视差与深度之间的映射关系获取三维场景的深度图，或者，根据相位与深度之间的映射关系获取三维场景的深度图。

【技术特征摘要】
1.一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，包括以下步骤：A、对结构光进行编码；B、标定双目摄像机；C、根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光；D、若不需要主动投影结构光，则利用标定后的双目摄像机拍摄左右图像，直接记录自然光下的图像信息，获取视差图，然后根据视差与深度之间的映射关系获取三维场景的深度图；E、若需要主动投影结构光，则利用投影仪投影编码后的结构光，并利用标定后的双目摄像机拍摄左右图像，若结构光用于增强外部环境光强，则记录结构光下的图像信息，择优选取立体匹配法或者结构光测量法获取视差图或相位图，进入步骤F；若结构光用于增强三维场景的纹理信息，则分别记录结构光下与自然光下的图像信息，选取立体匹配法或者结构光测量法恢复弱纹理区域的深度信息，进而获取三维场景的视差图或相位图，进入步骤F；F、根据视差与深度之间的映射关系获取三维场景的深度图，或者，根据相位与深度之间的映射关系获取三维场景的深度图。2.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤A中，当利用立体匹配法获取三维场景深度信息时，选用特征信息较为明显的编码方式编码结构光，包括：DeBruijn编码、基于图形信息的编码或基于几何特征的M-marry编码方式；当利用结构光测量法获取三维场景深度信息时，选用受场景调制具有一定变化规律的编码方式编码结构光，包括：正弦条纹图编码方式、格雷码条纹图编码方式。3.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤B中，利用棋盘格对双目摄像机进行标定获得两个摄像机的内部参数与外部参数，内部参数包括主点、焦距以及相机的畸变参数，用于校正摄像机拍摄图像的切向畸变与径向畸变，外部参数用于确定相机在三维空间中的朝向和位置。4.如权利要求1所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C中，根据外部环境光强和三维场景纹理信息判断是否需要主动投影结构光，具体包括：C1、通过摄像机获取自然光照下图像，通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足，若外部环境光强充足，则进入步骤C2，若外部环境光强不充足，则主动投影编码结构光以增加环境光强信息；C2、在外部环境光强充足的情况下，判断图像的纹理信息，若存在弱纹理区域，则主动投影编码结构光以增加纹理信息，同时利用标号记录下弱纹理区域位置。5.如权利要求4所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C1中，所述通过该图像灰度直方图分布特征与图像信噪比判断外部环境光强是否充足的方法是：C11.基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像，若为欠曝光图像，则进入步骤C12作进一步判断；C12.对图像信噪比进行验证，若图像信噪比小于设定阈值，则判定为外部环境光不充足。6.如权利要求5所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C11中，所述基于图像灰度直方图分布特征计算图像曝光量，并判断图像是否为欠曝光图像的方法是：通过灰度直方图两端像素值个数为空的区域所占的比例Frat，直方图峰值灰度gpeak与灰度直方图的均值灰度gmean来估计图像曝光量：Frat＝(gmin+1)/(255-gmax+gmin+1)(1)其中，gmax为灰度直方图左边缘处的像素数量为零的最大灰度值数，gmin为灰度直方图右边缘处的像素数量为零的最小灰度值数；设定阈值M<0.5，当gpeak或gmean小于128，Frat<M时，判定该图像为欠曝光图像。7.如权利要求6所述的一种基于立体匹配与结构光相结合的深度图获取方法，其特征在于，步骤C12中，所述对图像信噪比进行验证的方法是：采用无参考峰值信噪比的方法来衡量图像的信噪比，将图像平坦区域的标准差作为噪声标准差，用该标准差代替均方误差，噪声标准差公式为...

【专利技术属性】
技术研发人员：周剑，袁寒，余勤力，唐荣富，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川;51