基于置信度的结构化的双目深度图上采样方法技术

本发明专利技术属于图像处理技术领域，具体提供了一种基于置信度的结构化的双目深度图上采样方法，旨在解决现有技术在上采样过程中引入噪声并且获取信息量不足的问题。为此目的，本发明专利技术提供了一种基于置信度的结构化的双目深度图上采样方法，包括根据预先获取的图像金字塔中当前层图像的纹理信息和深度信息获取当前层图像的深度置信度；将上一层图像的深度信息上采样至当前层图像；根据当前层图像的纹理信息和经上采样后的深度信息重新获取当前层图像的深度置信度；根据纹理信息和重新获取的深度置信度优化深度信息并且对优化后的深度信息进行平滑和滤波处理。基于上述步骤，本发明专利技术提供的方法具有对噪声鲁棒且上采样精度高的有益效果。

Confidence-based sampling method for structured binocular depth maps

The invention belongs to the field of image processing technology, and specifically provides a confidence-based structured binocular depth map sampling method, aiming at solving the problem of introducing noise and obtaining insufficient information in the up-sampling process in the existing technology. To this end, the present invention provides a confidence-based structured binocular depth map sampling method, which includes obtaining the depth confidence of the current layer image according to the texture and depth information of the current layer image in the image pyramid acquired beforehand; sampling the depth information of the previous layer image to the current layer image; and sampling the current layer image according to the texture information and the depth information of the current layer image. The depth information is retrieved to obtain the depth confidence of the current layer image; the depth information is optimized according to the texture information and the depth confidence retrieved, and the optimized depth information is smoothed and filtered. Based on the above steps, the method provided by the invention has the beneficial effect of robust to noise and high sampling accuracy.

【技术实现步骤摘要】
基于置信度的结构化的双目深度图上采样方法
本专利技术属于图像处理
，具体涉及一种基于置信度的结构化的双目深度图上采样方法。
技术介绍
实时地获取高分辨率、高质量的深度信息已经成为计算机视觉领域十分重要的技术，该技术可以应用在裸眼三维显示、增强现实以及自动驾驶领域。但是目前的技术手段想要实时地获取高分辨率和高质量的深度图是非常困难的，已有的技术方案是先实时地获取低分辨率的高质量深度图，然后通过上采样技术生成高分辨率的高质量深度图，因此，深度信息上采样技术的精度和速度成为该技术的关键。现有的深度信息上采样技术包括：以单目高分辨率纹理图为引导将低分辨率的深度信息上采样到高分辨率的技术、基于深度信息的空间分布规律利用插值的方法进行上采样的技术以及基于机器学习的上采样技术。但是当深度信息中存在噪声时，现有的深度信息上采样技术会将噪声信息放大，导致最后的上采样的结果变差。另外，现有的深度信息上采样技术中的深度信息全部来源于原始的低分辨率的深度图，在上采样过程中并未添加新的信息，而高分辨率的纹理图需要比低分辨率的纹理图包含更多的信息，现有的深度信息上采样技术最后的上采样效果不理想。因此，如何提供一种能够对深度信息进行质量监控、在上采样的过程中加入新的细节信息并且高效地进行高质量的上采样的方案是本领域技术人员目前需要解决的技术问题。
技术实现思路
为了解决现有技术中的上述问题，即为了解决现有技术在上采样过程中引入噪声并且获取信息量不足的问题，本专利技术提供了一种基于置信度的结构化的双目深度图上采样方法，包括：步骤S101：获取目标体的高分辨率纹理图像并且对所述高分辨率纹理图像进行降采样形成图像金字塔；步骤S102：根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度；步骤S103：根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像；步骤S104：根据所述当前层图像的纹理信息和经所述上采样后的深度信息重新获取所述当前层图像的深度置信度；步骤S105：根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理；步骤S106：判断所述当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。在上述方法的优选技术方案中，“根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度”的步骤包括：根据所述纹理信息和/或深度信息将所述当前层图像划分为置信度不可衡量区域和置信度可衡量区域；获取所述置信度不可衡量区域和置信度可衡量区域的置信度；根据所述置信度不可衡量区域和置信度可衡量区域的置信度并且按照下式所示的方法计算所述当前层图像的深度置信度：Cfinal＝Ccorr(λCndc+(1-λ)Cwdc)其中，所述Cfinal是所述当前层图像的深度置信度，所述Ccorr是预设的初始置信度，所述Cndc是置信度不可衡量区域的置信度，所述Cwdc是置信度可衡量区域的置信度；所述λ是预设的开关变量且λ＝0或1。在上述方法的优选技术方案中，“获取所述置信度不可衡量区域和置信度可衡量区域的置信度”的步骤包括：设定所述置信度不可衡量区域的置信度为预设置信度；按照下式所示的方法获取所述置信度可衡量区域的置信度：其中，cmsm表示基于评分匹配策略获取的图像的像素点的损失代价，τmsm表示基于评分匹配策略获取的图像的像素点的损失代价阈值，msm表示评分匹配策略，ccur表示在图像的像素点的曲率处的损失代价，τcur表示在图像的像素点的曲率处的损失代价阈值，cur表示图像的像素点的曲率，cpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价，τpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价阈值，pkrn表示基于朴素的峰值平均功率比值策略，clrd表示基于左右视图差策略获取的图像的像素点的损失代价，τlrd表示基于左右视图差策略获取的图像的像素点的损失代价阈值，lrd表示基于左右视图差策略，表示所述置信度可衡量区域的置信度阈值。在上述方法的优选技术方案中，“根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像，得到多个上采样结果；对所述多个上采样结果进行融合得到最终的上采样结果。在上述方法的优选技术方案中，所述预设的上采样策略包括：基于置信度的融合三线索上采样策略以及基于加权投票的上采样策略；“利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：若所述当前层图像的像素点位于置信度不可衡量区域，将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息；若所述当前层图像的像素点位于置信度可衡量区域，将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息。在上述方法的优选技术方案中，在“将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息”的步骤之前，所述方法还包括：按照下式所示的方法获取所述当前层的图像中置信度不可衡量区域的深度信息：其中，表示基于加权投票的上采样策略获取的所述图像金字塔中第i+1层的深度信息，wvu表示基于加权投票的上采样策略，Zwvu表示基于加权投票的上采样策略的归一化参数，表示所述图像金字塔中第i+1层的图像中区域N的中心点的像素，c表示区域N的中心点，xi+1表示所述图像金字塔中第i+1层的图像中区域N内的像素点，表示所述图像金字塔中第i层图像的开关函数，d表示原始深度信息，表示所述图像金字塔中第i+1层的图像中区域N的中心点的深度关于颜色距离的权重，表示所述图像金字塔中第i+1层的图像中区域N中某一像素点的深度关于空间距离的权重，s表示所述图像金字塔中第i+1层的图像中区域N中某一像素点，表示所述图像金字塔中第i层图像中点xi对应的深度信息。在上述方法的优选技术方案中，在“将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息”的步骤之前，所述方法还包括：按照下式所示的方法获取所述当前层图像中置信度可衡量区域的深度信息：其中，表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的深度信息，cjcu表示基于置信度的融合三线索上采样策略，Zcjcu表示基于置信度的融合三线索上采样策略的归一化参数，表示所述图像金字塔中第i层图像中某个点关于深度距离的权重。在上述方法的优选技术方案中，“对所述多个上采样结果进行融合得到最终的上采样结果”的步骤包括：按照下式所示的方法对多个上采样结果进行融合得到最终的上采样结果：其中，表示所述图像金字塔中第i+1层的上采样结果，表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的三通道信息中最大的置信度对应的深度信息。在上述方法的优选技术方案中，“根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息”的步骤包括：判断所述当前层图像的本文档来自技高网...

【技术保护点】
1.一种基于置信度的结构化的双目深度图上采样方法，其特征在于包括：步骤S101：获取目标体的高分辨率纹理图像并且对所述高分辨率纹理图像进行降采样形成图像金字塔；步骤S102：根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度；步骤S103：根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像；步骤S104：根据所述当前层图像的纹理信息和经所述上采样后的深度信息重新获取所述当前层图像的深度置信度；步骤S105：根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理；步骤S106：判断所述当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。

【技术特征摘要】
1.一种基于置信度的结构化的双目深度图上采样方法，其特征在于包括：步骤S101：获取目标体的高分辨率纹理图像并且对所述高分辨率纹理图像进行降采样形成图像金字塔；步骤S102：根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度；步骤S103：根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像；步骤S104：根据所述当前层图像的纹理信息和经所述上采样后的深度信息重新获取所述当前层图像的深度置信度；步骤S105：根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理；步骤S106：判断所述当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。2.根据权利要求1所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度”的步骤包括：根据所述纹理信息和/或深度信息将所述当前层图像划分为置信度不可衡量区域和置信度可衡量区域；获取所述置信度不可衡量区域和置信度可衡量区域的置信度；根据所述置信度不可衡量区域和置信度可衡量区域的置信度并且按照下式所示的方法计算所述当前层图像的深度置信度：Cfinal＝Ccorr(λCndc+(1-λ)Cwdc)其中，所述Cfinal是所述当前层图像的深度置信度，所述Ccorr是预设的初始置信度，所述Cndc是置信度不可衡量区域的置信度，所述Cwdc是置信度可衡量区域的置信度；所述λ是预设的开关变量且λ＝0或1。3.根据权利要求2所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“获取所述置信度不可衡量区域和置信度可衡量区域的置信度”的步骤包括：设定所述置信度不可衡量区域的置信度为预设置信度；按照下式所示的方法获取所述置信度可衡量区域的置信度：其中，cmsm表示基于评分匹配策略获取的图像的像素点的损失代价，τmsm表示基于评分匹配策略获取的图像的像素点的损失代价阈值，msm表示评分匹配策略，ccur表示在图像的像素点的曲率处的损失代价，τcur表示在图像的像素点的曲率处的损失代价阈值，cur表示图像的像素点的曲率，cpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价，τpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价阈值，pkrn表示基于朴素的峰值平均功率比值策略，clrd表示基于左右视图差策略获取的图像的像素点的损失代价，τlrd表示基于左右视图差策略获取的图像的像素点的损失代价阈值，lrd表示基于左右视图差策略，表示所述置信度可衡量区域的置信度阈值。4.根据权利要求2所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像，得到多个上采样结果；对所述多个上采样结果进行融合得到最终的上采样结果。5.根据权利要求4所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，所述预设的上采样策略包括：基于置信度的融合三线索上采样策略以及基于加权投票的上采样策略；“利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括...

【专利技术属性】
技术研发人员：孟祥冰，张梅，张赵行，王蓉，
申请(专利权)人：中国科学院自动化研究所，青岛智能产业技术研究院，
类型：发明
国别省市：北京,11