基于深度边缘点与彩色图像的深度图像上采样方法及系统技术方案

本公开公开了基于深度边缘点与彩色图像引导的深度图像上采样方法及系统，获取低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，对边缘增强的低分辨率深度图进行初始化，对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；得到高分辨率深度图。

【技术实现步骤摘要】
基于深度边缘点与彩色图像的深度图像上采样方法及系统
本公开涉及图像处理
，特别是涉及基于深度边缘点与彩色图像的深度图像上采样方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。随着3DTV，3D电影越来越广泛地进入到人类的生活，高质量的视觉感受可为消费者提供充分的精神给养，因此人们对图像和视频的视觉质量要求越来越高。3DTV系统需要同时输入来自同一个场景的2D彩色视频和2D深度数据。其中，深度数据可说明场景的位置，借助立体显示技术可为消费者提供3D立体的视觉感。因此深度数据是3DTV系统的重要基础，并且高质量深度信息的获取受到广泛关注。深度信息可通过直接方式和间接方式获取。其中，由于在直接方式中用来捕捉深度信息的硬件设备存在较大限制，例如无法有效抑制噪声干扰、价格昂贵等，无法满足消费者直接获取深度信息的需求。由此间接获取深度信息的方法，即深度上采样算法作为一种有效的解决方案，日益成为研究的热点。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：近年来，深度上采样算法受到国内外学者的广泛关注。其中，Kopf等提出了基于双边滤波的联合双边深度上采样(JointBilateraldepthUpsampling,JBU)算法，此方法忽略了两个图像对之间不匹配的问题。Yang等提出了具有深度假设的联合双边滤波，以完善其高分辨率深度图的输出。Liu等提出在滤波核中利用测地距离代替欧式距离来获得精确的深度边缘，但由于彩色图像具有颜色或结构不连续性，此方法仍可能导致错误的深度信息输出，因此如何抑制纹理复制伪影仍然是一个具有挑战性的问题。Gu等提出用于引导深度图像增强的加权分析表示模型，采用动态调整指导以更新深度图像。Yang等提出自适应高分辨率彩色图像引导的自回归(Autogressive,AR)模型。Diebel等用马尔可夫随机场(MarkovRandomFields,MRF)解决了多标记优化问题，该问题将深度分辨率之间的一致性确定为数据项，而平滑项则使具有相似颜色的相邻像素产生相似的深度值。Park利用非局部均值正则化、半局部邻域信息以及强制执行精化颜色细节的边缘加权方案，扩展了平滑度的成本。除了MRF，其他基于学习优化的策略，例如Ferstl提出利用广义变分(TotalGeneralizedVariation,TGV)模型实现深度上采样，将其视为具有高阶正则化的凸优化问题。在图像的超分辨重建中，Yang等首次引入稀疏表示的原理。Ren等提出角点和梯度辅助深度上采样算法(Edge-guidedwithGradient-assitedDepthUpsampling,EGDU)，只利用高分辨率与低分辨率空间中上下方向的信息完成深度图像对的结构一致性判断，并完成深度重新分配，但是该方法没有有效利用像素间的相关性，计算获得的深度数据在深度图像与彩色图像的结构一致性判断以及深度分配方面产生较大误差。
技术实现思路
为了解决现有技术的不足，本公开提供了基于深度边缘点与彩色图像的深度图像上采样方法及系统；获得深度不连续区域增强、边缘结构清晰的高分辨率深度图像。第一方面，本公开提供了基于深度边缘点与彩色图像的深度图像上采样方法；基于深度边缘点与彩色图像引导的深度图像上采样方法，包括：获取同一场景下的低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。第二方面，本公开还提供了基于深度边缘点与彩色图像的深度图像上采样系统；基于深度边缘点与彩色图像引导的深度图像上采样系统，包括：获取模块，其被配置为：获取同一场景下的低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；判断模块，其被配置为：对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；设置模块，其被配置为：根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；修正模块，其被配置为：基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。与现有技术相比，本公开的有益效果是：1.由于低分辨率深度图可能存在低质量的问题，存在错误深度的像素点以及空洞，若直接用于深度上采样，会导致在高分辨率深度图中产生更多深度错误的像素点，因此本公开通过对低分辨率深度图像标记不可靠像素点，完成对不可靠像素点的修正，以确保低分辨率深度图中深度的准确性。2.人的双眼看到的景物有远近之分，左眼和右眼看到的景象有很大差别，这种前后方向上的距离感以及左右方向上的景象差异体现在深度图中任意像素点的8领域中，其中像素点深度值之间的较大变化可体现出对象所处位置的不同，因此本公开提出选择以3×3像素块为单位，结合高分辨率深度图中的边缘点分布，低分辨率深度图以及彩色图像的梯度图，对深度空间与颜色空间边缘区域的结构进行一致性判断,并将边缘区域的像素点分为两类，分别为有效像素点与不可靠像素点，其区域分为深度有效和深度不可靠区域，可有效避免因深度图与彩色图结构本文档来自技高网...

【技术保护点】
1.基于深度边缘点与彩色图像引导的深度图像上采样方法，其特征是，包括：/n获取同一场景下的低分辨率深度图和高分辨率彩色图；/n对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；/n对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；/n根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；/n基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。/n

【技术特征摘要】
1.基于深度边缘点与彩色图像引导的深度图像上采样方法，其特征是，包括：
获取同一场景下的低分辨率深度图和高分辨率彩色图；
对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；
对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；
根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；
基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。


2.如权利要求1所述的方法，其特征是，对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；具体步骤包括：
对低分辨率深度图，利用Sobel算子进行边缘点提取，得到低分辨率深度边缘图。


3.如权利要求1所述的方法，其特征是，将低分辨率深度边缘图，划分为平坦区域和边缘区域；具体步骤包括：将低分辨率深度图经Sobel边缘点提取，提取出的边缘点是边缘区域，未提取出的点即为平坦区域。


4.如权利要求1所述的方法，其特征是，基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；具体步骤包括：
首先，将深度值为0的像素点标记为不可靠像素点；
其次，在低分辨率深度图DL中取3×3的图像块，当图像块在平坦区域中，若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1，置t1为3，则将中心像素点标记为不可靠像素点；
当图像块在边缘区域，则若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1，置t1为3，则将中心像素点标记为不可靠像素点；
当图像块同时处于平坦区域和边缘区域，则利用低分辨率深度边缘图与图像块中边缘区域一一对应，并将图像块中处于边缘区域的像素点与边缘区域相邻的像素点比较，若出现深度值差值不小于3的次数大于t2，置t2为2，则标记为不可靠像素点；将图像块中处于平坦区域的像素点，则利用平坦区域与其相邻的像素点进行比较，若出现深度值差值不小于3的次数大于t2，置t2为2，则标记为不可靠像素点。


5.如权利要求1所述的方法，其特征是，对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；具体步骤包括：
对处于平坦区域或边缘区域的不可靠像素...

【专利技术属性】
技术研发人员：王春兴，祖兰晶，万文博，任艳楠，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37