一种深度图超分辨率重建方法、系统及电子设备技术方案

本申请涉及一种深度图超分辨率重建方法、系统及电子设备。所述方法包括：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。本申请结合稀疏表达方法，构造结合虚拟视点失真模型、最大化虚拟视点质量和基于加权局部的字典学习和重建目标函数，提高重建的深度图虚拟视点绘制性能。

【技术实现步骤摘要】
一种深度图超分辨率重建方法、系统及电子设备
本申请属于图像重建
，特别涉及一种深度图超分辨率重建方法、系统及电子设备。
技术介绍
3DTV、自由视点系统、可视会议、虚拟现实(VirtualReality，VR)等应用广泛采用了基于深度图绘制算法(DepthImageBasedRendering，DIBR)的多视点绘制技术，为用户提供了交互感和沉浸感强的视觉体验。但由于传输带宽及深度图采集设备的限制，深度图的分辨率一般小于其相应纹理图的分辨率，难以保证高质量的视觉质量，因此，深度图超分辨率重建具有重要的现实意义。图像超分辨率重建一直是图像和信号处理研究领域的一个基本问题。现有的图像超分辨率重建方法包括：2010年Yang等人提出了采用稀疏表达的图像超分辨率重建方法也被称为稀疏编码超分辨率重建(SparseCodingSuperResolution，ScSR)。当前也涌现出许多基于深度学习的超分辨率重建方法。基于样本学习的超分辨率重建方法是深度图超分辨率重建领域一类很流行的方法，该方法包括基于稀疏表达的方法、基于马尔科夫随机场的方法及邻域插值方法。Ferstl等人利用高低分辨率图像块学习高低字典对的同时学习边缘先验信息，然后把边缘先验信息作为变分超分辨率框架中一个约束限制项。Xie等人提出了一种基于边缘引导的深度图超分辨率重建方法，通过基于样本的采用马尔科夫随机场的方法获取高分辨率边缘图，高分辨率边缘图作为引导帮助低分辨率深度图通过一个修正的联合双边滤波器来上采样。另外，也有一些深度图超分辨率重建方法开始考虑虚拟视点性能。Lei等人首先提出一种基于置信度的考虑虚拟视点图像质量和视点间相关关系的多视点深度图融合策略，提高低分辨率深度图像素值的可信赖度，基于此，提出了考虑虚拟视点图像质量的三边滤波深度图超分辨率重建方法，这个滤波器的权重系数中也融合了虚拟视点图像质量。深度图不是直接由人眼观看的，在3D系统中深度图主要用于绘制虚拟视点。目前，大多数深度图超分辨率重建方法在重建高分辨率深度图时并没有考虑虚拟视点质量；另外，一些深度图超分辨率重建方法虽然考虑虚拟视点质量，但没有考虑深度图中纹理区域和平坦区域不同的虚拟视点绘制特性。
技术实现思路
本申请提供了一种深度图超分辨率重建方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。为了解决上述问题，本申请提供了如下技术方案：一种深度图超分辨率重建方法，包括以下步骤：步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。本申请实施例采取的技术方案还包括：在所述步骤a中，所述分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图具体包括：通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像，通过特征提取方法提取出上采样图像的特征图，并采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。本申请实施例采取的技术方案还包括：在所述步骤b中，所述对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。本申请实施例采取的技术方案还包括：在所述步骤c中，所述采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。本申请实施例采取的技术方案还包括：当θ为D时，权重系数TK,θ的优化算法包括：步骤c1：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内选取样本点{Ti}，并遍历每一个Ti；步骤c2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；步骤c3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；步骤c4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；步骤c5：判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，重新执行步骤c1。本申请实施例采取的技术方案还包括：当θ为R时，权重系数WK,θ的优化算法包括：步骤c6：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；步骤c7：采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；步骤c8：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；步骤c9：判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，重新执行步骤c6。本申请实施例采取的技术方案还包括：当θ为ALL时，权重系数TK,θ和WK,θ的优化算法包括：步骤c10：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；步骤c11：固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；步骤c12：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并重新执行步骤c10。本申请实施例采取的技术方案还包括：当θ为ALL时，权重系数TK,θ和WK,θ的优化算法还包括：步骤c13：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；步骤c14：固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；步骤c15：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新执行步骤c13。本申请实施例采取的另一技术方案为：一种深度图超分辨率重建系统，包括：上采样模块：用于获取待重建原始低分辨率深度图像的上采样图像；特征图提取模块：用于提取上采样图像的特征图；边缘检测模块：用于提本文档来自技高网...

【技术保护点】
1.一种深度图超分辨率重建方法，其特征在于，包括以下步骤：步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。

【技术特征摘要】
1.一种深度图超分辨率重建方法，其特征在于，包括以下步骤：步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。2.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤a中，所述分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图具体包括：通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像，通过特征提取方法提取出上采样图像的特征图，并采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。3.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤b中，所述对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。4.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤c中，所述采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。5.根据权利要求4所述的深度图超分辨率重建方法，其特征在于，当θ为D时，权重系数TK,θ的优化算法包括：步骤c1：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内选取样本点{Ti}，并遍历每一个Ti；步骤c2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；步骤c3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；步骤c4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；步骤c5：判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，重新执行步骤c1。6.根据权利要求4或5所述的深度图超分辨率重建方法，其特征在于，当θ为R时，权重系数WK,θ的优化算法包括：步骤c6：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；步骤c7：采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；步骤c8：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；步骤c9：判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，重新执行步骤c6。7.根据权利要求4所述的深度图超分辨率重建方法，其特征在于，当θ为ALL时，权重系数TK,θ和WK,θ的优化算法包括：步骤c10：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；步骤c11：固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；步骤c12：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并重新执行步骤c10。8.根据权利要求6所述的深度图超分辨率重建方法，其特征在于，当θ为ALL时，权重系数TK,θ和WK,θ的优化算法还包括：步骤c13：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；步骤c14：固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；步骤c15：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新执行步骤c13。9.一种深度图超分辨率重建系统，其特征在于，包括：上采样模块：用于获取待重建原始低分辨率深度图像的上采样图像；特征图提取模块：用于提取上采样图像的特征图；边缘检测模块：用于提取上采样图像的边缘图；图像划分模块：用于将所述上采样图像、特征图及边缘图分别划分成图像块；区域划分模块：用于对图像块进行区域类别划分；区域重构模块：用于采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，...

【专利技术属性】
技术研发人员：张云，张欢，李娜，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44