基于非局部回归和总差分的多视点RGB-D图像超分辨率方法技术

本发明专利技术提供一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法，该方法包含以下步骤：1)对输入多视点RGB-D图像估计其他视点下相对于参考视点图像的偏移量，对参考视点深度图放大，并利用放大的深度图构建多视点RGB图与超分辨率结果间的映射矩阵；2)将RGB图像的超分辨率问题构建为能量最优化问题，并利用归一化的总差分做为约束项，实现RGB图像的超分辨率；3)基于所重构的RGB超分辨率图像，将非局部约束项耦合到一个二次矩阵系统中实现深度图超分辨率。本发明专利技术所提出的RGB-D图像超分辨率方法对充分利用了深度图和RGB图见的相关性，实现了彼此超分辨率效果的有效提高。

【技术实现步骤摘要】

本专利技术涉及图像超分辨率
，具体涉及一种基于非局部回归和总差分的多 视点RGB-D图像超分辨率方法。
技术介绍
随着4K时代的到来，高清图像的应用和需求日益增多，图像超分辨率技术的成 为不可或缺的图像恢复手段，也被视为第二代图像恢复技术，为后续图像处理和可视化提 供了良好的细节信息和显著的特征，同时也便利于后续的基于几何的计算机图形应用（例 如：三维重构和3D打印等）。不同于传统的图像恢复技术，图像超分辨率的目的是通过最 大化的利用输入单张图像或图像序列中的固有信息来生成一个高质量的放大图像，其中由 于输入图像为超分辨率图像的模糊、下采样以及噪声等一系列操作的结果，因此，图像超分 辨率技术被视为一个病态的图像逆问题。 常用的图像超分辨率方法可分为三种，分别为：基于插值的方法、基于重构的方 法、基于学习的方法。基于插值的方法通常应用线性或非线性插值技术实现图像的超分辨 率，该类方法简单快速易实现，被广泛的应用于现存的商业软件中。但是由于基于插值的方 法仅使用了插值位置周边的有限信息做为插值依据，通常会造成插值效果中包含锯齿、边 界过模糊以及细节信息丢失。对于基于重构的方法而言，输入图像序列的多幅图像需要使 用图像配准技术来获得图像间的相关性，由于输入低分辨率图像通常比较模糊，且包含了 有限的特征信息，造成了现有的图像配准技术并适用于该类低分辨率的图像，也不能得到 准确的图间相关性，因此后续的基于重构的方法不能得到满意的超分辨率效果。同时现存 的基于重构的技术为了能够得到好的重构效果，均采用了约束项从大量的重构效果中获得 一个满意的结果，但目前的约束项并不能保证所获得重构效果和真实高清图像的有效一致 性。第三类基于学习的方法利用了外部高低分辨率数据集，通过学习高低分辨率图像对间 的相关性，在算法获得最小重构误差时，建立了高分辨率图像对间的映射关系，并将该映射 关系应用于测试数据中。该类方法最大的问题是外部图像集的选择问题，过小的图像集不 能达到有效的训练效果，过大的图像集造成训练时间过长且存在重构数据过拟合的现象， 同时该类方法过度依赖于测试图像和训练图像间的相似性。以上三类图像超分辨率技术也 被应用于深度图的超分辨率应用中，被针对深度图的特殊应用需求，在以上三类方法的基 础上，将彩色图像做为先验信息来实现深度图的放大，该类方法需要一个额外的高分辨率 RGB图像的辅助设备来获取高清图像。针对通常使用的MicrosoftKinect，所获得RGB图 像及深度图的默认分辨率俊文640X480,因此针对此类应用，深度图的超分辨率将及其困 难。 目前RGB-D图像超分辨率的关键技术在于如何利用深度图和RGB图像间的固有相 关性构建图像序列间的映射关系，如何设计一个有效的先验信息使得重构超分辨率图像能 最大限度的与真实的高清图像保持一致，如何利用RGB图像与深度图间的相关性实现深度 图的超分辨率等。 为了解决上述问题，本专利技术非局部回归和总差分的多视点RGB-D图像超分辨率 方法，该方法通过初始化的超分辨率深度图构建参考图像的点云，并利用小孔成像原理构 建输入图像序列与超分辨率重构图像间的映射矩阵，提高了低分辨率输入图像间的配准精 度；利用所提出的归一化的双边总差分约束项，并使用主对偶求解方法快速实现RGB图像 的超分辨率，该约束项有效的保持了重构的RGB图像与真实高清图像的一致性，使得所获 得的重构高分辨率图像较好的保持了细节和边界的清晰性；基于所重构的RGB图像，利用 所提出的基于像素点的非局部回归方法实现深度图的重构，该重构方法提高了算法的求解 速度，同时RGB信息的使用有效的防止了深度彩色信息的不一致问题。
技术实现思路
本专利技术要解决的技术问题是：克服了现有算法对图像配准技术的依赖性，提供了 一种基于深度图的图间映射矩阵构建方法，通过小孔成像技术，提高了所专利技术的算法的理 论可行性。克服了总差分方法重构效果存在的锯齿和过模糊的现象，提出了归一化的双边 总差分先验的RGB图像超分辨重构方法；克服了基于RGB图像构建超分辨率深度图稳定性 第、边界模糊以及细节丢失的问题，提出了基于非局部回归和RGB图像诱导的深度图超分 辨率方法。 本专利技术采用的技术方案为：一种基于非局部回归和总差分的多视点RGB-D图像超 分辨率方法，包括以下步骤： 步骤（1)、基于深度图的图间映射矩阵构建：将参考视点的深度图利用Bicubic 算法插值到目的超分辨率维数，并利用反向投影技术获得参考视点的点云重构，并使用 MonoSLAM算法获取图像序列相对于参考图像的偏移量，利用重构的点云数据、深度信息、偏 移量以及小孔成像原理，分别构建相同视点下超分辨率图像和低分辨率图像间的映射矩阵 和不同视点下的低分辨率输入图像和超分辨率图像间的映射矩阵，实现了映射矩阵Μ的初 始化； 步骤（2)、基于归一化的双边总差分的RGB图像超分辨率：通过步骤（1)所获得的 映射矩阵，并利用所提出的归一化的双边总差分先验知识，构建RGB图像重构能量函数，利 用主对偶算法实现重构图像的快速求解，该步骤所使用的改进的总差分先验能够有效的保 证重构的超分辨率图像与真实的高清图像的一致性，并且所使用的主对偶求解方法可以保 证求解过程的快速性； 步骤（3)、基于非局部回归和RGB图像诱导的深度图超分辨率：通过步骤（2)中重 构的超分辨率RGB图像，使用了基于方差的RGB图像通道选择方法获得结构特征最强的通 道，利用深度图和所选择通道的RGB图像的双边核信息构建图像的重构系数，并使用非局 部约束构建深度图的重构优化函数，该步骤有效的防止了深度彩色信息的不一致问题。 进一步的，步骤（1)中所述的深度图的图间映射矩阵构建方法，有效的解决了低 分辨率图像间的配准不准确性问题，降低了对图像配准算法的依赖性提高了算法映射矩阵 构建的准确性。 进一步的，步骤（2)中所述的基于归一化的双边总差分的RGB图像超分辨率，提出 了一个归一化的双边总差分的先验知识，并将其做为约束项来构建RGB图像的优化函数， 并利用主对偶算法实现图像的快速重构，该方法提出了一个全新的先验知识，该先验知识 能有效的保证重构的超分辨率图像和真实的高清图像间的一致性，同时所使用的主对偶方 法能有效的加快算法的求解速度，减少的求解时间，提高了算法实时性。 进一步的，步骤（3)中所述的基于非局部回归和RGB图像诱导的深度图超分辨率 方法，首先将步骤（2)所构建的RGB超分辨率图像做为先验信息，并通过使用基于像素点的 重构方法，提出了基于局部方差的RGB图像通道选择方法，利用了所选择通道的图像结构 信息和输入的深度信息来构建重构系数，采用了非局部的构建方法来获取最相似的重构约 束项，使用预条件共辄梯度算法来实现二次函数的快速求解；该方法利用了通道选择方法 和RGB图像的局部结构信息，有效的防止了深度彩色信息的不一致问题，有效的提高了算 法的边界和细节信息的重构准确性；同时使用了非局部的重构约束项增加了约束像素点的 候选项，提高了算法的求解稳定性。 本专利技术的原理在于： (1)本专利技术所提出的基于深度图的图间映射矩阵构建方法，该专利技术基于小孔成像 原理，利用了深度图和RGB图像间的固有关系构建图像序列与重构本文档来自技高网...

【技术保护点】
一种基于非局部回归和总差分的多视点RGB‑D图像超分辨率方法，其特征在于包括以下步骤：步骤(1)、基于深度图的图间映射矩阵构建：将参考视点的深度图利用Bicubic算法插值到目的超分辨率维数，并利用反向投影技术获得参考视点的点云重构，并使用MonoSLAM算法获取图像序列相对于参考图像的偏移量，利用重构的点云数据、深度信息、偏移量以及小孔成像原理，分别构建相同视点下超分辨率图像和低分辨率图像间的映射矩阵和不同视点下的低分辨率输入图像和超分辨率图像间的映射矩阵，实现了映射矩阵M的初始化；步骤(2)、基于归一化的双边总差分的RGB图像超分辨率：通过步骤(1)所获得的映射矩阵，并利用所提出的归一化的双边总差分先验知识，构建RGB图像重构能量函数，利用主对偶算法实现重构图像的快速求解，该步骤所使用的改进的总差分先验能够有效的保证重构的超分辨率图像与真实的高清图像的一致性，并且所使用的主对偶求解方法可以保证求解过程的快速性；步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率：通过步骤(2)中重构的超分辨率RGB图像，使用了基于方差的RGB图像通道选择方法获得结构特征最强的通道，利用深度图和所选择通道的RGB图像的双边核信息构建图像的重构系数，并使用非局部约束构建深度图的重构优化函数，该步骤有效的防止了深度彩色信息的不一致问题。...

【技术特征摘要】

【专利技术属性】
技术研发人员：郝爱民，王青正，李帅，秦洪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11