一种深度图超分辨率方法技术

本发明专利技术公开了一种深度图超分辨方法，其中，训练阶段步骤包括：从高分辨率深度图中提取高分辨率特征，从低分辨率深度图中提取低分辨率特征，利用高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；超分辨率阶段步骤包括：提取当前低分辨率深度图的当前深度图低分辨率特征，计算当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据当前深度图高分辨率特征、当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。

【技术实现步骤摘要】
一种深度图超分辨率方法
本专利技术涉及计算机视觉和图像处理领域，具体涉及一种深度图超分辨率方法。
技术介绍
深度图在计算机视觉应用中被广泛使用，比如图像分类、目标识别以及交互式游戏等。但是，和高质量高分辨的彩色图相比，深度图的分辨率很低，这在很大程度上限制了深度图的进一步使用。深度图分辨率很低的原因主要在于获取的方式较少，且不能简便快捷地获取。深度图超分辨的首要前提是获取低分辨率的深度图。主要是利用深度相机直接获取深度图。比如：PMDCamCube3.0，SwissRangeSR400以及Kinect。但是这些设备的共同缺点就是分辨率很低。因此，提高深度图的分辨率成为弥补这种不足的有效手段，是一个重要而急迫的研究内容。通常，深度图超分辨的方法可以分为三大类。第一类是基于融合的方法，这类方法或者将多个深度获取设备或者将得到的多张深度图融合在一起，以得到高分辨率深度图。这类方法操作起来比较复杂且设备昂贵，一般用户很难使用这类方法来提高深度图的分辨率。第二类是结合彩色/灰度图的方法，利用高分辨率彩色/灰度图的边缘信息，来提高超分辨率后深度图边缘的准确度。这类方法往往在提高深度图分辨率的情况下，也引入了深度图的纹理信息，就造出深度值的不准确，而且，实际情况中，深度图和彩色/灰度图的配准就是一个难以解决的问题。第三类是基于单张深度图超分辨的方法，这类方法借鉴单张自然图像超分辨方法，特别是借鉴利用信号在某些变换域下稀疏性的字典学习方法，这类方法得到的高分辨率深度图，质量比较高，而且易于实现。
技术实现思路
为了得到质量较高的高分辨率深度图，本专利技术提出了一种深度图超分辨率方法。一种深度图超分辨率方法，包括训练步骤和超分辨率处理步骤；其中，训练步骤包括如下步骤：从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典(synthesisdictionary)和分析型字典（analysisdictionary）；超分辨率处理步骤包括如下步骤：将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典(synthesisdictionary)来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨率图像块融合成一张高分辨率图像。在一个实施例中，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。在一个实施例中，在所述训练步骤中，所述高分辨率特征为，所述低分辨率特征为，其中，和分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低分辨率深度图中对应位置提取的低分辨率深度图块，和中的和分别表示水平与垂直方向。通过如下方式得到高分辨率合成型字典和低分辨率合成型字典(synthesisdictionary)：其中，，高分辨率合成型字典和低分辨率合成型字典(synthesisdictionary)分别为和，表示第i个高分辨率特征，表示第i个低分辨率特征，为稀疏系数，为常数，表示范数的平方，表示范数，表示字典中的第个字典基。在一个实施例中，所述训练步骤中的所述分析型字典（analysisdictionary）可通过求解以下最优化问题得到：其中，函数是稀疏度评价函数，是所述分析型字典（analysisdictionary）。在一个实施例中，所述超分辨率处理步骤中，通过如下方式求解稀疏系数：其中，和是调节系数，表示所述当前深度图低分辨率特征。在一个实施例中，所述超分辨率处理步骤中，通过如下方式获得当前深度图高分辨率特征：本专利技术的有益效果是：相对传统只单一地利用合成型(synthesisdictionary)或分析型字典（analysisdictionary）的情况，本专利技术提出了一种基于对偶稀疏模型的深度图超分辨率方法。利用本专利技术能够综合利用稀疏表示合成模型与分析模型的优势，避免采用单一模型所造成的不足，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率深度图。附图说明图1是本专利技术一种实施例的深度图超分辨率方法的流程示意图。具体实施方式以下对专利技术的较佳实施例作进一步详细说明。如图1所述，一种实施例的深度图超分辨率方法，包括训练步骤和超分辨率处理步骤。其中，训练步骤包括如下步骤：A1：从深度训练图集（深度图公共数据集，如Middlebury数据集）中获取高分辨率深度图集合，表示第i个高分辨率深度图。A2，使用插值算法，对高分辨率深度图集合进行缩小设定倍数s的下采样后，再进行放大所述设定倍数s的上采样，得到低分辨率深度图集合，表示第i个低分辨率深度图，也即是说，第i个低分辨率深度图的尺寸与第i个高分辨率深度图的尺寸相同，而高分辨率深度图比低分辨率深度图所包含的图像内容更为丰富。A3，从所述高分辨率深度图集合中提取高分辨率图像块集合和高分辨率特征集合，在低分辨率深度图集合中的相应位置提取出低分辨率图像块集合与低分辨率特征集合，例如，高分辨率图像块取自高分辨率深度图的左上角5*5区域，那么相应的低分辨率图像块也应取自低分辨率深度图的左上角5*5区域。其中，高分辨率特征为：低分辨率特征为：和中的和分别表示水平和垂直方向，为了得到高分辨率合成型字典和低分辨率合成型字典，可以利用高分辨率特征集合和低分辨率特征集合来优化下列目标函数：其中，，表示第对高分辨率特征和低分辨率特征，，表示稀疏系数，为平衡重构误差（即公式（3）中的第一项）与系数稀疏度（即公式（3）中的第二项）之间的常数，可以是大于零的数值，表示字典中的第个字典基。具体求解公式（3）中最优化问题的算法可采用特征标记搜索算法方法（FeatureSignSearchAlgorithm）等，本专利技术涵盖的范围不限于所例举的方法。A4，对于训练阶段分析型字典（analysisdictionary）可通过求解以下最优化问题得到：其中，函数是稀疏度评价函数，有多种形式，比如，该形式为范数。是高分辨率特征集合。具体求解算法可以是GOAL算法（GeOmetricAnalysisoperatorLearning）等，本专利技术涵盖的范围不限于所例举的方法。超分辨率处理步骤包括如下步骤：A5：在训练步骤之后，对于任意的需要进行处理的低分辨率深度图，进行放大所述设定倍数s的上采样（由于在训练阶段中采用了放大倍数s的上采样，因此，在实际超分辨率处理过程中，采用同样的放大倍数s得到的运算结果更加准确），得到当前低分辨率深度图，在当前低分辨率深度图分成相互重叠的当前深度图低分辨率特征（相邻的之间相互重叠，以保证重构的图像更加完整）、以及提取当前深度图低分辨率图像块，计算每一个当前深度图低分辨率特征在对偶稀疏模型下的系数。该求解过程可以通过求解如下最优化函数得到的：和分别是调整公式（5）本文档来自技高网...

【技术保护点】
一种深度图超分辨方法，其特征是，包括训练步骤和超分辨处理步骤；其中，训练步骤包括如下步骤：从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；超分辨率处理步骤包括如下步骤：将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。

【技术特征摘要】
1.一种深度图超分辨率方法，其特征是，包括训练步骤和超分辨率处理步骤；其中，训练步骤包括如下步骤：从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；超分辨率处理步骤包括如下步骤：将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨率图像块融合成一张高分辨率图像。2.如权利要求1所述的深度图超分辨率方法，其特征是，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特...

【专利技术属性】
技术研发人员：张永兵，张宇伦，王兴政，王好谦，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44