一种基于不确定性导向的双模态可分离图像超分辨率方法技术

本发明专利技术公开了一种基于不确定性导向的双模态可分离图像超分辨率方法，包括：获得低分辨率深度图像和对应的彩色图像；对低分辨率深度图像进行三次插值上采样，获得采样图像；根据采样图像，获得低分辨率深度图像的随机特征；将低分辨率深度图像输入至深度编码器中获得低分辨率深度图像的深层特征；根据随机性特征和深层特征，获得第一特征图和对应的第一不确定性估计图；将彩色图像和采样图像输入至深度细节估计网络中，输出第二特征图和对应的第二不确定性估计图；对第一特征图和第二特征图进行特征增强处理；对特征增强后的第一深度特征图和第二深度特征图进行3

【技术实现步骤摘要】
一种基于不确定性导向的双模态可分离图像超分辨率方法


[0001]本专利技术属于数字图像处理
，特别是一种基于不确定性导向的双模态可分离图像超分辨率方法。

技术介绍

[0002]深度信息可以提供场景的关键信息，被广泛应用于三维重建、物体检测、实例分割等计算机视觉领域。然而，由于技术的限制，难以获得高质量的深度图，这限制了许多难度较大的视觉任务的开展。而深度超分辨率技术可以很好地解决这个问题，并且该技术实施成本不高。因此，如何利用深度超分辨率技术有效地提高低分辨率深度图像的质量是一个非常重要的研究课题。
[0003]与彩色图像相比，深度图像由于实际物体被遮挡或位置上的差异常常会存在突兀的不连续现象。此外，由于技术的限制或外界的干扰，深度图往往存在着大面积的伪影。专注于重建彩色图像细节的超分辨率方法往往不再适合深度图像重建过程。因此，用单一模态重建深度图是非常困难的，而彩色图像通常具有更清晰的纹理，可以有效地指导高质量的深度图重建。之前存在三种方式来完成深度信息和彩色信息的有效融合，分别是在输入阶段、重构阶段和输出阶段的特征融合。在输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不确定性导向的双模态可分离图像超分辨率方法，其特征在于，包括：获得低分辨率深度图像，以及获取所述低分辨率深度图像对应的彩色图像；对所述低分辨率深度图像进行双三次插值上采样，获得采样图像；根据所述采样图像，获得所述低分辨率深度图像的随机特征；将所述低分辨率深度图像输入至深度编码器中，通过多个残差模块获得所述低分辨率深度图像的深层特征；根据所述随机性特征和所述深层特征，获得第一特征图和对应的第一不确定性估计图；将所述彩色图像和采样图像输入至深度细节估计网络中，输出第二特征图和对应的第二不确定性估计图；根据所述第一不确定性估计图，对所述第一特征图进行特征增强处理；根据所述第二不确定性估计图，对所述第二特征图进行特征增强处理；对特征增强后的第一深度特征图和第二深度特征图进行3
×
3卷积处理，获得超分辨率深度图。2.如权利要求1所述的一种基于不确定性导向的双模态可分离图像超分辨率方法，其特征在于，所述采样图像的尺寸与所述超分辨率深度图的尺寸一致。3.如权利要求1所述的一种基于不确定性导向的双模态可分离图像超分辨率方法，其特征在于，所述根据所述采样图像，获得所述低分辨率深度图像的随机特征，具体包括：通过多个3
×
3卷积将所述采样图像调制成一个高斯分布的先验均值和先验方差；通过重参数化采样对所述先验均值和先验方差进行处理，获得所述低分辨率深度图像的随机性特征。4.如权利要求1所述的一种基于不确定性导向的双模态可分离图像超分辨率方法，其特征在于，所述根据所述随机性特征和所述深层特征，获得第一深度特征图和对应的第一不确定性估计图，具体包括：将所述随机性特征和所述深层特征进行串联；采用1
×
1卷积对串联后的特征进行融合，获得第一融合特征；通过多个残差模块增强所述第一融合特征，获得第一特征图；采用3
×
3卷积对所述第一特征图进行处理，获得所述第一特征图对应的第一深度图；另采用3
×
3卷积对所述第一特征图进行处理，获得所述第一特征图对应的第一不确...

【专利技术属性】
技术研发人员：张浩鹏，韩喆鑫，姜志国，谢凤英，赵丹培，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：