【技术实现步骤摘要】
一种深度信息引导的图像超分辨率方法
本专利技术涉及图像处理
，具体涉及一种深度信息引导的单图像超分辨率方法。
技术介绍
图像的分辨率指图像中每英寸有多少个像素点，分辨率越高，图像中包含的信息量就越大，细节信息就越丰富。图像超分辨率是指通过图像处理算法提升原图像的分辨率，从而提升图像质量的算法。图像超分辨率技术被广泛应用于监控视频、医学影像分析、卫星图像等领域。目前图像超分辨率方法主要为基于卷积神经网络的方法，采用普通网络会导致超分重建的图像过于平滑，在视觉效果上与真实图像有较大差异。一些研究表明采用生成对抗网络(GAN)可以生成视觉效果更好的图像，而采用GAN也会带来新的问题，GAN生成的图像有较多的高频噪声，同时生成的纹理的颗粒度与真实图像有较大差异。
技术实现思路
为了克服基于生成对抗网络的图像超分辨率方法的缺陷，本专利技术提供了一种深度信息引导的单图像超分辨率方法，在深度信息的引导下，GAN生成纹理的颗粒度更接近真实图像，从而有更好的视觉效果，在感知评价指标LPIPS上优于其他基于GAN的图像
【技术保护点】
1.一种深度信息引导的图像超分辨率方法，其特征在于，包括如下步骤：/nS1、采用预训练的特征提取网络中的特征提取模块获取低分辨率图像的高层特征，所述特征提取网络由特征提取模块和上采样模块组成，其中特征提取模块包括多个卷积层和残差模块，特征提取网络训练具体步骤如下：/nS1.1、采用3x3的卷积核提取低层特征，输出至残差模块；/nS1.2、残差模块由若干个重复的残差块构成；/nS1.3、采用L1损失函数，采用Adam优化器对特征提取网络进行训练；/nS1.4、训练完成后，将低分辨率图像输入特征提取网络中，提取亚像素卷积上采样层之前的特征图，用于后续操作；/nS2、采用预训练的...
【技术特征摘要】
1.一种深度信息引导的图像超分辨率方法，其特征在于，包括如下步骤：
S1、采用预训练的特征提取网络中的特征提取模块获取低分辨率图像的高层特征，所述特征提取网络由特征提取模块和上采样模块组成，其中特征提取模块包括多个卷积层和残差模块，特征提取网络训练具体步骤如下：
S1.1、采用3x3的卷积核提取低层特征，输出至残差模块；
S1.2、残差模块由若干个重复的残差块构成；
S1.3、采用L1损失函数，采用Adam优化器对特征提取网络进行训练；
S1.4、训练完成后，将低分辨率图像输入特征提取网络中，提取亚像素卷积上采样层之前的特征图，用于后续操作；
S2、采用预训练的单目深度预测网络获取低分辨率图像的深度图；
S3、将S1中获得的低分辨率图像的高层特征和S2中获得的深度图同时输入到带有自适应特征变换层的残差模块中，利用深度信息对图像进行自适应的特征变换，带有自适应特征变换层的残差模块重复2次，单次步骤如下：
S3.1、将S2中获得的深度图输入到深度信息预处理子网络中，输出处理后的深度信息；
S3.2、将深度信息输入到特征变换子网络中，输出两个特征变换参数γ、β；
S3.3、将S1中得到的高层特征输入到特征变换子网络中，利用特征变换参数γ、β进行特征变换，特征变换方式为，将原始特征图与γ逐元素相加，与β逐元素相乘；
S3.4、将特征变换后的特征与原始特征图进行通道连接后输入到相似性度量子网络中，输出归一化的相似度权重矩阵；
S3.5、将S3.4中输出的相似度权重矩阵与S3.3中得到的经过特征变换的特征图进行逐元素相乘，得到加权后的经过特征变换的特征；
S3.6、将S3.5中输出的加权后的经过特征变换的特征图与原始特征图进行通道连接，采用1x1的卷积后进行特征融合，输出融合后的特征；
S4、融合后的特征输入到亚像素卷积上采样模块中，输出与目标图像尺寸一致的特征图；
S5、上采样后的特征图输入到重建模块中，输出超分重建的图像。
2.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S1.3中的L1损失函数公式如下，
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，N表示训练集一个batch中图像的数量。
3.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S2中深度预测网络为Monodepth2，其结构为U-Net结构。
4.如权利要求1所述的一种深度信息...
【专利技术属性】
技术研发人员：姚剑，史海涛，蒋佳芹，涂静敏，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。