单幅图像超分辨率的多尺度残差融合模型及其复原方法技术

本发明专利技术公开了一种单幅图像超分辨率的多尺度残差融合模型及其复原方法，包括依次连接的特征提取模块、非线性映射模块和重建模块；特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题；非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。本发明专利技术用于单幅图像的超分辨率重建及其复原，提升图像的分辨率，在保证重建效率的同时，能增强重建图像的轮廓特征，明显提高图像质量。

【技术实现步骤摘要】
单幅图像超分辨率的多尺度残差融合模型及其复原方法
本专利技术属于图像重建
，涉及一种单幅图像超分辨率的多尺度残差融合模型及其复原方法。
技术介绍
图像作为一种传播媒介，其中包含着大量的信息内容。高分辨率图像在卫星遥感、公共安全、无人驾驶、医学诊断等方面需求量越来越大，图像的分辨率越高所能够提供的信息也就越多，如何准确利用和提取图像中的信息，对于我国未来机器视觉领域的发展起着不可或缺的作用。由于受当前成像技术、成本限制以及外部环境等影响，使得所获得的图像分辨率达不到实际应用中的标准，严重影响了后续处理以及进一步的使用。因此，有必要研究有效的解决方案以改善图像的分辨率，获得更高分辨率以及更高质量的图像。单幅图像的超分辨率重建方法主要分为三类：基于插值、基于重建和基于学习。基于插值和基于重建方法较为简单且容易实现，但是没有考虑图像的实际物理参数，仅在数学逻辑上使得图像放大，图像质量以及边缘细节和纹理特征的提升有限，其重建的效果并不一定能够达到所要求的标准。随着科技的发展，人们开始将目光转向基于学习的方法，其核心思想是通过训练其他样本的方本文档来自技高网...

【技术保护点】
1.单幅图像超分辨率的多尺度残差融合模型，其特征在于，包括依次连接的特征提取模块、非线性映射模块和重建模块；/n所述特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题；/n所述的非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；/n所述的重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。/n

【技术特征摘要】
1.单幅图像超分辨率的多尺度残差融合模型，其特征在于，包括依次连接的特征提取模块、非线性映射模块和重建模块；
所述特征提取模块，用于提取低分辨率LR图像的多个线条、轮廓等浅层特征，多个互补的浅层特征能够弥补单一特征对LR图像表征不足的问题；
所述的非线性映射模块，通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；
所述的重建模块，用于对连接融合的高频特征进一步提取细节、纹理等特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。


2.根据权利要求1所述的单幅图像超分辨率的多尺度残差融合模型，其特征在于，所述特征提取模块采用3×3、5×5和9×9的3_5_9卷积核模式，三个尺度的卷积核均与LR图像卷积，卷积得到的全部特征图送入连接融合算子完成融合后，再依次经过1×1和3×3的卷积处理，得到最终的浅层特征；
所述的特征提取模块包含的所有卷积核均是64通道；
所述的特征提取模块得到的最终的浅层特征送入非线性映射模块的输入端。


3.根据权利要求1～2任一项所述的单幅图像超分辨率的多尺度残差融合模型，其特征在于，所述非线性映射模块由5个交叉融合模块CM级联而成，每个CM由3个双通道残差融合模块RDM级联而成，且RDM中融入了局部残差连接；
所述的非线性映射模块输入的是特征提取模块提取的浅层特征，即浅层特征是第一个CM的输入。


4.根据权利要求3所述的单幅图像超分辨率的多尺度残差融合模型，其特征在于，所述双通道残差融合模块RDM通过残差分支将两条并行支路融合，它将输入数据送到两路并行残差分支，上分支包含一个3×3卷积层和一个ReLU激活层，下分支包含一个5×5卷积层和一个ReLU激活层，两分支利用局部残差连接实现加权平均融合后通过连接融合将特征数据合并，实现多尺度上下文信息的融合互补；
所述的双通道残差融合模块RDM中的加权平均融合表示融合特征图，不改变通道数；
所述的双通道残差融合模块RDM中的连接融合表示合并特征图，通道数增加。


5.根据权利要求1～4任一项所述的单幅图像超分辨率的多尺度残差融合模型，其特征在于，所述重建模块包括依次连接的全局特征融合与图像恢复两部分；
所述的全局特征融合部分利用稠密连接将5个CM的输出连接成一个张量，通过连接融合得到非线性映射结果，即得到用于重建的全局特征；全局特征依次通过1×1和3×3卷积，得到融合后的一级特征；将一级特征和利用全局残差引入的特征提取模块中的3×3卷积得到的特征图进行加权平均融合，得到融合后的二级特征；将二级特征再依次通过5×5、3×3和3×3卷积，进一步提取高频特征信息得到融合后的三级特征；
所述的图像恢复部分将LR图像经过1×1卷积后，与全局特征融合部分得到的三级特征具有相同的特征维度，将两者加权平均融合得到待重建图像，再对待重建图像上的像素点进行周期性排列，之后再经过一个3×3卷积调节参数，实现HR图像的重建；
所述的图像恢复部分用外部残差连接将LR图像引入到HR图像重建的最后环节，利用LR图像与所重建的HR图像的相同信息，即两者的相似拓扑结构，增强像素点间的相关性。


6.如权利要求1～5所述的单幅图像超分辨率的多尺度残差融合模型的复原方法，其特征在于，按照以下步骤进行：
步骤S1、将LR图像输入到单幅图像超分辨率的多尺度残差融合模型的特征提取模块；
步骤S2、特征提取模块...

【专利技术属性】
技术研发人员：赵佰亭，胡锐，贾晓芬，郭永存，黄友锐，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：安徽;34