一种基于参考图像的图像超分辨率系统技术方案

本发明专利技术公开了一种基于参考图像的图像超分辨率系统，包括特征提取模块、纹理迁移模块和图像重建模块；利用特征提取模块对输入的低分辨率图像进行特征提取生成低分辨率图像对应的特征图，纹理迁移模块从参考的高分辨率图像中迁移高清纹理细节并融合到从低分辨率图像中提取的特征图，图像重建模块对融合后的特征图重建目标图像大小的高分辨率图像。本发明专利技术可以实现优于单张图像超分辨率方法的性能，在给出具有一定相关性的参考图像时，能够较好恢复低分辨率图像丢失的纹理细节。本发明专利技术可推广到真实世界的双摄像头数据集以及其他任务，如视频超分辨率和视频去噪，具有潜在的市场与应用价值。用价值。用价值。

【技术实现步骤摘要】
一种基于参考图像的图像超分辨率系统


[0001]本专利技术涉及计算机应用的
，尤其是指一种基于参考图像的图像超分辨率系统。

技术介绍

[0002]图像超分辨是一项经典的计算机视觉任务，它旨在从退化的低分辨率图像中重建高分辨率的图像。近年来，随着深度神经网络表达能力日益增强，单张图像超分辨率(Single Image Super
‑
Resolution，SISR)方法相比于传统的算法在性能上得到了巨大的提升。然而，当上采样因子达到4倍或者更大时，这些方法将产生模糊的视觉效果。特别是，若原始的高清图像中含有丰富的高频纹理细节但是却在输入的低分辨率(Low Resolution，LR)图像中缺失时，这个问题将变得更加严重。
[0003]不同于SISR方法仅利用单张低分辨率图像作为输入，基于参考图像的图像超分辨率(Reference
‑
Based Image Super
‑
Resolution，RefSR)方法借助额外的高清参考图像提供的高频信息以实现超分，达到了更佳的效果。通常，参考本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参考图像的图像超分辨率系统，其特征在于，包括：特征提取模块，用于实现对输入的低分辨率图像LR进行特征提取，生成低分辨率图像对应的特征图；纹理迁移模块，用于实现从参考的高分辨率图像中迁移高清纹理细节，并融合到从特征提取模块中提取的特征图中，得到融合特征图；图像重建模块，用于实现从纹理迁移模块输出的融合特征图重建目标图像大小的超分辨率图像。2.根据权利要求1所述的一种基于参考图像的图像超分辨率系统，其特征在于：所述特征提取模块包括有浅层特征提取模块和深层特征提取模块，其中：所述浅层特征提取模块包括一个卷积层和一个激活层；所述深层特征提取模块包括多个级联的残差通道注意力块、一个卷积层以及长跳残差连接，并且残差通道注意力块之间运用注意力连接机制以实现信息流的自适应传播。3.根据权利要求1所述的一种基于参考图像的图像超分辨率系统，其特征在于：所述纹理迁移模块包括有可训练的纹理提取器、相似性嵌入模块、硬注意力模块、代表性特征提取器以及软注意力模块，其中：所述可训练的纹理提取器采用VGG19网络的前14层，并使用预训练的VGG19模型参数进行初始化，在训练的过程中不断更新模型的参数，它接受三个输入，分别是双三次上采样的低分辨率图像LR
↑
、双三次下采样和双三次上采样的参考图像Ref
↓↑
以及真实的参考图像Ref；使用可训练的纹理提取器对三个输入图像进行提取后，得到的纹理特征图分别记作Q、K、V；所述相似性嵌入模块用于计算特征块之间的余弦相似性得分；将上述纹理特征图Q展开为H
LR
×
W
LR
个块，将K展开为H
Ref
×
W
Ref
个块，其中H
LR
、H
Ref
代表图像的高度，W
LR
、W
Ref
代表图像的宽度；对于Q中的第i个块q
i
，相似性嵌入模块计算出q
i
与K中第j个块k
j
的余弦相似性得分，记作r
i,j
；所述硬注意力模块用于从提取的真实的纹理特征图V中选出与LR最相关的特征进行迁移，对于Q中的第i个块q
i
，从K中确定令r
i,j
的值最大的块所对应的下标j，其中对于Q中的每一个块，均能够从K中唯一确定一个下标；之后将V展开为H
Ref
×
W...

【专利技术属性】
技术研发人员：林瑞溶，肖南峰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：