基于CNN和Transformer级联的轻量化图像超分辨率重建方法技术

本发明专利技术提供一种CNN和Transformer级联的轻量化图像超分辨率重建方法，包括：构建训练样本集和测试样本集；构建超分辨率重建网络，包括并行的两个分支，分别是特征金字塔分支、基于CNN和Transformer级联的主分支；训练样本集通过两个分支分别处理深度特征，第一个分支通过特征金字塔提取模块和双分支的通道注意力机制实现轻量化的超分辨率技术处理，第二分支通过Transformer和CNN级联模块提取图像先全局后局部的特征；将两个分支处理后的图像进行拼接，得到重建后的图像；计算正则化损失，经不断地反向传播训练超分辨率重建网络，最终获得图像的重建结果。本发明专利技术通过使用两个分支，克服了传统超分辨率网络直接进行跳跃连接导致获得信息不够丰富的问题。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体地，涉及一种基于cnn和transformer级联的轻量化图像超分辨率重建方法。

技术介绍

1、随着高清显示设备的逐渐普及，图像传输的数据量不断增加。高清图像在提升人们视觉体验的同时，也带来了新的挑战。例如，如何用更简洁高效的方式提高图像的分辨率成为了亟待解决的问题。图像超分辨率技术应运而生，它是计算机视觉中一个基本的低级视觉问题，它通过软件算法的方式将低分辨率(low resolution，lr)图像转换成高分辨率(high resolution，hr)图像，提升了人们的观看体验。

2、然而，受到硬件限制、环境等因素的影响，移动端设备无法存储大量数据，传统方法无法满足此需求。为解决这一问题，研究人员提出了轻量化超分辨率算法，以在计算成本受限的情况下平衡模型的复杂性和性能。这些算法通过优化模型结构和参数，实现了在移动设备上高效运行的目标，从而为用户带来更好的图像处理体验。

3、经检索，中国专利技术专利申请cn114926337a，公开了一种基于cnn和transformer混合网络的单幅图像超分辨率重建方本文档来自技高网...

【技术保护点】

1.一种基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，包括：

2.根据权利要求1所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支中，通过Transformer模块提取全局信息，再由CNN模块提取局部信息，通过所述全局信息和所述局部信息理解全局上下文和不同图像区域之间的关系。

3.根据权利要求2所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支包括依次连接的多个第一卷积组、Transformer和CNN级联模块、多个第二卷积组和上采样模...

【技术特征摘要】

1.一种基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，包括：

2.根据权利要求1所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支中，通过transformer模块提取全局信息，再由cnn模块提取局部信息，通过所述全局信息和所述局部信息理解全局上下文和不同图像区域之间的关系。

3.根据权利要求2所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支包括依次连接的多个第一卷积组、transformer和cnn级联模块、多个第二卷积组和上采样模块，所述transformer和cnn级联模块由多个transformer和cnn级联组合块串联构成，输入图像依次经过多个第一卷积组、transformer和cnn级联模块和多个第二卷积组，第一卷积组提取图像的浅层特征，浅层特征依次经过多个所述transformer和cnn级联组合块后提取图像的深度特征，然后所述深度特征再经过第二卷积组，进行像素重组上采样操作后，得到上采样图像，所述上采样图像作为所述第二分支的输出。

4.根据权利要求3所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，每个所述transformer和cnn级联组合块，包括依次连接的swintransformer模块、特征提取模块以及esa空间注意力模块，其中：swin transformer的深度是2，最大相对位置长度为l；特征提取模块连接全局信息和局部信息，同时防止梯度消失，esa空间注意力模块能够使得特征集中在更感兴趣的空间区域；

5.根据权利要求4所述的基于cnn和transfo...

【专利技术属性】
技术研发人员：滕国伟，吴琬琦，徐巧勇，王嶺，
申请(专利权)人：上海大学，
类型：发明
国别省市：