【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于混合特征交互transformer的单帧图像超分辨率方法及装置。
技术介绍
1、图像超分辨率(image super-resolution, sr)是计算机视觉和图像处理的关键任务之一，它旨在从已有的低分辨率(low-resolution, lr)图像中重建高质量的高分辨率(high-resolution, hr)图像。近来，基于卷积神经网络(convolutional neural network,cnn)的sr方法由于其强大的特征表示、端到端的可训练范式、卓越的性能，在图像sr领域占据主导地位。然而，由于卷积操作通过使用固定的滑动窗口来提取小邻域内的局部特征，基于cnn的sr方法的信息性像素有限。当前，transformer作为一种新颖的cnn代替方案，在多种低级视觉任务上取得良好的表现。
2、对于图像sr，liang等人提出了一种基于swin transformer的sr模型，即swinir。swinir采用了一种分层设计，将相似性计算限制在局部窗口中，并利用移动窗口机制来增...
【技术保护点】
1.一种基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互Transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络，所述混合特征交互Transformer模块的输入依次经过所述高效局部特征提取单元和第一层标准化层，所述第一层标准化层的输出与所述混合特征交互Transformer模块的输入相加，得到第一混合特征，所述第一混合特征依次经...
【技术特征摘要】
1.一种基于混合特征交互transformer的单帧图像超分辨率方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合特征交互transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络，所述混合特征交互transformer模块的输入依次经过所述高效局部特征提取单元和第一层标准化层，所述第一层标准化层的输出与所述混合特征交互transformer模块的输入相加，得到第一混合特征，所述第一混合特征依次经过所述混合特征交互自注意力单元和第二层标准化层，所述第二层标准化层的输出与所述第一混合特征相加，得到第二混合特征，所述第二混合特征输入所述混合尺度前馈神经网络，得到所述混合特征交互transformer模块的输出。
3.根据权利要求2所述的基于混合特征交互transformer的单帧图像超分辨率方法，其特征在于，所述高效局部特征提取单元包括依次连接的第一位移卷积层、第一gelu激活函数层、第二位移卷积层、se模块和第三位移卷积层，所述高效局部特征提取单元的计算过程如下：
4.根据权利要求2所述的基于混合特征交互transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互自注意力单元包括局部窗口自注意力分支、深度卷积分支和双向特征交互单元，所述双向特征交互单元包括空间交互单元和通道交互单元，所述通道交互单元包括依次连接的全局平均池化层、第一卷积层、第一批标准化层，第二gelu激活函数层、第二卷积层和第一sigmoid激活函数层，所述空间交互单元包括依次连接的第三卷积层、第二批标准化层、第三gelu激活函数层、第四卷积层和第二sigmoid激活函数...
【专利技术属性】
技术研发人员：曾焕强，朱显丞，朱建清，陈婧，施一帆，林琦，陈斌，陈志达，卢伟，夏至贤，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。