本发明专利技术公开了一种基于亚像素采样的轻量化超分辨率网络及应用,对于图像采样方式提出了新的方法,通过亚像素采样对特征图进行尺度变换。在本发明专利技术中使用亚像素采样替代卷积神经网络中的池化层下采样和反卷积上采样。利用亚像素原理可以充分利用每幅图像之间的互补信息。本发明专利技术结合亚像素采样设计了一种基于亚像素采样的轻量化超分辨率网络,并加入空间注意力和通道注意力融合不同尺度的特征信息。本发明专利技术提出的亚像素采样相比于传统的采样方式能保留更多的图像细节,同时在亚像素采样的过程中不会产生任何的参数。本发明专利技术的亚像素采样轻量化超分辨率网络在提升生成图像质量和提高超分辨率网络性能的同时,减少了模型参数和计算量。算量。算量。
【技术实现步骤摘要】
一种基于亚像素采样的轻量化超分辨率网络及应用
[0001]本专利技术属于计算机视觉
,具体涉及一种基于亚像素采样的轻量化超分辨率网络。
技术介绍
[0002]超分辨率是指通过算法将低分辨率图像转换成高分辨率图像的技术。超分辨率常用于卫星成像、生物特征识别、医学图像、显微图像处理和多媒体行业与视频增强。
[0003]图像超分辨率经历几十年的发展,早期的方法包括插值,如双线性插值和双三次插值等。这些方法利用相邻像素之间的关系,通过插值来增加图像的分辨率。虽然这些方法简单易实现,但是其提高分辨率的效果不够理想。另外一些方法是基于重建的方法,通常利用图像的低分辨率版本以及一些先验知识来重建高分辨率版本。这些方法通常基于图像恢复和重建理论,利用像素之间的相关性、图像的纹理和边缘等特征来进行重建。其中一些常用的方法包括基于最小二乘法的最近邻方法、基于正则化的投影反演方法等。此外还有基于稀疏表示的方法,这种方法通过稀疏表示低分辨率图像的高频部分,得到一组初始估计的高分辨率图像,然后通过迭代算法不断优化求解高分辨率图像。
[0004]目前,卷积神经网络作为超分辨率重建最主要的方法之一。通过各种卷积层、池化层和激活函数学习低分辨率图像到高分辨率图像之间的映射,实现对图像分辨率的提高。编码器
‑
解码器是超分辨率网络中最常用特征提取架构。通过训练编码器和解码器来学习图像的特征,可以从低分辨率输入图像中生成高分辨率的重建图像,从而实现图像的超分辨率重建。在编码和解码的过程中常常使用池化层和反卷积进行下采样和上采样,这两种方法往往存在以下问题:
[0005](1)对图像特征进行池化操作会舍弃一部分信息,导致图像的细节丢失,因此在一定程度上可能影响模型的性能。
[0006](2)池化层会减少特征图的大小,但是它会增加计算量,因为池化层通常需要进行大量的卷积运算。
[0007](3)利用反卷积进行上采样,由于邻域像素的覆盖重叠和补零,会导致图像出现明显的伪影和棋盘格现象,影响图像质量,还会产生额外参数。
[0008]因此,如何在提升生成图像质量和提高超分辨率网络性能的同时,减少模型参数和计算量,成为如今重要的研究方向。
技术实现思路
[0009]针对于上述问题,本专利技术对于图像采样方式提出了新的方法,通过亚像素采样对特征图进行尺度变换。本专利技术受到相机成像机制的启发,利用亚像素原理可以充分利用每幅图像之间的互补信息。同时,本专利技术结合高效亚像素卷积神经网络所提出的亚像素卷积,将其提出的亚像素卷积作为亚像素上采样操作,而其逆过程作为亚像素下采样。本专利技术设计了一种基于亚像素采样的轻量化超分辨率网络,并通过空间注意力和通道注意力融合不
同尺度的特征信息。
[0010]为实现本专利技术的专利技术目的,本专利技术提出以下技术方案:
[0011]一种基于亚像素采样的轻量化超分辨率网络,构建步骤包括:
[0012]使用4层的Unet++作为基本网络结构,采用亚像素下采样进行下采样,亚像素上采样进行上采样,具体为:
[0013]在Unet++的基础上还包括:空间注意力机制模块、通道注意力机制模块和多尺度特征融合;
[0014]在进入Unet++网络架构之前,先通过一个3
×
3的卷积层将图像通道数拓展到64;Unet++每个单元除了空间注意力机制模块还包括两个3
×
3卷积层,每个卷积层后都有ReLU激活函数;
[0015]将提取到的特征输入到Unet++单元中,通过亚像素下采样和亚像素上采样学习不同尺度的特征映射;
[0016]利用稠密连接将提取同一特征尺度不相邻的单元连接在一起;
[0017]在Unet++网络末端将不同尺度的特征图上采样到同一尺寸,进行多尺度特征融合;
[0018]然后采用通道注意力机制模块的通道注意力机制和3
×
3的卷积层将不同采样层次的特征图更好地融合到一起;
[0019]再利用一次亚像素上采样将图像放大至低分辨率图像的
×
2、
×
3和
×
4;
[0020]最后使用残差结构接连网络输入端和输出端。
[0021]优选的,所述的亚像素采上样具体为,将多幅特征图同一位置的像素点构成一张新特征图,充分利用每个特征图之间的互补信息,此过程作为亚像素上采样;
[0022]所述的亚像素下采样为亚像素采上样的逆过程,具体为:根据相邻部分的像素点,将特征图分解成多张新特征图。
[0023]优选的,所述的空间注意力机制模块包含了三个卷积层,其中有两个卷积核为1的卷积层和一个卷积核为3的卷积层;先用1
×
1的卷积层整合通道数,然后通过最后一个卷积层和Sigmoid门控函数的到每个像素点的权重,对重要的特征点给予更多的权重。
[0024]优选的,所述的通道注意力机制模块中,特征首先通过两个3
×
3的卷积层,然后对其进行全局池化,再由两个1
×
1的卷积层对其进行升维和降维,最后使用Sigmoid门控函数的到每个特征通道的权重,对特征丰富的通道给予更大的权重。
[0025]本专利技术还提供了一种基于亚像素采样的轻量化超分辨率网络的应用方法,具体步骤包括:
[0026]S1:准备训练集,对训练图像进行预处理;
[0027]S2:构建的基于亚像素采样的轻量化超分辨率网络;
[0028]基于亚像素采样的轻量化超分辨率网络构建步骤包括:
[0029]使用4层的Unet++作为基本网络结构,采用亚像素下采样进行下采样,亚像素上采样进行上采样,具体为:
[0030]在Unet++的基础上还包括:空间注意力机制模块、通道注意力机制模块和多尺度特征融合;
[0031]在进入Unet++网络架构之前,先通过一个3
×
3的卷积层将图像通道数拓展到64;
Unet++每个单元除了空间注意力机制模块还包括两个3
×
3卷积层,每个卷积层后都有ReLU激活函数;
[0032]将提取到的特征输入到Unet++单元中,通过亚像素下采样和亚像素上采样学习不同尺度的特征映射;
[0033]利用稠密连接将提取同一特征尺度不相邻的单元连接在一起;
[0034]在Unet++网络末端将不同尺度的特征图上采样到同一尺寸,进行多尺度特征融合;
[0035]然后采用通道注意力机制模块的通道注意力机制和3
×
3的卷积层将不同采样层次的特征图更好地融合到一起;
[0036]再利用一次亚像素上采样将图像放大至低分辨率图像的
×
2、
×
3和
×
4;
[0037]最后使用残差结构接连网络输入端和输出端。
[0038]所述的亚像素采上样具体为,将多幅特征图同一位置的像素点构成一张新特征图,本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于亚像素采样的轻量化超分辨率网络,其特征在于,构建步骤包括:使用4层的Unet++作为基本网络结构,采用亚像素下采样进行下采样,亚像素上采样进行上采样,具体为:在Unet++的基础上还包括:空间注意力机制模块、通道注意力机制模块和多尺度特征融合;在进入Unet++网络架构之前,先通过一个3
×
3的卷积层将图像通道数拓展到64;Unet++每个单元除了空间注意力机制模块还包括两个3
×
3卷积层,每个卷积层后都有ReLU激活函数;将提取到的特征输入到Unet++单元中,通过亚像素下采样和亚像素上采样学习不同尺度的特征映射;利用稠密连接将提取同一特征尺度不相邻的单元连接在一起;在Unet++网络末端将不同尺度的特征图上采样到同一尺寸,进行多尺度特征融合;然后采用通道注意力机制模块的通道注意力机制和3
×
3的卷积层将不同采样层次的特征图更好地融合到一起;再利用一次亚像素上采样将图像放大至低分辨率图像的
×
2、
×
3和
×
4;最后使用残差结构接连网络输入端和输出端。2.根据权利要求1所述的基于亚像素采样的轻量化超分辨率网络,其特征在于,所述的亚像素采上样具体为,将多幅特征图同一位置的像素点构成一张新特征图,充分利用每个特征图之间的互补信息,此过程作为亚像素上采样;所述的亚像素下采样为亚像素采上样的逆过程,具体为:根据相邻部分的像素点,将特征图分解成多张新特征图。3.根据权利要求1所述的基于亚像素采样的轻量化超分辨率网络,其特征在于,所述的空间注意力机制模块包含了三个卷积层,其中有两个卷积核为1的卷积层和一个卷积核为3的卷积层;先用1
×
1的卷积层整合通道数,然后通过最后一个卷积层和Sigmoid门控函数的到每个像素点的权重,对重要的特征点给予更多的权重。4.根据权利要求1所述的基于亚像素采样的轻量化超分辨率网络,其特征在于,所述的通道注意力机制模块中,特征首...
【专利技术属性】
技术研发人员:夏豪杰,曾鸿飞,吴强,张进,李畅,
申请(专利权)人:合肥工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。