一种基于注意力机制的图像超分辨率重建方法和系统技术方案

本发明专利技术公开了一种基于注意力机制的图像超分辨率重建方法和系统，包括：提取低分辨率图像中的初步图像特征信息；经过多个连接的信息提取模块逐步提取所述初步图像特征信息，得到深度图像特征信息；根据所述深度图像特征信息，重建超分辨率图像。其通过基于注意力机制的信息提取模块提取图像信息，提高了通道间的相关性，充分融合各通道特征图信息，提高了重建超分辨率图像的清晰度和视觉效果，有效地恢复出更多的轮廓纹理等细节，最后重建模块根据这些信息重建出不同尺度的高分辨率图像。

【技术实现步骤摘要】
一种基于注意力机制的图像超分辨率重建方法和系统
本专利技术涉及图像超分辨率重建
，尤其是一种基于注意力机制的图像超分辨率重建方法和系统。
技术介绍
超分辨率(Super-Resolution，SR)重建最早在20世纪60年代由Harris等人提出，按重建时输入所需的低分辨率图像数量可以分为单幅重建和多幅重建，单幅图像超分辨率重建就是将低分辨率的图像通过一定的算法重建到视觉上让人愉悦的高分辨率图像。近年来基于卷积神经网络(CNN)的超分辨率重建的方法取得很好的成果，例如，2014年，Dong等人首先将三层卷积神经网络引入图像中，提出了基于卷积神经网络的超分辨率重建模型(SRCNN)；2016年，Kim等人提出一种非常深的卷积网络精准的超分辨重建模型(VDSR)，将网络深度增加到20层；为控制模型参数数量，Kim等人又提出一种通过递归监督和跳过连接的深度递归卷积网络模型(DRCN)，与SRCNN相比取得了显著进步；Tai等人提出一种深度递归残差网络(DRRN)，采用权重共享策略来缓解非常深的网络中巨大的参数需求；2018年，信息蒸馏网络(IDN)作为一个深但简洁的卷积网络被提出，实现直接从原始的的低分辨图像来重建高分辨图像。为提高图像超分辨效果，加深和扩大网络已经成为一种设计趋势，但仅通过加深网络层数会带来计算量大消耗内存多训练时间长等问题，不适用于移动和嵌入式视觉应用场景。另外，以上基于卷积网络的方法，同等地处理信道特征，其在处理不同类型的信息如高频信息和低频信息方面缺乏灵活性。因此，目前现有图像超分辨率重建方法普遍存在的重建输出图像较模糊、视觉效果不佳、运算时间长等问题。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种基于注意力机制的图像超分辨率重建方法和系统，用以提高重建输出图像的清晰度和视觉效果。本专利技术解决其问题所采用的技术方案是：本专利技术的第一方面，一种基于注意力机制的图像超分辨率重建方法，提取低分辨率图像中的初步图像特征信息；经过多个连接的信息提取模块多维度提取所述初步图像特征信息，得到深度图像特征信息；根据所述深度图像特征信息，重建超分辨率图像；其中，所述信息提取模块包括多组间隔设置的卷积模块和注意力模块，初步图像特征信息经过所述卷积模块后得到含有多个特征通道的第一特征信息；所述第一特征信息经过所述注意力模块执行注意力机制，学习每个所述特征通道的特征权值，用所述特征权值调整所述第一特征信息，得到下一个所述卷积模块的输入。上述基于注意力机制的图像超分辨率重建方法至少具有以下的有益效果：通过设置基于注意力机制的信息提取模块，提高了通道间的相关性，充分融合各通道特征图信息，提高了重建超分辨率图像的清晰度和视觉效果。进一步，所述注意力机制包括：使用全局平均池化方法将输入信息平均化，得到全局信息；使用由两层全连接层构成的门控单元从所述全局信息学习每个特征通道的特征权值；使用所述特征权值调整所述输入信息，得到输出信息。全局平均池化将空间上所有点的信息都平均成一个值，能屏蔽掉空间上的分布信息，能更好的关注通道间的相关性；两层全连接构成的门控机制融合各通道特征图信息，利用通道间的相关性获得特征图权重值，实现自适应地调整信道特征。进一步，所述信息提取模块包括用于提取第二特征信息的局部浅层网络和用于提取第三特征信息的局部深层网络；在所述信息提取模块，对所述第二特征信息和所述第三特征信息按照如下的操作处理：Rk＝C(S(P1k,1/s),Fk-1)其中，Fk-1是当前信息提取模块的输入，C、S分别代表连接操作和切片操作，P1k为第k个信息提取模块中局部浅层网络的输出，Rk为第二特征信息；Pk＝P2k+Rk＝Cb(S(P1k,1-1/s))+C(S(P1k,1/s),Fk-1)其中，P2k、Cb分别为第k个信息提取模块中局部深层网络的输出和局部深层网络的堆叠卷积操作，Pk为第三特征信息。每次特征提取后都进行各通道特征图信息的关联和融合，保证了特征图权重值的价值性。通过将第一特征信息、第二特征信息和局部深网络特征进行合并来得到第三特征信息，使第三特征信息内容更加丰富、有效。进一步，所述局部浅层网络，包括依次连接的第一卷积模块、第一注意力模块、第二卷积模块、第二注意力模块、第三卷积模块、第三注意力模块，其中所述第一卷积模块的特征维度是48，所述第二卷积模块的特征维度是32，所述第三卷积模块的特征维度是64。进一步，所述局部深层网络，包括依次连接的第四卷积模块、第四注意力模块、第五卷积模块、第五注意力模块、第六卷积模块、第六注意力模块，其中所述第四卷积模块的特征维度是64，所述第五卷积模块的特征维度是48，所述第六卷积模块的特征维度是80。进一步，所述信息提取模块还设置有信息压缩模块，所述信息压缩模块设置有用于降维的压缩卷积模块，所述压缩卷积模块的特征维度是64。信息压缩模块能压缩第三特征信息中特征的冗余信息，增多第三特征信息的特征图信息，使轮廓细节更加清晰。进一步，所述重建超分辨率图像采用亚像素卷积层重建方法，对所述深度图像特征信息按照如下的操作处理：ISR＝HREC(Hn(Fn-1))+U(ILR)其中HREC,U分别表示重建运算和双三次插值运算，ISR表示最后输出结果，ILR表示原始输入，Hn表示第n个信息提取函数。这样利用信息提取模块学习到的信息，将低分辨率图像重建成不同尺度的高分辨率图像。进一步，所述重建超分辨率图像还包括损失函数运算，所述损失函数采用平均绝对误差的方式，对所述最后输出结果按照如下的操作处理：本专利技术的第二方面，一种基于注意力机制的图像超分辨率重建系统，包括：特征提取模块，用于提取低分辨率图像中的初步图像特征信息；多个信息提取模块，用于多维度提取所述初步图像特征信息，得到深度图像特征信息；重建模块，用于根据所述深度图像特征信息重建超分辨率图像；其中，所述信息提取模块包括多组间隔设置的卷积模块和注意力模块，所述注意力模块执行注意力机制以调整经所述卷积模块的输出信息。上述基于注意力机制的图像超分辨率重建系统至少具有以下的有益效果：通过设置基于注意力机制的信息提取模块，提高了通道间的相关性，充分融合各通道特征图信息，提高了重建超分辨率图像的清晰度和视觉效果。本专利技术的第三方面，存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如以上所述的基于注意力机制的图像超分辨率重建方法。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明下面结合附图和实例对本专利技术作进一步说明。图1为本专利技术实施例一种基于注意力机制的图像超分辨率重建方法的流程图；图2为图1中注意力机制的流程图；图3为图1中信息提取模块的结构图；图4为本专利技术实施例一种基于注意力机制的图像超分辨率重建系统的结构图；图5为图本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的图像超分辨率重建方法，其特征在于，包括：/n提取低分辨率图像中的初步图像特征信息；/n经过多个连接的信息提取模块多维度提取所述初步图像特征信息，得到深度图像特征信息；/n根据所述深度图像特征信息，重建超分辨率图像；/n其中，所述信息提取模块包括多组间隔设置的卷积模块和注意力模块，所述初步图像特征信息经过所述卷积模块后得到含有多个特征通道的第一特征信息；所述第一特征信息经过所述注意力模块执行注意力机制，学习每个所述特征通道的特征权值，用所述特征权值调整所述第一特征信息，得到下一个所述卷积模块的输入。/n

【技术特征摘要】
1.一种基于注意力机制的图像超分辨率重建方法，其特征在于，包括：
提取低分辨率图像中的初步图像特征信息；
经过多个连接的信息提取模块多维度提取所述初步图像特征信息，得到深度图像特征信息；
根据所述深度图像特征信息，重建超分辨率图像；
其中，所述信息提取模块包括多组间隔设置的卷积模块和注意力模块，所述初步图像特征信息经过所述卷积模块后得到含有多个特征通道的第一特征信息；所述第一特征信息经过所述注意力模块执行注意力机制，学习每个所述特征通道的特征权值，用所述特征权值调整所述第一特征信息，得到下一个所述卷积模块的输入。


2.根据权利要求1所述的基于注意力机制的图像超分辨率重建方法，其特征在于，所述注意力机制包括：
使用全局平均池化方法将输入信息平均化，得到全局信息；
使用由两层全连接层构成的门控单元从所述全局信息学习每个特征通道的特征权值；
使用所述特征权值调整所述输入信息，得到输出信息。


3.根据权利要求2所述的基于注意力机制的图像超分辨率重建方法，其特征在于，所述信息提取模块包括用于提取第二特征信息的局部浅层网络和用于提取第三特征信息的局部深层网络；在所述信息提取模块，对所述第二特征信息和所述第三特征信息按照如下的操作处理：
Rk＝C(S(P1k,1/s),Fk-1)
其中，Fk-1是当前信息提取模块的输入，C、S分别代表连接操作和切片操作，P1k为第k个信息提取模块中局部浅层网络的输出，Rk为第二特征信息；
Pk＝P2k+Rk＝Cb(S(P1k,1-1/s))+C(S(P1k,1/s),Fk-1)
其中，P2k、Cb分别为第k个信息提取模块中局部深层网络的输出和局部深层网络的堆叠卷积操作，Pk为第三特征信息。


4.根据权利要求3所述的基于注意力机制的图像超分辨率重建方法，其特征在于，所述局部浅层网络，包括依次连接的第一卷积模块、第一注意力模块、第二卷积模块、第二注意力模块、第三卷积模块、第三注意力模块，其中所述第一卷积模块的特征维度是48，所述第二卷积模块的特征维度是32...

【专利技术属性】
技术研发人员：陈沅涛，张艺兴，陈曦，张建明，刘林武，陶家俊，张浩鹏，文司昊，谷科，余飞，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43