一种图像超分辨率重建方法及装置制造方法及图纸

本申请提供了一种图像超分辨率重建方法及装置，其中，方法包括：将低分辨率图像和分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像。训练后的预设网络包括预设数量的多感知分支模块，任一多感知分支模块包括多个级联的残差通道注意组；任一残差通道注意组包括多个级联的增强残差块，任一增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入第二卷积层；第二卷积层的输出输入整流模块；整流模块的输出输入第三卷积层；用于输入该增强残差块的图像、整流模块的输出，以及第三卷积层的输出，分别输入第二求和模块。本申请重建出的图像具有较高的空间分辨率和较高的信息保真度。

A method and device of image super-resolution reconstruction

【技术实现步骤摘要】
一种图像超分辨率重建方法及装置
本申请涉及图像处理领域，尤其涉及一种图像超分辨率重建方法及装置。
技术介绍
超分辨率重建(Super-Resolution,SR)指的是通过一幅或多幅同一场景的低分辨率图像，恢复出一幅高分辨率图像。超分辨率重建是一项重要的数字图像处理技术，在医学、遥感和各个社会生活领域有广泛的应用。目前主流的图像超分辨率重建方法是：基于深度学习的超分辨率重建方法。具体的，通过构建神经网络学习高、低分辨率训练样本对之间的映射关系，而后利用所学先验知识对输入网络的各种低分辨率图像进行高分辨率重建。但是，重建得到的高分辨率图像的保真度低。
技术实现思路
本申请提供了一种图像超分辨率重建方法及装置，目的在于解决超分辨率重建得到的图像的保真度低的问题。为了实现上述目的，本申请提供了以下技术方案：本申请提供了一种图像超分辨率重建方法，包括：获取待重建的低分辨率图像和预设的分辨率提升倍数；将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；输出所述高分辨率重建图像。可选的，所述预设数量不小于2。可选的，所述预设网络还包括：第四卷积层；所述上采样模块的输出输入所述第四卷积层；所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。可选的，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。可选的，所述整流模块为线性整流模块。本申请还提供了一种图像超分辨率重建装置，包括：获取模块，用于获取待重建的低分辨率图像和预设的分辨率提升倍数；重建模块，用于将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；输出模块，用于输出所述高分辨率重建图像。可选的，所述预设数量不小于2。可选的，所述预设网络还包括：第四卷积层；所述上采样模块的输出输入所述第四卷积层；所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。可选的，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。可选的，所述整流模块为线性整流模块。本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述所述的任意一种图像超分辨率重建方法。本申请还提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述所述的任一种图像超分辨率重建方法。本申请所述的图像超分辨率重建方法及装置中，由于预设网络包括预设数量多感知分支模块，任意一个多感知分支模块包括多个级联的残差通道注意组，每个残差通道注意组中包括多个级联的增强残差块。其中，任意一个增强残差块包括第二卷积层、第三卷积层、整流模块和第二求和模块。其中，用于输入该增强残差块的图像输入第二卷积层，第二卷积层的输出输入整流模块，整流模块的输出输入第三卷积层，可以看出任意一个增强残差块中本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括：/n获取待重建的低分辨率图像和预设的分辨率提升倍数；/n将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；/n所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；/n任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；/n输出所述高分辨率重建图像。/n...

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：
获取待重建的低分辨率图像和预设的分辨率提升倍数；
将所述低分辨率图像和所述分辨率提升倍数输入训练后的预设网络，得到高分辨率重建图像；所述训练后的预设网络包括第一卷积层、预设数量的多感知分支模块、第一求和模块、第一通道注意模块和上采样模块；任意一个所述多感知分支模块包括多个级联的残差通道注意组；任意一个所述残差通道注意组包括多个级联的增强残差块；
所述低分辨率图像输入所述第一卷积层，所述第一卷积层的输出分别输入每个所述多感知分支模块；每个所述多感知分支模块的输出和所述第一卷积层的输出分别输入所述第一求和模块；所述第一求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和；所述第一求和模块的输出输入所述第一通道注意模块；所述第一通道注意模块的输出输入所述上采样模块；所述上采样模块用于对所述第一通道注意模块的输出进行所述分辨率提升倍数的上采样操作；所述上采样模块得到所述高分辨率重建图像；
任意一个所述增强残差块包括：第二卷积层、第三卷积层、整流模块和第二求和模块；用于输入该增强残差块的图像输入所述第二卷积层；所述第二卷积层的输出输入所述整流模块；所述整流模块的输出输入所述第三卷积层；所述用于输入该增强残差块的图像、所述整流模块的输出，以及所述第三卷积层的输出，分别输入所述第二求和模块；所述第二求和模块用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，得到多通道图像；
输出所述高分辨率重建图像。


2.根据权利要求1所述的方法，其特征在于，所述预设数量不小于2。


3.根据权利要求1所述的方法，其特征在于，所述预设网络还包括：第四卷积层；
所述上采样模块的输出输入所述第四卷积层；
所述第四卷积层对所述上采样模块的输出进行卷积运算，得到所述高分辨率重建图像。


4.根据权利要求3所述的方法，其特征在于，任意一个所述残差通道注意组还包括：第二通道注意模块、第五卷积层和第三求和模块；
用于输入该残差通道注意组的图像，输入该残差通道注意组中的第一增强残差块；所述第一增强残差块的输出输入该残差通道注意组的第二个增强残差块；该残差通道注意组中第B-1个增强残差块的输出输入该残差通道注意组的第B个增强残差块；所述第B个增强残差块的输出输入所述第二通道注意模块；所述第二通道注意模块的输出输入所述第五卷积层；
所述用于输入该残差通道注意组的图像和所述第五卷积层的输出，分别输入所述第三求和模块；
所述第三求和模块，用于对输入图像中，相同通道的相同位置的像素点的像素值进行求和，输出多通道图像。


5.根据权利要求1～4任意一项所述的方法，所述整流模块为线性整流模块。


6.一种图像超分辨率重建装置，其特征在于，包括：
获取模块，用于获取待重建的低分辨率图像和预设的分辨率提升倍数；
重建模块，用...

【专利技术属性】
技术研发人员：孙旭，董晓宇，高连如，雷莉萍，张兵，
申请(专利权)人：中国科学院遥感与数字地球研究所，
类型：发明
国别省市：北京;11