图像重建模型训练方法、图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种图像重建模型训练方法、图像超分辨率重建方法及装置，属于图像超分辨率技术领域，包括：通过图像预处理得到样本集；建立用于图像超分辨率重建的图像重建模型；利用样本集对图像重建模型进行训练和测试；图像重建模型中，特征提取网络用于对低分辨率图像进行特征提取后输入第一个残差网络；级联的m个残差网络分别用于对前一网络的输出图像进行特征提取后与该图像进行叠加；m个注意力网络分别用于从m个残差网络的输出图像中提取出感兴趣区域的图像；放大网络用于对各注意力网络及第m个残差网络的输出图像进行融合并放大，以由第一融合层融合其输出图像和双三次插值放大后的图像。本发明专利技术能够有效提高重建图像的视觉效果。

Image reconstruction model training method, image super-resolution reconstruction method and device

【技术实现步骤摘要】
图像重建模型训练方法、图像超分辨率重建方法及装置
本专利技术属于图像超分辨率
，更具体地，涉及一种图像重建模型训练方法、图像超分辨率重建方法及装置。
技术介绍
图像分辨率泛指成像或显示系统对细节的分辨能力，表示图像中存储的信息量，通常表示为“水平像素数×垂直像素数”。通常情况下，图像的分辨率越高表示图像包含的细节越多，提供的信息量越大。图像超分辨率技术(ImageSuper-Resolution,简称SR)，是根据单张或多张低分辨率(LowResolution,简称LR)图像来重建高分辨率(HighResolution,简称HR)图像的技术，该技术能够提供更加丰富的视觉信息，是计算机视觉领域中的经典问题。单幅图像超分辨率(SingleImageSuper-Resolution，简称SISR)，是指根据给定的低分辨率图像信息恢复出有良好视觉体验的高分辨率图像。图像超分辨率技术主要研究的问题是如何将低分辨率图像重建为高分辨率图像，该技术重点关注图像的细节，即图像的高频信息。目前，传统的图像超分辨率重建方法主要包括插值方法和稀疏表示方法。其中，插值方法是一种简单的图像处理方式，利用目标周围的像素按照一定的公式算法完成插值，常用的插值方法有最邻近元法、双线性内插法和双三次内插法；最邻近元法直接将与目标像素最近像素替换目标像素的像素值，实现起来简单，计算复杂度小，但是生成的图像在像素值上分布不连续，通常会呈现锯齿形状(锯齿效应)；双线性内插法利用目标像素的周围最近的四个互相垂直的像素完成线性插值，生成图像的像素值分布更连续，但会导致生成图像过于平滑，图像的轮廓部分会趋于模糊，且相较于最近邻元法计算量稍大；双三次内插法利用目标像素周围像素完成线性插值，生成的图像轮廓比前两种方法更清楚，但同时也增加了复杂度。稀疏表示的理论基础在于图像块可以由适当的超完备字典的稀疏线性组合进行表示。基于稀疏表示的方法采用对低分辨率图像块进行稀疏表示，利用稀疏系数重建高分辨率图像块输出；通过对低分辨率图像块字典和高分辨率图像块字典的联合训练，采用凸优化理论方法来求解出低分辨率与高分辨率图像块稀疏系数的映射关系，结合超完备字典可以重建出高分辨率图像块，最后由高分辨率图像块拼接得到完整的高分辨率图像；基于稀疏表示方法对噪声具有自适应鲁棒性，但是算法计算复杂量大，且难以选取合适的稀疏字典。基于生成对抗网络的方法的生成器采用残差学习的方法，判别器用来判别图像是否为真实图像。该网络模型的图像超分辨率结果取得不错的视觉效果，但是该网络训练相对比较困难，生成的高频细节可能与实际纹理特征不同。近年来，深度学习在多媒体处理领域快速发展，基于SRCNN、FSRCNN和VDSR等神经网络模型的方法和基于生成对抗网络(GenerativeAdversarialNetworks，简称GAN)的方法也逐渐在图像超分辨率重建中获得了广泛的应用。但是，通过这些方法重建出的图像视觉效果都有待提高，并且为了获得较为清晰的图像，模型训练时间往往较长。
技术实现思路
针对现有技术的缺陷和改进需求，本专利技术提供了一种图像重建模型训练方法、图像超分辨率重建方法及装置，其目的在于，提高超分辨率重建图像的视觉效果，并缩短模型训练时长。为实现上述目的，按照本专利技术的第一方面，提供了一种图像重建模型训练方法，包括：(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；特征提取网络用于提取低分辨率图像的特征，以得到粗糙特征图；m个残差网络依次级联；第一个残差网络用于对由特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；放大网络用于融合由m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；插值层用于对低分辨率图像进行双三次插值放大，以得到第二重建图像；第一融合层用于融合第一重建图像和第二重建图像，以完成对低分辨率图像的超分辨率重建，从而得到高分辨率图像；(3)利用样本集对图像重建模型进行训练和测试，以得到训练好的图像重建模型。本专利技术所提供的图像重建模型训练方法，所建立的图像重建模型中，包括多个级联的残差网络以及与每个残差网络相对应的注意力网络，在对低分辨率图像进行初步的特征提取之后，由残差网络进一步提取更细致的图像特征(边缘、纹理等)，注意力网络从对应的残差网络所输出的残差特征图中提取出感兴趣区域的图像融合到放大网络中，以由放大网络得到包含图像高频特征信息的第一重建图像；利用本专利技术所训练好的图像重建模型，不仅能够提取到最后的残差特征信息，还可以获取到中间残差网络输出的残差特征信息，由此能够更好的融合多方面的特征信息，使得重建图像具有更好的视觉效果。本专利技术所提供的图像重建模型训练方法，所建立的模型中，由插值网络对原始的低分辨率图像进行双三次插值放大，可以快速获取高分辨率图像的平滑部分，有效减少模型训练时间；通过将插值网络输出的较为模糊的第二重建图像和包含图像高频特征信息的第一重建图像进行融合以重建出最终的高分辨率图像，可以充分利用原始低分辨率图像的信息，提高重建图像的视觉效果。进一步地，步骤(1)包括：将标准图像库中的每一幅图像均按照不同的规格进行下采样，以得到每一幅标准图像所对应的多幅低分辨率图像；将每一幅低分辨率图像进行分割，从而得到低分辨率图像块，以减小计算开销，减少模型训练时间；由所有图像分块及其对应的标准图像构成样本集。进一步地，特征提取网络包括两个卷积层；仅设置两个卷积层，既可以保证能够初步提取到图像较为粗糙的特征，又能减少模型复杂度，减少模型训练时间。进一步地，残差网络包括第一卷积层、第一激活函数层、第二卷积层以及第二融合层；第一卷积层用于对输入图像进行卷积操作；第一激活函数层用于利用LeakyReLu激活函数对第一卷积层的输出图像进行激活处理；LeakyReLu激活函数对第一卷积层的输出图像进行激活处理，既能够使得特征分布范围更广，也能有效避免对负数结果的抑制处理；第二卷积层用于对经过第一激活函数层处理之后的图像进行卷积操作；第二融合层用于将输入图像与第二卷积层的输出图像进行叠加，以得到新的残差特征图；其中，输入图像为由特征提取网络输出的粗糙特征图，或者由前一级残差模块输出的残差特征图；在本专利技术中，残差网络既可以进一步提取图像的特征信息，又能够很好地保留输入图像的原始特征，使得叠加得到的残差特征图中包含更多的图像细节，从而超分辨率重建得到的图像视觉效果更好。作为进一步优选地，第二卷积层的卷积核大小为1×1；通过多个残差模块级联，可以获得尽可能大的感受野，同时采用小卷积核(1×1)的卷积层，能够在加深网络的同时避免增加训练难度。进一步地，注意力本文档来自技高网...

【技术保护点】
1.一种图像重建模型训练方法，其特征在于，包括：(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；所述图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；所述特征提取网络用于提取所述低分辨率图像的特征，以得到粗糙特征图；所述m个残差网络依次级联；第一个残差网络用于对由所述特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；所述m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；所述放大网络用于融合由所述m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；所述插值层用于对所述低分辨率图像进行双三次插值放大，以得到第二重建图像；所述第一融合层用于融合所述第一重建图像和所述第二重建图像，以完成对所述低分辨率图像的超分辨率重建，从而得到所述高分辨率图像；(3)利用所述样本集对所述图像重建模型进行训练和测试，以得到训练好的图像重建模型。...

【技术特征摘要】
1.一种图像重建模型训练方法，其特征在于，包括：(1)对标准图像库中的图像进行预处理，以得到低分辨率的图像分块，从而得到由所有图像分块及其对应的标准图像所构成的样本集；(2)建立图像重建模型，用于对单幅低分辨率图像进行超分辨率重建以得到高分辨率图像；所述图像重建模型包括特征提取网络、m个残差网络、m个注意力网络、放大网络、插值层以及第一融合层；所述特征提取网络用于提取所述低分辨率图像的特征，以得到粗糙特征图；所述m个残差网络依次级联；第一个残差网络用于对由所述特征提取网络输出的粗糙特征图进行特征提取后与该粗糙特征图进行叠加，以得到残差特征图；第2～m个残差网络分别用于对由前一个残差网络输出的残差特征图进行特征提取后与该残差特征图进行叠加，以得到新的残差特征图；所述m个注意力网络分别用于从m个残差网络输出的残差特征图中提取出感兴趣区域的图像；所述放大网络用于融合由所述m个注意力网络输出的感兴趣区域的图像以及由第m个残差网络输出的残差特征图，并对融合结果进行放大，以得到第一重建图像；所述插值层用于对所述低分辨率图像进行双三次插值放大，以得到第二重建图像；所述第一融合层用于融合所述第一重建图像和所述第二重建图像，以完成对所述低分辨率图像的超分辨率重建，从而得到所述高分辨率图像；(3)利用所述样本集对所述图像重建模型进行训练和测试，以得到训练好的图像重建模型。2.如权利要求1所述的图像重建模型训练方法，其特征在于，所述步骤(1)包括：将所述标准图像库中的每一幅图像均按照不同的规格进行下采样，以得到每一幅标准图像所对应的多幅低分辨率图像；将每一幅低分辨率图像进行分割，从而得到低分辨率图像块；由所有图像分块及其对应的标准图像构成样本集。3.如权利要求1所述的图像重建模型训练方法，其特征在于，所述特征提取网络包括两个卷积层。4.如权利要求1所述的图像重建模型训练方法，其特征在于，所述残差网络包括第一卷积层、第一激活函数层、第二卷积层以及第二融合层；所述第一卷积层用于对输入图像进行卷积操作；所述第一激活函数层用于利用LeakyReLu激活函数对所述第一卷积层的输出图像进行激活处理；所述第二卷积层用于对经过所述第一激活函数层处理之后的图像进行卷积操作；所述第二融合层用于将所述输入图像与所述第二卷积层的输出图像进行叠加，以得到新的残差特征图；其中，所述输入图像为由所述特征提取网络输出的粗糙特征图，或者由前一级残差模块输出的残差特征图。5.如权利要求4所述的图像重建模型训练方法，其特征在于，所述第二卷积层的卷积核大小为1×1。6.如权利要求1所述的图像重建模型训练方法，其特征在于，所述注意力网络包括特征提取层、映射层、构造层、第二激活函数层以及区域提取层；所述特征提取层为一个卷积层，用于通过卷积操作对输入的残差特征图进行特征提取；所述映射层包...

【专利技术属性】
技术研发人员：陈进才，卢萍，黄振兴，柳栋栋，王少兵，赵晓宁，熊阳，冯恩淼，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42