图像超分辨率重建方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种图像超分辨率重建方法、装置及电子设备，涉及图像处理技术领域，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本发明专利技术能够提升图像重建的效果。

Image Super Resolution Reconstruction Method, Device and Electronic Equipment

The invention provides an image super-resolution reconstruction method, device and electronic equipment, which relates to the field of image processing technology, including acquiring low-resolution images to be reconstructed, reconstructing low-resolution images to high-resolution images through pre-established image reconstruction models, and establishing image reconstruction models based on multi-scale convolution fusion neural network. The invention can improve the effect of image reconstruction.

【技术实现步骤摘要】
图像超分辨率重建方法、装置及电子设备
本专利技术涉及图像处理
，尤其是涉及一种图像超分辨率重建方法、装置及电子设备。
技术介绍
图像分辨率是图像展现细节丰富程度的一个重要衡量指标。高分辨率的图像呈现出更丰富的细节信息，具有更强的信息表达能力。然而在实际应用中，由于成像设备硬件条件的限制和成像环境等因素的影响，人们很难直接获得高分辨率的图像，需要对获得的图像进行重建，提高其分辨率。目前通常应用单一尺度卷积网络对获得的低分辨率图像进行重建，但图像包含不同类型的特征，这些不同类型的特征尺度不尽相同。例如，平滑区域和强边缘区域对应的尺度较大，而纹理区域的特征对应的尺度稍小。单一尺度卷积无法同时适用于不同类型特征的尺度，通过这样的方式对图像进行重建，效果不佳。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像超分辨率重建方法、装置及电子设备，以提升图像重建的效果。第一方面，本专利技术实施例提供了一种图像超分辨率重建方法，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，上述多尺度卷积融合神经网络包括多个相连的多尺度卷积融合块；其中，每个多尺度卷积融合块中包含依次相连的多尺度卷积层和多尺度融合层；多尺度卷积层中包含多组不同尺度的卷积核；多尺度融合层包含1组尺度为1*1的卷积核。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，上述通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像的步骤，包括：将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致；将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像；将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；其中，第二方向与第一方向相反。结合第一方面，本专利技术实施例提供了第一方面第三种可能的实施方式，其中，在获取待重建的低分辨率图像之前，上述方法还包括：获取训练样本集；训练样本集包括多个训练样本对；每个训练样本对中包含1个输入样本图和1个输出样本图；将训练样本集输入至多尺度卷积融合神经网络，通过随机梯度下降法对训练样本集进行训练，直至多尺度卷积融合神经网络的损失函数收敛至预设阈值时，结束训练，得到图像重建模型。结合第一方面的第三种可能的实施方式，其中，训练样本对的构建过程，包括：从预设的训练图库中采集出多张高分辨率样本图，并将高分辨率样本图确定为输出样本图；利用高斯核分别对每张输出样本图进行模糊处理，得到每张输出样本图对应的低分辨率样本图；依次对每张低分辨率样本图先后进行下采样以及双三次插值处理，得到多张输入样本图；将大小一致的输入样本图和输出样本图组合形成训练样本对。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，多尺度卷积融合神经网络的损失函数为均方误差函数。第二方面，本专利技术实施例提供了一种图像超分辨率重建装置，包括：待重建图像获取模块，用于获取待重建的低分辨率图像；重建模块，用于通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，重建模块包括：待重建目标图像确定单元，用于将低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个预设角度对应的待重建目标图像；其中，每个待重建目标图像的像素值均与低分辨率图像的像素值一致；目标输出图像确定单元，用于将多个待重建目标图像逐一输入预先建立的图像重建模型，经图像重建模型的正向传播后，分别得到每个待重建目标图像对应的目标输出图像；高分辨率图像确定单元，用于将多个目标输出图像的位置按照第二方向分别进行旋转变换，直至多个目标输出图像的位置均与低分辨率图像的位置一致时，对多个目标输出图像进行平均化处理，得到低分辨率图像对应的高分辨率图像；其中，第二方向与第一方向相反。第三方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面至第一方面第五种可能的实施方式任一项所述的方法的步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面至第一方面的第五种可能的实施方式任一项所述的方法的步骤。本专利技术实施例带来了以下有益效果：本专利技术实施例提供了一种图像超分辨率重建方法、装置及电子设备，首先获取待重建的低分辨率图像；然后通过预先建立的图像重建模型，将低分辨率图像重建为高分辨率图像；其中，图像重建模型是基于多尺度卷积融合神经网络建立的。本专利技术实施例提供的上述方式通过基于多尺度卷积融合神经网络建立的图像重建模型对低分辨率图像进行重建得到高分辨率图像，相较于现有技术中仅通过单一卷积神经网络重建图像的方法，能够匹配于图像不同特征的尺度并融合多尺度特征，增强了图像特征表示能力，从而有效地提升了图像重建的效果。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种图像超分辨率重建方法的流程图；图2为本专利技术实施例提供的一种多尺度卷积融合神经网络的结构示意图；图3为本专利技术实施例提供的另一种图像超分辨率重建方法的流程图；图4为本专利技术实施例提供的一种图像超分辨率重建装置的结构框图；图5为本专利技术实施例提供的另一种图像超分辨率重建装置的结构框图；图6为本专利技术实施例提供的一种电子设备的结构示意图。图标：21-第一多尺度卷积融合块；22-第二多尺度卷积融合块；23-第三多尺度卷积融合块；24-第四多尺度卷积融合块；22a-第二多尺度卷积层；22b-第二多尺度融合层；a1-第一组卷积核；a2-第二组卷积核；a3-第三组卷积核；b1-第四组卷积核。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像；其中，所述图像重建模型是基于多尺度卷积融合神经网络建立的。

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：获取待重建的低分辨率图像；通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像；其中，所述图像重建模型是基于多尺度卷积融合神经网络建立的。2.根据权利要求1所述的方法，其特征在于，所述多尺度卷积融合神经网络包括多个相连的多尺度卷积融合块；其中，每个所述多尺度卷积融合块中包含依次相连的多尺度卷积层和多尺度融合层；所述多尺度卷积层中包含多组不同尺度的卷积核；所述多尺度融合层包含1组尺度为1*1的卷积核。3.根据权利要求1所述的方法，其特征在于，所述通过预先建立的图像重建模型，将所述低分辨率图像重建为高分辨率图像的步骤，包括：将所述低分辨率图像的位置按照第一方向及多个预设角度进行多次旋转变换，得到与每个所述预设角度对应的待重建目标图像；其中，每个所述待重建目标图像的像素值均与所述低分辨率图像的像素值一致；将多个所述待重建目标图像逐一输入预先建立的图像重建模型，经所述图像重建模型的正向传播后，分别得到每个所述待重建目标图像对应的目标输出图像；将多个所述目标输出图像的位置按照第二方向分别进行旋转变换，直至多个所述目标输出图像的位置均与所述低分辨率图像的位置一致时，对多个所述目标输出图像进行平均化处理，得到所述低分辨率图像对应的高分辨率图像；其中，所述第二方向与所述第一方向相反。4.根据权利要求1所述的方法，其特征在于，在获取待重建的低分辨率图像之前，所述方法还包括：获取训练样本集；所述训练样本集包括多个训练样本对；每个所述训练样本对中包含1个输入样本图和1个输出样本图；将所述训练样本集输入至多尺度卷积融合神经网络，通过随机梯度下降法对所述训练样本集进行训练，直至所述多尺度卷积融合神经网络的损失函数收敛至预设阈值时，结束训练，得到所述图像重建模型。5.根据权利要求4所述的方法，其特征在于，所述训练样本对的构建过程，包括：从预设的训练图库中采集出多张高分辨率样本图，并将...

【专利技术属性】
技术研发人员：杜晓凤，李建敏，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：福建,35