一种基于三级卷积神经网络的单幅图像超分辨率重建方法技术

本申请提供一种基于三级卷积神经网络的单幅图像超分辨率重建方法和系统，该方法将图像的放大倍数分成3级，逐级利用上采样技术和卷积神经网络来实现图像重建。根据低分辨率图像尺寸，建立3级分辨率模型。利用16个梯度算子对各级分辨率图像进行卷积后，以重叠方式提取特征图像块作为卷积神经网络的输入向量，获得相应目标输出，并转化为5*5大小的图像块作为相应分辨率图像位置的图像块。平滑处理重叠像素部分，并采用迭代反投影方法来修正重建所得的高分辨率图像。针对卷积神经网络模型的训练方法，利用各级分辨率清晰图像以重叠方式提取目标列向量，构建输入样本集和输出目标集作为训练数据样本。本申请能够消除部分图像模糊，改善高倍数分辨率图像的重建质量。改善高倍数分辨率图像的重建质量。改善高倍数分辨率图像的重建质量。

【技术实现步骤摘要】
一种基于三级卷积神经网络的单幅图像超分辨率重建方法


[0001]本申请涉及图像高质量重建
，尤其涉及一种基于三级卷积神经网络的单幅图像超分辨率重建方法和系统。

技术介绍

[0002]目前在图像高质量重建
，已有不少现有技术使用卷积神经网络来时先图像的超分辨率图像，例如：
[0003]CN108830790B采用单级精简卷积神经网络，利用多帧来实现视频超分辨率重建方法。
[0004]CN108921789A采用单级递归残差网络来实现超分辨率单幅图像的重建方法。
[0005]CN109064405A构建多尺度超分辨率模型，通过在高层特征提取模块中采用双路径架构以及局部残差学习和层次特征融合，实现单幅图像超分辨率重建。
[0006]CN109767386A专利技术一种基于深度学习的快速图像超分辨率重建方法，采用融合特征抽取与细节重建的卷积神经网络来实现单幅图像超分辨率重建。
[0007]CN109829855A公开了一种基于融合多层次特征图的超分辨率重建方法，类似于CN109767386A，采用融合特征抽取与细节重建的卷积神经网络来实现单幅图像超分辨率重建，只是网络结构不一致。
[0008]以上方法仍然存在部分图像模糊，在高倍数分辨率情况下特定目标图像的重建质量一般的技术问题。

技术实现思路

[0009]有鉴于此，本申请的目的在于提出一种基于三级卷积神经网络的单幅图像超分辨率重建方法和系统，本申请能够针对性的解决现有的问题。
[0010]基于上述目的，本申请提出了一种基于三级卷积神经网络的单幅图像超分辨率重建方法，包括：
[0011]步骤1.利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；
[0012]步骤2.利用采集的低分辨率图像信息和放大倍数，建立三级分辨率图像模型；
[0013]步骤3.利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；
[0014]步骤4.逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
[0015]基于上述目的，本申请还提出了一种基于三级卷积神经网络的单幅图像超分辨率重建系统，包括：
[0016]训练模块，利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；
[0017]三级建模模块，利用采集的低分辨率图像信息和放大倍数，建立三级分辨率图像
模型；
[0018]特征提取模块，利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；
[0019]图像重建模块，逐级利用上采样技术和卷积神经网络来实现图像高质量重建。
[0020]总的来说，本申请的优势及给用户带来的体验在于：
[0021]本申请利用三级卷积神经网络和双三次插值技术，采取逐级重建的方法，实现高倍数单幅图像超分辨率重建方法。这种方法能够消除部分图像模糊，改善高倍数分辨率情况下特定目标图像的重建质量。
附图说明
[0022]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0023]图1是本申请一种基于三级卷积神经网络的高倍数单幅图像超分辨率重建方法流程示意图。
[0024]图2是三级分辨率图像模型示意图。
[0025]图3是16个梯度算子示意图。
[0026]图4是卷积神经网络的训练流程示意图。
[0027]图5是卷积神经网络结构图。
[0028]图6是Li级分辨率图像的重建过程示意图。
[0029]图7为本申请实施例提供的一种图像超分辨率重建(放大4倍)效果示意图。
[0030]图8示出根据本申请实施例的基于三级卷积神经网络的单幅图像超分辨率重建系统的构成图。
[0031]图9示出了本申请一实施例所提供的一种电子设备的结构示意图。
[0032]图10示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
[0033]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0034]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0035]图1为一种基于3级卷积神经网络的高倍数单幅图像超分辨率重建方法。将图像的放大倍数分成3级，逐级利用上采样技术和卷积神经网络实现图像重建。具体步骤如下：
[0036]步骤1.利用上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型。
[0037]1.1根据放大倍数n及高分辨率图像信息，建立3级分辨率图像模型。
[0038]低分辨率图像大小为w0×
h0，高分辨率图像大小为w3×
h3，满足w3＝n*w0和h3＝n*h0。设三级分辨率图像模型示意图如图2所示，w1＝[w0*l],h1＝[h0*l]，w2＝[w0*l2]，h2＝[h0*l2]，其中，l满足l3＝n，符号[]表示就近取整。其中w代表图像的长，h代表图像的宽。
[0039]1.2采集原始高分辨率图像(如车牌图像)，利用下/上采样技术，建立3级分辨率清晰图像集和模糊图像集。将高分辨率图像(L3级)分别利用下采样技术，得到L0，L1，L2级分辨率清晰图像。将L0，L1，L2级分辨率清晰图像，采用上采样技术，得到L1，L2，L3级分辨率模糊图像，由此形成3个图像集{L
i
级分辨率清晰图像，L
i
级分辨率模糊图像}，其中i＝0，1，2，3，下同。
[0040]1.3利用16个梯度算子(如图3)对L
i
级分辨率模糊图像进行提取16维图像特征，拼接构成三维特征图像w
i
×
h
i
×
16，w
i
和h
i
分别表示L
i
级分辨率图像的长和宽。以不重叠方式提取图像块5
×5×
16，并转化为20
×
20特征图像，作为训练的输入特征图集。每幅图像转化为N
i
幅20
×
20特征图像构成输入向量集，其中N
i
＝(w
i
‑
4)
×
(h
i
‑
4)。如果图像样本数为M，则总的输入向量集大小为20
×
20
×
MN
i
。L
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三级卷积神经网络的单幅图像超分辨率重建方法，其特征在于，包括：步骤1.利用下/上采样技术和特征提取方法获取训练样本，训练卷积神经网络模型；步骤2.利用采集的低分辨率图像信息和放大倍数，建立三级分辨率图像模型；步骤3.利用双三次线性插值法将低一级的分辨率图像分别转化为高一级的分辨率图像，利用16个梯度算子对各级分辨率图像提取图像特征；步骤4.逐级利用上采样技术和卷积神经网络来实现图像高质量重建。2.根据权利要求1所述的方法，其特征在于，步骤1所述卷积神经网络模型的训练方法如下：1.1根据放大倍数n及高分辨率图像信息，建立3级分辨率图像模型；1.2采集原始高分辨率图像，利用下/上采样技术，建立3级分辨率清晰图像集和模糊图像集；将高分辨率图像L3级分别利用下采样技术，得到L0，L1，L2级分辨率清晰图像；将L0，L1，L2级分辨率清晰图像，采用上采样技术，得到L1，L2，L3级分辨率模糊图像，由此形成3个图像集{L
i
级分辨率清晰图像，L
i
级分辨率模糊图像}，其中i＝0，1，2，3；1.3利用16个梯度算子对L
i
级分辨率模糊图像进行卷积，提取16维图像特征，拼接构成三维特征图像，以不重叠方式提取图像块，并转化为特征图像，作为训练的输入特征图集；L
i
级分辨率清晰图像，以不重叠方式提取图像块，转为列向量，构成目标输出向量集；1.4.将输入特征图集和目标输出向量集作为输入数据集和输出目标向量集对卷积神经网络进行训练，获得训练后的卷积神经网络模型。3.根据权利要求1所述的方法，其特征在于，步骤3所述提取图像特征的过程如下：3.1利用16个梯度算子对L
i
级低分辨率图像进行卷积，提取16维特征图像；3.2拼接构成三维特征图像，以不重叠方式提取图像块，并转化为特征图像作为输入特征集。4.根据权利要求1或3所述的方法，其特征在于，步骤3所述16个梯度算子为一组梯度模板，如下：
5.根据权利要求3所述的方法，其特征在于，步骤4所述图像高质量重建的过程如下：4.1将所述输入特征集作为卷积神经网络的输入向量，计算实际输出向量，并转化为图像块；4.2将L
i
‑1级分辨率图像利用双三次线性插值法，转化为L
i
级分辨率图像，以重叠方式提取图像块，并计算其均值，与4.1中对应图像块做平滑处理，形成L
i
级分辨率清晰图像；4.3采用迭代反投影方法来修正重建所得的L<...

【专利技术属性】
技术研发人员：文志强，舒文亮，曾志高，喻芳，
申请(专利权)人：湖南工业大学，
类型：发明
国别省市：