基于多方向特征预测先验的单幅图像超分辨率重建方法技术

本发明专利技术公开了一种基于多方向特征预测先验的单幅图像超分辨率重建方法。主要包括以下步骤：构建特征预测深度卷积神经网络；针对四个方向特征，分别训练构建的网络；利用训练好的网络模型对输入的低分辨率图像进行多方向特征预测；利用上一步骤预测的四类方向特征，构建多方向特征预测先验；构建基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数；利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。本发明专利技术所述的单幅图像超分辨率重建方法，能够获得很好的主客观效果，且抗噪声性能良好。因此，本发明专利技术是一种高性能的单幅图像超分辨率重建方法，在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用潜力。

Super-resolution reconstruction of single image based on multi-directional feature prediction prior

The invention discloses a single image super-resolution reconstruction method based on multi-directional feature prediction prior. It mainly includes the following steps: constructing feature prediction depth convolution neural network; training the constructed network according to four directional features; using the trained network model to predict multi-directional features of input low-resolution images; using the four directional features of the previous step to predict, constructing multi-directional feature prediction priori; constructing feature Pre-processing Based on deep convolution neural network The cost function of super-resolution reconstruction with measurement and degradation constraints is optimized by using TFOCS technology to obtain high-resolution image estimation. The single image super-resolution reconstruction method of the invention can obtain good subjective and objective effects, and has good anti-noise performance. Therefore, the invention is a high-performance single image super-resolution reconstruction method, and has high application potential in the fields of aerospace, traffic monitoring, medical imaging, film and television entertainment, etc.

【技术实现步骤摘要】
基于多方向特征预测先验的单幅图像超分辨率重建方法
本专利技术涉及图像分辨率提升技术，具体涉及一种基于多方向特征预测先验的单幅图像超分辨率重建方法，属于图像处理领域。
技术介绍
随着信息技术的不断发展，高分辨率的图像及视频在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用需求。但是受硬件成本、成像环境等多方面因素的制约，以及传输过程中受到的噪声干扰，获取的图像/视频质量有时仍然不能达到实际应用的需求，如存在分辨率不足、噪声干扰、模糊等降质问题。超分辨率重建技术可以对已采集的降质图像及视频进行分辨率提升，具有成本低、实用性强的特点。国内外学者们对超分辨率技术进行了深入的研究，并针对单幅图像的超分辨率重建提出了很多有效的方法。单幅图像超分辨率重建方法主要包含三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习的发展，基于学习的超分辨率重建方法取到了较大的进步，其中最为典型的就是基于深度学习的超分辨率方法。但是基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，而传统基于重建方法中的图像降质约束在很大程度上被忽略了，所以重建得到的图像可能会产生人工痕迹，限制性能的进一步提升。
技术实现思路
本专利技术的目的是提出用于多方向特征预测的深度卷积神经网络，并结合图像降质约束，构建一种高性能的单幅图像超分辨率重建方法。本专利技术提出的基于多方向特征预测先验的单幅图像超分辨率重建方法，主要包括以下操作步骤：(1)针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；(2)针对每一个方向特征，利用训练图像数据集，训练步骤(1)中构建的深度卷积神经网络，总共训练四类方向特征；(3)利用步骤(2)中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；(4)利用步骤(3)预测的四类方向特征，构建多方向特征预测先验；(5)融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；(6)利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。附图说明图1是本专利技术基于多方向特征预测先验的单幅图像超分辨率重建方法的原理框图图2是本专利技术特征预测网络的网络结构图图3是本专利技术使用的9张测试图像图4是本专利技术与四种方法对测试图像“Castle”的重建结果的对比图(超分辨率重建因子为3，高斯模糊核尺寸7×7，标准差1.5)：其中，(a)为测试图像，(b)为低分辨率图像，(c)(d)(e)(f)(g)(h)分别为双三次插值、方法1、方法2、方法3、方法4及本专利技术的重建结果图5是本专利技术与四种方法对测试图像“Monarch”的重建结果的对比图(超分辨率重建因子为3，高斯模糊核尺寸7×7，标准差1.5，噪声级为5)：其中，(a)为测试图像，(b)为低分辨率图像，(c)(d)(e)(f)(g)(h)分别为双三次插值、方法1、方法2、方法3、方法4及本专利技术的重建结果具体实施方式下面结合附图对本专利技术作进一步说明：图1中，基于多方向特征预测先验的单幅图像超分辨率重建方法，具体可以分为以下六个步骤：(1)针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；(2)针对每一个方向特征，利用训练图像数据集，训练步骤(1)中构建的深度卷积神经网络，总共训练四类方向特征；(3)利用步骤(2)中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；(4)利用步骤(3)预测的四类方向特征，构建多方向特征预测先验；(5)融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；(6)利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。具体地，所述步骤(1)中，我们构建如图2所示的用于方向特征预测的深度卷积神经网络(简称为MDFPCNN)。首先，降质的低分辨率输入图像Y被双三次插值上采样为Y↑。接着，我们通过特征提取函数Ek(·)提取Y↑的方向特征图。然后，通过使用变换函数T(x)＝x/510+0.5，将特征的值域从[-255255]规范化至[01]。接下来，每个变换的低分辨率特征T(Ek(Y↑))被MDFPCNN映射到期望的高分辨率变换特征T(Ek(X))，其中X为高分辨率图像。最后，预测的高分辨率特征可以通过逆变换T-1(x)＝510x-255得到。关于MDFPCNN结构的详细介绍如下：在MDFPCNN中，由于网络输入T(Ek(Y↑))与输出T(Ek(X))非常相似，我们采用全局残差策略。另外，为了降低MDFPCNN参数的优化求解难度，在网络内部我们也采用了局部残差学习策略。具体而言，第一个卷积层(64个滤波核，尺寸3×3×1)用于提取输入图的特征。该层的输出作为接下来的预激活残差块的输入。MDFPCNN中的预激活残差块包含两个卷积层(64个滤波核，尺寸3×3×64，其中ReLU被放到每一个卷积层的前面)，这些层预测局部残差，然后与当前残差块的局部输入相加，得到局部特征输出。在多个预激活残差块组(本专利技术中，残差块个数设为9)之后，输出经ReLU校正后输入最后一个卷积层(1个滤波核，尺寸3×3×64)，并产生MDFP网络的最终残差图像。其中，预激活残差模块的公式如下：式中，ul是第l个残差模块的输入特征，Fl＝{Fl,m|m＝1,2}与Bl＝{Bl,m|m＝1,2}为对应于第l个残差块的权重与偏移集合。表示局部残差函数。在预激活残差块中，其中为ReLU函数，“*”为卷积操作。不难证明，对第v个残差块，其特征uv可以表示为更浅的残差块ul与两个残差块之间所有的残差函数的输出的和，可以表示如下：接下来，我们将证明上式有很好的梯度传递特性，能够避免梯度消失。令代价函数为则其中第一项直接将第v个残差块对应的梯度信息反向传递到更浅的第l个残差块，而第二项保证梯度不会消失。这是因为第二项的值不可能对所有的样本始终为因为前述良好的梯度特性，MDFPCNN能够得到很好的训练，并预测出高质量的方向特征。所述步骤(2)中，即训练阶段，我们首先对训练图像数据集进行降质，然后将降质图像数据集与原始图像数据集采用相同的梯度滤波核进行方向特征提取，构建高低分辨率的训练图像对。在本专利技术中，我们提取0度，45度，90度，135度四个方向的梯度特征，对应梯度滤波核为：f1＝[000；-110；000]，f2＝[-100；010；000]f3＝[0-10；010；000]，f4＝[00-1；010；000]此后，我们利用每一个方向特征对应的训练集，采用最小化二范数损失函数(均方误差)来分别更新本专利技术步骤(1)中所构建的卷积神经网络的参数，最终得到四个方向特征预测网络。记第k个方向特征对应的可训练的参数集为对应的残差图像为Λk＝T(Ek(X))-T(Ek(Y↑))，然后我们定义全局残差映射函数为则期望的变换特征可以通过累加低分辨率输入T(Ek(Y↑))与高分辨率残差估计Λk得到。其训练代价函数可用下式表示：其中为样本数。本专利技术采用ADAM来优化上述代价函数。所述步骤(3)中，我们利用步骤(2)中训练好的四个深度卷积神经网络模型对经输入的低分辨率图像进行四个方向的特征预测。第k个方向的特征预测具体公式如下：本文档来自技高网...

【技术保护点】
1.基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；步骤二：针对每一个方向特征，利用训练图像数据集，训练步骤一中构建的深度卷积神经网络，总共训练四类方向特征；步骤三：利用步骤二中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；步骤四：利用步骤三预测的四类方向特征，构建多方向特征预测先验；步骤五：融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；步骤六：利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。

【技术特征摘要】
1.基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；步骤二：针对每一个方向特征，利用训练图像数据集，训练步骤一中构建的深度卷积神经网络，总共训练四类方向特征；步骤三：利用步骤二中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；步骤四：利用步骤三预测的四类方向特征，构建多方向特征预测先验；步骤五：融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；步骤六：利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。2.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤一所述的特征预测网络：不同于传统的基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，本发明构建的特征预测深度卷积神经网络能预测输入图像的多个高分辨率方向特征，进而应用于图像超分辨率环节；并且，该模型中使用了提出的预激活残差块，该残差块是由两个卷积层和两个个激励层(ReLU)组成，且ReLU位于卷积层的前面，理论分析表明该残差模块能够避免特征预测网络的梯度消失的问题。3.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤二所述的训练四类方向特征预测网络：首先对训练图像数据集进行降质，然后将降质图像数据集与原始图像数据集采用相同的梯度滤波核进行方向特征提取，构建高低分辨率的训练图像对；本发明提取0度，45度，90度，135度四个方向的梯度特征，对应梯度滤波核为：f1＝[000；-110；000]，f2＝[-100；010；000...

【专利技术属性】
技术研发人员：任超，何小海，吴晓红，滕奇志，卿粼波，刘屹霄，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51