基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法技术

本发明专利技术涉及基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，包括：S1建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，即一致性约束模型；S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；S3：建立基于对称冗余深度神经网络的训练模型，获得高分辨率图像和低分辨率图像之间的映射关系。S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

Super-resolution reconstruction of single frame image based on multiple differential consistency constraints and symmetric redundant network

The invention relates to a single frame image super-resolution reconstruction method based on multiple differential consistency constraints and symmetric redundant network, including: S1 establishes the consistency correspondence between low-resolution image and high-resolution image, respectively establishes the observation model about structure, edge and texture, i.e. consistency constraint model by obtaining 0-order gradient, 1-step degree and 2-step degree; S2: according to The types of reconstruction images are needed, and the corresponding training sets in structure, edge and texture level are constructed between high-resolution image and low-resolution image; S3: the training model based on symmetric redundant depth neural network is established to obtain the mapping relationship between high-resolution image and low-resolution image. S4: the consistency constraint model of step S1 and the prior constraint of step S3 are used to build the super-resolution reconstruction model, and the solution is carried out to get the reconstructed super-resolution image.

【技术实现步骤摘要】
基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法
本专利技术涉及基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，属于计算机图像处理领域。
技术介绍
获取高分辨率图像是计算机视觉和后续相关领域的重要基础。目前的超分辨率重建方法可以广义得分为单帧重建算法和多帧重建算法。单帧重建算法是指利用一幅受到噪声、模糊、降采样等降质因素影响的低分辨率图像来重建出其对应的高分辨率图像所需的算法。具体参见文献W.Shi,J.Caballero,F.Huszar,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,Z.Wang,Real-TimeSingleImageandVideoSuper-ResolutionUsinganEfficientSub-PixelConvolutionalNeuralNetwork.IEEEConferenceonComputerVisionandPatternRecognition,1874-1883,LasVegas,NV,UnitedStates,2016及文献Y.Zhang,Q.Fan,F.Bao,Y.Liu,C.Zhang,Single-ImageSuper-ResolutionBasedonRationalFractalInterpolation.IEEETransactionsonImageProcessing,27(8):3782-797,2018。多帧图像重建算法是指利用同一场景下的多帧有相对位移的低分辨率图像(受到噪声、模糊、降采样等降质因素影响的降质图像)来重建一帧高分辨率图像，具体参见文献K.Konstantoudakis,L.Vrysis,N.Tsipas,C.Dimoulas,Blockunshiftinghigh-accuracymotionestimation:Anewmethodadaptedtosuper-resolutionenhancement.SignalProcessing:ImageCommunication,65:81-93,2018及文献I.Mourabit,M.Rhabi,A.Hakim,A.Laghrib,E.Moreau,Anewdenoisingmodelformulti-framesuper-resolutionimagereconstruction.SignalProcessing,132(C):51-65,2017。目前，解决单帧图像超分辨率重建算法有最优化方法和学习方法两种。基于最优化方法是建立观测模型后，依赖先验模型(内部估计)进行图像重建。而基于学习方法依赖于前期建立的数据集(外部模型)。依赖先验模型的算法以人们的主观意志为转移，依靠前期经验就某一种特征进行加强而忽略了其他多种特征，具有强烈的人工倾向性，例如：TV先验着重强调边缘的保护而忽略纹理细节的保护，从而导致重建图像过平滑。学习方法依赖于外部图像库，这存在两个问题，1，图像库是否完备，不完备则某些特征无法恢复；2，内部结构性信息没有良好把握，主要依赖外部信息进行恢复。因此，解决单帧图像超分辨率重建寻找一个契合点，从图像自身特征出发，从多重特征层面利用一致性约束减少人工倾向性约束，同时利用外部图像库训练特征集，利用多重梯度特征补全原图像缺失特征，从而达到重建的效果。
技术实现思路
针对现有技术的不足，本专利技术提供了基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法；本专利技术的目的是有效整合图像内外部信息建立一种基于多重梯度和对称卷积深度网络的单帧图像超分辨率重建算法模型。获取内部信息指的是图像的结构、梯度和细节信息。获取外部信息指的是利用对称卷积深度网络训练已有数据级，从结构、梯度和细节方面获得有效支持，补全缺失信息。利用半二次迭代算法整合内外部信息，达到超分辨率重建的目的。术语解释：1、多重微分一致性约束：本专利技术所提出的多重微分一致性约束指的是在单帧图像重建过程中，为了有效复原图像的结构、边缘和纹理信息，利用0阶梯度，1阶梯度和2阶梯度对待估图像进行一致性约束，使得在仿真情况下的降质尽可能符合实际。2、对称冗余网络：所涉及的网络是一个对称的深度网络，所谓的对称指的是网络分为编码和解码两部分(图1所示)，编码过程分为5个相同的功能块，每个功能块包括卷积操作，批量标准化操作和激活操作。对称的，解码过程也分为5个功能块，同样每个功能块中包括反卷积，批量标准化和激活操作。所谓冗余指的是在神经网络训练过程中，训练的信息为残差信息，即估计值和标签值的差值。3、0阶梯度、1阶梯度、2阶梯度：假设m×n图像定义为X(i,j),i＝1,…n；j＝1,…,m，所谓0阶梯度即灰度差值，1阶梯度是利用1阶差分函数：2阶梯度即利用Laplace函数求解图像在横坐标方向(x方向)和纵坐标方向(y方向)的2阶差分：4、结构：图像结构即图像的构图信息由图像的边缘区域、平坦区域和角点区域组成，描述了图像的整体框架。5、边缘(梯度)：边缘是图像属性区域和另一个属性区域的交接处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方，图像的边缘包含着丰富的信息。在本领域通常指的是1阶梯度值较大的区域。6、半二次迭代方法：将正则项中的原始变量进行变量替换，然后增加拉格朗日乘子项和二次惩罚项。7、纹理：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。在本领域通常指的是1阶梯度值较小的区域。本专利技术的技术方案为：基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，包括步骤如下：S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；所述种类，是指在重建高分辨率图像时，由于图像的内容不同会导致图像结构、边缘、纹理等信息的巨大差异，为了尽可能多的弥补这些差异，需要将待重建的图像根据内容不同划归到不同种类图像中，例如，医学领域的CT图像，MRI图像；建筑物图像、人脸图像、其他领域的自然图像等相同或者相似的种类中，以获取更多的信息支持，而这些获取到的内容被称之为外部信息。相对于高分辨率图像，低分辨率图像包括了模糊、噪声；由于不同的特征对于噪声、模糊等降质因素的响应不同，因此为了保证噪声、模糊的有效去除，在建立训练集时，需要针对性的选取部分包含大梯度边缘的图像对、部分包含丰富纹理的图像对作为训练集的组成部分。S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。根据本专利技术优选的，一般，数据保真模型可以写作：该模型利用0阶梯度描述了低分辨率图像y和仿真低分辨率图本文档来自技高网...

【技术保护点】
1.基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，包括步骤如下：S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

【技术特征摘要】
1.基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，包括步骤如下：S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。2.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，步骤S1中，构建的一致性约束模型如式(I)所示：式(I)中，F(x,y)表示本发明建立的基于低分辨率图像y和高分辨率图像x之间的多重微分一致性约束函数，i的取值分别为0，1，2，分别用来标记0阶梯度，1阶梯度，2阶梯度，λi为第i阶梯度的权重参数，ψ0为恒等变换，ψ1为1阶梯度算子，ψ2为2阶梯度算子，ψi(y)表示对低分辨率图像y求第i阶梯度，ψi(Wx)表示对拟合的低分辨率图像Wx求第i阶梯度。3.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S2，包括：构建高分辨率图像集和对应的低分辨率图像集i为样本序号，n为训练样本库大小；xi表示训练样本库中第i帧高分辨率图像，yi表示训练样本库中与xi相对应的第i帧低分辨率图像。4.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S3，基于对称冗余深度神经网络的训练模型是一个对称模型，包括编码部分和对称的解码部分，编码部分包括5个一样的功能模块，每一个功能模块包括卷积、归一化和激活操作；对称的解码部分也包括5个功能模块，每一个功能模块包括反卷积、归一化和激活操作；编码部分的从左往右的5个功能模块的通道数量分别为...

【专利技术属性】
技术研发人员：赵盛荣，梁虎，董祥军，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东,37