一种双通道卷积神经网络的单图像超分辨率计算方法技术

本发明专利技术公开一种双通道输入卷积神经网络的单图像超分辨率计算方法，包括(1)把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；(2)把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；得到高分辨率图像的纹理部分和平滑结构部分；(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，得到高分辨率纹理部分的输出；(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；(5)计算步骤(4)和步骤(2)得到的高分辨率纹理部分之间的差值得到纹理部分损失；最小化纹理损失与图像损失的和来优化网络结构参数。

A single image super-resolution method for double channel convolution neural network

The invention discloses a double channel input calculation method of single image super-resolution convolutional neural network, including (1) the known high resolution image degradation after fuzzy processing, get low resolution images of the same size; (2) to step (1) low resolution images obtained after fuzzy processing is decomposed into low resolution image texture partial and smooth structure; get smooth texture part and structure part of the high resolution image; (3) to step (2) obtained low resolution texture and the original low resolution image obtained by combination of dual channel input to output high resolution texture; (4) the combination step (3) to obtain the high resolution part of the output with the original texture of low resolution image super resolution reconstruction results to complete the final image super-resolution reconstruction; (5) calculation steps (4) and step (2) obtained by high resolution texture The difference between the textures is partially lost, and the sum of the texture loss and image loss is minimized to optimize the network structure parameters.

【技术实现步骤摘要】
一种双通道卷积神经网络的单图像超分辨率计算方法
本专利技术属于图像处理
，具体涉及一种双通道卷积神经网络的单图像超分辨率计算方法，该方法适用于多种计算机视觉任务，如人脸识别、目标跟踪、车牌识别等。
技术介绍
单图像超分辨率(SR,Super-Resolution)技术是指通过软件方式把一幅低分辨率(LR,Low-Resolution)图像恢复成高分辨率(HR,High-Resolution)图像的过程。该技术具有广泛的应用，如视频监控、医学成像、遥感卫星成像等。现有的SR率算法可分为三类：基于插值[1]、基于重建[2]和基于学习的方法[3-10]。其中基于学习的图像SR算法，学习LR和HR图像之间的函数映射关系，生成最终的HR图像，具有更好的复原效果，是近年来研究的热点。Chang等[4,5]引入局部线性嵌入法(LLE,Locallylinearembedding)来计算重建图像加权平均的权值。假设HR图像块和对应的LR图像块在几何上具有相似性，通过LLE算法计算出一组最优的线性组合系数，使得样本库中的K个最近邻样本LR块经过这组系数加权平均得到的图像与输入LR图像块之间的误差最小；再将这组系数直接应用于K个样本中的HR图像块，从而得到HR图像。Yang等[6,7]对LR和HR样本图像块构成的样本库进行稀疏表示，并通过联合训练的方式找到LR和HR图像块对应的过完备字典。这种联合训练的方式迫使对应的LR块和HR块通过各自的字典所获得的稀疏系数相同，并由此建立起LR与HR之间的桥梁。基于稀疏字典的图像SR算法[7]建立稀疏先验约束，在稀疏编码过程自动选择参与SR重建的字典原子数量，而非LLE中人为的设定。这类方法较LLE方法重建质量更高，但是稀疏编码和重建过程需要多次迭代，算法复杂度较大。Jim等[8]改进了Yang等的算法，分别重建图像高频纹理部分和平滑部分，纹理部分采用稀疏表示的方法重构，平滑部分简单地用插值的方法恢复，然后组合两部分得到结果的HR图像，增强了图像纹理细节。以上基于学习的SR算法主要分为特征提取、学习和重建三个阶段。各阶段分别独立设计优化，且学习模型的特征提取与表达能力有限。近年来，深度学习引起了广泛的关注，它的出现弥补了传统基于学习方法的不足。其中，Dong等[9]率先将卷积神经网络(CNN,ConvolutionalNeuralNetwork)引入到图像SR复原问题中，设计了基于深度CNN的图像SR复原方法(SRCNN)。该方法主要思想：以深度学习与传统的稀疏编码之间的关系为依据，将网络分为图像块提取、非线性映射和重建三个阶段，再将这三个阶段统一到一个深度CNN的框架中，学习LR图像到HR图像之间的端到端映射关系。网络结构上，将稀疏编码过程看作卷积操作，利用三层卷积层完成图像块提取、非线性映射和重建操作。优化方式上，传统的基于学习的SR方法对三个阶段分别独立优化处理，忽略了整体框架的优化。SRCNN[9]采用联合优化方式，图像重建性能有了较大的提高。SRCNN模型证明了直接学习LR和HR之间端到端的映射简单可行，效果也很好，但重构出的高频特征仍然不能令人满意。Jim和Dong等方法的启发，本专利技术提出一种结合形态学成分分析(MCA,MorphologicalComponentAnalysis)[11]分解的边缘指导双通道CNN算法。首先，利用MCA算法，将待处理的LR图像分解为边缘纹理部分和平滑结构部分；边缘纹理部分和原LR图像共同组成双通道，输入到CNN中得到HR纹理图像输出；再将HR纹理输出图像与原LR图像合并，得到重建的HR图像；最后通过最小化纹理损失和原图像损失之和训练网络结构参数。实验结果表明，本专利技术提出的边缘指导双通道模型超分辨率算法在结果图像中能够保留更多高频细节信息，同时也可以很好地减弱振铃现象。实验的评价指标PSNR值也证明了本专利技术模型算法的有效性。本专利技术引用到的现有技术参考文件列出如下：[1]ZhangL,WuX.Anedge-guidedimageinterpolationalgorithmviadirectionalfilteringanddatafusion[J].IEEETransactionsonImageProcessing,2006,15(8):2226-2238.[2]RastiP,DemirelH,AnbarjafariG.Imageresolutionenhancementbyusinginterpolationfollowedbyiterativebackprojection[C]//SignalProcessingandCommunicationsApplicationsConference.Haspolat,Turkey:IEEEPress,2013:1-4.[3]FreemanWT,JonesTR,PasztorEC.Example-basedsuper-resolution[J].IEEEComputerGraphicsandApplications,2002,22(2):56-65.[4]ChangH,YeungDY,XiongYM.Super-resolutionthroughneighborembedding[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecongnition.Washington,USA:IEEEPress,2004:1-1.[5]ChangTM,ZhangJP,PuJ,HuangH.Neighborembeddingbasedsuper-resolutionalgorithmthroughedgedetectionandfeatureselection[J].PatternRecognitionLetters,2009,30(5):494-502[6]YangJianchao,WrightJ,HuangT,etal.ImageSuper-resolutionasSparseRepresentationofRawImagePatches[C]//IEEEConferenceonComputerVisionandPatternRecongnition.Anchorage,USA:IEEEpress,2008:1-8.[7]YangJC,WrightJ,HuangTS,MaY.Imagesuperresolutionviasparserepresentation[J].IEEETransactionsonImageProcessing,2010,19(11):2861-2873[8]JingG,ShiY,LuB.Single-ImageSuper-ResolutionBasedonDecompositionandSparseRepresentation[C]//InternationalConferenceonMultimediaCommunications,HongKong:IEEEpress,2011:127-130.ChaoDong,C.C.Loy,K.He,X.Tang.ImageSuper-Resolution本文档来自技高网...

【技术保护点】
一种基于双通道输入卷积神经网络的单图像超分辨率计算方法，其特征在于，包括以下步骤：(1)通过插值方法把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；(2)使用形态学成分分析方法把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；对原高分辨率图像做相同的处理，得到高分辨率图像的纹理部分和平滑结构部分；(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，然后输入到双通道网络结构中，得到高分辨率纹理部分的输出；(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；(5)计算步骤(4)高分辨率纹理输出和步骤(2)高分辨率图像分解得到的高分辨率纹理部分之间的差值得到纹理部分损失；计算步骤(4)得到的重构高分辨率图像的结果与原高分辨率图像的差值得到图像损失；最小化纹理损失与图像损失的和来优化网络结构参数。

【技术特征摘要】
1.一种基于双通道输入卷积神经网络的单图像超分辨率计算方法，其特征在于，包括以下步骤：(1)通过插值方法把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；(2)使用形态学成分分析方法把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；对原高分辨率图像做相同的处理，得到高分辨率图像的纹理部分和平滑结构部分；(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，然后输入到双通道网络结构中，得到高分辨率纹理部分的输出；(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；(5)计算步骤(4)高分辨率纹理输出和步骤(2)高分辨率图像分解得到的高分辨率纹理部分之间的差值得到纹理部分损失；计算步骤(4)得到的重构高分辨率图像的结果与原高分辨率图像的差值得到图像损失；最小化纹理损失与图像损失的和来优化网络结构参数。2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述退化处理分为模糊和下采样两步，具体如下：y＝DHx+v1),其中H和D分别为模糊和下采样因子，v为图像处理过程的加性噪声，给定低分辨率图像y，图像超分辨率的目的是解决下面的最大后验概率(MAP)问题：其中，p(·)是x的先验规则项，直接学习高、低分辨率图像的映射关系会忽略高频细节，采用高频纹理细节特征参与高分辨图像重建。3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述使用形态学成分分析方法进行图像分解的步骤包括：(2-1)将步骤(1)处理得到的低分辨率图像，通过稀疏表示和全变分方法将图像分解为不同形态的空间特征；为强化图像的高频纹理信息，只把图像分成两种形态：纹理部分和平滑结构部分；输入图像X，X是两个不同部分的线性组合，纹理部分Xt和结构部分Xn，则有X＝Xt+Xn3)分离包含图像纹理部分的Xt和包含图像结构部分的Xn，需要把每一部分用一个给定的联合字典稀疏表示，即Xt＝Ttαt,Xn＝Tnαn，其中Tt,Tn∈MR×L；求解以下最优化问题：其中，Xt＝Ttαt+Tnαn4),把不易求解的公式4)转化成一个凸优化问题，用l1代替l0范式，得到：其中，||X-Ttαt-Tnαn||≤ξ5),式中，参数ξ表示图像噪声约束，由于TV模型能够有效复原分段平滑图像的显著边缘，因此在图像平滑成分分解中增加一个TV约束项，如5)式所示，惩罚项γTV{Tnαn}使得分解的平滑图有一个稀疏的梯度，更接近分段平滑图像，使用低分辨率图像与其纹理部分的插值，即Y-Ttαt代替分解后的低分辨率平滑结构图片Nl，用于SR重建；(2-2)利用形态学成分分析方法分解高分辨率图像为纹理部分和平滑结构部分，流程如下：步骤1初始化设置阈值因子Lmax＝255，参数λ＝1、γ＝0.8，迭代次数N＝30，令Xn＝X，Xk＝0，γ＝λLmax；执行N次迭代：步骤2固定Xk，更新Xn计算冗余误差：R＝X-Xn-Xk；计算Xn+R的小波变换：使用阈值δ进行阈值处理，得到通过重构Xn，步骤3固定Xn，更新Xk计算冗余误差：R＝X-Xn-Xk；计算Xn+R的局部DCT变换：使用阈值δ进行阈值处理，得到通过重构Xn，步骤4求解TV拘束项，更新阈值δ，通过以下公式对TV约束项调整：

【专利技术属性】
技术研发人员：李春平，贾慧秒，周登文，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：北京,11