一种超分辨率图像重建方法及其系统技术方案

本发明专利技术公开一种超分辨率图像重建方法，其中包括：图像分解步骤，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大步骤，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

【技术实现步骤摘要】

本专利技术涉及视频图像处理
，特别是涉及一种基于总变差分和非线性增强滤波的超分辨率重建方法及其系统。
技术介绍
随着数码产品的普及，图像作为人类获取信息的主要来源，得到了越来越广泛的应用。同时，数字图像处理技术也得到了迅速发展。而视频图像的采集是数字图像处理系统中一个关键的步骤。在数字化采集过程中，受以下几个因素的影响，图像分辨率和图像质量会下降。采样频率，欠采样使得图像的频谱混叠，因变形效应而发生降质。大气扰动、脱焦、传感器尺寸以及图像采集设备和被拍摄物体之间的相对运动，会造成图像的模糊。而在图像的获取、传输和存储过程中，也会引入噪声，如高斯噪声，也会使图像发生降质。因此，如何提高图像的分辨率和质量，使其尽可能的接近原始的图像成为近年来国际上图像处理领域的研究热点之一。而随着图像处理技术的发展和计算机计算能力的不断提升，视频图像的超分辨率重建技术为低分辨率图像的重建提供了很好的解决方案。它可以将一系列低分辨率的图像按一定的比例放大，最终产生一幅或者多幅高分辨率的图像，并且很好的保持原图的结构。现有的超分辨率重建方法主要分为三大类：第一类是基于插值的超分辨率技术；第二类是基于重建的超分辨率技术；第三类是基于学习的超分辨率技术。简单的线性插值技术比如双线性和双三次插值，计算简单但是会产生锯齿效应，同时也会模糊边缘。为了更好的保持边缘的锐度，很多基于边缘指导的插值方法被相继提出。有研究者在2001年提出在低分辨率图像上估计高分辨率图像的协方差，然后用该协方差来进行插值。另有研究者在2008年提出一种基于分块的自回归模型，一次估计整块像素。另有研究者在2012年提出一种鲁棒的软决策插值技术，在参数和像素的估计中，都采用加权最小二乘法。然后，这些方法都只考虑了边缘部分的重建，没有考虑纹理部分的重建。基于重建的超分辨率技术，是模拟图像降质的反过程，去解一个优化方程。图像降质过程是，一幅高分辨率图像，经过模糊之后，降采样得到低分辨率图像。另有研究者在2005年提出的基于图像总变差分的方法是该类方法中很有代表性的一个。在该方法中，图像的总变差分作为约束项，加到优化方程中，从而约束问题的解。它在保持边缘锐度的同时可以极大的抑制人造效应。另有研究者在2011年提出通过低分辨率图像的梯度来估计高分辨率图像边缘的梯度，然后把估计得到的梯度作为约束项，加入到优化方程中。近年来，一些基于学习的超分辨率重建方法也不断被提出。另有研究者在2010年提出一种基于稀疏表示的超分辨率重建方法。该方法提出，图像块可以被一个超完备的字典中的元素通过线性组合的方式表示，其中，非零系数的个数会尽可能的少。所以，首先产生两个超完备的字典集合，这两个集合中的图像块是一一对应的，分别是低分辨率图像和高分辨率图像。对于输入的任意低分辨率图像块，在低分辨率字典中寻找一种稀疏表示，然后用这一组稀疏在高分辨率字典中生成高分辨率图像块。另有研究者在2016年提出使用深度学习的方法来重建高分辨率图像。基本方法是，生成多组低分辨率和高分辨率图像对，然后把低分辨率图像作为卷积神经网络的输入，把高分辨率图像作为卷积神经网络的输出，训练网络。对于训练好的网络，把任意低分辨率图像作为输入，产生高分辨率图像作为重建结果。现有的算法是基于插值的方法，计算量低，但是重建的效果差。基于重建的方法，不能同时将边缘和纹理两个部分都很好的重建。基于学习的方法中，计算机复杂度高，而且对于训练库的选择也有很强的依赖性。本专利技术提供一种基于总变差分和非线性增强滤波的超分辨率重建方法，可以很好的对图像的边缘结构和纹理结构进行重建。首先，通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节。然后，对这两部分分别进行放大。对于结构部分，先用线性插值进行放大，然后用一个非线性锐化滤波器进行锐化，并采用改进的非局部均值滤波进行后处理。对于纹理部分，采用脉冲锐化滤波器，对纹理图像进行增强。最后，将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。本专利技术要解决的技术问题是：实现图像超分辨率重建，同时保持图像的边缘和纹理结构，并降低运算复杂度，满足实时性的要求。
技术实现思路
本专利技术提供一种超分辨率图像重建方法，其中，包括：图像分解步骤，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大步骤，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。本专利技术的超分辨率图像重建方法优选为，所述图像放大步骤包括：结构图像放大子步骤，对于所述结构部分，先用线性插值进行放大，然后用一个非线性锐化滤波器进行锐化，并采用改进的非局部均值滤波进行后处理；和纹理图像放大子步骤，对于所述纹理部分，采用脉冲锐化滤波器，对纹理图像进行增强。本专利技术的超分辨率图像重建方法优选为，在所述图像分解步骤中，通过求解以下最小化方程进行图像分解：其中是图像u的梯度，梯度越小，说明图像越平滑，λ是拉格朗日乘子，用来平衡这两部分的权重。本专利技术的超分辨率图像重建方法优选为，在所述图像分解步骤中，方程式(1)中的λ取0.85。 min u ∫ [ ▿ u ] + λ ∫ | f - u | - - - ( 1 ) ]]>本专利技术的超分辨率图像重建方法优选为，在所述结构图像放大子步骤中，进行基于冲击滤波的结构图像锐化，采用传统的双三次插值处理输入的结构图像，获得初始放大后的结构图像Iu0，然后采用冲击滤波器对边缘进行锐化操作，冲击滤波器对像素的迭代操作如下： Iu n + 1 = Iu n - s i g n ( ΔIu n ) | | ▿ Iu n | | t ...... ( 2 ) ]]>其中，t是迭代步长，n是迭代次数，初始为0，ΔIun和通过以下方式进 Δ I u = Iu x x · Iu x 2 + 2 · Iu x x Iu x 本文档来自技高网...

【技术保护点】
一种超分辨率图像重建方法，其特征在于，包括：图像分解步骤，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大步骤，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，包括：图像分解步骤，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大步骤，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，在所述图像放大步骤包括：结构图像放大子步骤，对于所述结构部分，先用线性插值进行放大，然后用一个非线性锐化滤波器进行锐化，并采用改进的非局部均值滤波进行后处理；和纹理图像放大子步骤，对于所述纹理部分，采用脉冲锐化滤波器，对纹理图像进行增强。3.根据权利要求1或2所述的超分辨率图像重建方法，其特征在于，在所述图像分解步骤中，通过求解以下最小化方程进行图像分解： m i n u ∫ [ ▿ u ] + λ ∫ | f - u | - - - ( 1 ) ]]>其中是图像u的梯度，梯度越小，说明图像越平滑，λ是拉格朗日乘子，用来平衡这两部分的权重。4.根据权利要求3所述的超分辨率图像重建方法，其特征在于，在所述图像分解步骤中，方程式(1)中的λ取0.85。5.根据权利要求2所述的超分辨率图像重建方法，其特征在于，在所述结构图像放大子步骤中，进行基于冲击滤波的结构图像锐化，采用传统的双三次插值处理输入的结构图像，获得初始放大后的结构图像Iu0，然后采用冲击滤波器对边缘进行锐化操作，冲击滤波器对像素的迭代操作如下： Iu n + 1 = Iu n - s i g n ( ΔIu n ) | | ▿ Iu n | | t ... ... ( 2 ) ]]>其中，t是迭代步长，n是迭代次数，初始值为0，ΔIun和通过以下方 Δ I u = Iu x x &CenterDo...

【专利技术属性】
技术研发人员：贾惠柱，杨帆，解晓东，杨长水，陈瑞，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11