一种基于边缘差异约束的单幅图像超分辨率重建方法技术

一种基于边缘差异约束的单幅图像超分辨率重建方法的实现包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，进行主成分分析字典训练得到训练字典。步骤2，利用该字典构建重建模型，并通过迭代阈值收缩得到具有较好边缘结构的初始重建高分辨率图像。步骤3，利用图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。本发明专利技术考虑到初始重建高分辨率图像与原始清晰图像存在一定的差异，进一步提出了后处理优化方法，丰富图像的边缘和纹理等细节信息。

【技术实现步骤摘要】

本专利技术属于计算机图像处理
，涉及一种单幅图像的超分辨率重建方法。
技术介绍
随着智能视频图像处理技术和网络技术的飞速发展，在视频监控、卫星遥感成像、军事侦察、医学成像、多媒体娱乐等应用领域都需要高分辨率图像。在获取视觉图像过程中，由于系统像差、散焦、空气的扰动和噪声的存在，获得的图像或序列往往存在一定的降质或退化，如变形、模糊、降采样或含噪等。为了获取高分辨率图像，最直接最有效的方法是提升硬件成像设备的分辨率级别，即增加传感器单位面积元件密度。一方面减小单元像素尺寸，从而增加传感器单元密度，提高图像分辨率。但是随着像素尺寸的减小，相应的入射光就会减少，往往会导致散粒噪声的出现，图像质量下降。另一方面可以增大传感器的设计尺寸，从而增加单位面积上的像素个数以提高图像分辨率。然而随着尺寸的增加，传感器电容增多，图像传输性急剧下降，导致图像视觉效果变差，边缘出现模糊现象等。在实际应用中，通过改变硬件成像设备分辨率来提高图像质量的方法，不仅经济成本高，而且硬件系统更换复杂性较高，不具有实时性。更值得注意的是，在智能视频监控，卫星遥感成像等场合，由于受成像环境和相机与被拍摄目标之间的相对运动等因素影响，即使使用高分辨率成像设备仍然不能获取满足实际应用要求的图像。随着信息处理技术和计算机技术的发展，针对硬件成像设备限制的问题，研究学者们从图像退化的角度考虑，提出了通过数字信号处理方法对图像进行软件处理以提高图像分辨率，这种方法称之为图像超分辨率重建(SuperResolutionReconstruction,SRR)。该方法是在不改变现有硬件成像条件的前提下，通过一幅或者多幅低分辨率(Low-Resolution,LR)图像来获取高分辨率(High-Resolution,HR)图像，进而达到节约成本，改善图像质量的目的。目前国内外学者针对单幅图像超分辨率重建这一逆问题，提出了许多重建算法，主要可分为三个范畴：基于插值的方法、基于重建的方法和基于学习的方法。其中，基于插值的超分辨率重建方法是一种广泛应用的方法，其理论简单、速度快，但是该方法侧重图像的平滑，重建后的图像还会产生振铃和锯齿效应。基于重建的方法虽然能够在重建的过程中引入先验信息，然而当引入多项先验正则化约束时，正则化约束参数的选择很难实现自适应取值。同时，当实际应用中要求重建倍数较大时，所提供的先验知识有限，很难满足实际应用要求。相比于基于插值和重建的方法，基于学习的方法首先通过学习外部训练库样本图像或者图像自身来获取先验信息，随后在图像重建过程中将先验信息作为约束项，从而保证图像解的稳定性和唯一性。近年来，研究学者广泛研究了基于学习的重建方法，在重建过程中加入不同的图像约束，特别是基于图像自相似性特征的重建方法。该方法能够有效保护图像几何结构并抑制噪声。但是随着噪声的增大，图像中不同非局部相似块对应的权重大小相近，其加权平均压制了图像的高频信息，从而导致图像边缘和纹理等细节结构出现平滑和模糊的现象。因此，有必要探索一种边缘保持约束，并结合图像非局部自相似性进行图像超分辨率重建，以实现保持图像边缘结构并有效抑制噪声的目的。
技术实现思路
本专利技术的目的是提出一种基于边缘差异约束的单幅图像超分辨率重建方法。在图像超分辨率重建过程中加入图像的边缘差异约束，能够有效解决基于非局部自相似性的单幅图像超分辨率重建技术导致的细节模糊和平滑问题，从而在抑制噪声的同时有效保持图像的边缘结构，改善重建高分辨率图像质量。本专利技术是在基于非局部自相似性的单幅图像超分辨率重建方法的基础上，探索研究图像的边缘差异分布，并将边缘差异约束与非局部自相似性结合进行图像重建，有效重建较好的高分辨率图像。该方法的实现步骤如下：一种基于边缘差异约束的单幅图像超分辨率重建方法，包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典。步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像。步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。所述步骤1具体方法如下：首先，从通用的TheBerkeleySegmentationDataSet300图像库中随机选取多幅高分辨率图像作为训练图像。其次，利用图像边缘信息对训练图像进行图像纹理主方向θm的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像xf其中，X＝xcosθ+ysinθ，Y＝-xsinθ+ycosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θm，λg为正弦平面波的波长，决定了Gabor滤波器的频率，γg代表Gabor滤波器中指定的椭圆空间长宽比，σg为高斯包络沿图像x轴和y轴方向的标准差。然后，对特征图像xf进行分块，并进行K-means聚类，得到K类图像块即{L1,L2,…LK本文档来自技高网...

【技术保护点】
一种基于边缘差异约束的单幅图像超分辨率重建方法，其特征在于所述方法包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K‑means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典；步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像；步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。

【技术特征摘要】
1.一种基于边缘差异约束的单幅图像超分辨率重建方法，其特征在于所述方法包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典；步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像；步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。2...

【专利技术属性】
技术研发人员：龚卫国，唐永亮，陈雪梅，李伟红，易前娥，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50