一种多帧图像超分辨率重建方法技术

本发明专利技术公开了一种多帧图像超分辨率重建方法，将导控核回归方法分别引入到自适应稀疏学习模型的聚类阶段和正则化重建过程中，使两种方法优劣互补，形成性能更好的重建算法。本发明专利技术不需要运动配准，因而不存在配准误差引起的重建误差，能明显改善重建图像质量，同时能应用于包含任意运动模式的情况。相比现有的基于学习的多帧超分辨率重建方法，提供了一种融合导控核回归和稀疏学习两种方法的简洁高效一体化重建模型，能同时利用全局的结构自相似性先验约束、以及稀疏性约束进行回归估计，因而能更好地保持图像边缘细节、减小图像高频失真，同时运动幅度不受限制，应用场景不受限制，从而能适应于复杂的应用环境。

A method of super-resolution reconstruction for multi frame images

The invention discloses a multi frame image super-resolution reconstruction method, which introduces the pilot control kernel regression method to the clustering stage and the regularization reconstruction process of the adaptive sparse learning model, making the two methods complementing the advantages and disadvantages, and forming a better performance reconstruction algorithm. The invention does not require motion registration, so there is no reconstruction error caused by registration error. It can obviously improve the quality of the reconstructed image and can be applied to the case involving any motion mode. Compared with the existing multi frame super-resolution reconstruction method based on learning, a simple and efficient integrated reconstruction model is provided, which combines the two methods of pilot control kernel regression and sparse learning. It can simultaneously use the global structure self similarity priori constraints, and the sparsity constraints for regression estimation, so that the image edges can be kept better. Edge details, reduce the high frequency distortion of the image, and at the same time, the motion amplitude is not limited, the application scenario is not limited, so that it can adapt to the complex application environment.

【技术实现步骤摘要】
一种多帧图像超分辨率重建方法
本专利技术属于图像处理
，涉及一种多帧图像超分辨率重建方法，特别涉及一种基于结构聚类和导控核回归正则化稀疏学习的多帧图像超分辨率重建方法。
技术介绍
分辨率是评价图像质量的重要指标之一，较高分辨率的图像，意味着能提供更丰富的细节信息，具有更好的视觉效果和图像质量。但在现实中，由于成像系统硬件条件的限制、再加上噪声、聚焦偏离等因素的影响，我们获得的图像往往分辨率低下、不能满足实际应用需求，且存在噪声、模糊等现象。图像超分辨率重建，能利用现有的设备，采用信号处理技术，通过软件手段突破成像系统固有的分辨率限制，由低分辨率图像，重建出具有较高分辨率的图像，达到改善图像质量和视觉效果的目的，在遥感、消费电子、生物医学、视频监控、机器视觉、军事等领域具有广阔的应用前景。与单幅图像超分辨率重建不同的是，多帧超分辨率重建的处理对象是具有相似背景的多幅低分辨率图像或视频帧，所以各帧间冗余信息的利用和融合是多帧超分辨率重建的关键，其重建效果也因此能超越单幅图像超分辨率重建。现有的多帧超分辨率重建方法多数属于传统的方法，一般包括图像配准(或运动估计)与融合重建两个主要步骤，通过图像配准(或运动估计)实现对不同帧之间相关信息的挖掘，以便后续的融合重建。因此，运动配准是传统多帧超分辨率方法的必经步骤。但运动配准往往计算量庞大，而且必然带来误差，配准误差会转化为重建误差，制约重建图像质量，特别当图像质量较低时，配准误差大，重建效果很差。另一方面，现有的配准方法假定帧间变换为某一类运动模式，即假定一定的空间变换模型，而实际的视频序列图像可能包含任意运动模式。中国专利技术专利《一种多帧超分辨图像重建方法及系统》(201610491560.0)包括使用SIFT特征进行图像配准，属于传统的多帧超分辨率方法，其不足之处是：SIFT特征配准只能处理目标在不同帧间为仿射变换(平移+旋转+缩放)的情况，不能应用于包含平移、旋转、缩放三种变换关系以外的情况，应用场景受到限制；且配准必然存在误差，会给后续重建带来误差，引起重建图像失真。中国专利技术专利《一种多帧图像超分辨率重建方法及其重建系统》(201610049469.3)包括使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的能量函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善，其不足之处是：该方法假定了不同帧间存在几何变换关系，需要通过配准获知变换关系，配准误差会限制重建图像质量，而且应用场景受限。中国专利技术专利《一种视频图像超分辨率重建方法》(201310433123.X)属于传统的多帧超分辨率方法，其缺点同样是需要运动估计(即配准)。中国专利技术专利《一种基于联合正则化的视频超分辨率重建方法》(201610567213.1)以基于空间信息滤波与分类的加权系数减少了配准误差带来的消极影响，但本质上仍没有改变重建对配准的依赖。现有的一些基于学习的多帧超分辨率重建算法，利用自然图像的自相似冗余信息、或者稀疏性约束，通过寻求有效的样本或字典、及基于该样本或字典的表示，实现对未知图像的重建。该类方法不需要图像配准(或运动估计)，克服了传统方法对运动配准的依赖，运动模式不受限制，能应用于包含任意运动模式的场景。中国专利技术专利《一种视频超分辨率重建方法和装置》(201610561901.7)，提供了一种基于半耦合字典学习和时空非局部相似性的视频超分辨率重建方法。该方法不需要运动配准，运动模式不受限，且具有较好的旋转不变性以及噪声鲁棒性。其不足之处是：仅考虑了一定范围内的相似性冗余信息用于估计重建，不是基于全局信息的估计，当帧间运动幅度较大、超出搜索范围时，会引起重建图像质量明显下降；并且先验约束单一，重建效果受到一定限制。中国专利技术专利《一种基于深度学习和自相似性的视频超分辨率重建方法》(201610581026.9)包含了一种两步的基于稀疏字典的多帧超分辨率重建方法，分别利用内部自相似性先验约束和外部训练集建立的稀疏约束进行两次重建，使两种约束对重建信息相互补充，提升了视频超分辨率重建的效果。其不足之处是：两种约束的两次重建过程简单相叠加，没有整合为更有效的一体化重建模型；并且进行第一次重建时，同样仅考虑了一定范围内的相似性冗余信息，不是基于全局信息的估计，因而运动幅度受限。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种基于结构聚类和导控核回归正则化稀疏学习的多帧图像超分辨率重建方法。本专利技术所采用的技术方案是：一种多帧图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对每一帧低分辨率观测图像Yl(l＝1,2,...,L)执行插值算法，获得其初始高分辨率估计图像Zl，其中，L为低分辨率观测帧数目；步骤2：对所有高分辨率估计图像进行分块操作；步骤3：对所有图像分块进行结构聚类；步骤4：由聚类后的图像分块构建子字典；步骤5：构建结构相似图像分块子集；步骤6：建立全局导控核回归估计；步骤7：建立基于导控核回归正则化的稀疏重建目标函数；步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。本专利技术可以解决现有的传统多帧超分辨率重建方法依赖于运动配准而导致运动模式受限、重建效果差的问题，本专利技术不需要运动配准，因而不存在配准误差引起的重建误差，能明显提升重建图像质量；同时能应用于包含任意运动模式的情况。针对现有的基于学习的多帧超分辨率重建方法中存在的先验约束单一、方法步骤繁琐、依赖于外部训练集、没有充分挖掘视频帧间冗余信息等问题，本专利技术提供了一种简洁高效的一体化重建模型，充分挖掘视频帧的全局结构自相似先验约束，运动幅度不受限制；并且整合稀疏性约束，同时利用两种约束进行回归估计，因而能更好地保持图像边缘细节、减小图像高频损失；同时，本专利技术不依赖于外部训练集，对应用场景也没有限制，因而能更好的适应复杂的应用环境。附图说明图1为本专利技术实施例的流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1，本专利技术提供的一种多帧图像超分辨率重建方法，包括以下步骤：步骤1：对每一帧低分辨率观测图像Yl(l＝1,...,L)执行插值算法，获得其初始高分辨率估计图像Zl，其中，L为低分辨率观测帧数目；步骤2：对所有高分辨率估计图像进行分块操作；本实施例对所有高分辨率估计图像进行分块操作，划分为互有重叠的图像块；所有图像分块均为具有边长(2*s+1)的正方形，相邻图像块间距均为s个像素，其中，s为水平和垂直方向的上采样因子。步骤3：对所有图像分块进行结构聚类；具体实现包括以下子步骤：步骤3.1：计算任意高分辨率估计图像分块zi的导控核列向量wi，作为该图像分块的局部结构特征，其中i是该图像分块的序号，1≤i≤N，N为图像分块数；步骤3.2：在所有导控核特征向量{wi}构成的特征空间中，执行无监督聚类算法，将所有导控核分为K类，其对应的高分辨率估计图像分块相应地也分为K类，其中，本文档来自技高网...

【技术保护点】
1.一种多帧图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对每一帧低分辨率观测图像Yl(l＝0,1,...,L)执行插值算法，获得其初始高分辨率估计图像Zl，其中，L为低分辨率观测帧数目；步骤2：对所有高分辨率估计图像进行分块操作；步骤3：对所有图像分块进行结构聚类；步骤4：由聚类后的图像分块构建子字典；步骤5：构建结构相似图像分块子集；步骤6：建立全局导控核回归估计；步骤7：建立基于导控核回归正则化的稀疏重建目标函数；步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。

【技术特征摘要】
1.一种多帧图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对每一帧低分辨率观测图像Yl(l＝0,1,...,L)执行插值算法，获得其初始高分辨率估计图像Zl，其中，L为低分辨率观测帧数目；步骤2：对所有高分辨率估计图像进行分块操作；步骤3：对所有图像分块进行结构聚类；步骤4：由聚类后的图像分块构建子字典；步骤5：构建结构相似图像分块子集；步骤6：建立全局导控核回归估计；步骤7：建立基于导控核回归正则化的稀疏重建目标函数；步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。2.根据权利要求1所述的多帧图像超分辨率重建方法，其特征在于，步骤3的具体实现包括以下子步骤：步骤3.1：计算所有高分辨率估计图像分块zi的导控核向量wi，作为该图像分块的局部结构特征，其中，i是该图像分块的序号，1≤i≤N，N为图像分块数；步骤3.2：在所有导控核特征向量{wi}构成的特征空间中，执行无监督聚类算法，将所有导控核分为K类，其对应的高分辨率估计图像分块相应地也分为K类，其中，核特征距离定义为：其中，表示第k类导控核的类中心向量，1≤k≤K；类Ωk由第k类图像块的序号构成。3.根据权利要求2所述的多帧图像超分辨率重建方法，其特征在于：步骤4中，由聚类后的图像分块，通过最小化下面的目标函数，采用PCA方法构建子字典其中，是第k类图像块的均值向量，αi为字典系数。4.根据权利要求2所述的多帧图像超分辨率重建方法，其特征在于：步骤5中，对图像分块zi，构建结构相似的图像分块子集其中，zi,m是类中与zi结构相似度系数最大的第m个分块(包括分块zi自身，此时m＝0)，是图像分块zi所...

【专利技术属性】
技术研发人员：郭琳，王雨竹，叶波，
申请(专利权)人：湖北大学，
类型：发明
国别省市：湖北,42