一种中间尺度约束的高倍率图像超分辨率重建方法技术

本发明专利技术公开了一种中间尺度约束的高倍率图像超分辨率重建方法，引入中间尺度图像的先验约束，构建高‑中‑低分辨率联合字典学习模型，训练高‑中‑低分辨率三元组字典；采用简单的上采样算法生成中间尺度图像，将输入的低分辨率图像进行中间尺度约束下的联合稀疏分解，获得稀疏表示系数；基于高分辨率字典合成超分辨率结果图像。本发明专利技术方法在基本不增加运算量的前提下，有效改善了高倍率超分辨率重建的图像保真度和清晰度。

A high resolution image reconstruction method with intermediate scale constraints

The invention discloses a super resolution image reconstruction algorithm of high rate a middle scale constraint, a priori constraint into the middle scale image, build high in combined with low resolution dictionary learning model, the training of high in low resolution three tuple dictionary; using a simple sampling algorithm on middle scale images, low resolution the image input joint sparse decomposition under the constraint of middle scale, obtain the sparse coefficients; high resolution synthetic super resolution image based on the dictionary. The method of the invention effectively improves the fidelity and resolution of the image with high magnification and super resolution without increasing the amount of calculation.

【技术实现步骤摘要】
一种中间尺度约束的高倍率图像超分辨率重建方法
本专利技术属于图像处理
，涉及一种图像超分辨率重建方法，具体涉及一种中间尺度约束的高倍率图像超分辨率重建方法。技术背景图像超分辨率重建是一种图像空间分辨率增强的方法，利用信号处理的方法将低分辨率图像的分辨率提高并重建出高质量的清晰图像。超分辨率重建技术为提高图像空间分辨率提供了一种成本低廉、切实有效的解决途径，在航天遥感、视频监控、手机视频等领域具有广泛的应用前景。很多实际应用场合，如遥感卫星对地观测，出于细致辨识的需要，需要对低分辨率观测图像进行高倍率超分辨率。当前流行的基于学习的超分辨率方法尽管在低倍率放大时取得了显著的效果，但用于高倍率放大，其效果将模糊不清。究其原因在于，基于字典学习的超分辨率方法假设高分辨率图像和对应的低分辨率图像共享同一流形空间，从而将低分辨率图像上训练的字典表达系数用于重建高分辨率图像。在超分辨率倍数不太大时，高低维空间的流形一致性假设基本成立，因而能够给出较好的重建效果；但当放大倍数较大时，也即高倍率放大情况下，高低维流形一致性被削弱，仍然沿用训练的低分辨率表达系数对高分辨率图像进行重建，将存在较大的模型误差，导致重建结果图像模糊不清，失去了使用价值。图像超分辨率重建是一个典型的病态逆问题求解过程，对低分辨率观测图像的先验知识掌握越多，越有助于改善问题的正定性。在高倍率重建的情况下，输入图像和目标重建结果图像的分辨率悬殊过大，引起解空间膨胀是造成问题求解困难的主要原因。如果存在一种可资利用的介于二者之间的中间分辨率图像，或中间尺度图像，用这个中间尺度图像作为低分辨率向甚高分辨率转换的过渡，将能提高解的精度，最终提高重建图像的保真度和清晰度。如同低分辨率图像的高分辨率版本现实中不存在一样(否则无需超分辨率重建)，中间尺度的图像一般也不会存在。但是，采用现有的方法可以人为生成低分辨率图像的中间尺度版本，而且，由于中间尺度图像与输入图像分辨率的差距小于目标图像分辨率的差距，故生成图像的质量可满足要求。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种中间尺度约束的高倍率图像超分辨率重建方法。本专利技术所采用的技术方案是：一种中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像。与现有的图像超分辨率方法相比，本专利技术具有以下优点和积极效果：(1)本专利技术通过引入中间尺度图像改善超分辨率病态逆问题的正定性，提高了解的精度，从而提升了超分辨率重建的保真度，为图像的高倍率超分辨率重建提供了可行的思路；(2)本专利技术新建立了一种高-中-低分辨率联合字典学习模型，具有一定的普适推广价值，在超分辨率以外的问题中也能发挥作用；(3)由于中间尺度图像的生成可借助简单的插值方法完成，因此，本方法基本上不增加计算量。附图说明图1：本专利技术实施例的流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1，本专利技术提供的一种中间尺度约束的高倍率图像超分辨率重建方法，包括以下步骤：步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；其中制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}，其具体实现包括以下子步骤：步骤1.1：将每幅高分辨率图像的长宽下采样倍得到中等分辨率图像、下采样k倍得到低分辨率图像；其中，k表示图像长宽的超分辨率放大倍数，k≥4；步骤1.2：将高分辨率图像、中等分辨率图像、低分辨率图像均裁剪成正方形的图像块，收集所有的图像块，构成高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}。步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；具体实现过程是：令xh、xm、xl分别代表输入的高分辨率图像块、中等分辨率图像块、低分辨率图像块；w为输入图像块在字典上的稀疏表达系数，L、M、N分别表示高分辨率图像块、中等分辨率图像块、低分辨率图像块的维度；则通过给定的{Sh,Sm,Sl}训练字典{Dh,Dm,Dl}的过程转化为如下的优化问题：变换形式，上式等价于：其中采用交叉迭代优化求解上述凸优化问题，即固定w求解D，然后在下一轮迭代中固定D求解w，如此交替迭代更新,直到收敛为最优解。步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；本实施例运用经典的Bicubic上采样算法生成中间尺度图像，且上采样倍数为步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；其中低分辨率图像稀疏分解，具体实现过程如下：将输入的低分辨率图像和生成的中间尺度图像切分成正方形块，低分辨率图像块的尺寸设定为5×5像素，保证块与块之间有1～2个像素的重叠，利用训练的中等分辨率字典、低分辨率字典，逐个图像块执行稀疏投影分解，获取每块的稀疏表达系数；单个图像块的联合稀疏分解模型建立如下：若xl、xm分别表示输入的低分辨率图像块、中等分辨率图像块，Dl、Dm为相应的低分辨率字典、中等分辨率字典，则稀疏投影分解的优化问题表示为：w为代求取的稀疏表达系数，γ为中间尺度图像的误差权重；上式变形为：其中步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像；具体实现包括以下子步骤：步骤5.1：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，通过字典原子的线性合成得到重建的高分辨率图像块，即xh＝Dhw；其中，w为输入图像块在字典上的稀疏表达系数；步骤5.2：待所有高分辨率图像块都重建完成后，将其按原有位置拼接成完整的图像，然后对重叠的边缘部分进行平滑滤波，去掉缝结效应。本专利技术采用简单的插值方法(也可以是复杂的超分辨率方法，但增加了运算复杂度)来产生中间尺度图像，得到中间尺度图像后，将其纳入低分辨率图像的稀疏字典学习模型，构建中-低分辨率的联合稀疏表达模型，作为重建误差项约束低分辨率图像的字典稀疏投影分解。相应地，为适应高-中-低分辨率联合字典学习的需要，将现有的高-低分辨率耦合字典学习模型扩展到高-中-低三元本文档来自技高网...

【技术保护点】
一种中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率图像样本，制作高‑中‑低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高‑中‑低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像。

【技术特征摘要】
1.一种中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像。2.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤1中所述制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}，其具体实现包括以下子步骤：步骤1.1：将每幅高分辨率图像的长宽下采样倍得到中等分辨率图像、下采样k倍得到低分辨率图像；其中，k表示图像长宽的超分辨率放大倍数，k≥4；步骤1.2：将高分辨率图像、中等分辨率图像、低分辨率图像均裁剪成正方形的图像块，收集所有的图像块，构成高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}。3.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤2的具体实现过程是：令xh、xm、xl分别代表输入的高分辨率图像块、中等分辨率图像块、低分辨率图像块；w为输入图像块在字典上的稀疏表达系数，L、M、N分别表示高分辨率图像块、中等分辨率图像块、低分辨率图像块的维度；则通过给定的{Sh,Sm,Sl}训练字典{Dh,Dm,Dl}的过程转化为如下的优化问题：变换形式，上式等价于：

【专利技术属性】
技术研发人员：王中元，王若溪，韩镇，周立国，何政，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42