一种多帧图像超分辨率重建方法及其重建系统技术方案

本发明专利技术公开了一种多帧图像超分辨率重建方法及其重建系统，涉及图像处理技术领域。该方法包括使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的传递函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善。

Multi frame image super resolution reconstruction method and its reconstruction system

The invention discloses a multi frame image super resolution reconstruction method and a reconstruction system thereof, which relate to the technical field of image processing. The method includes the use of temporary results obtained according to the geometric transformation and fuzzy filter according to the nuclear transfer function obtained for the transfer function of super resolution reconstruction, using graph cut algorithm to solve the minimization, to obtain the final high resolution image, the reconstruction effect and reconstruction speed were improved.

【技术实现步骤摘要】

本专利技术涉及图像处理
，特别涉及一种多帧图像超分辨率重建方法及其重建系统。
技术介绍
图像的分辨率是指成像系统对图像细节的分辨能力，它是衡量图像质量的重要指标之一。高分辨率图像能够提供丰富的细节信息，随着经济、科技、文明的不断进步，高分辨率图像的需求在医学、安全、娱乐等各个领域越来越大。如，医生希望通过高分辨率CT或B超图像辨识病灶；公安部门希望通过高分辨率监控图像辨识嫌疑人身份或车辆信息；娱乐商家希望通过高分辨率视频，让观众获得更加逼真、细腻的视觉效果。提高分辨率最直接的方法是增加数字图像采集系统的硬件分辨率，主要从提升图像传感器分辨率和镜头分辨率两个方面着手考虑。但是，硬件方法存在技术上的瓶颈，而且成本昂贵，难以普及应用。用软件方法提升图像分辨率的方法称为超分辨率重建技术，其利用低分辨图像之间可能存在的互补信息，重建一副或多幅高分辨率图像。超分辨率重建技术初期发展较为缓慢，研究方向主要集中在将一些经典方法(如插值、正则化、最小二乘法等)用于该技术的尝试和探索，这些重建效果往往不是很理想。近期随着图割算法、稀疏表示、深度学习等理论、方法的提出和发展，超分辨率重建技术在这些新理论和新方法的影响下，取得了极大的进步，这些新方法和新理论与超分辨率重建技术的结合显著地提升了重建效果和重建速度。分析现有重建方法，大多数方法只在重建倍数较小时才能取得良好的效果，当重建倍数提升到4×4(所重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍)或更高的时候，重建效果和重建速度明显降低。
技术实现思路
本专利技术实施例提供了一种多帧图像超分辨率重建方法及其重建系统，用以解决现有技术中重建倍数提高到4×4或更高时重建效果和重建速度明显降低的问题。一种多帧图像超分辨率重建方法，该方法包括：根据几何变换计算临时结果；根据模糊核计算用于构建能量函数的滤波器的传递函数；使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。本专利技术实施例还提供了一种多帧图像超分辨率重建系统，包括：临时结果计算模块，用于根据几何变换计算临时结果；传递函数计算模块，用于根据模糊核计算用于构建能量函数的滤波器的传递函数；高分辨率图像获取模块，用于使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。本专利技术实施例中，使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的传递函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善。附图说明为了更清楚地说明本专利技术专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种多帧图像超分辨率重建方法的步骤流程图；图2为图1中步骤100的子步骤流程图；图3为图1中步骤200的子步骤流程图；图4-5为图3中子步骤使用的邻域关系和模糊核示意图；图6为图1中步骤300的子步骤流程图；图7为实施例一使用的高分辨率源图的示意图；图8为幂指数对重建结果的影响图；图9为高斯模糊核的错误估计对重建结果的影响图；图10为实施例三使用的高分辨率源图、多帧低分辨率图像、参考帧插值图以及重建后的高分辨率图像；图11为实施例四使用的高分辨率源图、参考帧插值图以及重建后的高分辨率图像；图12为本专利技术实施例提供的一种多帧图像超分辨率重建系统的组成示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参照图1，示例性的给出了本专利技术实施例提供的一种多帧图像超分辨率重建方法流程示意图，该方法包括以下步骤：步骤100，根据几何变换计算临时结果步骤200，根据模糊核h计算用于构建能量函数的滤波器的传递函数步骤300，使用所得滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。在步骤100之前，将某帧低分辨率图像设定为参考帧，通常将第一帧设为参考帧。如果几何变换Tk未知，利用配准算法确定Tk。配准算法为本领域技术人员的常用技术，故在此不做介绍。如图2所示，步骤100具体包括：子步骤101，根据以下公式(1)计算每个高分辨率像素p在每帧低分辨率图像(例如第k帧低分辨率图像gk)中的投影：p″k＝DTkp(1)，式(1)中，D为降采样算子，由重建倍数决定。子步骤102，选择距离p″k最近的低分辨率像素p′k，并按照如下公式(2)计算低分辨率像素p′k在重建中的权重：αk(p,p′k)=(22-d)m---(2),]]>式(2)中，m为幂指数，d为低分辨率像素p″k与低分辨率像素p′k之间的距离。子步骤103，按照公式(3)确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，获得如下临时结果：f‾(p)=Σkαk(p,pk′)gk(pk′)Σkαk(p,pk′)---(3),]]>式(3)中，gk(p′k)为低分辨率像素p′k的灰度值。如图3、图4和图5所示，步骤200具体包括：子步骤201，如图4a所示的3×3邻域系统，获取成像系统的模糊核h，如图4b所示。获取模糊核h的方法为本领域技术人员的常用技术，在此不做赘述。子步骤202，根据模糊核h计算hrot、hexp和hzp，其中，hrot为将模糊核h旋转180°得到的结果，如图4c所示；hexp为将模糊核h进行扩展后得到的扩展模糊核，如图5a所示；hzp为将模糊核h进行零填充得到的结果，如图4d所示。子步骤203，利用hexp和hzp，按照公式(4)计算如图5b所示：h^=2ω0hzp+hexp---(4),本文档来自技高网...

【技术保护点】
一种多帧图像超分辨率重建方法，其特征在于，该方法包括：根据几何变换计算临时结果；根据模糊核计算用于构建能量函数的滤波器的传递函数；使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。

【技术特征摘要】
1.一种多帧图像超分辨率重建方法，其特征在于，该方法包括：
根据几何变换计算临时结果；
根据模糊核计算用于构建能量函数的滤波器的传递函数；
使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，
并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。
2.如权利要求1所述的方法，其特征在于，步骤根据几何变换计算临时结
果包括以下子步骤：
根据公式(1)计算每个高分辨率像素在每帧低分辨率图像中的投影：
(1)，
式(1)中，为高分辨率像素在第k帧低分辨率图像中的投影，D为降采样
算子，Tk为几何变换；
选择距离所述低分辨率像素最近的低分辨率像素，并按照公式(2)计算所
述低分辨率像素在重建中的权重：
αk(p,p′k)=(22-d)m---(2),]]>式(2)中，m为幂指数，d为所述低分辨率像素与低分辨率像素之间的距
离；
按照公式(2)确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，
获得所述临时结果：
f‾(p)=Σkαk(p,pk′)gk(pk′)Σkαk(p,pk′)---(3),]]>式(3)中，gk(p′k)为所述低分辨率像素的灰度值。
3.如权利要求2所述的方法，其特征在于，步骤根据模糊核计算用于构建
能量函数的滤波器的传递函数包括以下子步骤：
根据3×3邻域系统，获取成像系统的模糊核h；
根据所述模糊核h计算hrot、hexp和hzp，其中，所述hrot为将所述模糊核h
旋转180°得到的结果，所述hexp为将所述模糊核h进行扩展后得到的扩展模糊
核，所述hzp为将所述模糊核h进行零填充得到的结果；
利用所述hexp和hzp，按照公式(4)计算：
h^=2ω0hzp+hexp---(4),]]>式(4)中，为模糊核h的中心权重；
利用所述hrot和，按照公式(5)计算所述滤波器的传递函数h‾=-2hrot+h^---(5).]]>4.如权利要求3所述的方法，其特征在于，步骤使用所得滤波器的传递函
数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化
求解，即可得到最终的高分辨率图像包括以下子步骤：
根据公式(6)构造所述能量函数：
Σp∈S(Afp2+fp*fp)+λΣp,q∈Nmin(Θ,|fp-fq|)---(6),]]>式(6)中，S为空域系统，是高分辨率像素的集合，N为邻域系统，p和
q均为邻域系统中的高分辨率像素，和分别为高分辨率像素p和q的灰度值，A
为二次项系数，计算公式为其中，模糊核h的边缘权重，为所述
滤波器的传递函数和临时结果卷积得到的结果，即λ为
调节前后两项比例的因子，Θ为阈值；
使用图割算法对所述能量函数极小化，得到最终的高分辨率图像f。
5.如权利要求2所述的方法，其特征在于，所述幂指数m为10。
6.一种多帧图像超分辨率重建系统，其特征在于，包括：
临时结果计算模块，用于根据几...

【专利技术属性】
技术研发人员：张东晓，梁宗旗，蔡国榕，吴云东，陈水利，
申请(专利权)人：集美大学，
类型：发明
国别省市：福建;35