一种基于块扫描的图像超分辨率方法和系统技术方案

本发明专利技术提出了一种基于块扫描的图像超分辨率方法和系统，利用低分辨率探测器结合高分辨率空间调制器通过分块扫描获取多幅包含目标不同像素位置信息的低分辨率图像，同时提出一种基于全变分的重建方法对多幅低分辨率图像进行融合重建，最终得到目标高分辨率重建图像。分块扫描的机制不同于点扫描，线扫描以及压缩感知等方法，通过重叠移动分块扫描的方式有效避免了扫描过程中可能出现的网格以及条纹噪声，并且能在较低的采样次数下实现图像超分。通过调整采样次数，可以在不同采样时间下获得有效的重建结果，并且随着采样次数的增加重建质量达到优秀的效果。本发明专利技术提供的方法分辨率增强效果显著，方法竞争力强。方法竞争力强。方法竞争力强。

【技术实现步骤摘要】
一种基于块扫描的图像超分辨率方法和系统


[0001]本专利技术属于图像超分辨率领域，涉及一种基于块扫描的图像超分辨率方法和系统，适用于各种资源受限的图像超分应用场景。

技术介绍

[0002]图像超分辨率(Super
‑
Resolution，SR)是一种通过获取同一场景单幅或者多幅包含不同空间信息的低分辨率图像，并利用相应的算法恢复场景高分辨率(High Resolution，HR)图像的图像重建技术。该技术可以利用低分辨率探测器获得高分辨率图像，提高图像的视觉清晰度，目前已经广泛应用在医疗诊断、遥感探测、计算机视觉以及军事等各个领域
[1
‑
4]。
[0003]传统的图像超分辨率方法包括插值，重建和学习的方法。最早使用的插值方法
[5]只能利用低分辨率图像本身的像素信息率图像重构，而没有考虑图像退化模型，难以得到满意的结果。为了缓解这一问题，基于重建的方法
[6
‑
7]通过尽可能挖掘LR与HR图像块对之间的映射关系，并建立人工先验来帮助求解图像超分这个欠定问题。但在实际映射关系比较复杂的情况下，人工先验难以进行准确描述，从而限制了重建质量的提升。近年来，基于深度学习的方法
[8
‑
11]成为研究热点，依赖卷积神经网络对数据特征的学习取得了一些优秀成果，但由于输入图像中所包含的目标真实信息有限，单纯基于软件算法的重建方法仍难以实现复杂图像的重构。
[0004]近年来，基于空间光调制器件实现图像或场景的光路复用技术
[12]为超分辨率成像问题带来新的思路。通过逐像素扫描方法能够最直接获取目标的全部高像素信息，但牺牲了时间分辨率。为了加快成像速度，压缩感知技术被应用于这个课题
[13
‑
14]，但受探测器填充因子影响，重建结果往往出现网格噪声。近期一种基于线扫描的图像超分方法
[15]在采样时间与重建质量之间取得了有效的平衡，但线扫描机制引起的条纹噪声难以完全去除，一定程度影响视觉效果。

技术实现思路

[0005]本专利技术针对现有技术的不足，采用空间分块扫描的方式，利用不同位置空间块对目标进行扫描得到多幅包含目标不同亚像素信息的低分辨率图像，进而进行联合重建得到高分辨率目标图像。由于在块扫描过程中不同空间位置信息存在重叠与偏移，重建后将不会出现上述压缩感知以及线扫描过程中的网格以及条纹噪声，有效提升了图像重建质量以及视觉效果。
[0006]基于块扫描的图像超分辨率方法是利用一种基于块的光多路复用技术来设计一种新的成像框架，采集多幅包含目标不同空间块信息的低分辨率图像，并进一步提出一种基于全变分的重建算法对多幅低分辨率图像进行重建。如何在更低的采样率下实现更高质量的图像超分是基于块扫描的图像超分辨率方法的关键问题。
[0007]本专利技术所采用的技术方案是：一种基于块扫描的图像超分辨率方法，首先设计分
块扫描的调制矩阵，并将其作为掩膜矩阵与原始高分辨率图像进行作用，用以模拟空间光调制器对目标光场的调制过程。其次对每个调制后的高分辨率图像进行下采样操作用以模拟低分辨率探测器的成像过程，从而获得多幅包含目标不同空间位置信息的块扫描低分辨率图像。最后我们提出一种基于全变分的重建算法对观测数据进行重建，得到最终的高分辨率图像。该成像系统原理如图1所示，目标首先通过物镜成像在高分辨率空间光调制器工作表面，经过不同调制矩阵调制后再通过成像透镜二次成像在低分辨率探测器上，由此采集到多幅包含目标不同空间信息的低分辨率图像。在此成像过程中通过计算机控制空间光调制器调制频率与探测器探测频率保持一致。该方法包括以下步骤：
[0008]步骤1：设计块扫描采样矩阵，使每个扫描矩阵中值为1的块包含不同空间位置。
[0009]步骤2：使每个扫描矩阵分别和目标高分辨率图像作用，模拟空间光调制器对目标光场的块扫描过程。
[0010]步骤3：对扫描调制后的结果进行下采样操作，模拟低分辨率探测器的成像过程。
[0011]步骤4：根据图像处理过程以及图像特征构建合理的数学模型。
[0012]步骤5：对构建的数学模型进行求解，得到最终高分辨率图像重建结果。
[0013]进一步的，步骤1的具体实现包括以下子步骤：
[0014]步骤1.1，当目标高分辨率图像为M和N表示目标高分辨率图像的大小，探测器分辨率大小为m
×
n，此时分辨率增强倍数S为高分辨率图像与探测器分辨率之比，即：
[0015][0016]每个调制矩阵分辨率大小设置为
[0017]步骤1.2，为了在不同的调制中获得目标不同空间位置像素信息，每个块同时进行间隔为w的移动扫描，并得到k个扫描调制矩阵。在k个调制矩阵中，第i个扫描矩阵Φ
i
表示为：
[0018][0019]其中调制单元具体内容为：
[0020][0021]其中
[0022]k随着扫描移动间隔w的变化进行灵活调整，其中随着k的增大，采集到的目标信息更丰富，重建质量更高，但一定程度增加了采集时间。
[0023]进一步的，在步骤2中，为了模拟空间光调制器对目标光场信息的调制过程，我们将不同扫描矩阵分别与目标高分辨率图像进行点乘作用，得到多幅调制后的高分辨率图像，即
[0024]M
i
＝Φ
i
I (i＝{1,k})
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0025]其中k为调制次数，随着k的增大，得到的调制信息更丰富从而重建质量高，但会一
定程度增加采样时间。
[0026]进一步的，步骤3中，为了模拟低分辨率探测器的成像过程，我们对步骤2中调制后的图像M
i
进一步进行下采样操作，下采样算子为Ψ，从而得到多幅分辨率为m
×
n的包含目标不同空间调制信息的低分辨率图像。
[0027]进一步的，步骤4的具体实现包括以下子步骤：
[0028]步骤4.1，构建数学模型本征项。根据上述步骤，观测图像与高分辨率真值待重建图像之间的数学关系为：
[0029]F
i
＝ΨM
i
I (i＝{1,k})
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0030]步骤4.2，上述方程是一个欠定问题，为了求解这个问题，我们设置人工先验项，考虑代求解目标I的分段平滑特征，我们对I添加全变分约束。
[0031]综合步骤4所述，我们将这个块扫描图像重建问题描述为以下数学模型：
[0032][0033]其中，F指F范数，定义为矩阵所有元素平方和的算数平方根，即TV为全变分约束，定义为||I||
TV
＝∑
i,j
|I
i+1,j
‑
I
i,j
|+|I
i,j+1
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于块扫描的图像超分辨率方法，其特征在于，包括如下步骤：步骤1，设计块扫描采样矩阵，使每个扫描矩阵中值为1的块包含不同空间位置；步骤2，使每个扫描矩阵分别和目标高分辨率图像作用，模拟空间光调制器对目标光场的块扫描过程；步骤3，对扫描调制后的结果进行下采样操作，模拟低分辨率探测器的成像过程；步骤4，根据图像处理过程以及图像特征构建合理的数学模型；步骤5，对构建的数学模型进行求解，得到最终高分辨率图像重建结果。2.如权利要求1所述的一种基于块扫描的图像超分辨率方法，其特征在于：步骤1的具体实现包括以下子步骤：步骤1.1，当目标高分辨率图像为M和N表示目标高分辨率图像的大小，探测器分辨率大小为m
×
n，此时分辨率增强倍数S为高分辨率图像与探测器分辨率之比，即：每个调制矩阵分辨率大小设置为步骤1.2，为了在不同的调制中获得目标不同空间位置像素信息，每个块同时进行间隔为w的移动扫描，并得到k个扫描调制矩阵，在k个调制矩阵中，第i个扫描矩阵Φ
i
表示为：其中调制单元具体内容为：其中3.如权利要求2所述的一种基于块扫描的图像超分辨率方法，其特征在于：k随着扫描移动间隔w的变化进行灵活调整，其中随着k的增大，采集到的目标信息更丰富，重建质量更高，但一定程度增加了采集时间。4.如权利要求1所述的一种基于块扫描的图像超分辨率方法，其特征在于：步骤2中，为了模拟空间光调制器对目标光场信息的调制过程，将不同扫描矩阵分别与目标高分辨率图像进行点乘作用，得到多幅调制后的高分辨率图像，即M
i
＝Φ
i
I (i＝{1,k})
ꢀꢀꢀꢀ
(4)其中k为调制次数。5.如权利要求1所述的一种基于块扫描的图像超分辨率方法，其特征在于：步骤3中，为了模拟低分辨率探测器的成像过程，对步骤2中调制后的图像M
i
进一步进行下采样操作，下采样算子为Ψ，从而得到多幅分辨率为m
×
n的包含目标不同空间调制信息的低分辨率图像。6.如权利要求1所述的一种基于块扫描的图像超分辨率方法，其特征在于：步骤4的具体实现包括以下子步骤：
步骤4.1，构建数学模型本征项，观测图像与高分辨率真值待重建图像之间的数学关系为：F
i
＝ΨM
i
I (i＝{1,k})<...

【专利技术属性】
技术研发人员：肖滢，田昕，刘芮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：