一种基于半误差反向投影的超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于半误差反向投影的超分辨率重建方法，该方法包括步骤：获得M帧实际观测图像；计算初始的高分辨率图像；根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像；对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像，计算t+1次迭代的实际观测图像与模拟观测低分辨率图像之间的误差；反向投影误差或者实际观测图像到高分辨率图像中；结果满意后停止迭代。该方法可以有效地减少“振铃”伪影的累积效应，使得重建的高分辨率图像有更好的质量和视觉体验。还公开了一种基于半误差反向投影的超分辨率重建装置。

A super-resolution reconstruction method and device based on semi error back projection

The invention discloses a super-resolution reconstruction method based on semi reverse projection error, the method comprises the steps of: obtaining M frame theobserved image; high resolution image to calculate the initial; according to the observed image and the initial high resolution image and high resolution images in t+1 iteration; simulate the observation of high resolution image to obtain the corresponding simulation data of low resolution images, the calculation error between the t+1 iteration of the observed image and the simulation observation of low resolution image; reverse projection error or the observed image to high-resolution images with satisfactory results after stopping. This method can effectively reduce the cumulative effect of \ringing artifact\, so that the reconstructed high resolution images have better quality and visual experience. A super-resolution reconstruction device based on a semi error back projection is also disclosed.

【技术实现步骤摘要】
一种基于半误差反向投影的超分辨率重建方法及装置
本专利技术涉及图像及视频数据处理领域，特别涉及一种基于半误差反向投影的超分辨率重建方法及装置。
技术介绍
对于同一场景来说，更高分辨率的图像包含更多的细节。无论是从应用角度还是从视觉体验的角度来说，都期望获得高分辨率的图像。然而在现实中，许多因素导致无法获得高分辨率的图像。这些因素非常多，比如由于成本控制，导致购得的摄像机不够好；或者在某些特定场景下，不能获得高分辨率的图像。这些因素也包括大气湍流，运动模糊，系统响应函数和噪声等。成像经过这些因素影响，常常获得的图像的分辨率不高，这样的图像被称之为低分辨率图像。然而，生产生活中迫切需要获得高分辨率场景的图像。如果通过更新硬件设备来提高图像质量，在许多情况下常常带来巨大成本。一种有效的方法是通过软件来实现从低分辨率图像获得高分辨率图像。这类技术被称之为超分辨率图像重建。这些方法可以被分为基于插值的方法和基于最优化的方法。基于插值的方法是非迭代的，由于没有利用误差来修改前面的估计，结果会比基于最优化方法的差。尽管基于最优化的方法得到图像的分辨率更高，但是这种方法要么有运算时间很长，要么效果较差(比如，存在伪影)。其中反向迭代投影方法是计算量小，被广泛利用。这种方法的基本思路是，将低分辨率图像进行上采样放大，作为高分辨率的估计；然后将高分辨率估计，下采样得到模拟的低分辨率图像，再将实际观测的低分辨率图像与模拟观测低分辨率图像之间的误差投影到高分辨率图像中去，不断迭代获得高分辨率图像。然而这种方法有很大的缺点就是在重建的高分辨率图像的边缘部分，常常会带有“振铃”伪影。这种“振铃”伪影会严重影响视觉体验，使得它的应用范围受限。
技术实现思路
(一)要解决的技术问题为了克服现有技术中存在的问题，本专利技术提出一种基于半误差反向投影的超分辨率重建方法及装置。(二)技术方案根据本专利技术的一个方面，提出了一种基于半误差反向投影的超分辨率重建方法，该方法包括步骤：步骤1，获得M帧实际观测图像Xrl，M大于等于2，所述图像存储在一个四维数组中Xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，k是图像的通道信息，m是图像的帧数；步骤2，计算初始的高分辨率图像Yhr,0；步骤3，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像Xsl，t大于等于0；步骤4，计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)；步骤5，反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中；步骤6，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。根据本专利技术的另一方面，提出一种基于半误差反向投影的超分辨率重建装置，该装置包括存储器和处理器，其中存储器存储有计算机程序，所述处理器用于执行所述程序能够实现以下步骤：步骤1，获得M帧实际观测图像Xrl，M大于等于2，所述图像存储在一个四维数组中Xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，k是图像的通道信息，m是图像的帧数；步骤2，计算初始的高分辨率图像Yhr,0；步骤3，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像Xsl，t大于等于0；步骤4，计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)；步骤5，反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中；步骤6，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。(三)有益效果本专利技术的方法是基于半误差反向投影的，即，在反向投影时既投影误差，也投影实际观测的低分辨率图像。由于实际观测的低分辨率图像没有“振铃”伪影，并且包含高分辨率图像所需的信息。这样可以有效地减少“振铃”伪影的累积效应，使得重建的高分辨率图像有更好的质量和视觉体验。附图说明图1是基于半误差反向投影的超分辨率重建方法的流程图。图2是一幅用于做超分辨率重建的低分辨率图像。图3是反向投影算法的重建出来的高分辨率图像。图4是本专利技术方法重建出来的高分辨率图像。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。现有技术中使用的反向迭代投影方法，经过研究发现，其产生的“振铃”伪影是有规律的。一旦估计的高分辨率图像中存在“振铃”伪影，那么模拟的低分辨率图像中将会出现“振铃”伪影。然而模拟的低分辨率图像中的“振铃”伪影会通过上采样过程进入估计的高分辨率图像中，随着迭代不断增强。本专利技术提出了一种基于多帧视频图像来重建高分辨率的方法，这种方法是基于半误差反向投影的。也就是说，在反向投影时既投影误差，也投影实际观测的低分辨率图像。图1为本专利技术提出基于半误差反向投影的超分辨率重建方法的流程图。参照图1，该方法包括步骤：步骤1，获得M帧实际观测图像Xrl，M大于等于2。在该步骤，通过成像设备在同一场景中获取小段视频或者多张图像。手持摄像或者其它因素使得图像之间存在微小的偏移。这些视频或图像可以是黑白的也可以彩色的。该步骤中提到的成像设备可以是数码相机，监控摄像头，手机等。这些视频或图像存储在一个四维数组中Xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号。k是图像的通道信息，对于黑白图像，其值为1；对于彩色图像，其值为3。m是图像的帧数，从重建精度来看，m越大越好；但是从应用角度来说，m应该控制在20帧以内。步骤2，根据步骤1获取的图像，选取其中一帧作为参考图像Xref，利用区域匹配方法获取参考图像Xref与当前图像Xm之间的运动信息(即相对位移)Dm，其中m＝1,2,…,M且Xref≠Xm。该步骤优选使用三步搜索法来实现。这些相对位移能够提供低分辨率图像信息在高分辨率图像栅格中的准确位置。这是超分辨率重建的基础。步骤2进一步包括：步骤2.1，从实际观测的图像Xlr中选择其中一幅图像作为参考图像Xref。由于图像包含相同的场景，所以可以选择任何一帧作为参考图像Xref。同时为参考图像选择匹配区域。为了提高计算效率，这个匹配区域是一小块区域，优选包含3×3，5×5或者7×7像素的区域，根据实际需要，匹配区域的大小也可以是其他情况。为了提高配准精度，这些匹配区域是包含高频信息的部分，可以使用最大差分和来找到高频信息区域。同时匹配区域是多块，这样有利于增加配准的精度和稳定性。区域的块数K取决于实际问题，它的取值范围是1～K0，K0的取值是取满整个图像所用的块数。如果需要知道更多局部区域的运动细节信息，那么K应该取更大。步骤2.2，为当前匹配图像Xm选择匹配区域。其选择方法与步骤2.1中参考图像匹配区域选择是相同的。也就是说，当前匹配图像中选择的匹配区域的大小、数量是完全一致的。为了提高计算效率，在当前图像中的搜索范围应该略大于图像的匹配区域大小与相对位移大小之和G，但不能太大，通常取1.本文档来自技高网...

【技术保护点】
一种基于半误差反向投影的超分辨率重建方法，其特征在于，该方法包括步骤：步骤1，获得M帧实际观测图像Xrl，M大于等于2，所述图像存储在一个四维数组中Xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，是图像的通道信息，是图像的帧数；步骤3，计算初始的高分辨率图像Yhr,0；步骤4，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像Xsl，t大于等于0；步骤5，计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)；步骤6，反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中；步骤7，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。

【技术特征摘要】
1.一种基于半误差反向投影的超分辨率重建方法，其特征在于，该方法包括步骤：步骤1，获得M帧实际观测图像Xrl，M大于等于2，所述图像存储在一个四维数组中Xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，是图像的通道信息，是图像的帧数；步骤3，计算初始的高分辨率图像Yhr,0；步骤4，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像Xsl，t大于等于0；步骤5，计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)；步骤6，反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中；步骤7，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。2.根据权利要求1所述的方法，其特征在于，在步骤6，迭代次数是m时，投影误差；迭代次数时n时，投影实际观测图像，m和n大于等于1，m不等于n。3.根据权利要求2所述的方法，其特征在于，在步骤6，当迭代次数为奇数时，投影误差；迭代次数为偶数时，投影实际观测图像，或者当迭代次数为偶数时，投影误差；迭代次数为奇数时，投影实际观测图像。4.根据权利要求1所述的方法，其特征在于，经过第t+1次迭代的模糊的高分辨率图像Ylhr,t+1(p,q,k)为：Ylhr,t+1(p,q,k)＝Yhr,t(p,q,k)*Xpsf(p,q,k)+ε(p,q,k)其中p,q分别是高分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号，Xpsf(p,q,k)是系统的点扩展函数，ε(p,q,k)是成像过程中的噪声，Yhr,t(p,q,k)是第t次迭代的高分辨率图像，然后进行下采样S(i,j,p,q,k)，得到模拟观测低分辨率图像Xsl,t+1(i,j,k)，Xsl,t+1(i,j,k)＝S(i,j,p,q,k)Ylhr,t+1(p,q,k)。5.根据权利要求1-4任一项所述的方法，其特征在于，该方法还包括:步骤2，根据步骤1获取的图像，选取其中一帧作为参考图像Xref，并获取参考图像Xref与当前图像Xm之间的相对位移信息Dm，其中m＝1,2,…,M且Xref≠Xm。6.根据权利要求5所述的方法，其特征在于，在步骤5，在计算t+1次迭代的实际观测图像Xrl...

【专利技术属性】
技术研发人员：张利，周建锋，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11