图像配准可靠性模型和超分辨率图像的重构方法技术

本发明专利技术公布了一种图像配准可靠性模型及其构造方法和一种基于该模型的超分辨率图像的重构方法。本发明专利技术提供的图像配准可靠性模型，利用图像配准残差在不同尺度下的分布特征和图像局部结构信息来表示每个像素配准可靠性。超分辨率图像的重构方法：利用核回归的预测模型，根据低分辨率图像结构特性和低分辨率图像间的运动关系，根据图像内容和运动特性自适应的3维核函数用来估计高分辨率像素值。本发明专利技术不仅能够对运动平滑的低分辨率图像进行超分辨率重构，同时也可以对运动剧烈的低分辨率图像进行有效的超分辨率重构，提高了超分辨率技术的鲁棒性，适合实际应用。

【技术实现步骤摘要】

本专利技术属于数字信号处理领域，具体涉及一种图像配准可靠性模型及其构造方法 和一种基于该模型的超分辨率图像的重构方法。
技术介绍
数字图像的空间分辨率是指离散的像素之间所能分辨出目标物体细节的最小尺 寸。在实际应用中，图像分辨率的高低能够直接影响图像处理和分析方法的性能，例如，提 高监控视频图像的分辨率，能够提高对监控目标跟踪和识别的准确程度。由于数字图像可 以看作是对连续的自然图像的采样，因此，要获得高分辨的数字图像需要较高的空间采样 率，这就需要提高采集设备中感光器件的密度，但是在实际应用中，一方面由于在硬件中提 高感光器件密度成本非常高，另一方面，提高感光器件密度的同时会使数字图像在成像过 程中更容易受噪声影响。因此，采用信号处理的方法来提高数字图像的分辨率成为了一种 经济有效的途径。超分辨率技术是近年来图像分辨率增强领域的研究热点，它是指利用对同一场景 从不同角度拍摄的多幅低分辨率图像之间的相关信息，重构出高质量的高分辨率图像，使 高分辨率图像逼近连续的自然图像。上世纪80年代初，Tsai和HUang首先提出基于多 帧图像的超分辨率技术，并且在频域建立了目标高分辨率图像与多帧低分辨率图像之间的 关系。但是由于频域超分辨率技术受限于低分辨率图像间全局平移运动的约束，同时不能 有效利用图像的先验知识，因此没能够在实际中得到应用。为了进一步有效地提高超分辨 率技术的性能，研究人员提出了空域的超分辨率重构技术(例如，，)。这类超分辨 率技术通常分为三个步骤，首先，将各帧低分辨率图像的像素通过图像配准映射到目标高 分辨率图像平面空间上；接着，根据低分辨率像素之间的关系预测高分辨图像中的像素值； 最后，为了增加高分辨率图像的清晰度，需要对图像进行去模糊处理。虽然，在处理运动可控的低分辨率图像方面(例如，遥感图像)，传统的空域超分 辨率技术取得了较好的效果，但是对于视频图像，传统超分辨率技术性能会有很大的下降。 因为视频图像间存在很多较为剧烈的局部运动，甚至存在遮挡现象，这样超分辨率技术的 性能会直接受到图像配准技术的影响。根据目前的图像配准技术来看，视频图像配准精度 还不能满足传统超分辨率技术的要求，因此，对视频图像配准可靠性进行分析，在超分辨率 重建中区别对待低分辨率图像的像素，可以有效地提高视频图像超分辨率重建的质量和鲁 棒性。参考文献Park,S. ,Park,Μ. and Kang,M. G,"Super-resolution image reconstruction a technical overview," IEEE signal processing Magazine, vol.20, no. 3, pp. 21-36, May 2003. R. R. Schultz and R. L. Stevenson, "A Bayesian approach to image expansion for improved definition, "IEEETrans. Image Processing, vol. 3, no. 3,pp. 233-242, MAY 1994H. Takeda, S. Farsiu and P. Milanfar, "Kernel regression for image processing and reconstruction,，，IEEE Trans. Image Process, vol. 16, no. 2, pp. 349-366, Feb.2007. X.Li and Μ. T. Orchard, "New edge directed interpolation,，，IEEE Trans. Image Process, vol. 10, no. 10,pp.1521-1527, Oct. 2001.M. Elad and Y. Hel-Or, "A fast super-resolution reconstruction algorithm for pure transnational motion and common space invariant blur,” IEEE Trans. Image Processing, vol. 10, no. 8, pp.1187-1193, August 2001.0mer, 0. A. , Tanaka, T. ,"Multiframe image and video super-resolution algorithm with inaccurate motion registration errors rejection,，，in Proc. of the SPIE Conf. on Visual Comm. and Image Processing, San Jose, California, pp. 82222-1-682222-9，Jan. 2008. H. Takeda, P. van Beek and P. Milanfar, "Spatio-temporal video interpolation and denoising using motion-assisted steering kernel(MASK) regression,"in Int. Conf. on Image Processing,San Diego,USA,pp. 637-640,Oct. 2008.
技术实现思路
为了便于说明，以下文字中“残差值”是指低分辨率像素点与图像配准后该像素在 目标图像平面位置处的像素值之间的差值。本专利技术要解决的技术问题是在图像配准不可靠的情况下，提高视频图像超分辨率 技术的性能和鲁棒性。本专利技术提出了一种新的反映图像配准可靠性的模型和结合该模型的 超分辨率图像的重构方法。本专利技术提供的技术方案如下一、图像配准可靠性模型方案1 一种图像配准可靠性模型，其特征在于，该模型利用图像配准残差在不同 尺度下的分布特征和图像局部结构信息来表示每个像素的配准可靠性。方案2 作为方案1的一种优选实现，其特征在于，像素ρ (it，jt)的配准可靠性用如下公式计算权利要求1.一种图像配准可靠性模型，其特征在于，该模型利用图像配准残差在不同尺度下的 分布特征和图像局部结构信息来表示每个像素的配准可靠性。2.如权利要求1所述的模型，其特征在于，像素p(it，jt)的配准可靠性用如下公式计算3.—种构造权利要求1所述模型的方法，其特征在于，计算第t帧低分辨率图像(it， jt)位置的像素P(it，jt)的配准可靠性，采用如下步骤，1)对图像配准得到残差图像Rttl；2)低通滤波得到粗尺度下残差图像LIitk(k = 1,2,..., N)；3)在以该像素为中心的一个MXN的局部窗内计算多个尺度下残差的绝对值的权值 w(mt, nt)，然后用如下公式计算像素p(it，jt)配准可靠性4.如权利要求3所述的方法，其特征在于，所述步骤1)中的配准算法为具有亚像素精 度的图像配准算法。5.如权利要求3所述的方法，其特征在于，所述步骤2)的实现方法为，用低通滤波器对 上一步得到的残差图像滤波，得到粗尺度的低分辨率图像L本文档来自技高网...

【技术保护点】
１．一种图像配准可靠性模型，其特征在于，该模型利用图像配准残差在不同尺度下的分布特征和图像局部结构信息来表示每个像素的配准可靠性。

【技术特征摘要】

【专利技术属性】
技术研发人员：熊瑞勤，张新峰，马思伟，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：11