图像分辨率增强制造技术

本发明专利技术涉及图像的升尺度，例如将视频图像从标准清晰度升尺度到高清晰度。通过依赖于组合两个匹配度量的匹配度量对输入图像中的像素值加权而将输入图像升尺度为分辨率增强图像（２０７）。第一图像生成器（１０３）产生输入图像的模糊版本并且第二图像生成器（１０３）产生升尺度的５插值版本。通过比较模糊图像和升尺度的插值图像的像素组而产生第一度量。通过比较输入图像的像素组以及分辨率增强图像（２０７）的已经合成的像素值而产生第二度量。对于搜索区域中的每个位置，分辨率增强处理器（１０７）产生组合匹配度量并且当１０产生分辨率增强图像（２０７）的未知像素值时使用该度量对该位置的像素值加权。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像分辨率增强，特别地但非排他性地，涉及用于视频序列的帧的分辨率增强。
技术介绍
提高图像的分辨率通常称为升尺度(upscale)并且正变得越来越受关注。例如， 由于各种高清晰度(HD)电视标准的出现，存在对于用于从标准清晰度(SD)图像产生HD图 像的适当方法和算法的需要。例如，离线处理已经被用来从原始SD视频序列产生HD视频 序列并且已经开发了能够动态地将SD视频内容实时地升尺度到HD视频内容的电视和DVD播放器等等。这种升尺度典型地使用插值产生新的像素值，其使用例如双线性或双三次插值或 者多相缩放。然而，尽管这样的方法增加了图像中的像素数量，但是它们未在图像中引入新 的高频细节并且因而升尺度的图像出现模糊。为了将标准清晰度(SD)视频转换成高清晰 度(HD)，需要近似200%的升尺度因子，并且对于这个以及更高的尺度因子，模糊趋向于清 晰可见并且是不希望的。为了减轻或补偿这种感知的模糊，在分辨率增强中经常使用高级非线性技术以 便产生具有更详细和鲜明印象的图像。这样的方法包括例如如T. Kondo，和K. Kawaguchi 的Adaptive dynamic range encoding method and apparatus，，,美国专利 5，444，487, 1995 ip 8 ^ , \)J,R Τ. Kondo ^AW Method and apparatus for adaptive filter tap selection according to a class”，美国专利 6，192，161，2001 年 2 月中所描述的使用 训练和结构分类而优化的数据相关插值滤波器，如Li和Orchard的“New edge-directed interpolation,，，IEEE Transactions on Image Processing 10:1521-1527 2001 中所描 述的针对边缘的插值技术。这些技术中许多技术的综述和评价可以见诸van Ouwerkerk的 “Image super-resolution survey, Image and Vision Computing 24(10) 1039-1052, 2006 以及 de Μ· Zhao，Μ· Bosma 禾口 G. de Haan 的“Making the Best of Legacy Video on Modern Displays, Journal of the Society for Information Display__January 2007 Volume 15,Issue 1, pp. 49—60。电视中使用的用于分辨率增强的方法的一个特定实例称为利用峰化的瞬态亮度 改进(LTI)。LTI是一种通过在不创建过冲的情况下增大瞬态值，从而在信号中引入新的高 频内容而改进边缘锐度的技术。峰化旨在增强信号中已经存在的高频分量，以便赋予图像 更鲜明的印象。LTI的描述可以见诸J. Tegenbosch, P. Hofman和M. Bosma的“Improving nonlinear up-scaling by adapting to the local edge orientation,Proceedings of the SPIE, Vol. 5308，pp. 1181-1190，Jan. 2004 以及美国专利 US4414564A。然而，典型地这些方法主要着眼于产生更清晰的边缘过渡，结果，它们倾向于在诸 如纹理之类的细节密集区域缺乏足够的增强能力。这种纹理/细节增强的缺乏对于增大尺 度因子以及尤其是对于200%以上的尺度因子可能变得更加可见。例如 Wei, L. -Y.的Texture synthesis by fixed neighborhood searching，，， 2002 以 及 Ashikhmin, M 的Fast Texture Transfer ；Computer Graphics and Applications, IEEE Volume 23，Issue 4, July-Aug. 2003 Page (s) :38-43 中提出了用于纹 理合成的方法。这些文章中的第一篇公开了基本的基于实例的纹理合成的实例，这是一种 旨在基于用作实例的小纹理片扩展图像区域中的纹理的技术。然而，尽管这样的方法对于 通过适当的纹理覆盖一定区域是有用的，但是它们并不针对升尺度或者分辨率增强，并且 针对将纹理扩展到更宽的区域，而不是提高现有纹理区域的分辨率。第二篇文献公开了称 为纹理传递(或者有时称为约束纹理合成)的技术，其中合成通过额外目标图像操控。另一种用于升尺度的方法称为基于实例的超分辨率并且记载于“Example-Based Super-Resolution；Freeman, W.Τ. ；Jones, Τ. R. ；Pasztor, Ε. C. , Computer Graphics and Applications, IEEE, vol. 22, no. 2, PP. 56-65, Mar/Apr 2002 以及 William T. Freeman and Thouis R. Jones, One-pass super-resolution images，，，美国专利 6766067 July 20, 2004。基于实例的超分辨率使用具有若干组预存储的图像的数据库，其中每组图像包括 相同场景的低分辨率和高分辨率版本。要升尺度的输入图像经过逐片处理，并且对于每片， 在数据库中找到最佳匹配的实例。所述匹配通过比较该片的低分辨率内容以及数据库中存 储的针对实例图像的相应低分辨率片来确定。此外，可以将升尺度图像的已经合成的像素 值与数据库中作为与低分辨率片相应的高分辨率图像实例而存储的像素进行比较。这通过 让合成的片具有小的重叠来实现，其事实上施加了更好的空间一致性。用于最佳匹配的存 储的高分辨率图像的高频分量然后用来合成高分辨率输出，从而产生改进的升尺度图像。 特别地，可以从最佳匹配实例的存储的高分辨率图像拷贝像素值。然而，尽管这种方式对于某些图像可以提供良好的结果，但是它也倾向于具有某 些缺点。特别地，产生的高分辨率图像可能不具有最优的质量。例如，由于所述过程是在逐 片的基础上执行的，因而输出中的空间一致性不受保证。此外，所述实例图像可能不与被处 理的图像精确地对应，从而引入不一致性。再者，为了对于许多不同输入图像实现足够高的 质量，有必要具有大量存储的实例图像，从而增大了资源要求、复杂性和成本。例如，存储要 求以及搜索大小和时间特性可能较高。因此，一种改进的图像分辨率增强将是有利的，特别地，一种允许灵活性增大、复 杂性降低、图像质量提高、资源消耗减少和/或性能改善的系统将是有利的。
技术实现思路
因此，本专利技术寻求更可取地单独地或者以任意组合地缓解、减轻或者消除上述缺 点中的一个或多个。依照本专利技术的一个方面，提供了一种用于图像的分辨率增强的方法，该方法包括 接收第一分辨率的第一图像；产生第一分辨率的第二图像，作为第一图像的模糊图像；通 过将第一图像升尺度到第二分辨率而产本文档来自技高网...

【技术保护点】
一种用于图像的分辨率增强的方法，该方法包括：　　接收（３０１）第一分辨率的第一图像（２０１）；　　产生（３０３）第一分辨率的第二图像（２０３），作为第一图像（２０１）的模糊图像　　；通过将第一图像（２０１）升尺度到第二分辨率而产生（３０５）第三图像（２０５）；　　通过对于分辨率增强图像（２０７）的多个像素组迭代以下步骤来合成（３０７）第二分辨率的分辨率增强图像（２０７）：　　－选择（４０１）分辨率增强图像（２０７）的第一像素组（２０９）；　　－选择（４０３）第三图像（２０５）的与第一像素组（２０９）具有第一预定空间关系的比较像素组（２１１），该比较像素组（２１１）具有第二分辨率的分辨率；　　－选择（４０５）分辨率增强图像（２０７）的与第一像素组（２０９）具有第二空间关系的合成像素组（２１３），该合成像素组（２１３）具有第二分辨率的分辨率；　　对于图像区域（２１５）中的多个位置：　　选择第一位置；　　确定（５０１，５０３）第二图像（２０３）的与第一位置具有第三空间关系的第一样本像素组（２１７）和比较像素组（２１１）之间的第一匹配度量，第一样本像素组（２１７）具有第一分辨率的分辨率；　　确定（５０５，５０７）第一图像（２０１）和第三图像（２０５）中的至少一个的与第一位置具有第四空间关系的第二样本像素组（２１９）和合成像素组（２１３）之间的第二匹配度量，第二样本像素组（２１９）具有第一分辨率的分辨率；　　通过组合第一匹配度量和第二匹配度量产生（５０９）针对第一位置的组合匹配度量；并且　　响应于组合匹配度量以及第一图像（２０１）和第三图像（２０５）中的至少一个的源图像区域（２１５）的像素值产生（４１３）第一像素组（２０９）的至少一个像素值。...

【技术特征摘要】
【国外来华专利技术】EP 2008-5-21 08156628.31.一种用于图像的分辨率增强的方法，该方法包括 接收(301)第一分辨率的第一图像O01)；产生(30 第一分辨率的第二图像003)，作为第一图像O01)的模糊图像； 通过将第一图像O01)升尺度到第二分辨率而产生(30 第三图像Q05)； 通过对于分辨率增强图像(207)的多个像素组迭代以下步骤来合成(307)第二分辨率 的分辨率增强图像O07)-选择G01)分辨率增强图像OO7)的第一像素组QO9)；-选择(40 第三图像Q05)的与第一像素组(209)具有第一预定空间关系的比较像 素组011)，该比较像素组011)具有第二分辨率的分辨率；-选择(40 分辨率增强图像O07)的与第一像素组(209)具有第二空间关系的合成 像素组013)，该合成像素组(21 具有第二分辨率的分辨率； 对于图像区域015)中的多个位置 选择第一位置；确定(501，50 第二图像Q03)的与第一位置具有第三空间关系的第一样本像素组 (217)和比较像素组(211)之间的第一匹配度量，第一样本像素组(217)具有第一分辨率的 分辨率；确定(505，507)第一图像(201)和第三图像Q05)中的至少一个的与第一位置具有第 四空间关系的第二样本像素组(219)和合成像素组(21 之间的第二匹配度量，第二样本 像素组(219)具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度量产生(509)针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像(201)和第三图像(20 中的至少一个的源图像区 域015)的像素值产生(41 第一像素组Q09)的至少一个像素值。2.权利要求1的方法，其中产生至少一个像素值的步骤包括通过与多个位置关联的源 图像区域015)的多个像素值的加权组合而产生第一像素组O09)的像素的像素值，所述 多个像素值的每个像素值的加权取决于该像素值的组合匹配度量。3.权利要求1的方法，其中产生(413)至少一个像素值的步骤包括 选择所述多个位置的位置组，其包含组合匹配度量匹配一定准则的位置； 为所述位置组的每个位置选择源像素值；并且响应于这些源像素值而产生所述至少一个像素值。4.权利要求1的方法，其中产生(30 第二图像Q03)的步骤包括 对第一图像O01)降尺度以便产生较低分辨率图像；并且通过将该较低分辨率图像升尺度到第一分辨率而产生第二图像(203)。5.权利要求4的方法，其中较低分辨率图像的分辨率和第一分辨率之间的比值与第一 分辨率和第二分辨率之间的比值基本上相同。6.权利要求1的方法，其中第一图像O01)与分辨率增强...

【专利技术属性】
技术研发人员：C达姆卡特，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]