一种方法和系统(30)从输入图像(20)产生像素分辨率提高的输出图像(21)，所述输入图像(20)被非二进尺度放大以产生像素比输入图像多的尺度放大图像(22)，并且被低通滤波以产生平滑图像(23)。高细节图像(24)通过减法产生，并且对于尺度放大图像中的每个像素，识别包含该像素的斑片(25)。平滑图像的局部化区域(27)内的最适合斑片(26)通过在平滑图像中紧邻尺度放大图像中的所述斑片的映射位置进行搜索来找到。尺度放大图像的斑片中的每个像素通过唯一地添加高细节图像中与最适合斑片对应的等同斑片中的对应像素的值来校正，并且储存校正的尺度放大图像以用于进一步处理。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理，具体涉及提高图像分辨率或图像尺度放大(upscaling)。
技术介绍
提高图像分辨率或图像尺度放大是具有挑战性的、实践和理论重要性高的基本图像编辑操作。虽然现今的数码摄像机生成高分辨率图像，但是在将受益于分辨率增强的移动设备和监控系统中发现存在许多低分辨率图像以及低级传感器。从其本质上讲，图像尺度放大需要基于输入像素来预测数百万个未知像素值，所述输入像素构成该数量的一小部分。尺度放大还与各种其他问题(诸如图像修补、去模糊、去噪和压缩)密切相关。可能的是，最简单形式的单图像尺度放大使用分析插值公式(比如，双线性和双三次方案)来预测新像素。然而，自然图像包含非常明显的不连续性(诸如物体边缘)，因此，不遵从这些方法所假设的分析平滑性。这导致沿着边缘的几种明显的伪像，诸如振铃、阶梯效应(也通称为“锯齿状图形”)和模糊效应。图像尺度放大已被计算机图形、机器视觉和图像处理群体广泛研究。多年以来研发的方法在它们的公式化方面不同，并且强调它们所使用的先验图像模型和输入数据。这里，我们简要地描述针对该问题的主要方法和这些方法背后的原理。我们集中关注作为我们的新方法的假设设定的单图像尺度放大方法。经典的、最简单的方法使用线性插值，以便预测中间像素值。该方法通常使用线性滤波(诸如双线性和双三次滤波器)来实现，并且常见于商业软件中。这些插值核被设计用于空间平滑或带限信号(在自然图像中情况通常并非是这样)。真实世界的图像通常包含奇异部分(singularity)，诸如边缘和高频纹理区域。结果，这些方法遭受各种边缘相关的视觉伪像，诸如振铃、混叠、锯齿状图形和模糊。Thevenaz等人提供了这些方法及其评估的更详尽的调查。更复杂的方法采用基于图像内容的插值权重。例如，Li等人采用根据局部边缘方位的插值权重，Su等人选择四个最近像素中的三个用于线性插值。这使得可 以减小振铃效应，并且获得稍微尖锐的边缘。非二次平滑函数获得可以用于尺度放大的不同类型的非线性图像正则化。例如，Aly和Dubois通过使全变差函数最小化来放大图像。Shan等人使用复杂的反馈控制架构来使相似的度量最小化，所述反馈控制架构在将输出图像尺度缩小到输入分辨率时保持输出图像与输入图像一致。受自然图像统计学的最近研究的启发，几种方法使用随机马尔可夫场模型来定义尺度放大图像的空间上的概率密度。输出图像在许多情况下通过使这些模型最大化来计算。这些方法可以分为两大类定义非参数化的基于实例的模型的一类和基于分析图像建模的一类。基于实例的图像放大被Freeman等人探究,并在中被进一步研发。该图像预测模型依赖于实例斑片(example patch)的数据库,这些实例斑片被分解为低频带(即，平滑版本)和剩余的更高频带。输入图像通过使用分析插值而被插值为更高分辨率，丢失的高频带然后从实例斑片预测。匹配根据实例斑片的低频分量来执行。该方法能够生成跨图像(物体边缘处和细纹理区域中这两处)的貌似真实的细节。然而，数据库中相关实例的缺乏导致噪声相当大的图像，这些图像沿着弯曲边缘显示出不规则性。较大型数据库的使用由于在最近邻搜索中增加了比较而导致更耗时。近似最近邻搜索的使用提供有限的解决方案，因为它引入了它自己的误差。Tappen等人也使用基于斑片的模型，并且要求输出与输入一致。受Barnsley 的早期工作(其研究图像的分形性质及其对图像压缩的应用)的激发，Robert等人和Vrscay等人使用包含额外的解码步骤的分形压缩方案来对图像进行插值。该方法遭受非常明显的块伪像，这些块伪像可以通过如ReUSenS和Polidori等人所公开的那样将范围块重叠来减小。基于这些工作，Ebrahimi和Vrscay 使用多个较小尺度的输入图像作为依赖于小斑片中的自相似性的实例斑片的源。虽然这提供了与通用数据库相比大小有限的实例数据库，但是如我们稍后所示出的，该实例数据与正被放大的输入图像的相关性要大得多。Suetake等人在与Freeman等人类似的架构中也使用输入图像来计算后来用于估计丢失的高频带的实例码书(codebook)。最近，几种参数化图像模型被提议用于尺度放大。这些方法使分析模型适合于描述显示不同尺度的统计依赖性的各种图像特征。Fattal 对从输入提取的边缘描述符与更高分辨率的梯度之间的关系进行建模。Sun等人使用关于重构边缘轮廓的全分析先验知识。这些方法比它们的基于实例的对应方法快得多，并且能够再生成没有明显噪声的尖锐边缘。然而，所得的图像趋向于显得有点不真实，因为它们由一般化的边缘构成，这些一般化的边缘通常使颜色区块(color plateaus)分离。Sun等人描述了将基于实例的建模和参数化建模组合在一起的马尔可夫随机场。除了单图像尺度放大之外，许多文献还处理多帧超分辨率，其中在平移偏移处获取的同一场景的多次抓拍用于产生该场景的单个高分辨率图像。还提出了使用鲁棒的正则化来处理限制该操作的噪声。考虑到静态场景的高分辨率照片，Bhat等人通过从这些照片呈现像素来增强该场景的视频。最近，Glasner等人将多帧技术和基于实例的超分辨率技术统一起来，并且导出单图像方法。该方法使用多帧超分辨率的形式体系来获得相差子像素偏移的采样，所述形式体系仍依赖于图像中的自相似性。 局部自相似性Freeman等人使用从任意自然图像获取的小斑片的通用实例数据库。其他则依赖于图像内的自相似性;自然图像中的小斑片趋向于跨其尺度在图像内重复它们自身。这使得外部数据库可以用以较小尺度获取的、作为实例斑片的源的输入图像自身来替代。虽然与具有任意大小的外部数据库相比这提供了有限数量的实例斑片，但是在输入图像内找到的斑片对于对它进行尺度放大更加相关。因此，在许多情况下，可以在缩短最近邻搜索中所涉及的时间成本的同时使用更少的实例并且获得相同或者甚至更好的结果，所述最近邻搜索已知是非参数化的基于实例的图像模型的主要瓶颈。
技术实现思路
本专利技术提出一种新型的高质量、高效率的单图像尺度放大技术，该技术在几方面扩展了现有的基于实例的超分辨率架构。图I展示了本专利技术自然图像中的局部尺度不变性方法，其中，小斑片10基于小的尺度缩放(scaling)因子与它们自身非常相似。该性质适用于各种图像奇异部分，诸如如图I所示的直边和带拐角的边缘，这些图像奇异部分通过利用自然图像中的局部尺度相似性来显示图像尺度放大。尺度缩小(downscale)时的斑片10与它们的剪裁版本11非常相似。该关系适用于各种类型的奇异部分。本专利技术使用该观察结果来进一步采用Ebrahimi和Vrscay 的方法,并且在输入图像中的极其局部化的区域处搜索实例斑片。将该局部化搜索与用于获得实例斑片的其他可替换方法进行比较表明，就计算时间和匹配误差这二者而言，它的表现明显好得多。还可以看出，尺度不变性假设更好地适用于小的尺度缩放因子，在小的尺度缩放因子上，找到相关性更大的更多的实例斑片。因此，根据一些实施方案，本专利技术执行多个小尺度缩放因子的尺度放大步骤来实现所需的放大倍率大小。本专利技术使用专用的新型滤波器组来实现这些非二进(non-dyadic)尺度缩放，所述专用的新型滤波器组是我们针对N+l N上采样和下采样比率而导出的。这些新型滤波器是基于用本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：R·法特尔，G·弗里德曼，
申请(专利权)人：耶路撒冷希伯来大学伊森姆研究发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。