处理超分辨率目标图像制造技术

在一种处理来自多个分辨率相当低的辅助帧的超分辨率目标图像的方法中，将目标图像分割成多个适应尺寸的块，这些块的尺寸是基于从包含在多个辅助帧中的信息获得的块的配准置信等级。根据块的各配准置信等级及其变化程度中的一者或两者而将块分类成多个不同的类别；另外，根据块的各个类别选择设计成增强块的不同增强模式并将其应用于块以增强目标图像。

【技术实现步骤摘要】
【国外来华专利技术】处理超分辨率目标图像
技术介绍
通过使用数码相机和配有数码相机的蜂窝电话获得的静态图像的画质通常比通 过使用数码摄像机捕捉到的视频帧中所获得的静态图像好出许多。与静态帧相比，视频帧 的分辨率一般相对较低，这导致图像的画质相对较低。已应用各种信号处理技术以提高从视频帧获得的静态图像的画质。这些用于提高 静态图像分辨率的技术中的一种包括基于单帧的插值。然而，传统插值技术一般导致视觉 劣化，由于基于单帧的插值除了单帧中包含的信息外不添加附加信息。用于提高分辨率的另一种传统技术是超分辨率(SR)技术。这种技术，来自同一场 景的多个连续帧的信息被合并以提高空间分辨率。如果在多个帧之间已发生子像素位移， 则附加信息是可用的。如此，经二次采样的低分辨率(LR)帧是可合并的，以合成具有相对 较高的分辨率(HR)的图像。总地来说，SR技术包括两个主要步骤按子像素准确率来配准 LR图像并将它们映射到HR栅格并合成HR目标图像。传统SR技术包括从直接非均勻插值乃至迭代背后投影(IBP)、凸集上的投影 (P0CS)、最大A后验(MAP)以及其它方法。这些技术中的每种技术具有其本身前提性并因 此在不同种成像环境中受到限制。例如，MAP技术在具有合适先验知识的情形下更好地产 生例如表面图象SR ；迭代技术将图像区匹配于小配位误差，其它误差可能在迭代中累积。多数传统SR技术假设配准是已知的或可以精确计算的；然而，配准的准确性对于 成功执行SR任务是非常重要的。大体已知精确子像素配准由于其糟糕的姿态、孔隙问题以 及在图像中存在覆盖和未覆盖区域而不是一直可行的。如此，给定若干辅助帧和目标图像，通常目标图像中的一些区域能很好地配准，然 而其它区域——例如具有相对复杂运动或遮挡的这些区域——配准情况很糟。很好配准的 辅助信息通常提高目标图像中的分辨率，而糟糕配准的辅助信息已知会降低目标图像的画 质使其低于原始图像的画质。因此，在一个方面，当面对经常出现在视频中的具有复杂运动 或遮挡的场景时，已有SR技术经常容易出故障。已研究出大量算法以提高SR技术对配准误差的稳固耐用性，例如保密映射、运 动矢量和HR图像的接合估计、Ll标准替代L2标准以减小外露层效果、从训练采样中学习 图像块遗失的高频率图像块分量以及其它方法。最近，D. Barreto等人的“Region-Based Super-Resolution for Compression, in Multidimensional Systems and Signal Pr0CeSSing(多维系统和信号处理中用于压缩的基于区域的超分辨率)”2007、卷18、59-81 页给出将SR技术整合在压缩任务中，其中这些压缩任务在向下采样和编码过程前将IBP组 的数据块分成三种类型。然而，本文披露的方法被设计成用更好的画质压缩视频序列。根据SR技术的增大分辨率的改进方法因此是有益的。附图简述本专利技术的特征可由本领域内技术人员参照附图从下面的详细描述中清楚得出，在 附图中附图说明图1示出根据本专利技术一实施例的用于处理图像的系统的简化框图2示出根据本专利技术一实施例的可将目标图像划分或分割成多个块的方法的图；图3示出根据本专利技术一实施例的处理超分辨率目标图像的方法的流程图；图4A和4B分别示出根据本专利技术一实施例用于处理来自多个分辨率相当低的辅助 帧的超分辨率目标图像的方法的流程图；图5示出根据本专利技术一实施例对通过操作图3、4A和4B所示方法而分类的多个块 进行选择并应用增强模式的方法的流程图；以及图6示出根据本专利技术一实施例配置成实现和执行图3-5所示方法的计算装置的方 框图。具体实施例方式为了简化和阐述的目的，主要参照其示例性实施例对本专利技术进行说明。在以下描 述中，陈述许多具体细节以提供对本专利技术的透彻理解。然而，将对本领域技术人员明显的 是，本专利技术的实现不局限于这些具体细节。在其他情形中，众所周知的方法和结构并未予以 详细描述以免不必要地混淆本专利技术。本文披露一种处理来自多个分辨率相当低的辅助帧的超分辨率目标图像的方法 以及配置成执行该方法的图像处理装置。该方法包括用于处理来自辅助帧的目标图像的基 于块的框架。更具体地，基于从辅助帧内所包含的数据中识别的图像内容和运动估计准确 性，目标图像被分成多个适应尺寸的块。另外，用适合这些块的内容和运动估计准确性的不 同的增强技术来增强这些不同的块。通过本文披露的过程和装置的实现，可以提高的空间分辨率产生超分辨率目标图 像，即使在场景包括遮挡和/或复杂运动的情形下也是如此。由于本文所述基于块的框架 对于以块为特征的不同区域是灵活的，并且对于配准错误是稳固耐用的，因此，可提高空间 分辨率。另外，由于具有将量化参数引入超分辨率步骤以实现量化噪声抑制，因此本文描述 的基于块的架构具有压缩视频超分辨率的自然能力。此外，本文披露的基于块的架构也可 扩展至包括不同分类的块和用于提高目标图像不同分类块的质量的不同方法。首先参见图1，图中示出根据一个示例的用于处理图像的系统100的简化方框图。 应当理解，系统100可包括附加部件，并可去除和/或改变本文描述的一些部件而不背离系 统100的范围。如图所示，系统100包括图像处理装置102，该图像处理装置102可包括配置成处 理图像的软件、固件或硬件。例如，图像处理装置102可包括数码相机、数码摄像机、扫描 仪、计算设备、成像设备、容纳一元件的存储器、存储器中的多个元件等。尽管图像处理装置102可执行其它功能，然而图像处理装置102 —般用于处理来 自多个分辨率相当低的辅助帧的超分辨率目标图像。因此，在一个方面，图像处理装置102 配置成从多个经二次采样的低分辨率辅助帧中产生增强的静态目标图像，所述低分辨率辅 助帧可由数字摄像机捕获。图像处理装置102被图示为包括输入模块104、图像分割模块106、块比较模块 108、块分类模块110、增强模式选择模块112、增强模式应用模块114、解块模块116、输出模 块118。另外，图像处理装置102被描述为连接于一个或多个输入120、数据存储器130和 输出140。在图像处理装置102包括软件的情形下，图像处理装置102可存储在计算机可读 存储介质上并由计算设备(未示出)的处理器执行。在这些情形下，模块104-118可包括配 置成执行下文描述的功能的软件模块或其它程序或算法。在图像处理装置102包括固件或 硬件的情形下，图像处理装置102可包括配置成执行本文描述功能的电路或其它装置。在 这些情形下，模块104-118可包括一个或多个软件模块和硬件模块。如图1所示，输入模块104配置成从输入120接收数据。输入120可包括任何合 用的输入装置，例如由此可接收图像并使之进入图像处理装置102的透镜和电路、图像捕 获设备、图像存储设备、计算设备等。在一个方面，图像处理装置102可通过输入模块104 从输入120接收多个分辨率相当低的辅助帧。另外，输入120也可与图像处理装置102整 合在一起。输入120也可包括任何合用的输入设备，例如键盘、鼠标、外部或内部数据存储设 备等，籍此可将数据输入图像处理装置120。用户可由此通过输入120将命令输入图像处理 装置102。在任何方面，图像处理装置102可将从输本文档来自技高网...

【技术保护点】
一种处理来自多个分辨率相当低的辅助帧的超分辨率目标图像的方法，所述方法包括：　　将所述目标图像分割成多个适应尺寸的块，其中基于从多个辅助帧内所包含的信息中获得的块配准置信等级，适应性地调整这些块的尺寸；　　根据这些块各自的配准置信等级及其变化程度中的一者或两者，将这些块分类为多个不同的类别；　　根据各自的类别，选择被设计成增强这些块的单独的增强模式；以及　　对这些块应用选定的增强模式以增强所述目标图像。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：唐亮，苏衡，DR特雷特，
申请(专利权)人：上海惠普有限公司，惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：11[中国|北京]