本发明专利技术包括从单个视频帧进行基于多区块的超分辨率重建的装置、系统和方法。实施例包括一个基于尺度不变自相似性（SiSS）的超分辨率方法。不同于在数据库或者低分辨率（LR）图像里搜索高分辨率（HR）样本，本实施例可以根据区块本身的SiSS特性来选择区块，从而不需要涉及任何搜索，能够降低本方法的计算复杂性。为了解决在自然图像里缺乏相关样本的问题，本实施例可以采用多形状和多尺寸的区块用于HR图像重建。另外，实施例可以包括一个混合加权方法的步骤用于抑制伪影。本方法的实施例比基于区块样本搜索的超分辨率方法快10~1000倍，并获得相当的HR图像质量。
【技术实现步骤摘要】
本专利技术涉及图像和视频处理，特别涉及用于图像超分辨率的装置、系统和方法。背景技木超分辨率(SR)方法g在从低分辨率(LR)图像中复原出超过奈奎斯特频率的新的高分辨率(HR)信息。SR方法适用于HDTV、视频通信、视频监控、医学成像和其它应用。最近，由单个LR输入图像重建HR图像的基于样本(example-based)的SR (通常也被称为“幻象(hallucination)”)，已经成为ー种有前景的技术，因为其能够克服传统多图像超分辨率方法的ー些限制，且能够以较低的计算和存储器成本来实现。 基于样本的SR方法假设丢失的HR细节能够从具有代表性的训练集(trainingset)或LR图像本身学习和推断出。例如，图象预测模型可以依赖于ー个包括了样本的低频信息和剰余高频信息数据构成的数据库，而该数据库是通过ー个训练集来建立的。在进行超分辨率处理时，将LR图像分成多个重叠的区块。对每个区块，根据样本区块的低频成分在数据库里进行搜索以确定相应的高频成分用于重建。其它这类代表性的方法包括基于核岭回归(Kernel Ridge Regression based)的 SR 方法、基于稀疏编码(Sparse Coding)的SR方法等。这些类型的SR方法能够对整个图像产生真实感很强的高清晰细节；但是，如果数据库中缺乏相关样本，就会在生成的图像中产生噪声，特别是弯曲边缘会出现不规则的噪声。此外，基于数据库的通常需要花费更多的计算时间、耗费更多存储器，这使得高效的硬件实现变得非常困难。另ー个基于样本的SR方法采用图像的自相似(self-similarity)特性，即自然图像中的小区块会在该图像内多次重现的特性。在一个现有技术的方法里，在相同图像尺度(scale)内和若干较小图像尺度之间的区块重现被用来发掘亚像素级的错位和低分辨率/高分辨率区块对中所包含的高频信息。该方法使用一个统ー的框架来发掘着两种信息，并采用近似最邻近(ANN)算法来加速区块搜索。在另ー个方法里，使用输入LR图像的图像金字塔，在线建立ー个低分辨率/高分辨率区块对的字典，并且使用组合稀疏约束(groupsparsity constraint)来进行优化。通过在字典里使用ANN搜索,重建HR图像。在又ー个方法里，根据自然图像的局部自相似特性，将区块捜索局限在10X10的范围内，而不是整个输入图像，从而极大地降低了区块搜索的复杂度，同时不会影响大多数重建图像的质量。在又ー个方法里，提出了ー种非局部反投影(non-local back-pro jection)方法,利用在小窗口内进行局部捜索以恢复非局部冗余以及抑制“锯齿”伪影和振铃效应。与其它前述的算法中较小的图像放大步长(如由4X4放大到5X5)相比，该方法运行ー次便将图像在每个方向上都放大2倍，因此对于一般的应用，连续使用该方法一到两次便可以达到目标图像所需的放大率。上述基于样本的SR算法通常计算量庞大，因为对每个像素或区块，本方法需要在数据库/字典、图像金字塔或图像的局部区域里捜索高分辨率的区块。尽管已经有很多降低计算复杂性的方法被提出，但SR的计算复杂性仍然很高，成为SR技术商业应用ー个主要障碍。 专利技术概述本专利技术的实施例包括基于多区块的单帧图像超分辨率重建的装置、系统和方法。在此使用的“图像”是指通过摄取对应物体的光线或光磁辐射而获得的ー个物体视觉表象。图像可以包括ー个静止图像或ー个视频帧。这类实施例可以包括一种基于尺度不变自相似(SiSS)的超分辨率方法。不同于在数据库里或LR图像里捜索HR样本，本实施例可以根据区块本身的SiSS特性来选择区块，而不需要涉及任何捜索，因而可以降低SR方法的计算复杂性。为了解决自然图像中缺乏相关样本的问题，本实施例可以在HR图像重建时采用多形状和多尺寸的区块。另外，实施例可以包括使用ー个混合加权方法步骤来抑制伪影(artifact)。本方法的某些实施例比基于区块搜索的SR方法快l(Tl000倍，并获得相当的HR图像质量。在一个实施例里，一个从单个低分辨率图像产生高分辨率图像的方法包括将所 述低分辨率图像分割成具有多种形状和尺寸的大量的重叠区块。另外，本方法可以包括按照顺序处理各个区块。在一个实施例里，本方法包括比较整个区块与其中心区域以获得每个区块的尺度不变自相似性。本方法也可以包括选择尺度不变自相似性大于某个阈值的区块。另外，本方法可以包括使用加权的低分辨率区块来重建所述低分辨率区块中心区域对应的高分辨率图像。另外，本方法可以包括应用反投影(back-projection)到重建的图像。在一个实施例里，多形状区块包括完整区块和被从区块中心点到边界的一条或多条直线分割的部分区块。比较区块及其中心区域可以包括将区块或部分区块缩小到跟中心区域相同的尺寸，并计算原始区块(或部分区块)中心区域与縮小的区块(或部分区块)之间的相似性度量。在一个特别实施例里，选择步骤还包括将以同一位置为中心的多种形状的区块分割成多个子集，在每个子集里选择其相似性大于ー个阈值且相似性为前N个最大的区块。在另ー个实施例里，重建步骤包括使用相似性度量计算第一权重；线性映射区块中心区域的每个像素到区块的对应像素，使用区块和中心区域的对应像素之间的亮度差计算每个像素的第二权重；通过合并第一和第二权重来获得每个像素的权重，井分别计算该区块里的像素与其它与之相重叠的区块里的像素的加权和。在另ー个实施例里，中心区域与区块或部分区块的形状相同。并且，如果区块是完整区块，则中心区域以区块的中心点为中心；如果区块是部分区块，则其中心区域是以对应的完整区块的中心点为中心。中心区域尺寸和区块尺寸之间的比例与低分辨率图像和放大的高分辨率图像之间的尺寸比例相同。在另ー个实施例里，计算相似性度量的步骤还包括使用ー个加法树来计算整个区块以及同一位置上相应部分区块的相似性度量。前述已经相当广泛地阐述了本专利技术的特征和技术优势，由此将更加容易理解以下本专利技术的详细描述。本专利技术的其他特征和优势将在其后描述，此构成本专利技术的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和特定实施例可以作为一个基础，用来修改或设计其它结构来执行本专利技术的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本专利技术精神和范围。被看作本专利技术特征的新颖性特征，无论是其组织还是运行方法，与其它目的和优势一起，通过以下的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本专利技术。附图说明为了更完整地理解本专利技术，现结合附图參照以下的描述，其中图1A描述ー个从低分辨率图像或视频帧产生高分辨率图像或视频帧的方法实施·例；图1B描述使用SiSS度量进行超分辨率重建；图1C描述ー个区块融合运算的实施例；图2A描述ー个包括SiSS和非SiSS区块的实例图像；图2B-E描述图2A所示图像里标记的区块和部分区块；图3描述ー个使用多形状区块来处理非SiSS区块的方法实施例；图4描述ー个使用多尺寸区块来处理非SiSS区块的方法实施例；图5描述ー个具有离群像素的区块及其中心区域的例子；图6是ー个实施例的基于多区块的超分辨率方法流程图；图7描述几种区块几何形状的实施例；图8描述几种部分区块的本文档来自技高网...
【技术保护点】
一个方法，包括：接收具有第一分辨率的第一图像，用以转换成具有第二分辨率的第二图像；将所述第一图像分割成多个区块，所述区块具有不同的属性；对具有不同属性的各个区块进行处理以便选择其中的一部分，选择的条件包括该区块的尺度不变自相似性数值高于一个阈值；和使用具有选择的不同属性的各个区块，将所述第一图像转换成所述第二图像。
【技术特征摘要】
2012.09.28 US 13/630,8031.一个方法，包括接收具有第一分辨率的第一图像，用以转换成具有第二分辨率的第二图像；将所述第一图像分割成多个区块，所述区块具有不同的属性；对具有不同属性的各个区块进行处理以便选择其中的一部分，选择的条件包括该区块的尺度不变自相似性数值高于一个阈值；和使用具有选择的不同属性的各个区块，将所述第一图像转换成所述第二图像。2.根据权利要求1所述的方法，其中所述不同属性包括区块的尺寸。3.根据权利要求1所述的方法，其中所述不同属性包括区块的形状。4.根据权利要求3所述的方法，其中所述每个区块包括一个或多个部分区块，所述每个部分区块具有不同的形状。5.根据权利要求3所述的方法，其中所述每个部分区块包括一个或多个形状，其由从区块中心点到区块边界的一条或多条线确定。6.根据权利要求1所述的方法，还包括将整个区块与整个区块的中心区域进行比较以确定所述尺度不变自相似性数值。7.根据权利要求6所述的方法，其中所述将整个区块与整个区块的中心区域进行比较包括缩小所述整个区块到和所述中心区域有相同的尺寸。8.根据权利要求1所述的方法，还包括计算所述整个区块的中心区域和所述缩小的整个区块之间的一个相似性数值。9.根据权利要求1所述的方法，其中所述每个区块包括一个区域，其与一个或多个其它区块重叠。10.根据权利要求1所述的方法，还包括应用反投影到所述第二图像。11.根据权利要求9所述的方法，其中所述将第一图像转换成第二图像还包括根据所述自相似性数值计算第一加权数值；将所述整个区块或部分区块的中心区域的每个像素映射到所述整个区块或部分区块上的对应像素；使用所述整个区块或部分区块的对应像素和所述整个区块或部分区块的中心区域之间的差异，计算所述整个区块或部分区块上每个像素的第二权重；合并所述第一权重和所述第二权重以确定一个综合加权数值；和根据所述综合加权数值，分别计算所述区块的各个区块内像素和与之重叠的区块中对应位置像素的加权和。12.根据权利要求6所述的方法，其中所述整个区块中心区域的部分区域的形状由所述部分区块确定。13.根据权利要求12所述的方法，其中所述区块中心区域是以所述区块的中心点为中心。14.根据权利要求6所述的方法，其中所述整个区块和所述整个区块中心区域之间的比例，与所述第一图像和所述第二图像之间的比例相同。15.根据权利要求6所述的方法，其中所述计算一个相似性数值还包括使用一个加法树，计算所述整个区块和一个或多个相应部分区块的尺度不变自相似性度量。16.一个系统,包括一个输入端，其被设置以接收具有第一分辨率的第一图像，用以转换成具有第二分辨率的第二图像；和 一个图像处理器，其被...
【专利技术属性】
技术研发人员：梁路宏，赵京雄，林彦民，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。