图像超分辨率放大的方法和装置制造方法及图纸

本发明专利技术提供一种图像超分辨率放大的方法和装置。所述方法包括：根据倍率，分别获得原始图像的放大图像、低频图像和高频图像；将放大图像划分为多个预定大小的像素块；针对所述每个像素块执行以下操作：在低频图像的预定大小的局部区域内，按预定步长搜索与放大图像中的像素块最相似的像素块，将高频图像中的与在低频图像中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像中的像素块；输出放大图像中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像中的像素块最相似的像素块的步骤包括：使用加权块匹配准则来搜索与放大图像中的像素块最相似的像素块，其中，加权函数为具有中心下降特性的分布函数。

【技术实现步骤摘要】
图像超分辨率放大的方法和装置
本专利技术总体来说涉及图像处理领域，更具体地，涉及一种图像超分辨率放大的方法和装置。
技术介绍
由于网络带宽和服务器存储空间的限制，通常会先对图像进行压缩。压缩后的图像极大地降低了处理图像时所需的带宽和存储空间，但是降级处理后的图像会有较为明显的质量损失(例如，模糊、方块和振铃)，而这会在用户观看图像时降低用户的感知体验。近年来，由于高分辨率显示器越来越多地应用在个人计算机、电视以及移动计算装置上，所以需要对将要显示的图像进行相应的超分辨率放大。图像的超分辨率算法是指通过一系列的处理将低分辨率图像转变为高分辨率图像的图像处理过程。图像超分辨率算法在卫星成像、医学图像处理、虚拟现实和显微成像等方面有广泛的应用。在现有技术中，根据处理图像的帧数将图像超分辨率算法分为多帧图像超分辨率算法和单帧图像超分辨率算法。多帧图像超分辨率算法对输入图像序列要求较高并且需要精准配对。此外，由于在使用多帧图像超分辨率算法时，需要对大量图像进行处理，所以比较耗时，无法满足实时性的要求。而单帧图像超分辨率算法只需要一帧图像，并且所需的高频信息可通过外部图像库或图像本身获得。但是通过外部图像库获得高频信息的单帧图像超分辨率算法需要经过训练来获得高频信息，这会增加算法的复杂度。根据图像超分辨率实现的具体方法可将图像超分辨率算法分为基于重建的算法和基于学习的算法。其中，基于重建的算法包括MAP、POCS, IBP、NLM等，基于学习的算法包括稀疏表示，流行嵌入，基于样例，块重复冗余等。常见的图像超分辨率算法包括图像插值处理，图像插值处理是指通过对邻近像素点做加权平均来求得未知像素点的处理，其中，权值通常与像素点间的距离有关。常见的插值处理有最邻近插值、双线性插值和双立方插值等处理。但是图像插值处理视觉效果较差，存在较严重的锯齿和模糊现象，特别是在放大倍率较大时(放大倍数大于等于3)。而一些自适应插值技术如NEDI (New edge directed interpolation),其插值系数根据待插值像素点局部区域的特性做自适应调整，能够在一定程度上改善边缘插值效果，取得令人愉悦的效果，但这类方法只可对连续边缘的图像能够获得不错的效果，而对细小杂乱边缘的处理，显得人工痕迹过于明显，显得极不自然，局限性较大。常见的图像超分辨率算法还可包括MAP算法、IBP算法和稀疏表示算法。其中，MAP算法和IBP算法均适用于单帧图像超分辨率算法，但效果均十分有限，相较于图像插值处理也没有突出的效果。而稀疏表示算法是基于学习的算法，效果较为明显，但依赖于外部高分辨率图像库，重建质量受外部库的影响，且重建过程需要进行特征提取、训练及匹配，十分耗时，难以实际应用。因此，需要一种能够不借助于外部图像库来执行有效、自然的单帧图像超分辨率放大的方法和装置。
技术实现思路
提供本专利技术的目的在于至少解决了上述问题和/或缺点，并至少提供下述优点。本专利技术的一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行局部自相似重建中使用基于加权的块匹配准则，从而重建的放大图像不会过于平滑，看起来更加自然。本专利技术的另一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行放大之前对图像进行快速去噪处理，从而提高放大图像的质量。本专利技术的另一方面提供了 一种图像超分辨率放大的方法和装置，所述方法和装置对局部自相似重建之后的放大图像进行快速IBP迭代修正，从而效果更好的放大图像。根据本专利技术的一方面，提供一种图像超分辨率放大的方法，所述方法包括:(I)根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H ； (2)将放大图像U划分为多个预定大小的像素块；(3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；(4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括:使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。所述方法可包括:用于加权的函数为高斯核函数。所述方法可包括:块匹配准则为绝对差和(SAD)准则。可选地，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步骤包括:通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。所述方法可包括:通过使用双线性插值方法来进行上采样和下采样。所述方法可包括:倍率SC为目标放大倍率。所述方法可还包括:通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的放大图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。所述方法可包括:每次重复执行中使用的倍率sc相同或不同并可满足l〈sc〈l.5。所述方法可还包括:当每次重复执行中使用的倍率SC相乘的乘积大于目标放大倍率时，在最后一次重复执行输出放大图像之后，将最后一次重复执行输出的放大图像缩小至具有目标放大倍率的图像，作为最终放大图像。所述方法可还包括:在步骤(I)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。所述方法可包括:通过使用快速双边滤波方法来对原始图像I进行去噪处理。所述方法还包括:对最终放大图像进行IBP迭代修正以获得修正的放大图像。根据本专利技术的另一方面，提供一种图像超分辨率放大的装置，所述装置可包括:图像转换模块，被配置为根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H ;划分模块，被配置为将放大图像U划分为多个预定大小的像素块；块处理模块，被配置为针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块；将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；输出模块，被配置为输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，块处理模块使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权函数为具有中心下降特性的分布函数。可选地，加权函数为高斯核函数。可选地，块匹配准则为绝对差和(SAD)准则。图像转换模块可通过按倍率SC对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。图像本文档来自技高网...

【技术保护点】
一种图像超分辨率放大的方法，包括：(1)根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H；(2)将放大图像U划分为多个预定大小的像素块；(3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；(4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括：使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。

【技术特征摘要】
1.一种图像超分辨率放大的方法，包括: (1)根据倍率SC，分别获得原始图像I的放大图像U、低频图像L和高频图像H; (2)将放大图像U划分为多个预定大小的像素块； (3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块； (4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像， 其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括:使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。2.如权利要求1所述的方法，其中，用于加权的函数为高斯核函数。3.如权利要求2所述的方法，其中，块匹配准则为绝对差和(SAD)准则。4.如权利要求1所述的方法，其中，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步 骤包括:通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。5.如权利要求4所述的方法，其中，通过使用双线性插值方法来进行上采样和下采样。6.如权利要求1所述的方法，其中，倍率sc为目标放大倍率。7.如权利要求1所述的方法，还包括:通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。8.如权利要求7所述的方法，其中，每次重复执行中使用的倍率sc相同或不同，并满足l〈sc〈l.5ο9.如权利要求7所述的方法，还包括:当将每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率时，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。10.如权利要求1所述的方法，还包括:在步骤(1)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。11.如权利要求10所述的方法，其中，通过使用快速双边滤波方法来对原始图像I进行去噪处理。12.如权利要求1-11中的任意一项中所述的方法,还包括:对最终放大图像进行IBP迭代修正以获得修正的放大图像。13.一种图像超分辨率放大的装置，所述装置包括: ...

【专利技术属性】
技术研发人员：侯天峰，申世闻，朱春波，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32