一种移动终端快速图像插值方法技术

本发明专利技术公开了一种移动终端快速图像插值方法，首先对低分辨率原始图像进行边缘检测，得到边缘信息，再根据低分辨率图像边缘信息以及人类视觉系统计算出边缘的强度，根据强度对边缘进行扩展，然后根据扩展后的边缘将图像分为边缘区域和非边缘区域，对边缘区域采用保真度较高的插值算法进行处理并保存边缘信息；对非边缘区域采用速度较快的双三次插值算法进行处理，然后根据已有边缘信息，对插值图像的边缘进行进一步锐化处理，降低边缘部分模糊程度，提示图像的视觉质量，最后将插值算法与NEON并行技术结合，得到并行优化处理的高分辨率图像。该技术应用在移动视频监控系统当中的结果表明它能够使手机多媒体应用可以流畅地插值出高分辨率图像进行播放。

【技术实现步骤摘要】

本专利技术涉及图像插值技术和移动终端并行计算领域，尤其是指一种适用于移动终 端的利用NEON技术进行并行处理优化的快速图像插值方法。
技术介绍
图像插值是数字图像处理中一种常用的图像处理技术。图像插值就是由原始的 低分辨率图像，经过图像数据的再生，产生出高分辨率的目标图像的过程。在插值过程 中，由于只有原始低分辨率图像中的采样点上信号是已知的，而非采样点上信号不是已知 的，因而不可避免的会出现伪像。如块状伪像（BlockingArtifacts)、环状伪像（Ring Artifacts)、锯齿伪像（Jaggies)等现象，尤其是在边缘区域更为明显。因为这些伪像的实 质是边缘细节信息（高频区域）的丢失。如何尽量减少插值过程中这类伪像的产生，是值 得研究的课题。目前，如果按照插值方法来进行分类，图像插值算法可以分为两大类：线性插值和 非线性插值。线性插值算法是将高分辨率目标图像中待插值像素坐标映射到低分辨率原始 图像，根据待插值像素周围离散的原始图像已知像素值，通过插值函数（即线性插值核函 数）进行插值，从而计算出高分辨率目标图像上插值点的像素值。线性插值算法，通常是对 已知的像素值进行加权平均，或者说是图像上离散的采样值和插值函数之间进行二维卷积 操作来得出插值点的像素值。 本专利技术是针对一种适用于移动终端的图像插值快速方法，因此插值算法的时间 复杂度对本专利技术来说是一个十分重要的指标。常用的传统插值算法有：最近邻插值算法 (NearestNeighbor)、双线性插值算法（Bilinear)、双三次插值算法（Bicubic)、理想Sine 函数插值算法（Sine)、B样条插值算法（B-Spline)、Lanczos插值算法（Lanczos)。本发 明将对这些算法进行分析，并对比它们的算法复杂度。测试图像包括Shapes(384X192)、 Lena(512X512)、Wheel(320X180)，如附图 1、2、3 所示。 为了测试各种插值算法对高清图像处理的时间消耗，我们对Shapes图像进行插 值放大实验，选取不同插值算法，分别对480X270的原始低分辨率图像进行4倍插值放大， 得到1920X1080的插值图像。记录算法消耗的时间并制表进行比较。为了避免测算上的 误差，我们分别对每种算法进行3组实验，每组包含10000次连续的插值放大操作，统计每 组实验消耗的时间，并计算平均消耗时间及平均处理速度。 附图4反映了各种不同的常规插值算法的运行时间对比情况。我们可以发现，随 着插值算法的核函数越来越复杂，插值算法的时间复杂度也越来越高，插值过程所消耗的 时间也将增大。以Lanczos系列算法为例，随着窗口大小的增大，Lanczos算法所消耗的时 间也急剧上升。 在移动终端上，多媒体应用例如移动视频监控、移动视频点播等应用对于插值算 法的执行时间非常敏感。一方面，如果插值算法效率不高，插值消耗时间过长，即使画面清 晰质量较好，也会由于过于卡顿给使用者带来不好的用户体验。另一方面，低效率的插值算 法将给续航能力低的移动终端设备带来更多的能源消耗，造成其续航能力降低，设备发热 增加。因此，移动终端上的插值算法研究，除了要考虑其主客观质量以外，还必须将其运行 时间放在重要位置进行考量。根据各算法处理Shapes图像的数据，综合考虑常规传统图像 插值算法的插值质量（以峰值信噪比（PSNR)值为例）以及时间消耗，将这两个因素作为两 个维度，绘制得到附图5。 从附图5中可以看出，不同算法有着不同的插值客观质量以及不同的消耗时间。 图中消耗时间单位为秒每万次。从图中数据分析，总体上插值质量越好的算法消耗的时间 越多。最近邻插值算法时间消耗非常低，但其客观质量也很差。Sine插值算法时间消耗 很高，但质量并没有明显提升。综合各种传统的常规图像插值算法来看，双三次插值算法 (Bicubic)在性能与代价之间具有较好的平衡。更复杂的传统插值算法（例如B样条插值 算法）消耗了更多时间，但质量提升并不明显。 实验表明，最近邻插值算法、双线性插值算法、双三次插值算法这三种插值算法复 杂度较低，比较适合用于移动终端进行实时图像放大操作。本专利技术提出的新方法试图在提 高插值质量，尤其是人眼最敏感的边缘区域插值质量的同时保持算法的高效性。 目前大部分的移动终端都是采用传统的插值算法进行图像放大。但是传统的图像 插值算法，没有充分利用图像的先验信息，对图像所有部分都进行相同的插值核函数处理， 并且只使用了插值点周围的像素进行计算，缺乏足够的信息，导致插值后的图像边缘出现 模糊、锯齿等现象。 通过分析以上众多的插值算法，可以发现有些算法计算复杂度低，但插值质量差； 有些算法的插值质量好，但是计算代价却是移动终端无法承受的。适用于移动终端的插值 算法应该具备以下特点： 第一，算法复杂度低。由于嵌入式设备计算能力相对较低，多媒体应用实时性要求 高，同时受限于电池续航能力，这就要求嵌入式移动终端上的插值算法应该具有尽可能低 的复杂度。 第二，放大倍数高。目前来说，网络带宽是限制移动多媒体应用发展的一个重要 瓶颈因素。为了节省网络带宽，移动设备上的应用程序收发的通常是低分辨率图像，如 QCIF(352*288)。而如今常见的手机屏幕分辨率已经达到WVGA(960*640)或更高。在显示 图像时，势必要对低分辨率图像进行插值放大以适应屏幕实际分辨率。这就导致移动设备 需要放大较高倍数的图像，这必然导致放大后的目标图像与源图像相比较为模糊。这就对 放大算法的质量提出了更高的要求，如边缘质量。 第三，放大比例任意可变。与传统游戏中固定比例放大不同，移动设备型号各异， 屏幕分辨率千差万别。移动应用需要适配不同屏幕分辨率，就必须支持进行放大比例任意 可变的图像放大。 在保证较低的计算复杂度的情况下，尽可能地提升手机图像插值质量，是本专利技术 的重点，迄今为止未见有在移动终端利用NEON技术对插值算法进行并行优化的文献报导， 本专利技术具有其原创性。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种移动终端快速图像插值 方法，在保证较低的计算复杂度的情况下，尽可能地提升手机图像插值质量，得到高分辨率 图像。 为实现上述目的，本专利技术所提供的技术方案为：， 包括以下步骤： 1)对低分辨率原始图像进行边缘检测，得到边缘信息； 2)根据低分辨率图像边缘信息以及人类视觉系统计算出边缘的强度，根据强度对 边缘进行扩展； 3)根据扩展后的边缘将图像分为边缘区域和非边缘区域，对边缘区域采用B样条 插值算法或SAI插值算法进行处理并保存边缘信息，对非边缘区域采用双三次插值算法进 行处理； 4)根据已有边缘信息，对插值图像的边缘进行进一步锐化处理，降低边缘部分模 糊程度，提示图像的视觉质量； 5)将插值算法与NEON并行技术结合，以得到并行优化处理的高分辨率图像。 在步骤2)中，首先根据低分辨率图像进行边缘强度分析，在边缘强度信息中，除 了记录边缘在图像中的位置以外，还根据人类视觉系统对边缘强度进行了分析，根据边缘 强度的强弱对其进行扩展操作。 在步骤3)中，将目标图像中的像素映射到原始图像上，根据边缘强度信息将图像 划分区域，对于非边缘的平坦区域本文档来自技高网...

【技术保护点】
一种移动终端快速图像插值方法，其特征在于，包括以下步骤：1)对低分辨率原始图像进行边缘检测，得到边缘信息；2)根据低分辨率图像边缘信息以及人类视觉系统计算出边缘的强度，根据强度对边缘进行扩展；3)根据扩展后的边缘将图像分为边缘区域和非边缘区域，对边缘区域采用B样条插值算法或SAI插值算法进行处理并保存边缘信息，对非边缘区域采用双三次插值算法进行处理；4)根据已有边缘信息，对插值图像的边缘进行进一步锐化处理，降低边缘部分模糊程度，提示图像的视觉质量；5)将插值算法与NEON并行技术结合，得到并行优化处理的高分辨率图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：张星明，刘雪赟，刘俊，陈伟健，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44