基于预测梯度的图像插值方法及系统技术方案

本发明专利技术公开一种基于预测梯度的图像插值方法及系统，主要是为了提供一种根据有效判断像素为边缘像素，且能够有效提高插值质量而设计。本发明专利技术基于预测梯度的图像插值方法，包括：判断待插值像素是否为边缘像素，若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。本发明专利技术，能够有效判断图像梯度值，保留了边缘，纹理信息，减少插值算法中存在的锯齿现象和模糊现象并且处理转换到Lab颜色空间上的彩色图像只需要消耗较少的计算时间，对于实时图像应用具有重要的意义。

【技术实现步骤摘要】

本专利技术涉及一种基于预测梯度的图像插值方法及系统。
技术介绍
图像的空间分辨率是人类视觉系统观察数字图像的一个重要特性，分辨率越高，人眼就能获得越多的图像细节信息。在许多领域都需要高分辨率的数字图像，比如：人脸识别，军事雷达图像处理，生物医学切片分析以及数字高清电视的应用等。总的来说，提高图像分辨率的方式有两种，一种是对图像的采集设备进行升级，另一种就是利用软件的方式来提高已采集到的数字图像的空间分辨率。虽然在过去的几十年中，随着数码摄像机传感器设备的发展，便携式摄像机或者是扫描器都已经取得了较大的进步，但是利用软件的方式提高数字图像的分辨率仍然是必不可少的。利用软件的方法提高图像分辨率可以被视为一种实用且经济的解决方法，也可以作为硬件系统的一个附加设备。图像插值是图像处理过程中一个重要的步骤，它是图像数据再生的一个过程，目的在于将一幅低分辨率(LR)图像通过增加像素的方式变成一幅高分辨率(HR)图，这样能够保存自然图像的特性。在过去的几十年中，基于时间复杂度和重建质量的权衡，各种各样的图像插值方法相继被提出。这些插值方法可以被粗略地分为两大类：一种是传统的线性插值方法，另一种就是后来改进的非线性插值方法。这两类方法的主要不同点在于，传统的线性插值方法对于整幅图像采用不变的卷积内核而不考虑图像的结构信息；但是改进的非线性插值方法会对图像的不同部分采用不同的插值策略，比如对人类视觉系统不太重要的背景部分，采>用简单的线性插值方法处理，而对人类视觉系统有重要影响的边缘部分则需要根据边缘的方向，强弱等采用不同的插值策略。传统的线性插值方法包括最近邻插值，双线性插值，双三次插值以及其他一些稍作改进的方法。这些方法的时间复杂度较低，在处理图片时消耗的CPU时间也相对比较少。但是，这类方法只是简单地从数学的角度增加图像的像素数，并不能适应不同场景下的像素结构。最后，插值得到的图像显得比较模糊即使在较平坦的区域或者背景部分可以取得较好的插值结果。所以，为改善插值图像的视觉质量，一些改进的非线性插值方法应运而生。改进的非线性插值方法，主要包括基于协方差，小波，边缘信息以及机器学习理论的插值方法。由于协方差矩阵能够显示局部边缘的方向，所以基于协方差的图像插值方法成为近几年图像插值的热点，其中最具代表性的就是Li和Orchard提出的NEDI(NewEdge-DirectedInterpolation)方法。它的主要思想是首先假设每个点的梯度值是它周围四个对角线上邻近点的加权平均，那么这四个加权系数就反映了图像的局部结构特征。然后在低分辨图像上利用一个8×8的窗口来计算协方差系数，通过计算得到的协方差系数来确定每个像素周围的加权系数从而进行插值。后来，Zhang和Wu提出了另一种基于协方差系数的方法叫做SAI(soft-decisioninterpolation)。这种方法与NEDI相比主要的不同点在于它同时计算一个像素块的插值权重，这样的话，在每一步，它都可以对一个像素块进行插值。通过这种像素块估计和分段自回归模型，SAI插值方法相比较NEDI方法可以获得更好的插值结果，但同时也需要消耗更多的计算时间。由于小波具有多分辨率分析功能和逐渐局部细化等性质，基于小波的插值方法也相继被提出。正交小波分解后各层子带之间具有相似性，若能准确地得到图像的高频细节，利用重构的理论，就可以得到分辨率高一倍的图像。传统的基于小波的插值方法是对原图像进行小波分解，利用低分辨率图像的高频信息预测高分辨率图像的高频信息，然后通过某种方法估计高分辨率图像中的低频信息，就可以重构出高分辨率的图像。Carey和Chuang等人利用图像边缘在各个尺度中的衰减系数来构造最佳的小波，然后根据已有的小波分解信息对图像进行插值。小波基的选择在基于小波的图像插值算法中占据举足轻重的地位。基于边缘信息的图像插值方法的核心思想是对非边缘像素点采用无方向的传统的插值方法进行插值，而对于边缘像素点则采用有方向的插值方法。其中效果比较好的方法就是Wei和Ma提出的基于图像边缘对比度的插值方法CGI(contrast-guidedinterpolation)的方法。该方法先对整幅图像采用传统插值方法(如双三次插值)，然后在插值完成的高分辨率图像上采用边缘检测算子检测出边缘，对于检测出来的边缘点根据像素点所处的边缘方向采用有方向的插值方法(如一维三次样条插值)进行更新。而本专利技术提出的基于预测-校验的图像插值方法也是一种基于图像边缘的插值方法。近些年，随着机器学习理论的快速发展及其在各个领域的广泛应用，基于机器学习的图像插值方法越来越受到关注。其中较为代表性的就是基于稀疏编码的图像插值方法。这种方法首先需要训练一个插值用的字典，然后根据原始图像图片与字典中参考图片的稀疏关系来获得高分辨率的插值图像。但是，这种方法与训练得到的字典数据库高度相关，并且不同内容的图片插值得到的结果也会不一样。结果，当原始图像图片不是自相似的或者在字典数据库中找不到相似的图像块时，插值得到的图片的质量会不太好，并且会产生一些人工伪迹。如果数据库很大的话，离线训练过程和图像插值在线搜索过程将会消耗很长时间，而且所需要的电脑内存也是需要解决的一个问题。
技术实现思路
针对上述问题，本专利技术提供一种更好的保留了边缘，纹理信息的基于预测梯度的图像插值方法及系统。为达到上述目的，本专利技术基于预测梯度的图像插值方法，包括：判断待插值像素是否为边缘像素，若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。进一步地，判断待插值像素是否为边缘像素具体包括：计算低分辨率图像上所有像素Il(i，j)的梯度值，梯度值计算公式为：Ulθ(i,j)=|▿lθIl(i,j)|,]]>指像素(i，j)上的梯度值，是LR图像的方向导数，θ代表所计算梯度的方向，Sθ是Sobel边缘检测器，*是卷积操作；采用预测方法选择待插值像素周围的像素Il(i，j)的梯度值预测该待插值像素的梯度值公式表示如下：Ψ为一种预测方法；计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，若大于或等于所述阈值，则该待插值像素为边缘像素；若小于所述阈值，则该待插值像素为非边缘像素。进一步地，所述预测方法包括：双三次预测、基于预插值图片的预测。进一步地，所述的非线性插值方法具体包括本文档来自技高网...

【技术保护点】
一种基于预测梯度的图像插值方法，其特征在于，包括：判断待插值像素是否为边缘像素，若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。

【技术特征摘要】
1.一种基于预测梯度的图像插值方法，其特征在于，包括：
判断待插值像素是否为边缘像素，
若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图像；
若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图像。
2.根据权利要求1所述的基于预测梯度的图像插值方法，其特征在于，判断待插值像素
是否为边缘像素具体包括：
计算低分辨率图像上所有像素Ii(i，j)的梯度值，梯度值计算公式为：
Ulθ(i,j)=|▿lθIl(i,j)|,]]>指像素（i，j)上的梯度值，是LR图像的方向导数，θ代表所
计算梯度的方向，Sθ是边缘检测器，*是卷积操作；
采用预测方法选择待插值像素周围的像素Ii(i，j)的梯度值预测该待插值像素的梯度
值公式表示如下：Ψ为一种预测方法；
计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比较，
若大于或等于所述阈值，则该待插值像素为边缘像素；
若小于所述阈值，则该待插值像素为非边缘像素。
3.根据权利要求2所述的基于预测梯度的图像插值方法，其特征在于，所述预测方法包
括：双三次预测、基于预插值图片的预测。
4.根据权利要求2所述的基于预测梯度的图像插值方法，其特征在于，所述的非线性插
值方法具体包括：
对边缘像素进行扩散，并计算扩散后的梯度；
基于低分辨图像LR的像素Ii(i，j)，对处理高分辨图像对角上的像素进行插值，其中，
若IA＝Ih(i-1，j-1)，IB＝Ih(i+1，j+1)，IC＝Ih(i-3，j-3)以及ID＝Ih(i+3，j+3)。
若U135(i，j)-U45(i，j)＞T，IA＝Ih(i+1，j+1)，IB＝Ih(i-1，j-1)，IC＝Ih(i+3，j+3)以及ID＝Ih(i-3，j-3)；
基于低分辨率图像的Ii(i，j)以及处理图像插值得到的对角像素Ih(2i，2j)，对余下的
水平和垂直方向上的像素进行处理，插值公式下如所示：
IO＝ω(IA+IB)+(1-ω)(IC+ID)
若IA＝Ih(i-1，j)，IB＝Ih(i+1，j)，IC＝Ih(i-3，j)以及ID＝Ih(i+
3，j)。
若IA＝Ih(i，j-1)，IB＝Ih(i，j+1)，IC＝Ih(i，j-3)以及ID＝Ih(i，
j+3)；
其中，IA，IB，IC和ID是已知像素，IO是待插像素，ω是可调参数，T是一个阈值，T取值为0
至1。
5.根据权利要求4所述的基于预测梯度的图像插值方法，其特征在于，ω为17/40，T＝
0.08。
6.一种基于预测梯度的彩色图像插值方法，其特征在于，包括：
将彩色图像从RGB颜色空间转到Lab颜色空间；
分离亮度分量L、色度分量a，b；
色度分量a、b，采用线性插值方法进行插值处理；
亮度分量L采用权利要求1至5任一所述的基于预测梯度的图像插值方法进行插值。
7.根据权利要求6所述的基于预测梯度的彩色图像插值方法，其特征在于，彩色图像从
RGB颜色空间转到Lab颜色空间，具体包括：...

【专利技术属性】
技术研发人员：钟宝江，陆志芳，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32