一种基于空‑频域的联合视频图像的上采样方法技术

本发明专利技术属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。本发明专利技术基于空‑频域联合的思想，综合空‑频域各自的优势实现更加准确的上采样处理。本发明专利技术首先将待上采样的低分辨率图像分块后进行DCT变换，其系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。本发明专利技术能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块效应等失真。

【技术实现步骤摘要】

本专利技术属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。
技术介绍
视频图像信号上采样是增加图像分辨率大小的一个过程，其主要目的是解决视频 源尺寸与接收终端显示屏幕不匹配、缺乏高分辨率片源等问题。目前视频图像上采样技术 已经广泛应用于广播电视、网络视频以及视频节目制作中，如数字电视中标清节目在高清 电视机上显示、高清节目在标清电视机上播放，多屏视频业务中同一视频要在多个不同空 间分辨率的接收终端上播放，P2P业务中各种屏幕尺寸的peer之间相互传送视频信息。为 满足不同视频应用的要求，商业上已经形成了从QCIF到UHDTV等多个固定格式。 视频图像上采样技术根据实现域不同可分为空域和频域转码技术。 空域转码技术是利用像素之间的空间相似性插入或者重构目标尺寸像素点的值， 如经典的bilinear插值、bicubic插值；采样/插值滤波器法实现视频图像分辨率转换，立 足于设计更逼近理想低通滤波器性能的采样滤波器，减少混叠或者镜像失真，如6-tap的 Wiener插值滤波器、4-tap的cubic插值滤波器、16相位4-tap的cubic插值滤波器、13-tap 的采样滤波器、以及根据输入图像自身特点设计的各种自适应Wiener滤波器；主观效果主 导的上采样技术，如基于图像边缘方向性的采样插值方法、基于图像内容自适应采样插值 方法。固定系数滤波器法相对简单，能获得客观质量（PSNR)相对较高的目标图像，但会引 入明显的假轮廓、阶梯效应等失真，主观效果有待提高。主观质量主导的上采样技术能获得 较好的主观质量，但是客观质量却无法保证且运算复杂度相对前者增加了若干倍。 频域上采样技术主要通过在DCT域进行高频截断或补零处理实现。由于在DCT 域直接处理高频系数完成图像尺寸变换，因此能获得较好的客观（PSNR)质量，但是因为采 样和插值过程是按块进行的，所以不可避免的会出现方块效应严重影响主观效果。Hybrid DCT-Wiener-BasedInterpolationScheme提出了一种空-频域联合的上采样方法。该方 法以低分辨率的图像数据作为重构的高分辨率图像的DCT系数的低频部分，而将低分辨率 的图像在空域采用Wiener滤波方法得到的高分辨图像的DCT系数的高频系数与上述低频 系数结合起来组成重构高分辨率图像的DCT系数，最后通过IDCT变换得到上采样的图像数 据。如图1所不，Hybrid DCT-Wiener-Based Interpolation Scheme算法的数据处 理方法。按视频图像编码习惯，通常将DCT系数分块成，代表低频部分， 以8X8块大小为例，其低频部分是4X4的矩阵。代表高频分量，大小同flOT-致，此 时，i= 1，2, 3。根据DCT和IDCT对矩阵的加法和乘法服从分配率，原始大尺寸图像每个 块的像素sOTig可以表示为其中，〇代表零矩阵（块大小为8X8时，0的尺寸为4X4)，代表原始高分辨率图像的 各频率成分。通过HybridDCT-Wiener-BasedInterpolationScheme得到的上米样图像。这种方法融合了空_频域算 法，能够兼得DCT域和空域上采样算法各自的优点，从而获得比一般空域或频域更好的主 客观质量，但是，该方法重构的高频信息由于Wiener滤波器算法与DCT重构算法有1/2像 素的位置漂移，大大降低了高频信息的准确性，并引入了假轮廓等失真，从而影响了该算法 的整体效果。
技术实现思路
本专利技术的目的在于提供一种上采样质量比HybridDCT-Wiener-Based InterpolationScheme算法更好的空-频域联合视频图像上采样方法，避免空域与频域上 采样过程中产生的像素位置漂移，恢复出更加准确的高频信息，实现客观质量与主观质量 较传统上采样方法大幅度的提升。 本专利技术的思路是：本专利技术基于空-频域联合的思想，综合空-频域各自的优势实现 更加准确的上采样处理。本专利技术首先将待上采样的低分辨率图像分块后进行DCT变换，其 系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行 插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块 进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上 采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。 ，包括如下步骤：S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT 系数，具体如下：S11、对待采样的低分辨率视频图像进行NXN点离散余弦变换（DiscreteCosine Transform，DCT)，得到变换后的NXN点DCT系数； S12、对Sll所述变换后的NXN点DCT系数进行扩展处理，得到频域上低频数据扩 展以后的DCT系数，所述扩展处理为将S11所述变换后的NXN点DCT系数扩展至目标上采 样倍数k，其中，k多2且k为自然数；S2、对待采样的视频图像在空域进行处理，具体为：S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k;S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系 数，具体为：S221、根据公式gjx，y,n) =hL0G(x,y)*f(x,y,n)，采用改进型Laplicanof Gaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，g(x,y,n)是LOG模 糊处理后的视频图像素点值，为LOG算子，为S21所述采样后的视频图像的像素点值，x，y表示像素点的位置，n表示是第n帧视频图 像，var是视频图像的全局方差，S为高斯分布的标准方差，S= 〇. 7 ; S222、根据公式gmask(x,y,n) =f(x,y,rO-gJx，y,n)对S221 所述模糊处理后的 视频图像进行反锐化掩蔽处理，其中，gmask(X，y，n)为反锐化掩蔽处理后的视频图像像素点 值； 3223、根据公式4_(叉，7，]1)=;^叉，7，11) +人\区_15(叉，7，11)对5222所述反锐化掩 蔽处理后的视频图像进行锐化处理，其中，fstop(x，y，n)为锐化后的视频图像像素点值，入 是锐化深度因子，A是经验值； S224、对S223所述经过锐化处理的视频图像进行kNXkN点DCT变换，截取所述 kNXkN点DCT变换后的视频图像的DCT变换后的高频系数； S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合 形成上采样图像DCT系数； S4、对S3所述上采样DCT系数进行离散余弦逆变换（InverseDiscreteCosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。 进一步地，S12所述扩展处理具体为对S11所述变换后的NXN点DCT系数进行添 零。 进一步地，S12所述k= 2。 进一步地，S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为： S211、根据上采样像素值与原始像素值的12-律，训练求解得到 argm|n||/(x，)')*〃(x，〕W)-g(x'，/)||，其中，f(x，y)为待采样本文档来自技高网...

【技术保护点】
一种基于空‑频域的联合视频图像的上采样方法，其特征在于，包括如下步骤：S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如下：S11、对待采样的低分辨率视频图像进行N×N点离散余弦变换(Discrete Cosine Transform，DCT)，得到变换后的N×N点DCT系数；S12、对S11所述变换后的N×N点DCT系数进行扩展处理，得到频域上低频数据扩展以后的DCT系数，所述扩展处理为将S11所述变换后的N×N点DCT系数扩展至目标上采样倍数k，其中，k≥2且k为自然数；S2、对待采样的视频图像在空域进行处理，具体为：S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k；S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具体为：S221、根据公式g1(x,y,n)＝hLOG(x,y)*f(x,y,n)，采用改进型Laplican of Gaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，g(x,y,n)是LOG模糊处理后的视频图像素点值，hLOG为LOG算子，f(x,y,n)为S21所述采样后的视频图像的像素点值，x,y表示像素点的位置，n表示是第n帧视频图像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ＝0.7；S222、根据公式gmask(x,y,n)＝f(x,y,n)‑g1(x,y,n)对S221所述模糊处理后的视频图像进行反锐化掩蔽处理，其中，gmask(x,y,n)为反锐化掩蔽处理后的视频图像像素点值；S223、根据公式fsharp(x,y,n)＝f(x,y,n)+λ×gmask(x,y,n)对S222所述反锐化掩蔽处理后的视频图像进行锐化处理，其中，fsharp(x,y,n)为锐化后的视频图像像素点值，λ是锐化深度因子，λ是经验值；S224、对S223所述经过锐化处理的视频图像进行kN×kN点DCT变换，截取所述kN×kN点DCT变换后的视频图像的DCT变换后的高频系数；S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成上采样图像DCT系数；S4、对S3所述上采样DCT系数进行离散余弦逆变换(Inverse Discrete Cosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。...

【技术特征摘要】

【专利技术属性】
技术研发人员：邬震宇，陈长汶，万群，沈晓峰，冯健，周代英，窦衡，廖阔，况凌，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51