一种视频帧的下采样方法和上采样方法以及传输处理方法技术

本发明专利技术公开了一种视频帧的下采样方法和上采样方法以及传输处理方法，利用视频帧经过离散余弦变换后大部分能量都集中在低频系数中和高频系数所对应的空间域是稀疏的这两个性质，将视频帧经过离散余弦变换后，下采样截取低频系数，将高频系数所对应的空间域利用压缩感知理论进行下采样；在上采样端，将高频系数补零利用逆离散余弦变换回到空间域，利用压缩感知重构算法重构高频系数所对应的空间域，低频系数补零的空间域成分加上高频压缩感知重构算法得到的空间域成分就得到与原视频帧高度一致的重构视频帧。本发明专利技术方法在与传统方案相同的下采样比下，上采样得到的视频帧对原视频帧具有更高的相似度。

【技术实现步骤摘要】

本专利技术属于图像处理领域，尤其涉及一种视频帧的下采样方法和上采样方法以及传输处理方法。
技术介绍
随着显示器件的发展，高清视频在消费市场上非常流行。然而，有限的带宽资源限制了高清图像的传输，比如，4k高清电视是人们非常喜爱的，但其每一个视频帧包含了大量的像素数据，导致了在传输时占用了大量的带宽资源。为了突破带宽的限制，学者提出了视频帧下采样和上采样概念。上、下采样属于一种伸缩编码，在下采样过程中，减少高清图像传输的数据量；而在上采样过程中，恢复出高清图像原有的数据量。近年来，国内外学者提出了很多上、下采样方案，如插值，预测和估计等。然而，这些方法只优化了上采样过程。而在下采样过程中，原视频帧数据只是在空间域或者变换域中被截断。一些学者论证了在小波域或者DCT(离散余弦变换)域的下采样和上采样可以获得很好的性能。DCT被广泛地应用在视频编码方案中，如AVC/H.264。因为视频帧或者图像中大部分的能量都集中在低频成分中，很多下采样方案是在DCT域中高频成分被简单地截断。例如：加州大学圣芭芭拉分校的Mitra提出了子带DCT近似方案；首尔大学的Park提出了无逆DCT的模块表示方案；纽约州立大学Chen提出了DCT-维纳方案，其中维纳滤波器被用来估计高频成分；香港理工大学的Siu提出了基于自学习的k-NNMMSE估计方案来提高PSNR；Mitra应用了DCT系数之间的相关性来提高视觉质量。然而，这些方案都基于大部分能量都集中于DCT低频系数上这个假设，但这个假设不满足时，这些方案的性能将变差。因此，当视频帧中存在较多快速变换的区域或者边缘区域，即能量在高频DCT系数部分较为集中，上述关于DCT的下采样方案的PSNR(峰值信噪比)和SSIM(结构相似度测量)将会下降。另一方面，2006年T.Tao等人提出了压缩感知(CompressiveSensing；CS)理论[D.L.Donoho,“Compressedsensing,”IEEETransactionsonInformationTheory,vol.52,no.4,pp.1289–1306,2006]引起了国内外学者的广泛关注。利用压缩感知理论能够在远低于奈奎斯特采样速率下进行采样，使压缩和采样同时进行，从而减少了大量的采样数据，且能保证对信号的准确重构。但利用压缩感知理论的前提是压缩采样的信号必须是稀疏的，因此，利用压缩感知进行图像采样处理，必须先对图像进行稀疏变换，但往往图像经过稀疏变换以后，图像的数据量将变大，导致图像传输占用大的带宽。申请人通过对视频帧的DCT域进行大量理论研究和仿真实验，发现高频DCT系数所对应的空域成分是稀疏的，即将视频帧的低频系数去除而保留高频成分时，在视频帧中只有快速变化区域和边缘区域。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种视频帧的下采样方法和上采样方法，通过利用DCT高频系数所对应空域的稀疏性对视频帧数据进行下采样和相应的上采样，达到低数据量传输和高重构精度的效果。技术方案：为实现上述目的，本专利技术中视频帧的下采样方法包括以下步骤：(1)将视频帧Ioriginal进行离散余弦变换得到视频帧Ioriginal在余弦变换域下的系数IDCT；(2)将所述余弦变换域下的系数IDCT中的高频系数利用截断矩阵进行截断，得到低频成分的下采样结果Tlf；(3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成分通过逆离散余弦变换回到空间域Ihf；(4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成分的下采样结果Thf。相应的，本专利技术还公开了一种视频帧的上采样方法，包括以下步骤：(1)将低频成分的下采样结果Tlf中的高频系数补零，然后使用逆离散余弦变换回到空间域，得到低频空间域成分Ilf'；(2)将高频成分的下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵，得到空间域高频成分矩阵I'hf；(3)将所述低频空间域成分Ilf'和空间域高频成分I'hf进行叠加恢复出原视频帧I'。进一步地，本专利技术还提供一种视频帧的传输处理方法，包括以下步骤：(1)发送端对输入的视频帧按照上述下采样方法对视频帧中的低频成分和高频成分分别进行下采样得到低频成分的下采样结果Tlf和高频成分的下采样结果Thf；(2)将所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf进行发送；(3)接收端接收到所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf，并利用上述上采样方法进行视频帧的还原。有益效果：本专利技术中利用视频帧的大部分能量集中在离散余弦变换的低频系数且高频系数所对应的空域是稀疏的这两个性质，在对视频帧进行下采样的过程中先对低频成分和高频成分进行分离，将视频帧的DCT低频系数截断并保留，高频DCT系数所对应的空域成分采用压缩感知理论进行压缩采样，对低频系成分和高频成分分别进行下采样，保留了视频帧的大部分信息，特别是高频系数所对应的边缘信息和快速变化区域的信息；相应的，在对视频帧进行上采样的过程中，针对下采样的低频成分和高频成分，利用逆离散余弦变换和l1范数重构算法分别重构出低频成分和高频成分，将保留的DCT低频系数补零到与原图像相同的数据大小，同时利用压缩感知重构算法重构出高频DCT系数所对应的空域成分，两者相加即为原图像的高相似度重构图像，在下采样保留了视频帧的大部分信息的基础上，上采样重构还原的图像便可达到很高的精度。本专利技术方法在与传统方案相同的下采样比下，上采样得到的视频帧对原视频帧具有更高的相似度。附图说明图1是视频帧DCT高频成分和低频成分的分解图；图1(a)是原视频帧；图1(b)是原视频帧保留离散余弦变换低频系数并且高频系数补零的空域图；图1(c)是原视频帧离散余弦变换高频系数对应的空域图；图2是本专利技术的视频帧下采样方法的流程图；图3是本专利技术的视频帧上采样方法的流程图；图4是本专利技术与现有的混合插值法在不同采样比条件下PSNR数据的仿真对比图；图5是本专利技术与现有的混合插值法在不同下采样比条件下SSIM数据的仿真对比图。具体实施方式下面结合实施例对本专利技术作更进一步的说明。图1中可以看出，图1(b)中相对于图1(a)较为模糊，但基本上可以确定视频帧的内容，足以见得，低频系数对应的空域图集中了原视频帧中的大部分能量，图1(c)中视频帧的灰度值大部分是零或者接近于零(对应于图中黑色部分)，只有边缘区域存在本文档来自技高网...

【技术保护点】
一种视频帧的下采样方法，其特征在于，包括以下步骤：(1)将视频帧Ioriginal进行离散余弦变换得到视频帧Ioriginal在余弦变换域下的系数IDCT；(2)将所述余弦变换域下的系数IDCT中的高频系数利用截断矩阵进行截断，得到低频成分的下采样结果Tlf；(3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成分通过逆离散余弦变换回到空间域Ihf；(4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成分的下采样结果Thf。

【技术特征摘要】
1.一种视频帧的下采样方法，其特征在于，包括以下步骤：
(1)将视频帧Ioriginal进行离散余弦变换得到视频帧Ioriginal在余弦变换域下的系数IDCT；
(2)将所述余弦变换域下的系数IDCT中的高频系数利用截断矩阵进行截断，得到低
频成分的下采样结果Tlf；
(3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成
分通过逆离散余弦变换回到空间域Ihf；
(4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成
分的下采样结果Thf。
2.根据权利要求1所述的视频帧的下采样方法，其特征在于，所述截断矩阵包括
行截断矩阵Dr和列截断矩阵Dc，表达式如下：
式中，MD是截断后的图像列数，R表示实数集，ND是列截断后的图像宽度，E是
单位矩阵，M是图像的长度，N是图像的宽度。
3.一种视频帧的上采样方法，其特征在于，包括以...

【专利技术属性】
技术研发人员：张萌，陈廷欢，孙知非，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32