基于压缩域的视频超分辨率方法技术

本发明专利技术公开了一种适用于压缩域的视频超分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤：首先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率图像来重建目标帧的最终的超分辨率图像。在此过程中，提出了超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，作为先验概率；使用了ＩＲＬＳ来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像具有较高的ＰＳＮＲ，较少引入新的噪声，且抑制编码噪声和“振铃”效应。利用依次滑动移动窗口，就得到超分辨率的视频。

【技术实现步骤摘要】

本专利技术涉及一种适用压缩域的视频超分辨率方法，得到的超分辨率图像保持边界清晰，同时抑制编码噪声和“振铃”效应。这种方法充分利用了压缩码流中的信息，且同时解决校准、插值、复原和后处理等问题。可以应用于各种MPEG4格式的压缩视频。
技术介绍
由于成像设备自身限制、数据压缩算法和传输错误等方面的原因，实际应用中能够得到的视频图像分辨率常常满足不了高清晰度的要求。为了解决这一问题，人们提出了序列图像的超分辨率算法，从多幅质量较差、分辨率较低的图像重构出单幅质量更好、分辨率更高的图像。 目前国内外解视频超分辨率的方法主要可以分为空间域和变化域两大类。空间域方法是先将压缩视频解压缩，再使用空间域的传统超分辨方法。其缺点是量化误差信息被丢失，效果不好，尤其压缩比较高时。基于压缩域重建的方法主要是对成像模型和空域噪声/压缩噪声进行建模，需要完整地考虑成像过程，压缩过程，运动估计以及块效应、振铃效应等多个方面的影响。当活动窗口内帧间的运动较简单时，尤其是全局运动，现有的一些超分辨率方法效果挺好的。但是，当活动窗口内帧间的运动较复杂时，这些方法会引入新的噪声，尤其是运动物体部分，且“振铃效应”明显。分析其原因，是由于活动窗口内的所有帧所有像素点都参加了超分辨率运算。但事实上，有些窗口内的低分辨率图像像素点并不能通过目标帧的运动补偿被观察或预测到。
技术实现思路
本专利技术要解决的是现有技术中存在的上述问题，旨在提供种新颖的。 解决上述问题采用的技术方案是，其特征在于包括如下具体步骤 1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息； 2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系； 3)由上面建立的关系可以建模条件概率在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模符合高斯分布； 4)对上面量化噪声的协方差矩阵进行建模先求解变化域的协方差矩阵由量化矩阵可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵； 5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模符合高斯分布。 6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变化域的协方差矩阵由量化矩阵和变换域系数可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵； 7)建模高分辨率图像的先验概率对图像的梯度分布用广义拉普拉斯分布来拟合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”； 8)使用贝叶斯模型MAP框架估计暂时的单幅超分辨率图像； 9)使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值为双线性插值放大后的图像； 10)使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值； 11)建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系目标高分辨率图像通过运动位移/模糊/下采样/压缩/解压缩来得到目标窗口内的各低分辨率图像； 12)由当前窗口内的多帧暂时的单幅超分辨率图像，结合7)中的先验概率，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响； 13)使用循环坐标下降来得到最终的超分辨率图像先假设超分辨率图像已知，使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下降法重新求超分辨率图像，如此循环迭代，直至收敛； 本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。 本专利技术涉及一种适用压缩域的视频超分辨率方法，这种方法充分利用了压缩码流中的信息，且同时解决校准、插值、复原和后处理等问题。通过对从自然场景到压缩视频的过程进行建模，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像较少引入新的噪声，且抑制编码噪声和“振铃”效应。因此本方法不仅适用于帧间运动较简单的情况，也适用于运动较复杂的情况。 附图说明 下面结合附图和实施例对本专利技术作进一步说明。 图1是本专利技术压缩域的视频超分辨率方法的流程图。 图2是图1中活动容器内各单副超分辨率图像的流程图。 具体实施例方式 参照附图，本专利技术的，按以下步骤进行 1.解压缩 先将输入的低分辨率压缩视频解压缩，得到低分辨率的视频图像，量化矩阵，量化后的变换域系数，运动补偿后的预测视频图像，以及运动矢量等信息。 2.对从自然场景到压缩视频的过程进行建模 建立低分辨率图像和相应高分辨率图像之间的关系高分辨率图像通过模糊/下采样/压缩/解压缩得到低分辨率图像。记解压后的第l帧低分辨率图像图像为yl，相应高分辨率图像为fl，模糊函数为H，下采样矩阵为A，在此过程中的量化噪声记为εQ，l，则yl＝AHfl+εQ，l。 建立运动补偿后的预测视频图像与对应高分辨率图像间的关系，记预测图像为ylMV，在此过程中的运动估计噪声记为ηMV，l，则 3.建模量化噪声 在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模符合高斯分布εQ，l～N(0，KQ，l)。记空间域量化噪声的协方差为KQ，l，则 4.步骤3建模中空间域量化噪声的协方差矩阵空间域量化噪声的协方差矩阵与变化域量化噪声的协方差矩阵之间的关系可以表示成式中T表示DCT变化，KTransform，l表示变化域协方差矩阵。KTransform，l为对角矩阵，每个对角元素为方差σl2，其中ql为量化步长。 5.建模运动估计引入的噪声 在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模符合高斯分布ηMV，l～N(0，KMV，l)。记空间域运动估计引入噪声的协方差为KMV，l，则 6.建模空间域运动估计噪声的协方差矩阵空间域运动估计噪声的协方差矩阵与变化域运动估计噪声的协方差矩阵之间的关系可以表示成KTransform，MVl表示变化域协方差矩阵。KTransform，MVl为对角矩阵，每个对角元素为方差σl2，其中cl为量化后的变换域系数。 7.建模高分辨率图像的先验概率 对图像的梯度分布用广义拉普拉斯分布来拟合，记图像梯度为der，包括水平方向的梯度derx，垂直方向的梯度dery，则 使用非线性最小二乘拟合法来求出相应的系数c，α和s，使得得到的拉普拉斯分布尽可能和低分辨图像的梯度分布一致。 使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”。因此有 其中，Q1为线性高通滤波算子(通常取离散二维拉普拉斯算子)，来惩罚不光滑的超分辨图像估计，Q2是线性高通滤波算子(通常取边界差值)，来惩罚块边界的超分辨图像估计，λ1，λ2，λ3控制上述各项各自的重要程度。 8.使用贝叶斯模型MAP(最大后验本文档来自技高网...

【技术保护点】
一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤：１）对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；２）对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；３）由上面建立的关系可以建模条件概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模：符合高斯分布；４）对上面量化噪声的协方差矩阵进行建模：先求解变化域的协方差矩阵：由量化矩阵可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；５）对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模：符合高斯分布。６）对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变化域的协方差矩阵：由量化矩阵和变换域系数可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；７）建模高分辨率图像的先验概率：对图像的梯度分布用广义拉普拉斯分布来拟合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”；８）使用贝叶斯模型ＭＡＰ框架估计暂时的单幅超分辨率图像；９）使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值为双线性插值放大后的图像；１０）使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值；１１）建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系：目标高分辨率图像通过运动位移／模糊／下采样／压缩／解压缩来得到目标窗口内的各低分辨率图像；１２）由当前窗口内的多帧暂时的单幅超分辨率图像，结合７）中的先验概率，使用ＩＲＬＳ（迭代重加权最小二乘法）来构建目标函数，从而削弱离群点和噪声的影响；１３）使用循环坐标下降来得到最终的超分辨率图像：先假设超分辨率图像已知，使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下降法重新求超分辨率图像，如此循环迭代，直至收敛；本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。...

【技术特征摘要】
1.一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；3)由上面建立的关系可以建模条件概率在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模符合高斯分布；4)对上面量化噪声的协方差矩阵进行建模先求解变化域的协方差矩阵由量化矩阵可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模符合高斯分布。6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变化域的协方差矩阵由量化矩阵和变换域系数可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；7)建模高分辨率图像的先验概率对图像的梯度分布用广义拉普拉...

【专利技术属性】
技术研发人员：张小红，童若峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]