基于压缩域的视频超分辨率方法技术

本发明专利技术公开了一种适用于压缩域的视频超分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤：首先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率图像来重建目标帧的最终的超分辨率图像。在此过程中，提出了超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，作为先验概率；使用了ＩＲＬＳ来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像具有较高的ＰＳＮＲ，较少引入新的噪声，且抑制编码噪声和“振铃”效应。利用依次滑动移动窗口，就得到超分辨率的视频。

【技术实现步骤摘要】

本专利技术涉及一种适用压缩域的视频超分辨率方法，得到的超分辨率图像保持边界清晰，同时抑制编码噪声和“振铃”效应。这种方法充分利用了压缩码流中的信息，且同时解决校准、插值、复原和后处理等问题。可以应用于各种MPEG4格式的压缩视频。
技术介绍
由于成像设备自身限制、数据压缩算法和传输错误等方面的原因，实际应用中能够得到的视频图像分辨率常常满足不了高清晰度的要求。为了解决这一问题，人们提出了序列图像的超分辨率算法，从多幅质量较差、分辨率较低的图像重构出单幅质量更好、分辨率更高的图像。 目前国内外解视频超分辨率的方法主要可以分为空间域和变化域两大类。空间域方法是先将压缩视频解压缩，再使用空间域的传统超分辨方法。其缺点是量化误差信息被丢失，效果不好，尤其压缩比较高时。基于压缩域重建的方法主要是对成像模型和空域噪声/压缩噪声进行建模，需要完整地考虑成像过程，压缩过程，运动估计以及块效应、振铃效应等多个方面的影响。当活动窗口内帧间的运动较简单时，尤其是全局运动，现有的一些超分辨率方法效果挺好的。但是，当活动窗口内帧间的运动较复杂时，这些方法会引入新的噪声，尤其是运动物体部分，且“振铃效应本文档来自技高网...

【技术保护点】
一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤：１）对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；２）对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；３）由上面建立的关系可以建模条件概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模：符合高斯分布；４）对上面量化噪声的协方差矩阵进行建模：先求解变化域的协方差矩阵：由量化矩...

【技术特征摘要】
1.一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；3)由上面建立的关系可以建模条件概率在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模符合高斯分布；4)对上面量化噪声的协方差矩阵进行建模先求解变化域的协方差矩阵由量化矩阵可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模符合高斯分布。6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变化域的协方差矩阵由量化矩阵和变换域系数可以得到，再将变化域的协方差矩阵转换成空间域的协方差矩阵；7)建模高分辨率图像的先验概率对图像的梯度分布用广义拉普拉...

【专利技术属性】
技术研发人员：张小红，童若峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]