一种有损压缩视频的多帧质量增强方法及装置制造方法及图纸

本发明专利技术提供一种有损压缩视频的多帧质量增强方法及装置，方法包括：针对解压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强，以播放质量增强后的第i帧；所述m个帧属于所述视频流中的帧，且所述m个帧中每一帧与所述第i帧分别具有相同或相应的像素数量大于预设阈值；m为大于1的自然数。在具体应用中，可利用峰值质量帧增强两个峰值质量帧之间的非非峰值质量帧。上述方法减轻了视频流播放过程中多帧之间的质量波动，同时使得有损压缩后视频中的各帧质量得到增强。

A multi frame quality enhancement method and device for lossy compressed video

The present invention provides a multi frame quality enhancement method and device for lossy compressed video. The method includes: using the M frame associated with the I frame related to the I frame of the decompressed video stream to enhance the quality of the I frame to play the I frame after the quality enhancement; the M frames belong to the frames in the video stream, and the M is described in the M. Each frame in the frame has the same or corresponding number of pixels per frame and the I frame larger than the preset threshold; and M is a natural number greater than 1. In the specific application, the non peak quality frame between the two peak quality frames can be enhanced by using the peak quality frame. The above method reduces the quality fluctuation of multi frames in the process of video streaming, and enhances the quality of frames in lossy compressed video.

【技术实现步骤摘要】
一种有损压缩视频的多帧质量增强方法及装置
本专利技术涉及图像处理
，特别是一种有损压缩视频的多帧质量增强方法及装置。
技术介绍
在过去的几十年里，视频在互联网上变得大受欢迎。根据思科数据流量预测，在2016年，视频流量占互联网总流量的60％，预计这一数字在2020年前将达到78％。由于互联网带宽受限，必须应用视频压缩来节省编码比特率。但是，视频在压缩过程中不可避免地会出现压缩失真，例如，方块效应，振铃效应和模糊等。这些工件可能会导致体验质量(QoE)严重下降。因此，十分有必要研究针对压缩后视频的质量增强方法。近年来，针对提高压缩图像或视频的视觉质量的方法被不断提出，例如，Dong等人设计了一个四层卷积神经网络(CNN)，名为AR-CNN，这大大提高了JPEG图像的质量。后来，Yang等人设计了一个解码器端可分层卷积神经网络(DS-CNN)用于提高视频质量。DS-CNN由两个子网络组成，旨在减轻帧内和帧间编码失真。然而，现有技术中所有质量增强方法在对当前帧进行质量增强时，都不会利用任何相邻帧的信息，因此相邻帧的性能很大程度上受到限制。
技术实现思路
针对现有技术中的问题，本专利技术提供一种一种有损压缩视频的多帧质量增强方法及装置，质量增强方法中任一帧解压缩中能够合理结合相邻帧的信息，提高当前帧的播放质量。第一方面，本专利技术提供一种有损压缩视频的多帧质量增强方法，包括：针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强，以播放质量增强后的第i帧；所述m个帧属于所述视频流中的帧，且所述m个帧中每一帧与所述第i帧分别具有相同或相应的像素数量大于预设阈值；m为大于1的自然数。可选地，针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强的步骤，包括：识别所述视频流中的峰值质量帧和非峰值质量帧；所述第i帧为非峰值质量帧时，将其记为Fnp。采用所述非峰值质量帧第i帧Fnp之前的峰值质量帧Fp1和第i帧之后的峰值质量帧Fp2对所述非峰值质量帧第i帧Fnp进行质量增强。可选地，所述识别所述视频流中的峰值质量帧和非峰值质量帧，包括：采用训练后的支持向量机SVM识别所述视频流中的峰值质量帧和非峰值质量帧。例如，SVM可采用空间域无参考图像质量评估方法，从每一帧中提取36个像素值分布特征，把某一帧的前后各两帧，一共5帧共180个特征提取出来，判断这一帧是否是峰值质量帧。可选地，还包括：提供多个训练视频，每一个训练视频中的每一帧为一个训练样本；对所有训练视频进行有损压缩，计算每一个训练视频中每一帧与未进行有损压缩的训练视频之间的峰值信噪比；根据每一帧对应的峰值信噪比，确定训练视频中的每一帧是否是峰值质量帧；提取训练视频中每一帧的36个像素分布特征，以及对于训练视频中的第i帧，使用第i帧与相邻帧的像素分布特征作为第i个训练样本的训练特征，将第i帧是否为峰值质量帧作为第i个训练样本的训练标签；使用所有训练样本的特征和标签对SVM进行训练。可选地，采用所述非峰值质量帧第i帧Fnp之前的峰值质量帧Fp1和第i帧之后的峰值质量帧Fp2对所述第i帧Fnp进行质量增强，包括：将所述非峰值质量帧第i帧Fnp和所述峰值质量帧Fp1、峰值质量帧Fp2输入多帧卷积神经网络结构，利用多帧卷积神经网络结构中的运动补偿子网络，将所述峰值质量帧Fp1和Fp2进行运动补偿，得到补偿后的峰值质量帧Fp'1和Fp'2，通过多帧卷积神经网络结构的质量增强子网络对非峰值质量帧第i帧Fnp进行质量增强，最后质量增强子网络输出的质量增强后的非峰值质量帧第i帧记作Fnp+Rnp(θqe)，其中Rnp(θqe)表示根据可训练的参数θqe重建的残差，输出的质量增强后的非峰值质量帧第i帧Fnp+Rnp(θqe)。可选地，所述多帧卷积神经网络结构包括：用于补偿相邻帧之间时域运动的运动补偿子网络和用于将运动补偿子网络中补偿时域运动后的帧的特征进行融合的质量增强子网络。可选地，将所述非峰值质量帧第i帧Fnp和所述峰值质量帧Fp1、峰值质量帧Fp2输入多帧卷积神经网络结构，获取输出的质量增强后的非峰值质量帧第i帧Fnp+Rnp(θqe)之前，还包括：训练所述多帧卷积神经网络结构中的所述运动补偿子网络和所述质量增强子网络。可选地，若有损压缩视频流中的第i帧与无损压缩视频流中的第i帧的峰值信噪比PSNR，大于有损压缩视频流中的第i-1帧和无损压缩视频流中的第i-1帧的峰值信噪比，且大于有损压缩视频流中的第i+1帧和无损压缩视频流中的第i+1帧的峰值信噪比，则有损压缩视频流中的第i帧为峰值质量帧，所述有损压缩视频流中不属于峰值质量帧的视频帧称为非峰值质量帧。第二方面，本专利技术还提供一种有损压缩视频的多帧质量增强装置，包括：存储器、处理器、总线以及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面任一所述的方法。第三方面，本专利技术还提供一种计算机存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如第一方面任一所述的方法。本专利技术具有的有益效果：本专利技术的方法分析了各种视频编码标准压缩的视频序列的帧间质量波动，利用邻近的峰值质量帧对非峰值质量帧进行质量增强，进而看到的视频流的质量无损失。附图说明图1为现有技术中解压缩后视频流中不同帧之间图像质量的差异示意图；图2为本专利技术一实施例提供的有损压缩视频的多帧质量增强方法的流程示意图；图3为本专利技术一实施例提供的图2的方法使用多帧卷积神经网络结构的示意图；图4为本专利技术一实施例提供的运动补偿子网络的示意图；图5为本专利技术一实施例提供的质量增强子网络的示意图；图6为本专利技术一实施例提供的质量增强子网络的卷积层信息的表格示意图；图7为本专利技术一实施例提供的有损压缩视频的多帧质量增强装置的结构示意图。具体实施方式为了更好的解释本专利技术，以便于理解，下面结合附图，通过具体实施方式，对本专利技术作详细描述。本专利技术提供一种有损压缩视频的多帧质量增强方法，包括：针对解有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强，以播放质量增强后的第i帧。特别地，m个帧属于所述视频流中的帧，且所述m个帧中每一帧与所述第i帧Fnp分别具有相同或相应的像素数量大于预设阈值；m为大于1的自然数。优选地，在实际应用中，针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强的步骤，包括：识别所述视频流中的峰值质量帧和非峰值质量帧；所述第i帧Fnp为非峰值质量帧时，采用所述非峰值质量帧第i帧Fnp之前的峰值质量帧Fp1和第i帧之后的峰值质量帧Fp2对所述非峰值质量帧第i帧Fnp进行质量增强。本实施例的方法分析了各种视频编码标准压缩的视频序列的帧间质量波动，利用邻近的峰值质量帧对非峰值质量帧进行质量增强，进而看到的质量增强后的视频。在一种可选的实现方式中，如图2所示，本实施例的方法可包括下述步骤：201、采用训练后的支持向量机SVM识别所述视频流中的峰值质量帧和非峰值质量帧。举例来说，可使用若干训练视频，训练视频中的每一帧为一个训练样本；首先，对所有训练视频进行有损压缩，计算各个训练视频中每一帧与未进行有损压缩的训练视频之间的峰值信噪比；其次，根据每一帧本文档来自技高网...

【技术保护点】
1.一种有损压缩视频的多帧质量增强方法，其特征在于，包括：针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强，以播放质量增强后的第i帧；所述m个帧属于所述视频流中的帧，且所述m个帧中每一帧与所述第i帧分别具有相同或相应的像素数量大于预设阈值；m为大于1的自然数。

【技术特征摘要】
1.一种有损压缩视频的多帧质量增强方法，其特征在于，包括：针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强，以播放质量增强后的第i帧；所述m个帧属于所述视频流中的帧，且所述m个帧中每一帧与所述第i帧分别具有相同或相应的像素数量大于预设阈值；m为大于1的自然数。2.根据权利要求1所述的方法，其特征在于，针对有损压缩的视频流的第i帧，采用所述第i帧关联的m个帧对所述第i帧进行质量增强的步骤，包括：识别所述视频流中的峰值质量帧和非峰值质量帧；所述第i帧为非峰值质量帧时，将其记为Fnp。采用所述非峰值质量帧第i帧之前的峰值质量帧Fp1和第i帧之后的峰值质量帧Fp2对所述第i帧Fnp进行质量增强。3.根据权利要求2所述的方法，其特征在于，所述识别所述视频流中的峰值质量帧和非峰值质量帧，包括：采用训练后的支持向量机SVM识别所述视频流中的峰值质量帧和非峰值质量帧。4.根据权利要求3所述的方法，其特征在于，还包括：提供多个训练视频，每一个训练视频中的每一帧为一个训练样本；对所有训练视频进行有损压缩，计算每一个训练视频中每一帧与未进行有损压缩的训练视频之间的峰值信噪比；根据每一帧对应的峰值信噪比，确定训练视频中的每一帧是否是峰值质量帧；提取训练视频中每一帧的36个像素分布特征，以及对于训练视频中的第i帧，使用第i帧与相邻帧的像素分布特征作为第i个训练样本的训练特征，将第i帧是否为峰值质量帧作为第i个训练样本的训练标签；使用所有训练样本的特征和标签对SVM进行训练。5.根据权利要求2所述的方法，其特征在于，采用所述非峰值质量帧第i帧之前的峰值质量帧Fp1和第i帧之后的峰值质量帧Fp2对所述第i帧Fnp进行质量增强，包括：将所述非峰值质量帧第i帧和所述峰值质量帧Fp1、峰值质量帧Fp2输入多帧卷积神经网络结构，...

【专利技术属性】
技术研发人员：徐迈，杨韧，刘铁，李天一，方兆吉，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11