一种面向HEVC编码框架的视频恢复方法技术

本发明专利技术提供了一种面向HEVC编码框架的视频恢复方法，属于基于HEVC的视频处理技术领域。解决了HEVC低延迟编码配置下的视频帧级波动剧烈所引发的视频质量不佳的技术问题。其技术方案为：包括以下步骤：S1、设计前向特征粗提取模块，去除批归一化层，保留原始图像的细节信息；S2、设计时序信息提取模块，利用双向长短时记忆网络，强化特征的时空信息表达；S3、设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。本发明专利技术的有益效果为：实现解码端视频观看质量的提升，在标准测试序列上，相较于利用HM

【技术实现步骤摘要】
一种面向HEVC编码框架的视频恢复方法


[0001]本专利技术涉及基于HEVC的视频处理
，尤其涉及一种面向HEVC编码框架的视频恢复方法。

技术介绍

[0002]由于编码单元划分、量化等相关编码技术的引入，HEVC标准视频编解码框架在本质上都是基于像素块的有损编码，在解码过程中，将不可避免地导致由解码器缓冲区中重建图像组成的重建视频中含有大量的块效应、振铃效应等压缩失真。尽管HEVC标准的编码框架中已设计了相应的环路滤波器来减轻由于编码单元划分、量化等相关编码技术带来的压缩失真影响，并且为了进一步提升重建视频的质量，国内外研究人员在环路滤波器的优化问题上进行着不懈的努力。但是由于编码框架的限制，现有的环路滤波方法对重建视频的画质提升十分有限。
[0003]现行的环路滤波方法在本质上是利用帧内信息进行像素级别的平衡和补偿，并没有挖掘帧内信息间的深层关系，更没有充分利用珍贵的帧间信息进行重建视频恢复，重建视频的恢复质量难以满足终端显示的现实需求，重建视频的主客观质量仍然有很大的提升空间。尤其是在有限带宽传输的条件下，由现有编解码框架和快速编码带来的压缩失真将降低终端重建视频的画面质量。与此同时，随着终端芯片计算性能日益提高，如何将视频编码技术由单向负载转向均衡负载也成为了业内研究的焦点。因此，对解码端重建视频的画质进行有效恢复是目前亟待解决的问题。
[0004]已有研究表明，卷积神经网络拥有学习重建视频到原始视频之间非线性映射关系的强大能力。卷积神经网络可以依据重建视频中未丢失的、不完全的像素信息恢复出原始视频。所以，研究人员逐渐将目光投入到利用卷积神经网络对重建视频进行画质恢复的研究中。它能在不增加码率消耗的前提下利用终端强大的计算能力对重建视频的画质进行有效恢复，这对于帧内、帧间信息的充分利用和编码、解码端压力的平衡大有裨益。其中重建视频的画质恢复方法根据其输入帧数的不同可分为基于单帧输入的方法和基于多帧输入的方法。单帧输入的方法本质上是图像级别的画质恢复技术，忽略了视频内容具有内在的强时序相关性，这使得基于单帧输入的重建视频的画质恢复方法性能陷入瓶颈。多帧输入的方法考虑到相邻帧可能包含当前帧所缺失的有用信息，这使得利用多帧输入的重建视频画质恢复方法被研究者所重视。尽管如此，现有的重建视频画质恢复方法仅把自身定位为普通视频复原任务，并未对重建视频中因编码导致的压缩失真及视频编码框架进行深入挖掘，这也将影响重建视频的画质恢复效果。
[0005]因此，在剖析出重建视频独有特征的基础上，如何在最大程度上利用输入的时空信息，并设计更适配于HEVC编码框架的重建视频画质恢复方法势在必行，也为突破当前重建视频画质恢复的瓶颈提供了新的思想。

技术实现思路

[0006]本专利技术的目的在于提供一种面向HEVC编码框架的视频恢复方法，解决了HEVC低延迟配置下的视频帧级质量波动问题，最终实现解码端视频观看质量的提升，并在标准测试序列上证明了本专利技术方法的有效性。
[0007]本专利技术的专利技术思想为：本专利技术提供了一种面向HEVC编码框架的视频恢复方法，首先，设计去除批归一化层的前向特征粗提取模块，保留原始图像的细节信息，然后，利用双向长短时记忆网络设计时序信息提取模块，强化特征的时空信息表达，最后，设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。
[0008]为了实现上述专利技术目的，本专利技术采用的技术方案具体为：一种面向HEVC编码框架的视频恢复方法，包括以下步骤：
[0009]1.1、设计前向特征粗提取模块，去除批归一化层，保留原始图像的细节信息；
[0010]1.2、设计时序信息提取模块，利用双向长短时记忆网络，强化特征的时空信息表达；
[0011]1.3、设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。
[0012]进一步地，所述步骤1.1具体包括以下步骤：
[0013]2.1、构建三组有相同通道数和卷积核尺寸的卷积层；
[0014]2.2、读取前向高质量帧，通过第一组卷积层对前向高质量帧进行前向特征的粗提取；
[0015]2.3、读取待增强低质量帧，通过第二组卷积层对待增强低质量帧进行前向特征的粗提取；
[0016]2.4、读取后向高质量帧，通过第三组卷积层对后向高质量帧进行前向特征的粗提取。
[0017]进一步地，步骤1.2具体包括以下步骤：
[0018]3.1、按照视频播放顺序的正序将前向高质量帧、待增强低质量帧和后向高质量帧依次送入“LSTM+”单元中；
[0019]3.2、按照视频播放顺序的逆序将前向高质量帧、待增强低质量帧和后向高质量帧依次送入“LSTM
‑”
单元中；
[0020]3.3、拼接“LSTM+”和“LSTM
‑”
的输出特征；
[0021]3.4、将拼接后的输出特征送入全局卷积组成的通道注意力机制中，从时间和空间两个维度上强化特征的表达能力，为后续增强模块提供更好的特征。
[0022]进一步地，所述步骤1.3具体包括以下步骤：
[0023]4.1、构建由卷积层，ReLU激活函数层以及跳连结构组合成的残差单元；
[0024]4.2、将多组残差单元进行拼接，以此作为质量增强模块的基础构成部分；
[0025]4.3、对经过拼接后残差单元的输出特征进行结构降维；
[0026]4.4、把降维后的特征送入1组卷积层，进行进一步的特征提取，之后再与待增强的低质量帧相叠加，促使网络学习低质量帧与输出目标帧的残差信息，强化网络的学习能力和收敛速度。
[0027]与现有技术相比，本专利技术的有益效果为：
[0028]1、本专利技术从HEVC标准的编码结构及统计实验两个角度证明了视频的帧级质量波
动确实存在。
[0029]2、本专利技术将多帧信息引入网络设计过程中，在前向特征粗提取模块中去除了传统算法中的BN层，保留了强化视频的细节信息。
[0030]3、本专利技术在时序信息提取模块中利用双向长短时记忆结构从双向捕捉视频的时序信息，提升了特征的表达能力，同时采用改进的通道注意力机制，提高了网络对于双向时序特征的判别能力，强化了时序特征的表达。
[0031]4、本专利技术在质量增强模块中，利用残差学习思想，提升了网络恢复视频的能力，从本专利技术的实验结果来看，在标准测试序列上，视频质量相较于HM
‑
16.5直接解码显示，PSNR提升了0.4419dB；此外，通过与其他方法比较，表明了本专利技术提出的方法是一种有效的质量恢复算法，可有效缓解HEVC低延迟配置下的视频帧级质量波动现象，提升视频的观看质量。
附图说明
[0032]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0033]图1为本专利技术面向HEVC编码框架的视频恢复方法的整体流程图。
[0034]图2为本专利技术面向HEVC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向HEVC编码框架的视频恢复方法，其特征在于，包括以下步骤：步骤一、设计前向特征粗提取模块，去除批归一化层，保留原始图像的细节信息；步骤二、设计时序信息提取模块，利用双向长短时记忆网络，强化特征的时空信息表达；步骤三、设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。2.根据权利要求1所述的面向HEVC编码框架的视频恢复方法，其特征在于，所述步骤一具体包括以下步骤：S11、构建三组有相同通道数和卷积核尺寸的卷积层；S12、读取前向高质量帧，通过第一组卷积层对前向高质量帧进行前向特征的粗提取；S13、读取待增强低质量帧，通过第二组卷积层对待增强低质量帧进行前向特征的粗提取；S14、读取后向高质量帧，通过第三组卷积层对后向高质量帧进行前向特征的粗提取。3.根据权利要求1所述的面向HEVC编码框架的视频恢复方法，其特征在于，所述步骤二具体包括以下步骤：S21、按照视频播放顺序的正序将前向高质量帧、待增强...

【专利技术属性】
技术研发人员：刘畅，白鹤鸣，姜芮芮，张佳琳，王振国，
申请(专利权)人：南通大学，
类型：发明
国别省市：