本发明专利技术提出了一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究，将下采样过程、HEVC的编解码过程、上采样及质量增强过程集成为一体。为高效提取视频帧的结构特征，在所提压缩框架中集成了两个卷积神经网络。提出了一种下采卷积神经网络(DwSCNN，Down Sampling CNN)代替双三次下采，在有效降低分辨率的同时保留细节信息，得到更为紧凑的低分辨率视频序列，将此低分辨率视频序列通过HEVC帧内编码进行进一步的数据量压缩，通过提出一个质量增强卷积神经网络(PPCNN，Post Processing CNN)来改善解码后恢复到原始分辨率的降质视频序列。本发明专利技术可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。
【技术实现步骤摘要】
一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究
本专利技术涉及图像通信领域中的视频编码技术问题，尤其是涉及一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究。
技术介绍
近年来，智能移动终端的普及使得人们对视频分辨率的要求越来越高。在此背景下，新一代高效视频编码标准H.265/HEVC(HighEfficiencyVideoCoding)应运而生。H.265/HEVC包含最新的视频编码技术，其具有比以往标准更加出色的性能，相较于H.264/AVC在同等编码质量下能节省50％左右的码率。现今，应用于卫星、智能家居等领域的高清数字电影的拍摄，均采用帧内编码方式进行压缩，HEVC帧内编码的应用日益广泛，受终端设备编解码方式和其固定的带宽限制，迫切需要我们在视频帧内压缩标准上进一步实现视频高性能压缩。为实现高质量视频压缩传送，结合下采减少视频传输数据量再进行质量提升的超分辨率重建工作也越来越多并取得一定成效。并且随着深度学习在计算机视觉领域取得的巨大成就，用于HEVC编解码后处理的深度学习方法很多。但是，结合卷积神经网络的压缩性能优化研究较少，并且不能避免繁杂的压缩编码数据处理过程。因此本专利技术期望通过一种将下采样、编解码、上采样和质量增强等环节集成于一体的端对端压缩性能优化方法，较好的提高HEVC帧内编码压缩效率。目前学术界关于采用空域分辨率变换去除编码视频空间冗余以此提升图像和视频压缩效率及采用卷积神经网络改善重建图像和视频质量的研究已有很多。GeorgisG提出首先对原始视频先进行高斯卷积模糊，然后对其进行二倍下采样获得低分辨率视频，将低分辨率视频进行编码得到码流，在解码端对码流进行解码，然后对解码视频采用一种低复杂度的超分辨率重建算法L-SEABI使其恢复到原始的尺寸，该方法改善了重建视频质量并且减少了计算时间。CHENH采用一种基于块自适应下采样和超分辨率重建的方法来改善低码率段图像编码质量。DONGJ通过找到空域下采样和视频编码引起失真的最优下采样比，实现低码率段视频最优压缩性能。TaoW在针对图像压缩JPEG和JPEG2000标准上提出一种将下采、编码、上采集成于一体的端对端压缩性能优化方法，较好的改善压缩编码数据处理过程。
技术实现思路
针对高性能视频压缩编码标准HEVC压缩效率和性能还可以提高，进一步研究解决高效视频压缩的问题，本文专利技术提出一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究，在合理的时间复杂度范围内，尽可能控制视频传输数据量和提高重建视频质量并且使压缩编码数据处理过程集成于一体。本专利技术的基本思想是在控制时间复杂度的前提下，充分去除视频空间冗余、改善重建视频质量和集成压缩数据处理过程来达到高效视频压缩的目的。在视频编码前，采用构建好的空域下采样网络DwSCNN(DownSamplingCNN)将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，对得到的低空间分辨率视频进行HEVC编解码，将解码视频采用双三次插值恢复到原始尺寸，最后采用构建的质量增强网络PPCNN(PostProcessingCNN)对低质分辨率视频进行质量增强。本专利技术针对H.265/HEVC标准提出了一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究，在视频编码前，采用训练好的空域下采样网络DwSCNN的最佳模型去除视频空间冗余信息并保留较多的原视频高频信息，对得到的低空间分辨率视频进行HEVC帧内编解码，将解码视频采用双三次插值恢复到原始空间分辨率，最后采用训练好的质量增强网络PPCNN最佳模型对低质分辨率视频进行质量增强，改善重建视频质量，以此得到结合卷积神经网络的压缩性能优化研究。具体主要包括以下过程步骤：(1)构建一种基于卷积神经网络的空域下采样网络DwSCNN(DownSamplingCNN)，在降低视频分辨率的同时尽可能地捕捉原始视频的结构纹理和细节信息；(2)在编码前将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样方法为DwSCNN下采样；(3)将低分辨率视频经H.265/HEVC编码，编码采用帧内编码方式，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频；(4)对解码的低分辨率视频经空域上采后，视频恢复到原始尺寸大小，其中空域上采为双三次上采样；(5)构建一种基于卷积神经网络的质量增强网络PPCNN(PostProcessingCNN)，其能增强恢复到原始空间分辨率的降质视频序列的质量。本专利技术的上述技术方案中，所述的结合卷积神经网络的HEVC帧内编码压缩性能优化研究，采用下采样、编解码、上采样和质量增强等环节的压缩框架，有效去除了视频空间冗余、减少视频传输码率并增强重建视频质量。本专利技术的上述技术方案中，所述的结合卷积神经网络的HEVC帧内编码压缩性能优化研究，空域下采样方法为DwSCNN下采样，降低视频空间冗余的同时，利用深度学习的优势较好地提取了原始视频结构纹理和细节信息。本专利技术的上述技术方案中，所述的结合卷积神经网络的HEVC帧内编码压缩性能优化研究，对恢复到原始空间分辨率的降质视频序列采用一个后处理网络PPCNN改善质量，PPCNN对降质视频帧进一步特征增强和去噪，得到的重建视频质量较高。本专利技术的上述技术方案中，所述的结合卷积神经网络的HEVC帧内编码压缩性能优化研究，当训练出下采样网络DwSCNN和质量增强网络PPCNN的最佳模型后，可将HEVC压缩过程的下采、编解码、上采和质量增强集成于一体，较好的提高HEVC压缩编码性能同时，改善压缩编码数据处理过程。根据本专利技术的上述方法可以编制执行上述一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究。本专利技术是基于以下思路分析而完成的：首先构建一种基于卷积神经网络的空域下采样网络DwSCNN(DownSamplingCNN)。其一共有8个卷积层，前6个卷积核分别紧跟一个参数化修正线性单元(PReLU)作为非线性激活函数，用于对帧内编码特征提取；第7个卷积层用于增强特征映射，提取更能表达重建图像的特征；为确保输入视频帧和重建残差大小一致，需要在尺寸下采前采用残差学习，残差学习的引入加快网络收敛，进一步获得图像高频信息；第8个卷积层步长为2实现空间分辨率的降低。8个卷积层使得在本研究应用场景下，框架结构取得较快的收敛速度和最高的质量重建。DwSCNN能保留更加丰富的视频结构特征和高频信息。在编码前，采用训练好的DwSCNN将原始视频进行空域下采样为原视频1/4大小的低分辨率视频。低分辨率视频经HEVC帧内编解码后得到解码视频。解码视频通过双三次上采恢复到原始大小。恢复到原始空间分辨率大小的低质视频通过构建的基于卷积神经网络的质量增强网络PPCNN(PostProcessingCNN)进行质量提升。PPCNN基于一种非常深的网络VDSR提出，其依旧是一个20层的全卷积网络，前19个卷积核分别紧跟一个参数化修正线性单元(PReLU)作为非线性激活函数，用于对帧内编码特征提取；第20个卷积本文档来自技高网...
【技术保护点】
1.一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究，其特征在于：/n(1)构建一种基于卷积神经网络的空域下采样网络DwSCNN(Down Sampling CNN)，在降低视频分辨率的同时尽可能地捕捉原始视频的结构纹理和细节信息；/n(2)在编码前将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样方法为DwSCNN下采样；/n(3)将低分辨率视频经H.265/HEVC编码，编码采用帧内编码方式，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频；/n(4)对解码的低分辨率视频经空域上采后，视频恢复到原始尺寸大小，其中空域上采为双三次上采样；/n(5)构建一种基于卷积神经网络的质量增强网络PPCNN(Post Processing CNN)，其能增强恢复到原始空间分辨率的降质视频序列的质量。/n
【技术特征摘要】
1.一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究，其特征在于：
(1)构建一种基于卷积神经网络的空域下采样网络DwSCNN(DownSamplingCNN)，在降低视频分辨率的同时尽可能地捕捉原始视频的结构纹理和细节信息；
(2)在编码前将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样方法为DwSCNN下采样；
(3)将低分辨率视频经H.265/HEVC编码，编码采用帧内编码方式，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频；
(4)对解码的低分辨率视频经空域上采后，视频恢复到原始尺寸大小，其中空域上采为双三次上采样；
(5)构建一种基于卷积神经网络的质量增强网络PPCNN(PostProcessingCNN)，其能增强恢复到原始空间分辨率的降质视频序列的质量。
2.如权利要求1所述的结合卷积神经网络的HEVC帧内编码压缩性能优化研究，其特征在于采用下采样、编解码、上采样和质量增强等环节的压缩框架，有效去除了视...
【专利技术属性】
技术研发人员：何小海，王婷，孙伟恒，熊淑华，王正勇，卿粼波，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。