基于编码损伤修复CNN的空域可分级视频编码方法技术

本发明专利技术提出了一种基于编码损伤修复CNN的空域可分级视频编码方法，用于解决现有空域可分级视频编码方法中存在的因基本层重建图像与增强层图像基于编码损伤的图像失真较大导致的增强层编码码率的较高的技术问题，以减轻网络传输的负担，实现步骤为：获取空域基本层码流C

CNN based scalable video coding in spatial domain

The invention proposes a spatial scalable video coding method based on coding damage recovery CNN, which is used to solve the technical problem of high coding rate of the enhancement layer caused by the large distortion of the reconstructed image of the basic layer and the image of the enhancement layer based on the coding damage in the existing spatial scalable video coding method, so as to reduce the burden of network transmission. The implementation steps are: acquisition Spatial basic layer code stream C

【技术实现步骤摘要】
基于编码损伤修复CNN的空域可分级视频编码方法
本专利技术属于视频图像编码领域，涉及一种空域可分级视频编码方法，具体涉及一种基于编码损伤修复CNN的空域可分级视频编码方法，可用于视频压缩编码后视频图像编码损伤的修复。
技术介绍
视频图像的编码是一种在传输视频过程中降低视频冗余数据的有效手段。视频图像编码出现了很多标准的算法，最新一代高效视频编码标准HEVC作为目前最新的视频压缩标准取得了不错的效果，但同时也大大增加了编码复杂度。进一步为了满足不同用户终端对不同分辨率和不同帧率的需求，以及解决已出现的一些异构网络和不可靠网络等问题，标准化组织提出可分级高效视频编码SHVC。SHVC是为了适应IP网络的异构、波动和拥塞而采用的一种高效、强鲁棒性的可分级性视频编码技术。该技术将一个基本层和若干增强层看成一个多层视频系统，对单一视频序列产生若干层高低有序的压缩码流。基本层提供基本图像质量的码流，增强层提供可在基础上重构出更高图像质量所需的码流，一般为更高质量图像与低质量图像的差值。SHVC可通过利用单层高效视频编码的编解码器构建实现，并添加层间参考图像处理模块。可分级高效视频编码SHVC主要分为质量可分级编码和空域可分级编码。实现空域可分级性，首先通过编码器对视频序列中的每帧图像进行不同空间分辨率的编码，得到分辨率不同的多个视频流，即基本层和增强层码流，且具有高分辨率的增强层码流以具有低分辨率的基本层码流为层间参考。仅对基本层码流信息进行解码得到的是低分辨率图像，增强层码流为高质量视频图像与低质量视频图像的差值码流，如同时加入增强层码流进行解码，得到的是高分辨率的图像。但是该方法由于视频压缩编码的缘故，在解码端接收到的基本层重建图像与基本层被重建图像相比具有编码损伤，表征为图像失真，在视觉上表现为方块效应、振铃效应以及其他由于人为操作给图像引入噪声导致的图像效果视觉失真，会间接导致增强层图像失真，进而导致增强层编码码率增加，既不利于解码端得到高清晰度的图像，也会增加编码负担与传输负担。作为深度学习网络中的一种，卷积神经网络由于具有卷积层等结构，能够很好地提取图像特征，在保留图像细节的前提下完成图像修复和图像超分等功能。例如申请公布号为CN110087092A，名称为“基于图像重构卷积神经网络的低码率视频编解码方法”的专利申请，提出了一种基于图像重构卷积神经网络的低码率视频编解码方法，该方法对输入视频通过下采样操作后得到低分辨率的视频，再使用标准X.265编解码器对低分辨率视频进行视频编解码，得到解码后的低分辨率视频，将解码后的低分辨率视频输入到训练好的图像重构卷积神经网络，然后得到与输入视频相同分辨率的重构视频。该方法解决了传统空域可分级视频编码方法中存在的在低码率下视频编解码后视频有严重压缩失真的问题，更好地保留图像细节。但其只针对低码率下视频编码带来的严重压缩失真问题，不能兼顾较高清晰度的高码率视频编码压缩失真问题，也不能有效降低高清晰度视频的传输码流大小。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于编码损伤修复CNN的空域可分级视频编码方法，用于解决现有空域可分级视频编码方法中存在的因基本层重建图像与增强层图像基于编码损伤的图像失真较大导致的增强层编码码率的较高的技术问题，以减轻网络传输的负担。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取空域基本层码流CBL和基本层重建图像集R：(1a)随机选取的包括n帧图像的视频V，并对其中的每帧图像进行d倍下采样，得到包括n帧低分辨率图像的视频V'，d＞1；(1b)对视频V'进行DCT变换，并以q为量化参数QP对DCT变换所获取的变换系数进行量化，得到量化后的变换系数N，1≤q≤51；(1c)对变换系数N进行熵编码，得到空域基本层码流CBL，同时对变换系数N同时进行反量化，并对反量化的结果进行反DCT变换，得到由n帧基本层重建图像组成的基本层重建图像集R；(2)获取训练样本集T0：(2a)选取像素大小为h×w的m幅自然图像，并将每幅图像裁剪为F个像素大小为l×l的大图像块，将所有大图像块作为标签图像数据SR_label，m≥400，h＞l，w＞l，且l为d的倍数；(2b)对每个大图像块进行d倍下采样，得到F个像素大小为l/d×l/d的小图像块，将所有小图像块作为标签图像数据LR_label；(2c)获取重建图像数据input_lr：(2c1)设量化参数QP的值为k，k的最小值为k0，最大值为km，并令k＝k0，1≤k0≤q≤km≤51；(2c2)对LR_label中的每个小图像块进行编码后再进行解码，得到F个重建图像，并判断k＝km是否成立，若是，得到K个重建图像组input_lr，K＝km-k0+1，并将LR_label、SR_label和input_lr作为训练样本集T0，否则，执行步骤(2c3)；(2c3)令k＝k+1，并执行步骤(2c2)；(3)构建基于编码损伤修复的卷积神经网络CNN：构建包括第一残差网络和第二残差网络的编码损伤修复的卷积神经网络CNN，其中：第一残差网络包括第一主径结构、第一捷径结构和第二卷积层；第一主径结构包括依次层叠的第一卷积层、归一化层、ReLU激活层、多个Block组合层；第一捷径结构包括第一直连通路；第二残差网络包括并联的第二主径结构和第二捷径结构；第二主径结构包括多个Block组合层和与其相连的第四卷积层；第二捷径结构包括依次层叠的第二反卷积层和第二直连通路；Block组合层包括依次层叠的第三卷积层、归一化层和ReLU激活层；第一主径结构包括两个连接，连接一连接第二主径结构，连接二连接第二卷积层；第一捷径结构连接第二捷径结构，第二卷积层连接第二捷径结构；第二主径结构连接输出端口，第二捷径结构连接输出接口；(4)对CNN进行训练：(4a)设迭代次数为t，最大迭代次数为T，T≥30，并令t＝0；(4b)首先对网络中所有卷积核的权值赋予初始值，将input_lr和LR_label作为第一残差网络的输入，将SR_label作为第二残差网络的输入，对CNN进行训练，并判断t＝T是否成立，若是，得到CNN模型，否则，执行步骤(4c)；(4c)令t＝t+1，并执行步骤(4b)；(5)对基本层重建图像集R进行编码损伤修复：将基本层重建图像集R输入至CNN模型，对R中的n帧图像进行编码损伤修复，并将得到的n帧修复编码损伤后的图像组成增强层修复图像集R'；(6)获取基于编码损伤修复CNN的空域可分级视频编码结果：(6a)将增强层修复图像集R'中的n帧图像与视频V中的n帧图像相减，得到由n个残差图像组成的残差图像集R'r；(6b)对R'r进行DCT变换，并以q为量化参数QP对DCT变换所获得的变换系数进行量化，得到量化后的变换系数N'；(6c)对变换系数N'进行熵编码，获取空域增强层本文档来自技高网...

【技术保护点】
1.一种基于编码损伤修复CNN的空域可分级视频编码方法，其特征在于，包括如下步骤：/n(1)获取空域基本层码流C

【技术特征摘要】
1.一种基于编码损伤修复CNN的空域可分级视频编码方法，其特征在于，包括如下步骤：
(1)获取空域基本层码流CBL和基本层重建图像集R：
(1a)随机选取的包括n帧图像的视频V，并对其中的每帧图像进行d倍下采样，得到包括n帧低分辨率图像的视频V'，d＞1；
(1b)对视频V'进行DCT变换，并以q为量化参数QP对DCT变换所获取的变换系数进行量化，得到量化后的变换系数N，1≤q≤51；
(1c)对变换系数N进行熵编码，得到空域基本层码流CBL，同时对变换系数N同时进行反量化，并对反量化的结果进行反DCT变换，得到由n帧基本层重建图像组成的基本层重建图像集R；
(2)获取训练样本集T0：
(2a)选取像素大小为h×w的m幅自然图像，并将每幅图像裁剪为F个像素大小为l×l的大图像块，将所有大图像块作为标签图像数据SR_label，m≥400，h＞l，w＞l，且l为d的倍数；
(2b)对每个大图像块进行d倍下采样，得到F个像素大小为l/d×l/d的小图像块，将所有小图像块作为标签图像数据LR_label；
(2c)获取重建图像数据input_lr：
(2c1)设量化参数QP的值为k，k的最小值为k0，最大值为km，并令k＝k0，1≤k0≤q≤km≤51；
(2c2)对LR_label中的每个小图像块进行编码后再进行解码，得到F个重建图像，并判断k＝km是否成立，若是，得到K个重建图像组input_lr，K＝km-k0+1，并将LR_label、SR_label和input_lr作为训练样本集T0，否则，执行步骤(2c3)；
(2c3)令k＝k+1，并执行步骤(2c2)；
(3)构建基于编码损伤修复的卷积神经网络CNN：
构建包括第一残差网络和第二残差网络的编码损伤修复的卷积神经网络CNN，其中：
第一残差网络包括第一主径结构、第一捷径结构和第二卷积层；第一主径结构包括依次层叠的第一卷积层、归一化层、ReLU激活层、多个Block组合层；第一捷径结构包括第一直连通路；
第二残差网络包括并联的第二主径结构和第二捷径结构；第二主径结构包括多个Block组合层和与其相连的第四卷积层；第二捷径结构包括依次层叠的第二反卷积层和第二直连通路；Block组合层包括依次层叠的第三卷积层、归一化层和ReLU激活层；
第一主径结构包括两个连接，连接一连接第二主径结构，连接二连接第二卷积层；第一捷径结构连接第二捷径结构，第二卷积层连接第二捷径结构；第二主径结构连接输出端口，第二捷径结构连接输出接口；
(4)对CNN进行训练：
(4a)设迭代次数为t，最大迭代次数为T，T≥30，并令t＝0；
(4b)将input_lr和LR_l...

【专利技术属性】
技术研发人员：何刚，陈星如，李云松，
申请(专利权)人：西安电子科技大学，呈像科技北京有限公司，
类型：发明
国别省市：陕西;61