一种基于卷积神经网络的视频编码优化方法技术

本发明专利技术公开了一种基于卷积神经网络的视频编码优化方法

【技术实现步骤摘要】
一种基于卷积神经网络的视频编码优化方法


[0001]本专利技术提供一种基于卷积神经网络的视频编码优化方法
。

技术介绍

[0002]视频依据其形式可划分为模拟视频和数字视频两种，前者由模型相机逐行或隔行扫描生成，主要用于模拟电视系统；后者由数字相机拍摄生成或由模拟视频生成，日常生活所涉及视频多为数字视频
。
传统编码技术已经无法满足当下数字视频压缩
、
存储
、
传输等方面的要求，高效视频编码应运而生，
HEVC
是为满足数字视频有线和无线传输需求而开发的视频编码标准
。
[0003]经过
HEVC
编码
/
解码过程后，重构的帧会通过
HEVC
环路滤波器进行后处理，以消除伪影
。HEVC
和其他标准都存在两种主要的压缩失真，这是由基于块的预测
、
变换和有限精度的量化引起的
。
最常见的失真是块效应
。
在
HEVC
中，帧首先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于卷积神经网络的视频编码优化方法，其特征在于包括如下步骤：步骤
1、
利用深度学习对视频特征强大的挖掘能力，提出一个多输入的多尺度残差卷积网络代替
HEVC
传统环路滤波模块，添加高质量参考图像作为输入，提高环路滤波的性能；步骤
2、
提出迭代训练的方法解决测试过程与训练过程之间的不一致性；步骤
3、
基于改进的
HEVC
分像素插值滤波算法，提升
HEVC
视频压缩性能；进一步的，步骤1所述的多尺度残差卷积网络，具体如下：所述的多尺度残差卷积神经网络，具体包括：
(1)
浅层特征提取模块浅层特征提取模块的作用是对输入的参考图像和重建图进行浅层特征的提取，以便后续更深层次特征的提取；为了同时处理这些输入分量，使用两个对称的分支；在每个分支中，首先分别将这两个分量输入一个卷积核，提取特定的特征图，然后将它们拼接并输入下一模块；卷积核的大小设置为
3x3
，通道数设置为
16
；用以下
(1)
式表示：其中，
F1表示浅层特征提取模块提取的特征；
x
h
表示输入的高质量参考帧分量；
x
r
表示输入的未经滤波的重建分量；表示第
n
个
k
×
k
卷积核的卷积计算；
σ
表示
LeakyReLU
激活函数；表示张量通道上的拼接操作；
(2)
深层特征提取模块深层特征提取模块由一个卷积层和
N
个多尺度残差模块串联而成；在每个多尺度残差模块中，输入的特征图分别经过
5x5
和
3x3
的卷积核，得到的张量进行拼接操作，然后进行
1x1
的卷积操作，并采用跳过连接将输出与输入特征相加；此模块用以下
(2)
式表示：其中，表示5×5卷积层的输出；表示3×3卷积层的输出；
M
i
表示第
i
个多尺度残差模块的输出，
i
表示第
i
个多尺度残差模块；
σ
表示
LeakyReLU
激活函数；
(3)
图像重建模块图像重建模块包含两个卷积层，输入为深层特征提取模块提取的特征图；两个卷积层用于对上述增强特征重建残差图像；用以下
(3)
式表示：其中，
O
表示图像重建模块的输出；
N
表示残差模块个数；最后，将重建帧和图像重建模块的输出相加，得到网络的最终输出
,
使网络训练生成残差图像，减轻网络训练的负担；最终输出用式
(4)
表示：
y
＝
x
r
+O (4)。2.
根据权利要求1所述的一种基于卷积神经网络的视频编码优化方法，其特征在于提出使用额外的先验信息，即高质量参考图像分量来提高网络增强性能；采用参考帧列表中
PSNR
最高的帧作为补充输入
。
3.
根据权利要求1所述的一种基于卷积神经网络的视频编码优化方法，其特征在于步骤2具体实现如下：2‑
1.
由基于
HM
编码器编码生成的未经滤波的图像组成训练集进行网络训练；2‑
2.
将初始训练生成的多尺度残差卷积网络集成到
HM
编码器再次生成新的训练集；2‑
3.
基于这个新的训练集继续训练多尺度残差卷积网络，并且网络的初始模型参数与初始训练得到的网络参数相同；2‑
4.
重复训练过程将以迭代的方式进行，直到不能进一步改进性能或达到目标性能
。4.
根据权利要求2或3所述的一种基于卷积神经网络的视频编码优化方法，其特征在于步骤3中需要在编码...

【专利技术属性】
技术研发人员：陈谦，陆宇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：