基于帧预测神经网络的多描述视频编码方法和解码方法技术

基于帧预测神经网络的多描述视频编码方法和解码方法，本发明专利技术在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧，分别将奇数帧和偶数帧组成两个新的序列，通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题，采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息，与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明专利技术方法构成的多描述视频编码使码流具有一定的差错恢复能力，解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。在不可靠网络传输下的高质量视频重建。在不可靠网络传输下的高质量视频重建。

【技术实现步骤摘要】
基于帧预测神经网络的多描述视频编码方法和解码方法


[0001]本专利技术涉及误差补偿领域，特别是指一种基于帧预测神经网络的多描述视频编码方法和解码方法。

技术介绍

[0002]近年，随着多媒体技术和互联网技术的快速发展，视频通信与视频应用(比如远程医疗、视频会议、远程教学)等得到了广泛地推行，极大地丰富了人们的生活，提高了人们生活的幸福指数。与此同时，人们对超高分辨率(3840
×
2160、7680
×
4320)、高帧率(120fps)的视频的需求也日益增长。随着视频分辨率与帧率的提高，互联网传输的多媒体数据量爆炸式地增长。在满足高清及超高清视频传输的需求背景下，新一代视频编码标准HEVC应运而生。
[0003]新一代视频编码标准HEVC虽然具有压缩率高的优点，但是仍具抗容错能力低的缺点。而在实际的应用中，不可靠信道普遍存在，比如信道干扰，网络拥塞，无线信道的突发错误等。当视频码流经过不可靠信道传输时，容易产生数据包丢失、比特错误等现象，从而导致接收端接收到的视频质量严重下降。r/>[0004]因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于帧预测神经网络的多描述视频编码方法，其特征在于，包括如下步骤：A1)将输入视频分为奇数帧序列F
O
和偶数帧序列F
E
，分别经HEVC编码器进行编码得到重建后的奇数帧序列F'
O
和偶数帧序列F
’
E
；A2)将奇数帧序列F'
O
和偶数帧序列F'
E
分别输入帧预测神经网络FP
‑
CNN中得到预测的偶数帧序列F'
EI
和预测的奇数帧序列F'
OI
；A3)将预测的偶数帧序列F'
EI
和重建后的偶数帧序列F'
E
相减获得偶残差F
EIR
，将预测的奇数帧序列和重建后的奇数帧序列F'
O
相减获得奇残差F
OIR
；A4)将偶残差F
EIR
和奇残差F
OIR
分别经过残差编码获得偶残差码流F
ESI
和奇残差码流F
OSI
；A5)将重建后的奇数帧序列F'
O
和偶残差码流F
ESI
打包成描述1，将重建后的偶数帧序列F'
E
和奇残差码流F
OSI
打包成描述2，分别通过不同的信道传输到解码端。2.如权利要求1所述的一种基于帧预测神经网络的多描述视频编码方法，其特征在于，选取多种场景的视频，将源视频分为奇数帧和偶数帧，在不同QP值设定时，经原始HEVC编码器编解码，并将编解码后的视频作为训练的数据，原始的奇数帧或者偶数帧作为训练标签，构成数据集用于训练所述帧预测神经网络FP
‑
CNN。3.如权利要求1所述的一种基于帧预测神经网络的多描述视频编码方法，其特征在于，所述帧预测神经网络FP
‑
CNN包括编码器
‑
解码器，编码器的输出特征与解码器的相同尺度的输出特征采用跳过连接的方式。4.如权利要求1所述的一种基于帧预测神经网络的多描述视频编码方法，其特征在于，所述输入的奇数帧序列F'
O
和偶数帧序列F'
E
经编码器和解码器进行特征提取，所提取的特征提供给四个子网络；每个子网络用1维内核以密集的像素方式估计1/4的输出像素，再将估计的像素内核与奇数帧序列F'
O
或偶数帧序列F'
E
中相连的两帧视频帧进行局部卷积以生成所述预测的偶数帧序列F'
EI
或预测的奇数帧序列F'
OI
。5.如权利要求4所述的一种基于帧预测神经网络的多描述视频编码方法，其特征在于，所述编码器和解码器设有卷积层、平均池化层和双线性上采样层；每个所述子网络包括一个双...

【专利技术属性】
技术研发人员：陈婧，林琦，曾焕强，朱建清，蔡灿辉，
申请(专利权)人：华侨大学，
类型：发明
国别省市：