一种混合视频编解码系统中基于深度神经网络的帧间预测方法技术方案

本发明专利技术提出了一种混合视频编解码系统中基于深度神经网络的帧间预测方法，属于帧间预测技术领域。所述方法通过借助当前块和参考块的周围相邻像素，利用深度神经网络获得一个更准确的预测块，从而使帧间预测性能得到提升。本发明专利技术的有益特点为，区别于基于传统帧间预测方法，本发明专利技术是基于深度神经网络的方法；区别于现有的仅针对于混合视频编解码系统中图像块本身作为输入的深度神经网络方法，本发明专利技术的深度神经网络输入是多个输入，包含非方形区域，这是区别于普通卷积神经网络的贡献所在。

【技术实现步骤摘要】
一种混合视频编解码系统中基于深度神经网络的帧间预测方法
本专利技术涉及一种混合视频编解码系统中基于深度神经网络的帧间预测方法，属于帧间预测

技术介绍
随着便携设备以及自媒体的快速发展，视频编码相关的应用正在快速发展并逐渐走向成熟，比如短视频分享、视频通话、互联网直播、电视广播、等等。帧间预测能够有效地去除视频的相邻帧之间的冗余信息，因此提高帧间预测的准确性能够提高视频编码的压缩性能。一般情况下，传统的帧间预测算法中，当前块的预测值是直接从参考帧直接拷贝或者插值得到的。视频的相邻帧存在许多变化，包括亮度变化、渐进渐出、模糊等。传统的一些帧间预测算法提出利用编码块周围像素来处理亮度变化以及利用当前块的相邻像素和参考块的相邻像素来补偿当前块的亮度变化。这些方法都是基于传统的线性模型来补偿当前的编码块。传统帧间预测的方法存在准确性不足的问题。
技术实现思路
本专利技术的目的是为了提高混合视频编解码系统中帧间预测的准确性，利用深度神经网络强大的学习能力，而提出的一种基于深度神经网络的帧间预测方法。本专利技术的有益特点为，区别于基于传统帧间预测方法，本专利技术是基于深度神经网络的方法；区别于现有的仅针对于混合视频编解码系统中图像块本身作为输入的深度神经网络方法，本专利技术的深度神经网络输入是多个输入，包含非方形区域，这是区别于普通卷积神经网络的贡献所在。所采取的技术方案如下：一种混合视频编解码系统中基于深度神经网络的帧间预测方法，所述方法的过程为：步骤一：获取当前块的周围相邻像素、参考块以及参考块的周围相邻像素，所述当前块和参考块是矩形区域或非矩形区域；当所述当前块和参考块是矩形区域时，所述当前块和参考块的尺寸为W*H，W为当前块和参考块的宽，H为当前块和参考块的高；步骤二：将步骤一获取的当前块的周围相邻像素、参考块以及参考块的周围相邻像素输入到深度神经网络中，获得当前块的一个更准确的预测块。进一步地，所述当前块的周围相邻像素和参考块的周围相邻像素从当前块和参考块的左下、左边、左上、上边和右上区域获取。进一步地，所述步骤二获得更准确的预测块的过程为：第一步：将步骤一获取的当前块的周围相邻像素和参考块的周围相邻像素输入到关系估计网络，获得一个关系块，关系块是指当前块和参考块之间的关系，尺寸和当前块一致，因此定义为关系块。由于当前块还未获取，因此关系块获取需要从当前块的周围相邻像素和参考块的周围相邻像素利用关系估计网络学习得到。关系估计网络是指用来获取关系块的深度神经网络；第二步：用特征组合网络对步骤一得到的参考块和第一步得到的关系块进行特征图的提取，并将所述提取到的特征图组合到一起；第三步：将第二步得到的组合后的特征图输入到深度提纯网络，得到当前块的一个更准确的预测块。进一步地，所述步骤二获得更准确的预测块的过程为：第一步：将步骤一获取的参考块和参考块的周围相邻像素输入到一个神经网络中，学习得到参考块和参考块的周围相邻像素之间的关系，所述神经网络由全连接层、卷积层或者二者的组合来实现；第二步：将步骤一获取的当前块的参考像素和第一步获得的关系输入到一个神经网络中，学习得到当前块的更准确的预测块，所述神经网络由全连接层、卷积层或者二者的组合来实现。进一步地，第一步所述的关系估计网络由全连接层实现；所述关系块的过去途径包括：当前块的周围相邻像素和参考块的相邻像素组合到一起输入到K层全连接网络，其中，K>0，得到当前块和参考块之间的关系块；所述关系估计网络在K个全连接层前后添加卷积层进一步提高网络的学习能力；或者所述关系估计网络用卷积层或全连接层提取当前块的周围相邻像素和参考块的周围相邻像素的特征后，再输入到K层全连接网络得到关系块。进一步地，第一步所述获得当前块和参考块之间的关系块的具体过程为：第1步：将当前块的周围相邻像素和参考块的周围相邻像素连接成为一个向量，并输入到关系估计网络中；第2步：所述关系估计网络中每一个全连接层计算前一层的输出和当前层的权重之间的内积来获得当前层的输出，进而关系估计网络的最后一层获得当前块和参考块之间的关系向量；第3步：将第二步获得的所述关系向量转换为关系块，所述关系块的大小与所述当前块尺寸相同。进一步地，第二步所述的特征组合网络由卷积网络实现，由卷积层和拼接层组成。进一步地，第二步所述提取参考块和关系块的特征图并组合到一起的过程为：第1步：所述特征组合网络对所述参考块进行卷积处理，获得参考块的特征图；第2步：所述特征组合网络对所述关系块进行卷积处理，获得关系块的特征图；第3步：将第1步获得的参考块特征图与第2步获得的关系块特征图组合到一起，获得组合后的特征图。进一步地，第三步所述深度提纯网络的输入是第二步得到的组合特征，输出是一个当前块的更准确的预测块；深度提纯网络由多个卷积层组成，或者由卷积层和全连接层组成。进一步地，第三步所述更准确的预测块的获取过程包括：第1步：所述组合后的特征图输入到深度提纯网络，提取特征并学习得到当前块的更准确的预测块；第2步：所述深度提纯网络由卷积层实现，或者由卷积层和全连接层实现；第3步：利用深度卷积提纯网络对输入的组合特征进一步提取特征，通过每一层网络的不断学习得到最终的预测块。本专利技术有益效果：1、本专利技术所述混合视频编解码系统中基于深度神经网络的帧间预测方法通过利用深度神经网络能够有效地提高混合视频编解码系统中预测的准确性，相对于传统的帧间预测方法，本专利技术能够带来4.4％的BD比特率节省。2、本专利技术通过借助当前块的周围相邻像素、参考块和参考块的周围相邻像素，利用深度神经网络学习到一个更准确的预测块，从而使帧间预测性能得到提升。3、本专利技术所述帧间预测方法可以用于merge模式、skip模式或inter模式中，有效提高了所述帧间预测方法的兼容性和实用范围。4、在帧间预测中，运动估计和运动补偿可以有效地降低视频编码中的时域冗余，提高视频编码性能。由于现有的视频编码标准采用的是基于平移运动模型的块匹配运动估计，即使是目前最先进的HEVC编码标准，也没有考虑当前块和参考块之间的相关性。为此，本专利技术提出的一个基于深度神经网络的帧间预测方法利用当前块和参考块的周围相邻像素对参考块进行增强，得到一个更准确的预测块，从而使编码效率得到进一步提高。附图说明图1为本专利技术所述深度神经网络结构示意图。图2为本专利技术所述混合视频编解码系统中基于深度神经网络的帧间预测方法与HEVC结合的编码端框图。图3为本专利技术所述混合视频编解码系统中基于深度神经网络的帧间预测方法与HEVC结合的解码端框图。图4为本专利技术所述深度提纯网络结构框图。具体实施方式下面结合具体实施例对本专利技术做进一步说明，但本专利技术不受实施例的限制。实施例1：一种混合视频编解码系统中基于深度神经网络的帧间预测方法，所述方法的过程为：步骤一：获取当前块的周围相邻像素、参考块以及参考块的周围相邻像素，所述当前块和参考块是矩形区域或非矩形区域；当所述当前块和参考块是矩形区域时，所述当前块和参考块的尺寸为W*H，W为当前块和参考块的宽，H为当前块和参考块的高；步骤二：将步骤一获取的当前块的周围相邻像素、参考块以及参考块的周围相邻像素输入到深度神经网络中，获得当前块的一个更准确的预测块。所述当前块的周围相邻像素和参考块的周围相邻本文档来自技高网...

【技术保护点】
1.一种混合视频编解码系统中基于深度神经网络的帧间预测方法，其特征在于，所述方法的过程为：步骤一：获取当前块的周围相邻像素、参考块以及参考块的周围相邻像素；步骤二：将步骤一获取的当前块的周围相邻像素、参考块以及参考块的周围相邻像素输入到深度神经网络中，获得当前块的一个更准确的预测块。

【技术特征摘要】
1.一种混合视频编解码系统中基于深度神经网络的帧间预测方法，其特征在于，所述方法的过程为：步骤一：获取当前块的周围相邻像素、参考块以及参考块的周围相邻像素；步骤二：将步骤一获取的当前块的周围相邻像素、参考块以及参考块的周围相邻像素输入到深度神经网络中，获得当前块的一个更准确的预测块。2.根据权利要求1所述帧间预测算法，其特征在于，所述当前块的周围相邻像素和参考块的周围相邻像素从当前块和参考块的左下、左边、左上、上边和右上区域获取。3.根据权利要求1所述帧间预测算法，其特征在于，所述步骤二获得更准确的预测块的过程为：第一步：将步骤一获取的当前块的周围相邻像素和参考块的周围相邻像素输入到关系估计网络，获得一个关系块；第二步：用特征组合网络对步骤一得到的参考块和第一步得到的关系块进行特征图的提取，并将所述提取到的特征图组合到一起；第三步：将第二步得到的组合后的特征图输入到深度提纯网络，得到当前块的一个更准确的预测块。4.根据权利要求1所述帧间预测算法，其特征在于，所述步骤二获得更准确的预测块的过程为：第一步：将步骤一获取的参考块和参考块的周围相邻像素输入到一个神经网络中，学习得到参考块和参考块的周围相邻像素之间的关系，所述神经网络由全连接层、卷积层或者二者的组合来实现；第二步：将步骤一获取的当前块的参考像素和第一步获得的关系输入到一个神经网络中，学习得到当前块的更准确的预测块，所述神经网络由全连接层、卷积层或者二者的组合来实现。5.根据权利要求3所述帧间预测算法，其特征在于，第一步所述使用当前块的周围相邻像素和参考块的周围相邻像素获取关系块的过程为：将当前块的周围相邻像素和参考块的周围相邻像素输入到一个K层的全连接网络，得到关系块；或者将预处理后的当前块的周围相邻像素和参考块的周围相...

【专利技术属性】
技术研发人员：范晓鹏，王洋，赵德斌，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23