一种基于深度学习特征空间的视频压缩方法技术

本发明专利技术公开了一种基于深度学习特征空间的视频压缩方法，包括：将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；对最终重建特征进行帧重建，得到当前图像帧的重建帧；将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。本发明专利技术将运动估计，运动补偿，残差压缩操作从像素层面转到特征层面，更具鲁棒性。

【技术实现步骤摘要】
一种基于深度学习特征空间的视频压缩方法
本专利技术涉及视频压缩
，更具体的说是涉及一种基于深度学习特征空间的视频压缩方法。
技术介绍
由于视频网站流量逐年增大，支持更高的分辨率以及更高的帧速率，视频内容占互联网总流量的比率逐年增加，2017年，视频内容已占互联网总流量的75％，预计到2022年将达到82％。目前使用的视频压缩算法大多是基于传统的视频压缩算法H.264与H.265。因此，在视频压缩领域中，急需新的基于深度学习的视频压缩系统来有效减小视频序列中的冗余信息。目前采用的基于深度学习的视频压缩方法为，使用由光流网络、运动向量编码网络及运动向量解码网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储。但是该方法的所有操作包括运动估计，运动补偿，残差压缩均是在像素层面进行的，这就限制了深度学习网络的能力，具有很大的局限性。因此，如何提供一种在特征层面进行运动估计，运动补偿以及残差压缩，以提高鲁棒性的基于深度学习特征空间的视频压缩方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度学习特征空间的视频压缩方法，将基于深度学习的视频压缩的所有的操作都从原始像素层面转移到特征层面，以更加鲁棒的方式进行运动估计，运动补偿，残差压缩，并提供多帧融合的策略，以达到更加良好的视频还原效果。为了实现上述目的，本专利技术采用如下技术方案：一种基于深度学习特征空间的视频压缩方法，包括以下步骤：将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；对最终重建特征进行帧重建，得到当前图像帧的重建帧；将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。优选的，在上述一种基于深度学习特征空间的视频压缩方法中，所述基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征，包括：利用特征提取器提取上一重建帧的参考特征对当前特征Ft和参考特征进行运动估计，得到两帧之间的偏移量Ot；利用压缩网络对偏移量Ot进行运动压缩，得到运动压缩过程中产生的量化特征和解压之后的重建偏移量基于重建偏移量采用可变形卷积对参考特征进行运动补偿，得到当前图像帧的预测特征优选的，在上述一种基于深度学习特征空间的视频压缩方法中，所述利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征，包括：计算当前特征Ft与参考特征之间的差值Rt，利用压缩网络对差值Rt进行残差压缩，得到残差压缩过程中产生的量化特征和解压之后的重建残差特征将重建残差特征与预测特征相加，得到初始重建特征优选的，在上述一种基于深度学习特征空间的视频压缩方法中，所述将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征，包括：从重建帧的参考特征缓存中取出前三帧的参考特征和采用可变形卷积对前三帧的参考特征进行运动补偿，使其与初始重建特征对齐，得到前三帧预测特征和采用非本地注意力算法对初始重建特征和前三帧预测特征和进行优化，并将优化后的初始重建特征和前三帧预测特征在通道这一维度连接起来，得到最终重建特征优选的，在上述一种基于深度学习特征空间的视频压缩方法中，所述非本地注意力算法包括：根据初始重建特征与前三帧的参考特征在每个局部位置的相似度，得到每个点的注意力图；基于注意力图，对初始重建特征和前三帧的参考特征在每个局部位置进行加权平均，作为当前位置的特征值。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于深度学习特征空间的视频压缩方法，具有以下有益效果：1、本专利技术对视频压缩过程中，将运动估计，运动补偿以及残差压缩等所有的操作都放到了特征层面进行，具有更好的鲁棒性。2、本专利技术使用了可变形卷积对参考特征进行变形，最终得到了预测的视频帧，这样的操作相对于之前的逐像素进行的基于光流的运动补偿具有更好的鲁棒性与灵活性。3、本专利技术使用了多帧融合的操作将当前图像帧和之前的多帧信息进行融合，结合可变形运动补偿和非本地注意力算法对重建特征进行优化，进而达到更好的重建效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为本专利技术提供的基于深度学习特征空间的视频压缩方法的流程图；图2附图为本专利技术提供的特征提取与帧重建的网络结构示意图；图3附图为本专利技术提供的可变形卷积网络的结构示意图；图4附图为本专利技术提供的可变形运动补偿的流程图；图5附图为本专利技术提供的多帧特征融合的流程图；图6附图为本专利技术提供的非本地注意力算法的流程图；图7附图为本专利技术提供的运动压缩和残差压缩的网络结构图；图8(a)和图8(b)附图为本专利技术提供的消融实验的性能对比图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例公开了一种基于深度学习特征空间的视频压缩方法，包括以下步骤：S1、将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征。该步骤将需要压缩的视频拆解为一帧帧的图像，将当前图像帧Xt与上一重建帧输入特征提取器得到当前特征Ft与参考特征该步骤将图像帧从像素层面转移到了特征层面，具有更加丰富的表现能力。S2、基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征。具体为：对当前特征Ft和参考特征进行运动估计，得到两帧之间的偏移量Ot；利用压缩网络对偏移量Ot进行运动压缩，得到运动压缩过程中产生的量化特征和解压之后的重建偏移量基于重建偏移量采用可变形卷积(deformableconvolution)对参考特征进行运动补偿，得到当前图像帧的预测特征其中，可本文档来自技高网...

【技术保护点】
1.一种基于深度学习特征空间的视频压缩方法，其特征在于，包括以下步骤：/n将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；/n基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；/n利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；/n将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；/n对最终重建特征进行帧重建，得到当前图像帧的重建帧；/n将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。/n

【技术特征摘要】
1.一种基于深度学习特征空间的视频压缩方法，其特征在于，包括以下步骤：
将待压缩的视频拆解为连续的图像帧，利用特征提取器提取当前图像帧的当前特征；
基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征；
利用压缩网络对预测特征的误差在特征层面进行计算和压缩，得到初始重建特征；
将初始重建特征与之前缓存的多帧参考特征进行多帧特征融合，得到最终重建特征；
对最终重建特征进行帧重建，得到当前图像帧的重建帧；
将压缩网络中产生的量化特征进行熵编码，得到二进制比特流。


2.根据权利要求1所述的一种基于深度学习特征空间的视频压缩方法，其特征在于，所述基于当前特征与上一重建帧之间的运动信息，采用可变形卷积对上一重建帧在特征层面进行运动补偿，得到当前图像帧的预测特征，包括：
利用特征提取器提取上一重建帧的参考特征
对当前特征Ft和参考特征进行运动估计，得到两帧之间的偏移量Ot；
利用压缩网络对偏移量Ot进行运动压缩，得到运动压缩过程中产生的量化特征和解压之后的重建偏移量
基于重建偏移量采用可变形卷积对参考特征进行运动补偿，得到当前图像帧的预测特征


3.根据权利要求2所述...

【专利技术属性】
技术研发人员：胡智昊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11