一种基于条件编码的视频压缩方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于条件编码的视频压缩方法、系统、设备及介质，包括通过特征提取器将解码帧从像素域转换到特征域；基于运动估计学习运动向量，所述运动向量经过编码和解码之后用于指导提取特征；基于运动补偿生成最终的上下文特征，所述上下文特征为时域高维上下文特征，以并联的方式作为编码器和解码器的条件输入；将所述上下文特征作为编码条件，帮助编码器自动挖掘当前帧和上下文特征相关性并去除其中的冗余。本发明专利技术使用条件编码视频压缩代替残差编码视频压缩，可以自适应学习帧内编码与帧间编码，同时将时域上下文特征作为条件输入可以帮助编解码器对当前帧的编码，对高分辨率视频的压缩更具优势。率视频的压缩更具优势。率视频的压缩更具优势。

【技术实现步骤摘要】
一种基于条件编码的视频压缩方法、系统、设备及介质


[0001]本专利技术涉及视频
，特别是一种基于条件编码的视频压缩方法、系统、设备及介质。

技术介绍

[0002]近年来，云南电网公司视频监督平台、变电站视频监控系统等产出了海量的视频数据。公司要求视频数据接入数据中心。但是，仍存在下列问题：1、非结构化数据服务平台存储空间有限。目前剩余空间约为2Pb，视频监督平台每年约产生2.6Pb视频数据，现有存储已无法满足视频数据增量存储需求。2、摄像头侧产生的视频数据传输至公司数据中心需要高额的宽带流量费。3、视频传输过程中进行视频压缩是缓解存储压力、节省宽带费用的有效方法。
[0003]目前，传统视频压缩方法多采用残差编码，预测帧先会从之前已经解码的帧中生成出来，然后再计算当前帧与预测帧的残差。残差编码的熵大于或等于条件编码的熵，无法以更低的码率重建高质量视频。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述和/或现有的视频压缩方法中存在的问题，提出了本专利技术。
[0006]因此，本专利技术所要解决的问题在于如何提供一种基于条件编码的视频压缩方法。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：
[0008]第一方面，本专利技术实施例提供了一种基于条件编码的视频压缩方法，其包括，
[0009]通过特征提取器将解码帧从像素域转换到特征域；
[0010]基于运动估计学习运动向量，所述运动向量经过编码和解码之后用于指导提取特征；
[0011]基于运动补偿生成最终的上下文特征，所述上下文特征为时域高维上下文特征，以并联的方式作为编码器和解码器的条件输入；
[0012]将所述上下文特征作为编码条件，帮助编码器自动挖掘当前帧和上下文特征相关性并去除其中的冗余。
[0013]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述通过特征提取器对输入的图像进行特征提取包括，
[0014]对于t时刻输入的图像x
t
，将t
‑
1时刻的重建帧图像作为参考帧；
[0015]通过特征提取器分别提取x
t
和对应的特征f
t
和
[0016]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述基于
运动估计学习运动向量包括，
[0017]基于双层卷积神经网络计算当前帧特征f
t
和前一帧特征之间的运动信息m
t
；
[0018]将所述运动信息m
t
进行压缩编码，解码后得到重建后的运动信息
[0019]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述基于运动补偿生成最终的上下文特征包括，
[0020]基于可形变卷积将t
‑
1时刻的特征变换到当前时刻得到预测特征
[0021]以预测特征作为条件信息，将和原始帧特征f
t
进行拼接输入到编码器；
[0022]基于解码得到残差特征将其与预测特征相加，以重建更准确的输入帧特征作为最终的上下文特征。
[0023]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述基于可形变卷积将t
‑
1时刻的特征变换到当前时刻得到预测特征包括，
[0024]通过卷积层将转化为分组的偏移量信息，其中每组的通道之间共享相同的偏移量；
[0025]将参考帧特征上对应位置的值通过可形变卷积融合为预测特征上的一个值：
[0026][0027]其中，K2表示卷积核中的每个位置，在实现中为{
‑
1，0，1}2，w(p
n
)为对应位置的权重；p0和Δp
n
分别表示特征位置及对应的偏移量。
[0028]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述基于运动补偿生成最终的上下文特征采用的公式为：
[0029][0030][0031]其中，Encoder和Decoder分别为编码器和解码器，Q为量化操作。
[0032]作为本专利技术所述基于条件编码的视频压缩方法的一种优选方案，其中：所述基于条件编码的视频压缩方法，为了实现码率和失真的最优平衡，通过如下公式进行优化：
[0033][0034]其中，R
m
和R
c
分别表示运动编码和条件编码消耗的码率，表示重建帧与原始输入帧之间的损失，λ为超参数，用于控制优化过程中码率和损失之间的平衡。
[0035]第二方面，本专利技术实施例提供了一种基于条件编码的视频压缩系统，其包括，
[0036]特征提取模块，用于将解码帧从像素域转换到特征域；
[0037]运动估计模块，用于基于运动估计学习运动向量，所述运动向量经过编码和解码
之后用于指导提取特征；
[0038]上下改进模块，用于基于运动补偿生成最终的上下文特征，所述上下文特征为时域高维上下文特征，以并联的方式作为编码器和解码器的条件输入；
[0039]条件编码模块，用于将所述上下文特征作为编码条件，帮助编码器自动挖掘当前帧和上下文特征相关性并去除其中的冗余。
[0040]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述方法的任一步骤。
[0041]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述方法的任一步骤。
[0042]本专利技术有益效果为：使用条件编码视频压缩代替残差编码视频压缩，可以自适应学习帧内编码与帧间编码，同时将时域上下文特征作为条件输入可以帮助编解码器对当前帧的编码，具有更高维度的上下文特征可以携带更丰富的时域信息帮助编码，特别是对高频细节的恢复，对高分辨率视频的压缩更具优势，充分利用高维特征来帮助视频高频细节可以获得更好的重建质量。
附图说明
[0043]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0044]图1为基于条件编码的视频压缩方法的流程图。
[0045]图2为基于条件编码的视频压缩方法的条件压缩示意图。
[0046]图3～5为本方法与基线方法率失真曲线。
具体实施方式
[0047]为使本专利技术的上述目的、特征和优点能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件编码的视频压缩方法，其特征在于：包括，通过特征提取器将解码帧从像素域转换到特征域；基于运动估计学习运动向量，所述运动向量经过编码和解码之后用于指导提取特征；基于运动补偿生成最终的上下文特征，所述上下文特征为时域高维上下文特征，以并联的方式作为编码器和解码器的条件输入；将所述上下文特征作为编码条件，帮助编码器自动挖掘当前帧和上下文特征相关性并去除其中的冗余。2.如权利要求1所述的基于条件编码的视频压缩方法，其特征在于：所述通过特征提取器对输入的图像进行特征提取包括，对于t时刻输入的图像x
t
，将t
‑
1时刻的重建帧图像作为参考帧；通过特征提取器分别提取x
t
和对应的特征f
t
和3.如权利要求2所述的基于条件编码的视频压缩方法，其特征在于：所述基于运动估计学习运动向量包括，基于双层卷积神经网络计算当前帧特征f
t
和前一帧特征之间的运动信息m
t
；将所述运动信息m
t
进行压缩编码，解码后得到重建后的运动信息4.如权利要求3所述的基于条件编码的视频压缩方法，其特征在于：所述基于运动补偿生成最终的上下文特征包括，基于可形变卷积将t
‑
1时刻的特征变换到当前时刻得到预测特征以预测特征作为条件信息，将和原始帧特征f
t
进行拼接输入到编码器；基于解码得到残差特征将其与预测特征相加，以重建更准确的输入帧特征作为最终的上下文特征。5.如权利要求4所述的基于条件编码的视频压缩方法，其特征在于：所述基于可形变卷积将t
‑
1时刻的特征变换到当前时刻得到预测特征包括，通过卷积层将转化为分组的偏移量信息，其中每组的通道之间共享相同的偏移量；将参考帧特征上...

【专利技术属性】
技术研发人员：张航，黄祖源，李辉，曾晓雯，高宇豆，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：