基于学习的双向视频压缩的方法和系统技术方案

技术编号:46624694 阅读:1 留言:0更新日期:2025-10-14 21:20
本文提供了一种基于学习的双向视频压缩的计算机实现方法,包括给定当前帧,使用神经网络从当前帧和双向帧生成单个参考帧,估计当前帧和参考帧之间的运动,通过将运动输入到运动编码器和解码器来获得重建的运动,根据重建的运动和传播的特征生成一组时间上下文,并根据时间上下文通过逆信道熵模型压缩当前帧,该模型用于重建信道之间的关系,以便首先对熵较小的信道进行编码,然后借助先前编码的信道对熵较大的信道进行编码。

【技术实现步骤摘要】

本专利技术涉及基于学习的双向视频压缩的方法和系统


技术介绍

1、在过去的几年中,神经视频编解码器引起了人们的广泛关注,并显示出使用深度学习方法压缩视频的巨大潜力。与“手工制作”的经典编解码器标准(如hevc[1]和vvc[2])不同,神经网络方法采用端到端的方式实现。lu等人[3]提出了第一种方法,用神经网络取代经典编解码器组件,称为深度视频压缩(dvc)。在dvc中,运动和残差分别计算和压缩。随后,考虑到条件编码的熵较小[4],li等人[5]利用预测的特征上下文作为条件,提出了深度上下文视频压缩(dcvc)。

2、基于上述两种方法,人们进一步探索了许多方法来提高神经编解码器的压缩性能。lin等人[6]提出使用多个mv字段和相关参考帧来生成更准确的预测帧。此外,为了充分利用双向帧的概念,yang等人[7]提出了分层学习视频压缩(hlvc)方法,该方法具有三个双向分层质量层。同时,等人[8]提出了具有分层运动补偿预测的学习分层双向视频压缩(lhbdc)。此外,pourreza等人[9]通过插值两个参考帧来生成一个单帧。hlvc[7]和lhbdc本文档来自技高网...

【技术保护点】

1.一种基于学习的双向视频压缩的计算机实现方法,包括:

2.根据权利要求1所述的计算机实现方法,其中生成所述参考帧的步骤包括:

3.根据权利要求2所述的计算机实现方法,其中,获取所述距离值的步骤还包括对所述特征进行归一化减法和所述加权平均。

4.根据权利要求3所述的计算机实现方法,其中,提取所述特征的步骤包括从所述当前帧、所述先前重建的帧和所述之后重建的帧中提取L层特征堆栈。

5.根据权利要求4所述的计算机实现方法,其中,获取所述距离值的步骤包括对于每个距离值进行:

6.根据权利要求2所述的计算机实现方法,其中距离值包括表示当前...

【技术特征摘要】

1.一种基于学习的双向视频压缩的计算机实现方法,包括:

2.根据权利要求1所述的计算机实现方法,其中生成所述参考帧的步骤包括:

3.根据权利要求2所述的计算机实现方法,其中,获取所述距离值的步骤还包括对所述特征进行归一化减法和所述加权平均。

4.根据权利要求3所述的计算机实现方法,其中,提取所述特征的步骤包括从所述当前帧、所述先前重建的帧和所述之后重建的帧中提取l层特征堆栈。

5.根据权利要求4所述的计算机实现方法,其中,获取所述距离值的步骤包括对于每个距离值进行:

6.根据权利要求2所述的计算机实现方法,其中距离值包括表示当前帧和先前重建帧之间的特征相似性的第一距离值,以及表示当前帧和后续重建帧之间的特征相似性的第二距离值。

7.根据权利要求1所述的计算机实现方法,其中神经网络包括孪生神经网络。

8.根据权利要求1所述的计算机实现方法,其中逆信道熵模型被调整以借助深度信道预测起始信道参数,使得较大的熵信道具有更多的输入。

9.根据权利要求1所述的计算机实现方法,其中逆信道熵模型被调整以逆向预测方向,该预测方向借助深度信道以及信息累积的方向来预测起始信道参数。

...

【专利技术属性】
技术研发人员:邝得互郭海峰王诗淇
申请(专利权)人:香港城市大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1