基于神经网络的视频编码和解码的方法以及视频编码装置制造方法及图纸

技术编号:44293890 阅读:10 留言:0更新日期:2025-02-18 20:14
提供了用于基于神经网络的视频编码的方法。该方法包括:基于输入图像的时间层来估计输入图像和参考图像之间的运动向量,将运动向量变换为潜在表示,基于输入图像的时间层来缩放运动向量的潜在表示,并且基于缩放后的运动向量的潜在表示和参考图像来获得输入图像的时间上下文。

【技术实现步骤摘要】

本公开涉及用于编码和解码数据的方法和装置,并且更具体地,涉及用于基于神经网络的视频编码和解码的方法和装置。


技术介绍

1、近年来,互联网视频市场持续增长。然而,由于服务的类型和/或质量可能受到网络带宽的限制,因此需要高级的视频编码技术。为此,已经提出了基于神经网络的视频编码技术,该技术能够通过用神经网络代替普通视频编码技术的组成部分来进行端到端训练。


技术实现思路

1、根据本公开的一个或多个方面,提供了一种用于使用双向预测和时间层信息的基于神经网络的视频编码的装置和方法。

2、根据本公开的一个方面,提供了一种用于基于神经网络的视频编码的方法,该方法包括:基于输入图像的时间层来估计输入图像和参考图像之间的运动向量;将运动向量变换为潜在表示;基于输入图像的时间层来缩放运动向量的潜在表示;以及基于缩放后的运动向量的潜在表示和参考图像来获得输入图像的时间上下文。

3、参考图像可以包括时间上在输入图像之前的第一双向参考图像、以及时间上在输入图像之后的第二双向参考图像。

4、基于时间层本文档来自技高网...

【技术保护点】

1.一种用于基于神经网络的视频编码的方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述参考图像包括时间上在所述输入图像之前的第一双向参考图像、以及时间上在所述输入图像之后的第二双向参考图像。

3.根据权利要求1所述的方法,其中,基于所述时间层的缩放包括:通过针对较高时间层使用较小量化步长来缩放所述运动向量的所述潜在表示。

4.根据权利要求1所述的方法,其中,基于所述时间层的缩放包括:通过将所述运动向量的所述潜在表示除以针对所述时间层定义的量化步长确定参数,来缩放所述运动向量的所述潜在表示。

5.根据权利要求1所述的方法,还包括:...

【技术特征摘要】

1.一种用于基于神经网络的视频编码的方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述参考图像包括时间上在所述输入图像之前的第一双向参考图像、以及时间上在所述输入图像之后的第二双向参考图像。

3.根据权利要求1所述的方法,其中,基于所述时间层的缩放包括:通过针对较高时间层使用较小量化步长来缩放所述运动向量的所述潜在表示。

4.根据权利要求1所述的方法,其中,基于所述时间层的缩放包括:通过将所述运动向量的所述潜在表示除以针对所述时间层定义的量化步长确定参数,来缩放所述运动向量的所述潜在表示。

5.根据权利要求1所述的方法,还包括:

6.根据权利要求5所述的方法,其中,基于所述时间层的重新缩放包括:将所述缩放后的运动向量的潜在表示乘以针对所述时间层定义的量化步长确定参数。

7.根据权利要求5所述的方法,还包括:

8.根据权利要求5所述的方法,其中,所述时间上下文的获得包括:

9.一种用于基于神经网络的视频编码的方法,所述方法包括:

10.根据权利要求9所述的方法,其中,所述参考图像包括时间上在所述输入图像之前的第...

【专利技术属性】
技术研发人员:金胜彦金英雄金晖容李元熙朴寿庸成映勋吴度官
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1