System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频编解码模型处理、视频编码、解码方法及相关设备技术_技高网

视频编解码模型处理、视频编码、解码方法及相关设备技术

技术编号:39970185 阅读:7 留言:0更新日期:2024-01-09 00:43
本申请涉及一种视频编解码模型处理、视频编码、解码方法及相关设备。其中,视频编解码模型处理方法包括:获取训练视频帧,通过视频编解码模型提取训练视频帧的特征图,并确定特征图中特征元素对应的尺度参数值;按照尺度参数值和尺度参数映射值的预设映射关系,将每个尺度参数值映射到预设映射值范围内,获得对应的尺度参数映射值;获取每个尺度参数映射值对应的约束参考映射值,基于每个尺度参数映射值和对应的约束参考映射值之间的差异,确定训练视频帧的量化约束损失;基于量化约束损失更新视频编解码模型的至少一部分模型参数,获得训练后的视频编解码模型。采用本方法可以提高解码重建获得的视频帧准确性。

【技术实现步骤摘要】

本申请涉及视频编解码,特别是涉及视频编解码模型处理、视频编码、解码方法及相关设备


技术介绍

1、随着计算机技术的发展,出现了视频编解码技术,通过编码可以将视频帧进行压缩,而通过解码可以对压缩的视频帧进行还原。视频编解码可以广泛应用于各种场景,尤其是跨平台视频传输场景中,例如视频聊天、视频会议等实时会话应用。

2、相关技术中,视频编解码可以借助于视频编解码模型实现,然而在跨平台视频传输过程中,由于通过视频编解码模型进行编码和解码是由不同的计算机设备执行的,经常存在解码重建获得的视频帧准确性较低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供能够提高解码重建获得的视频帧准确性的视频编解码模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,视频编码方法、装置、计算机设备、计算机可读存储介质和计算机程序产品以及视频解码方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一方面,本申请提供了一种视频编解码模型处理方法。所述方法包括:

3、获取训练视频帧,通过视频编解码模型提取所述训练视频帧的特征图,并确定所述特征图中特征元素对应的尺度参数值;

4、按照尺度参数值和尺度参数映射值的预设映射关系,将每个所述尺度参数值映射到预设映射值范围内,获得对应的尺度参数映射值;

5、获取每个所述尺度参数映射值对应的约束参考映射值,所述约束参考映射值与所述约束参考映射值所对应尺度参数映射值的取整边界值的距离,比所述约束参考映射值所对应尺度参数映射值与所述取整边界值的距离更远;

6、基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失;

7、基于所述量化约束损失更新所述视频编解码模型的至少一部分模型参数,获得训练后的视频编解码模型。

8、在其中一些实施例中,归属于所述预设数值区间的尺度参数映射值和对应的约束参考映射值的距离小于预设阈值。

9、在其中一些实施例中,归属于所述预设数值区间的尺度参数映射值和所述预设映射值范围的下限值的距离小于预设阈值。

10、在其中一些实施例中,所述基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,包括:

11、确定每个所述尺度参数映射值和对应的所述约束参考映射值之间的差值;

12、根据每个所述尺度参数映射值和对应的所述约束参考映射值之间的差值,确定每个所述尺度参数映射值对应的量化约束子损失;

13、根据每个所述尺度参数映射值对应的量化约束子损失,确定所述训练视频帧的量化约束损失。

14、在其中一些实施例中,所述视频编解码模型的至少一部分模型参数是基于所述量化约束损失、比特率损失和重建失真损失进行更新的,所述比特率损失和所述重建失真损失通过损失计算步骤计算得到,所述损失计算步骤包括:

15、根据各特征元素各自的概率分布的尺度参数值和位置参数值,确定各特征元素各自的概率值;各特征元素各自的位置参数值是通过对各特征元素各自的概率分布进行预测获得的;

16、根据各特征元素各自的概率值确定所述训练视频帧的概率值,并对所述训练视频帧的概率值进行交叉熵计算,获得比特率损失;

17、确定所述训练视频帧的重建视频帧,根据所述训练视频帧和所述训练视频帧的重建视频帧之间的差异确定的重建失真损失。

18、另一方面,本申请还提供了一种视频编解码模型处理装置。所述装置包括:

19、视频帧获取模块,用于获取训练视频帧,通过视频编解码模型提取所述训练视频帧的特征图,并确定所述特征图中特征元素对应的尺度参数值;

20、数值映射模块,用于按照尺度参数值和尺度参数映射值的预设映射关系,将每个所述尺度参数值映射到预设映射值范围内,获得对应的尺度参数映射值;

21、损失确定模块,用于获取每个所述尺度参数映射值对应的约束参考映射值,基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,所述约束参考映射值与所述约束参考映射值所对应尺度参数映射值的取整边界值的距离,比所述约束参考映射值所对应尺度参数映射值与所述取整边界值的距离更远;

22、参数更新模块,用于基于所述量化约束损失更新所述视频编解码模型的至少一部分模型参数,获得训练后的视频编解码模型。

23、另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述视频编解码模型处理方法的步骤。

24、另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述视频编解码模型处理方法的步骤。

25、另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述视频编解码模型处理方法的步骤。

26、上述视频编解码模型处理方法、装置、计算机设备、存储介质和计算机程序产品,由于约束参考映射值相比对应的所述尺度参数映射值距离取整边界值更远,从而基于尺度参数映射值和对应的约束参考映射值之间的差异确定的量化约束损失,可以体现尺度参数映射值对取整边界值的远离程度,当基于量化约束损失对视频编解码模型进行参数更新时,可以对视频编解码模型输出的尺度参数值对应的尺度参数映射值进行约束,进而间接实现对视频编解码模型输出的尺度参数值的约束,使得视频编解码模型输出的尺度参数值在进行映射后朝着远离取整边界值的方向偏移,即尺度参数映射值靠近取整边界值的概率降低,缓解了跨平台编解码场景中编码过程和解码过程所获得量化结果不一致的问题,因此可以提高解码过程重建获得的视频帧的准确性。

27、另一方面,本申请提供了另一种视频编解码模型处理方法。所述方法包括:

28、获取训练视频帧,通过视频编解码模型提取所述训练视频帧的特征图,并确定所述特征图中特征元素对应的尺度参数值;

29、获取每个所述尺度参数值对应的约束参考值,所述约束参考值相比所述约束参考值所对应尺度参数值,在分别按照尺度参数值和尺度参数映射值的预设映射关系映射到预设映射值范围后,距离所对应尺度参数值映射得到的尺度参数映射值的取整边界值更远;

30、基于每个所述尺度参数值和对应的所述约束参考值之间的差异,确定所述训练视频帧的量化约束损失;

31、基于所述量化约束损失更新所述视频编解码模型的至少一部分模型参数,获得训练后的视频编解码模型。

32、在其中一些实施例中,归属于所述预设数值区间的尺度参数值和对应的约束参考值的距离小于预设阈值。

33、在其中一些实施例中,归属于所述预设数值区间的尺度参数值和所述尺度参数值范围的下限值的本文档来自技高网...

【技术保护点】

1.一种视频编解码模型处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定每个所述尺度参数映射值对应的损失权重,包括:

4.根据权利要求3所述的方法,其特征在于,所述分别按照每个所述尺度参数映射值与所述预设数值区间的归属关系,确定每个所述尺度参数映射值对应的损失权重,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,包括:

6.根据权利要求5所述的方法,其特征在于,在所述预设映射值范围中从所述约束参考映射值到其最近的取整边界值的范围内,输入所述概率分布函数的尺度参数映射值距离所述约束参考映射值越近,所述概率分布函数输出的期望概率值越大。

7.一种视频编解码模型处理方法,其特征在于,所述方法包括:

8.根据权利要求7所述的方法,其特征在于,所述基于每个所述尺度参数值和对应的所述约束参考值之间的差异,确定所述训练视频帧的量化约束损失,包括:

9.根据权利要求8所述的方法,其特征在于,所述确定每个所述尺度参数值对应的损失权重,包括:

10.根据权利要求7所述的方法,其特征在于,所述基于每个所述尺度参数值和对应的所述约束参考值之间的差异,确定所述训练视频帧的量化约束损失,包括:

11.根据权利要求10所述的方法,其特征在于,所述尺度参数值的定义域中,所述约束参考值到其最近用于映射为取整边界值的尺度参数值的范围内,输入所述概率分布函数的尺度参数值距离所述约束参考值越近,所述概率分布函数输出的期望概率值越大。

12.一种视频编码方法,其特征在于,所述方法包括:

13.一种视频解码方法,其特征在于,所述方法包括:

14.一种视频编解码模型处理装置,其特征在于,所述装置包括:

15.一种视频编解码模型处理装置,其特征在于,所述装置包括:

16.一种视频编码装置,其特征在于,所述装置包括:

17.一种视频解码装置,其特征在于,所述装置包括:

18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。

19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。

20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种视频编解码模型处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定每个所述尺度参数映射值对应的损失权重,包括:

4.根据权利要求3所述的方法,其特征在于,所述分别按照每个所述尺度参数映射值与所述预设数值区间的归属关系,确定每个所述尺度参数映射值对应的损失权重,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于每个所述尺度参数映射值和对应的所述约束参考映射值之间的差异,确定所述训练视频帧的量化约束损失,包括:

6.根据权利要求5所述的方法,其特征在于,在所述预设映射值范围中从所述约束参考映射值到其最近的取整边界值的范围内,输入所述概率分布函数的尺度参数映射值距离所述约束参考映射值越近,所述概率分布函数输出的期望概率值越大。

7.一种视频编解码模型处理方法,其特征在于,所述方法包括:

8.根据权利要求7所述的方法,其特征在于,所述基于每个所述尺度参数值和对应的所述约束参考值之间的差异,确定所述训练视频帧的量化约束损失,包括:

9.根据权利要求8所述的方法,其特征在于,所述确定每个所述尺度参数值对应的损失权重,包括:

10.根据...

【专利技术属性】
技术研发人员:田宽张军关永航
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1