用于视频处理的方法、设备和介质技术

技术编号:41439837 阅读:26 留言:0更新日期:2024-05-28 20:33
本公开的实施例提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法。该方法包括:获取用于处理视频的第一机器学习(ML)模型,其中所述第一ML模型是基于一个或多个第二ML模型而被训练的;根据所述第一ML模型,在视频的当前视频块与视频的比特流之间执行转换。

【技术实现步骤摘要】
【国外来华专利技术】

本公开的实施例总体上涉及视频编解码技术,并且更具体地涉及用于视频处理的知识蒸馏。


技术介绍

1、当今,数字视频能力正被应用于人们生活的方方面面。针对视频编码/解码,已经提出了多种类型的视频压缩技术,诸如mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分高级视频编解码(avc)、itu-t h.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准。然而,通常期望能够进一步提高常规视频编解码技术的编解码效率。


技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面,提出了一种用于视频处理的方法。该方法包括:获取用于处理视频的第一机器学习(ml)模型,其中第一ml模型是基于一个或多个第二ml模型而被训练的;以及根据第一ml模型,在视频的当前视频块与视频的比特流之间执行转换。根据本公开的第一方面的方法利用知识蒸馏来训练用于视频处理的ml模型。这可以有利于实现用于图像/视频编解码的更高效的编解码工具

3、本文档来自技高网...

【技术保护点】

1.一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中所述第一ML模型是第一类型的,并且所述一个或多个第二ML模型是不同于所述第一类型的第二类型的。

3.根据权利要求2所述的方法,其中所述一个或多个第二ML模型在训练所述第一ML模型之前被训练,并且所述第一ML模型被训练以接近所述一个或多个第二ML模型的特征和/或输出。

4.根据权利要求2-3中任一项所述的方法,其中所述一个或多个第二ML模型具有与所述第一ML模型相同的结构。

5.根据权利要求2-3中任一项所述的方法,其中所述一个或多个第二ML模型中的至少一个第二ML模型具有...

【技术特征摘要】
【国外来华专利技术】

1.一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中所述第一ml模型是第一类型的,并且所述一个或多个第二ml模型是不同于所述第一类型的第二类型的。

3.根据权利要求2所述的方法,其中所述一个或多个第二ml模型在训练所述第一ml模型之前被训练,并且所述第一ml模型被训练以接近所述一个或多个第二ml模型的特征和/或输出。

4.根据权利要求2-3中任一项所述的方法,其中所述一个或多个第二ml模型具有与所述第一ml模型相同的结构。

5.根据权利要求2-3中任一项所述的方法,其中所述一个或多个第二ml模型中的至少一个第二ml模型具有比所述第一ml模型更大的学习能力。

6.根据权利要求1所述的方法,其中所述第一ml模型和所述一个或多个第二ml模型是相同类型的。

7.根据权利要求6所述的方法,其中所述一个或多个第二ml模型与所述第一ml模型之中的模型被训练,以接近训练样本的基准真实值以及所述一个或多个第二ml模型与所述第一ml模型之中的其他模型的特征和/或输出。

8.根据权利要求6-7中任一项所述的方法,其中所述第一ml模型和所述一个或多个第二ml模型具有相同的结构。

9.根据权利要求6-7中任一项所述的方法,其中所述一个或多个第二ml模型与所述第一ml模型之中的至少两个模型具有不同的结构。

10.根据权利要求1-9中任一项所述的方法,其中所述第一ml模型被用于视频编解码和/或压缩。

11.根据权利要求10所述的方法,其中所述第一ml模型被用于所述视频编解码和/或压缩中的环路滤波。

12.根据权利要求10-11中任一项所述的方法,其中所述第一ml模型被用于所述视频编解码和/或压缩中的后滤波。

13.根据权利要求10-12中任一项所述的方法,其中所述第一ml模型被用于所述视频编解码和/或压缩中的以下至少一项:

14.根据权利要求10-13中任一项所述的方法,其中所述第一ml模型被用于在所述视频编解码和/或压缩中生成预测信号。

15.根据权利要求10-14中任一项所述的方法,其中所述第一ml模型被用于在所述视频编解码和/或压缩中对预测信号进行滤波。

16.根据权利要求10-15中任一项所述的方法,其中所述第一ml模型被用于所述视频编解码和/或压缩中的熵编解码。

17.根据权利要求1-10中任一项所述的方法,其中所述第一ml模型被用于端到端视频编解码/压缩。

18.根据权利要求1-17中任一项所述的方法,其中所述一个或多个第二ml模型被用于监督所述第一ml模型的训练。

19.根据权利要求18所述的方法,其中用于训练所述第一ml模型的损失包括取决于训练样本的标签、所述第一ml模型的输出以及所述...

【专利技术属性】
技术研发人员:李跃张凯张莉
申请(专利权)人:字节跳动有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1