【技术实现步骤摘要】
基于神经网络的视频编解码中可配置的神经网络模型深度
[0001]相关申请的交叉引用
[0002]本专利申请要求Lemon公司于2021年7月7日提交的第63/219,328号，标题为“视频编解码的基于神经网络的编解码工具中的外部衰减”的美国临时专利申请的权益，通过引用将其并入本文。
[0003]本公开总体上涉及图像和视频的编码和解码。
技术介绍
[0004]数字视频在互联网和其他数字通信网络上占用了最大的带宽。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。
技术实现思路
[0005]所公开的方面/实施例提供了一个或多个神经网络(NN)滤波器模型，其被训练为编解码工具，以提高视频编解码的效率。基于NN的编解码工具可用于替换或增强由视频编码器/解码器(也称为编解码器)实施的一个或多个模块。例如，可以训练NN模型来提供附加的帧内预测模式、附加的帧间预测模式、变换核和/或环路滤波器。此外，可以通过使用诸如预测、划分、量化参数(QP)等外部信息作为(多个)注意力...
【技术保护点】
【技术特征摘要】
1.一种由视频编解码装置实施的方法，包括：将神经网络NN滤波器应用于视频单元的未滤波样点以产生滤波的样点，其中，所述NN滤波器基于具有第一深度的第一NN滤波器模型或具有第二深度的第二NN滤波器模型，其中，所述深度包括相应的NN滤波器模型的残差块的数量，并且其中，所述第二深度不同于所述第一深度；以及基于所述滤波的样点执行视频媒体文件和比特流之间的转换。2.根据权利要求1所述的方法，其中，所述视频单元是第一视频单元，其中，当所述NN滤波器应用于所述第一视频单元时，所述NN滤波器使用所述第一NN滤波器模型，并且其中，当所述NN滤波器应用于第二视频单元时，所述NN滤波器使用所述第二NN滤波器模型。3.根据权利要求1所述的方法，还包括基于所述视频单元的时间层、包含所述视频单元的条带或图片的类型、与所述视频单元匹配的参考图片列表、所述视频单元的色彩分量、所述视频单元的颜色格式及其组合来确定是否使用所述第一NN滤波器模型或第二NN滤波器模型。4.根据权利要求1
‑
3任一所述的方法，其中，对于图片或条带中的第一视频单元，所述NN滤波器使用所述第一NN滤波器模型，并且其中，对于图片或条带中的第二视频单元，所述NN滤波器使用所述第二NN滤波器模型。5.根据权利要求1
‑
3任一所述的方法，其中，对于第一图片或第一条带中的第一视频单元，所述NN滤波器使用所述第一NN滤波器模型，并且其中，对于第二图片或第二条带中的第二视频单元，所述NN滤波器使用所述第二NN滤波器模型。6.根据权利要求1
‑
3任一所述的方法，其中，对于第一时域层或第一类型的条带中的第一视频单元，所述NN滤波器使用所述第一NN滤波器模型，并且其中，对于第二时域层或第二类型的条带中的第二视频单元，所述NN滤波器使用所述第二NN滤波器模型。7.根据权利要求6所述的方法，其中，对于第三时域层中的第三视频单元，所述NN滤波器使用所述第一NN滤波器模型，其中，所述第一时域层和所述第三时域层在时域层的同一子组中，并且其中，所述第二时域层在时域层的不同子组中。8.根据权利要求1
‑
3任一所述的方法，其中，确定是否使用所述第一NN滤波器模型或所述第二NN滤波器模型是基于所述视频单元是否是编解码树单元CTU、编解码树块CTB、CTU行、CTB行、条带、片、图片、序列或者子图片。9.根据权利要求1
‑
3任一所述的方法，其中，对于第一时域层中的第一视频单元，所述NN滤波器使用所述第一NN滤波器模型，其中，对于第二时域层中的第二视频单元，所述NN滤波器使用所述第二NN滤波器模型，并且其中，所述第一时域层是比所述第二时域层高的时域层。10.根据权利要求9所述的方法，其中，所述第一深度为8。11.根据权利要求1
‑
3任一所述的方法，其中，对于帧间条带中的第一视频单元，所述NN滤波器使用所述第一NN滤波器模型，并且其中，对于帧内条带中的第二视频单元，所述NN滤波器使用所述第二NN滤波器模型。12.根据权利要求11所述的方法，其中，所述第一深度为8，并且其中，所述第二深度为32。13.根据权利要求1
‑
3任一所述的方法，其中，将要使用的NN滤波器模型的深度信令通
知给解码器。14.根据权利要求1
‑
3任一所述的方法，还包括：...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。