基于神经网络的视频编解码中的分割信息制造技术

本文公开了基于神经网络的视频译码编解码中的分割信息，包括一种由视频编解码装置实现的方法。该方法包括：将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，该NN滤波器包括基于该视频单元的分割信息生成的NN滤波器模型；以及基于经滤波的样点执行视频媒体文件与比特流之间的转换。转换。转换。

【技术实现步骤摘要】
基于神经网络的视频编解码中的分割信息
[0001]相关申请的交叉引用
[0002]本专利申请要求Lemon，Inc.于2021年7月27日提交的标题为“用于视频编解码的基于神经网络的编解码工具中的外部注意力(External Attention In Neural Network
‑
Based Coding Tools For Video Coding)”的美国临时专利申请第63/226,158号的优先权，通过引用将该申请并入本文。


[0003]本公开总体上涉及图像和视频编码和解码。

技术介绍

[0004]数字视频占用了因特网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接的用户设备的数量增加，预期对数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]所公开的方面/实施例提供了被训练为编解码工具的一个或多个神经网络(NN)滤波器模型，以提高视频编解码的效率。基于NN的编码工具可用于替换或增强由视频编码器/解码器(亦称为编解码器)实现的一个或多个模块。例如，NN模型可被训练以提供附加帧内预测模式、附加帧间预测模式、变换核和/或环路滤波器。此外，可以通过使用诸如预测、划分、量化参数(QP)等的外部信息作为注意力机制来生成或设计NN模型。
[0006]第一方面涉及一种由编解码装置实现的方法。该方法包括将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，该NN滤波器包括基于视频单元的分割信息生成的NN滤波器模型。该方法还包括基于该经滤波的样点执行视频媒体文件与比特流之间的转换。
[0007]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了NN滤波器模型被配置为基于该分割信息来获得注意力。
[0008]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了该分割信息包括视频单元的一个或多个编解码单元中的每一者的平均像素值。
[0009]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了编解码单元的平均像素值包括编解码单元中的像素的亮度值的平均值，或者编解码单元中的像素的色度值的平均值。
[0010]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了该分割信息包括视频单元的一个或多个编解码单元中的每一者的像素值，其中，编解码单元中的像素的值是基于像素与编解码单元的边界的接近度。
[0011]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供该分割信息包括像素值的M
×
N阵列，其中，M为待编解码的视频单元的宽度，并且其中，N为待编解码的该视频单元的高度。
[0012]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供该分割信息包括M
×
N像素值阵列，其中，M为待编解码的该视频单元的列数，并且其中，N为待编解码的该视频单元的行数。
[0013]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了未经滤波的样点包括亮度分量和色度分量，并且其中，NN滤波器模型基于亮度分量和色度分量来生成。
[0014]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了将第一值分配给亮度分量，以及将第二值分配给色度分量，其中，NN滤波器模型基于第一值和第二值来生成，并且其中，第一值不同于第二值。
[0015]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了该分割信息包括样点边界值、亮度分量值、颜色分量值或其组合。
[0016]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了NN滤波器模型基于以下各项来生成：该视频单元的量化参数(QP)、该视频单元的条带类型、该视频单元的时域层标识符、该视频单元的边界强度、该视频单元的运动向量、该视频单元的预测模式、该视频单元的帧内预测模式、该视频单元的缩放因子或其组合。
[0017]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了视频单元的缩放因子包括缩放重构帧与NN滤波器模型的输出之间的差的因子。
[0018]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了导出指定可对其应用该NN滤波器模型的视频单元的大小的NN滤波器模型粒度。
[0019]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了在序列标头、图片标头、条带标头、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)或其组合内在比特流中信令通知NN滤波器模型粒度，其中，NN滤波器模型粒度指定可对其应用NN滤波器模型的视频单元的大小。
[0020]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了基于视频单元的条带类型、视频单元的颜色分量、视频单元的时域层标识符或其组合对NN滤波器模型的指示进行二值化。
[0021]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了该NN滤波器是从由以下各项组成的组中选择的一者或多者：自适应环路滤波器、去块滤波器和样点自适应偏移滤波器。
[0022]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了转换包括根据视频媒体文件生成比特流。
[0023]可选地，在前述方面的任一个方面中，该方面的另一种实现方式提供了转换包括解析比特流以获得视频媒体文件。
[0024]第二方面涉及一种用于对视频数据进行编解码的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，该指令在由该处理器执行时致使该处理器：将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，该NN滤波器包括基于该视频单元的分割信息生成的NN滤波器模型；以及基于经滤波的样点在视频媒体文件与比特流之间进行转换。
[0025]第三方面涉及一种存储由视频处理装置执行的方法生成的视频的比特流的非暂
时性计算机可读介质。该视频处理装置执行的方法将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，该NN滤波器包括基于该视频单元的分割信息生成的NN滤波器模型；以及基于经滤波的样点生成比特流。
[0026]第四方面涉及一种由视频处理装置执行的用于存储视频的比特流的方法。由视频处理装置执行的方法包括：将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，NN滤波器包括基于视频单元的分割信息生成的NN滤波器模型；以及基于经滤波的样点生成比特流。
[0027]为了清楚起见，前述实施例中的任一者可与其他前述实施例中的任一者或多者组合，以在本公开的范围内创建新的实施例。
[0028]从下面结合附图和权利要求的详细描述中，将更清楚地理解这些和其他特征。
附图说明
[0029]为了更完整地理解本公开，现在结合附图和详细描述来参考以下简要描述，其中，相同的附图标记表示相同的部件。
[0030]图1是图片的光栅扫本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由视频编解码装置实现的方法，包括：将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成经滤波的样点，其中，所述NN滤波器包括基于所述视频单元的分割信息生成的NN滤波器模型；以及基于所述经滤波的样点执行视频媒体文件与比特流之间的转换。2.根据权利要求1所述的方法，其中，所述NN滤波器模型被配置为基于所述分割信息来获得注意力。3.根据权利要求1所述的方法，其中，所述分割信息包括所述视频单元的一个或多个编解码单元中的每一者的平均像素值。4.根据权利要求3所述的方法，其中，用于编解码单元的所述平均像素值包括所述编解码单元中的像素的亮度值的平均值，或所述编解码单元中的像素的色度值的平均值。5.根据权利要求1所述的方法，其中，所述分割信息包括所述视频单元的一个或多个编解码单元中的每一者的像素值，其中，编解码单元中的像素的值是基于所述像素与所述编解码单元的边界的接近度。6.根据权利要求1所述的方法，其中，所述分割信息包括像素值的M
×
N阵列，其中，M为待编解码的所述视频单元的宽度，并且其中，N为待编解码的所述视频单元的高度。7.根据权利要求1所述的方法，其中，所述分割信息包括像素值的M
×
N阵列，其中，M为待编解码的所述视频单元的列数，并且其中，N为待编解码的所述视频单元的行数。8.根据权利要求1所述的方法，其中，所述未经滤波的样点包括亮度分量和色度分量，并且其中，所述NN滤波器模型基于所述亮度分量和所述色度分量来生成。9.根据权利要求8所述的方法，其中，将第一值分配给所述亮度分量，以及将第二值分配给所述色度分量，其中，所述NN滤波器模型是基于所述第一值和所述第二值来生成，并且其中，所述第一值不同于所述第二值。10.根据权利要求1所述的方法，其中，所述分割信息包括样点边界值、亮度分量值、颜色分量值或其组合。11.根据权利要求1所述的方法，其中，所述NN滤波器模型基于以下生成：所述视频单元的量化参数(QP)、所述视频单元的条带类型、所述视频单元的时域层标识符、所...

【专利技术属性】
技术研发人员：李跃，张凯，张莉，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：