用于改进的隐式变换选择的方法和装置制造方法及图纸

根据本公开的一方面，提供一种用于解码器的视频解码方法。在该方法中，从已编码视频码流中获取变换块信令信息。此外，确定变换块信令信息是否指示隐式变换方案，以及低频不可分离变换(LFNST)和基于矩阵的帧内预测模式(MIP)中的至少一个是否无效。响应于确定变换块信令信息指示隐式变换方案，并且LFNST和MIP中的至少一个被发信号通知为无效时，基于编码块单元CU的大小确定主变换类型，并且根据所确定的主变换类型，对从所述CU分区得到的变换块执行主变换。执行主变换。执行主变换。

【技术实现步骤摘要】
【国外来华专利技术】用于改进的隐式变换选择的方法和装置
[0001]交叉引用
[0002]本申请要求于2020年5月26日提交的美国专利申请第16/883,545号，“用于改进的阴式变换选择的方法和装置(METHOD AND APPARATUS FOR VIDEO CODING)”的优先权，该申请要求于2019年6月7日提交的美国临时申请第62/858,887号，“隐式变换选择(IMPLICIT TRANSFORM SELECTION)”的优先权。这些先前申请全部的公开内容在此通过引用整体结合在本申请中。


[0003]本申请描述总体上涉及视频编解码的实施例。本公开提出了一组先进的视频编码技术，尤其提出了一种改进的隐式变换方法。

技术介绍

[0004]本文所提供的背景描述旨在整体呈现本申请的背景。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
[0005]通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920
×
1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有非常大的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。
[0006]视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。
[0007]视频编码器和解码器可以利用来自几个大类的技术，包括例如运动补偿、变换、量化和熵编码。
[0008]视频编解码技术可以包括称为帧内编码的技术。在帧内编解码中，样本值的表示不参考来自先前重建的参考图片的样本或其它数据。在一些视频编解码中，图片在空间上进一步划分为样本块。当所有样本的块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生物(例如独立解码器刷新图片)可用于重置解码器状态，因此还可用作已编码视频码流和视频会话中的第一张图片，或用作静止图像。可以对帧内块的样本进行变换，并
且可以在熵编码之前对变换系数进行量化。帧内预测可以是使预变换域中的样本值最小化的技术。在一些情况下，变换后的DC值越小，则AC系数越小，且在给定的量化步长下表示熵编码后的块所需的比特就越少。
[0009]诸如从例如MPEG
‑
2代编码技术已知的传统帧内编解码不使用帧内预测。然而，一些较新的视频压缩技术包括从例如在空间相邻的编码/解码过程中获得的周围的样本数据和/或元数据、在解码顺序上先于数据块的周围的样本数据和/或元数据进行尝试的技术。此类技术下文称为“帧内预测”技术。请注意，至少在一些情况下，帧内预测仅使用来自正在重建的当前图片而非参考图片的参考数据。
[0010]可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用多于一种这样的技术时，可以在帧内预测模式中对所使用的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独编码或被包括在模式码字中。对于给定的模式/子模式/参数组合使用哪个码字可以通过帧内预测对编码效率增益产生影响，并且用于将码字转换为码流的熵编码技术也同样如此。
[0011]某种帧内预测模式是在H.264中引入，在H.265中修正，并且在诸如联合探索模型(JEM，joint exploration model)、下一代视频编码(VVC，versatile video coding)和基准集(BMS，benchmark set)等更新的编码技术中得到进一步修正。可以使用属于已经可用样本的相邻样本值来形成预测值块(predictor block)。根据方向将相邻样本的样本值复制到预测器块中。对使用方向的参考可以在码流中编解码或者可以进行预测本身。

技术实现思路

[0012]本公开的各个方面提供了用于视频编码/解码的方法和装置。在一些示例中，用于视频解码的装置包括接收电路和处理电路。
[0013]根据本公开的一个方面，提供了用于解码器的视频解码方法。在该方法中，从已编码视频码流中获取变换块信令信息。此外，确定所述变换块信令信息是否指示隐式变换方案，以及低频不可分离变换LFNST和基于矩阵的帧内预测模式MIP中的至少一个是否无效；响应于确定所述变换块信令信息指示所述隐式变换方案，并且所述LFNST和MIP中的至少一个被发信号通知为无效时，基于编码块单元CU的大小确定主变换类型，以及根据确定的主变换类型，对从所述CU分区得到的变换块执行主变换。
[0014]在一些实施例中，为了确定所述主变换类型，确定是否启用变换跳过模式；响应于确定所述变换跳过模式未启用，响应于所述CU的宽度等于或大于T1且等于或小于T2，确定用于所述变换块的水平变换的变换类型为DST
‑
7；响应于所述CU的所述宽度小于T1或大于T2，确定用于所述变换块的所述水平变换的变换类型为DCT
‑
2；响应于所述CU的高度等于或大于T1且等于或小于T2，确定用于所述变换块的垂直变换的变换类型为DST
‑
7；响应于所述CU的所述高度小于T1或大于T2，确定用于所述变换块的所述垂直变换的变换类型为DCT
‑
2。
[0015]在一些实施例中，所述T1等于2个像素、4个像素或8个像素中的一个，并且T2等于4个像素、8个像素、16个像素或32个像素中的一个。
[0016]响应于确定所述变换块信令信息指示所述隐式变换方案，并且发信号通知所述LFNST或MIP中的所述至少一个为真，在第一示例中，为所述变换块确定第一变换类型DCT
‑
2；在第二示例中，为所述变换块确定为非DCT
‑
7的第二变换类型，所述第二变换类型包括
DST
‑
1、DCT
‑
5、复合正交变换COT或卡亨南
‑
洛维karhunen
‑
lo
è
ve变换中的至少一个。
[0017]响应于确定所述变换块信令信息指示所述隐式变换方案，并且发信号通知所述MIP为假，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码器的视频解码方法，其特征在于，所述方法包括：从已编码视频码流中获取变换块信令信息；确定(i)所述变换块信令信息是否指示隐式变换方案，以及(ii)低频不可分离变换LFNST和基于矩阵的帧内预测模式MIP中的至少一个是否无效；以及响应于确定所述变换块信令信息指示所述隐式变换方案，并且所述低频不可分离变换LFNST和基于矩阵的帧内预测模式MIP中的至少一个被发信号通知为无效时，(i)基于编码块单元CU的大小确定主变换类型，以及(ii)根据确定的主变换类型，对从所述编码块单元CU分区得到的变换块执行主变换。2.根据权利要求1所述的方法，其特征在于，确定所述主变换类型包括：确定是否启用变换跳过模式；以及响应于确定所述变换跳过模式未启用，(i)响应于所述编码块单元CU的宽度等于或大于T1且等于或小于T2，确定用于所述变换块的水平变换的变换类型为DST
‑
7；(ii)响应于所述编码块单元CU的所述宽度小于T1或大于T2，确定用于所述变换块的所述水平变换的变换类型为DCT
‑
2；(iii)响应于所述编码块单元CU的高度等于或大于T1且等于或小于T2，确定用于所述变换块的垂直变换的变换类型为DST
‑
7；以及(iv)响应于所述编码块单元CU的所述高度小于T1或大于T2，确定用于所述变换块的所述垂直变换的变换类型为DCT
‑
2。3.根据权利要求2所述的方法，其特征在于，所述T1等于2个像素、4个像素或8个像素中的一个，并且T2等于4个像素、8个像素、16个像素或32个像素中的一个。4.根据权利要求1所述的方法，其特征在于，响应于确定所述变换块信令信息指示所述隐式变换方案，并且发信号通知所述低频不可分离变换LFNST或基于矩阵的帧内预测模式MIP中的所述至少一个为真，所述方法包括以下中的至少一个：(i)为所述变换块确定第一变换类型DCT
‑
2；以及(ii)为所述变换块确定为非DCT
‑
7的第二变换类型，所述第二变换类型包括DST
‑
1、DCT
‑
5、复合正交变换COT或卡亨南
‑
洛维karhunen
‑
lo
è
ve变换中的至少一个。5.根据权利要求1所述的方法，其特征在于，响应于确定所述变换块信令信息指示所述隐式变换方案，并且发信号通知所述基于矩阵的帧内预测模式MIP为假，其指示所述基于矩阵的帧内预测模式MIP未应用于所述变换块，所述方法包括以下中的至少一个：(i)响应于所述编码块单元CU的宽度等于或大于T1且等于或小于T2，确定用于所述变换块的水平变换的变换类型为DST
‑
7；(ii)响应于所述编码块单元CU的所述宽度小于T1或大于T2，确定用于所述变换块的所述水平变换的变换类型为DCT
‑
2；(iii)响应于所述编码块单元CU的高度等于或大于T1且等于或小于T2，确定用于所述变换块的垂直变换的变换类型为DST
‑
7；以及(iv)响应于所述编码块单元CU的所述高度小于T1或大于T2，确定用于所述变换块的所述垂直变换的变换类型为DCT
‑
2。6.根据权利要求5所述的方法，其特征在于，所述T1和T2指示以下至少一个：
T1等于2个像素，并且T2等于4个像素或8个像素之一；T1等于4个像素，并且T2等于4个像素或8个像素之一；T1等于8个像素，并且T2等于8个像素、16个像素或32个像素之一；以及T1等于16个像素，并且T2等于16个像素或32个像素之一。7.根据权利要求1所述的方法，其特征在于，响应于确定所述变换块信令信息指示所述隐式变换方案，并且发信号通知所述低频不可分离变换LFNST和所述基于矩阵的帧内预测模式MIP两者均为假，其指示所述低频不可分离变换LFNST或所述基于矩阵的帧内预测模式MIP均不应用于所述变换块，所述方法包括以下至少一个：(i)响应于所述编码块单元CU的宽度等于或大于T1且等于或小于T2，确定用于所述变换块的水平变换的变换类型为DST
‑
7；(ii)响应于所述编码块单元CU的所述宽度小于T1或大于T2，确定用于所述变换块的所述水平变换的变换类型为DCT
‑
2；(iii)响应于所述编码块单元CU的高度等于或大于T1且等于或小于T2，确定用于所述变换块的垂直变换的变换类型为DST
‑
7；以及(iv)响应于所述编码块单元CU的所述高度小于T1或大于T2，确定用于所述变换块的所述垂直变换的变换类型为DCT
‑
2。8.一种用于解码器的视频解码方法，其特征在于，所述方法包括：从已编码视频码流中获取变换块信令信息；基于所述变换块信令信息和编码块单元CU的大小确定主变换类型；以及根据确定的主变换类型，对从所述编码块单元CU分区得到的变换块执行主变换。9.根据权利要求8所述的方法，其特征在于，所述确定包括以下至少一个：(i)响应于所述编码块单元CU的宽度等于或大于T1且等于或小于T2，确定用于所述变换块的水平变换的变换类型为DST
‑
7；(ii)响应于所述编码块单元CU的所述宽度大于T2且等于或小于T3，根据来自用于所述变换块的所述水平变换的所述变换块信令信息的发信号通知的索引，确定变换类型，所述发信号通知的索引指示所述变换类型是DCT
‑
2或DST
‑
7中的一个；以及(iii)响应于所述编码块单元CU的所述宽度小于T1或大于T3，确定用于所述变换块的所述水平变换的变换类型为DCT
‑
2。10.根据权利要求9所述的方法，其特征在于，所述确定包括以下至少一个：(i)响应于所述编码块单元CU的高度等于或大于T1且等于或小于T2，确定用于所述变换块的垂直变换的变换类型为DST
‑
7；(ii)响应于所述编码块单元CU的所述高度大于T2且等于或小于T3，根据来自用于所述变换块的所述垂直变换的所述变换块信令信息的发信号通知的索引，确定变换类型，所述发信号通知的索引指示所述变换类型是DCT
‑
2或DST
‑
7中的一个；以及(iii)响应于所述编码块单元CU的所述高度小于T1或大于T3，确定用于所述变换块的所述垂直变换的变换类型为DCT
‑
2。11.根据权利要求10所述的方法，其特征在于，所述T1等于...

【专利技术属性】
技术研发人员：赵欣，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：