编解码视频中多重变换矩阵的指示制造技术

描述了用于数字视频编解码的设备、系统和方法，包括用于变换设计的方法。在一个代表性的方面，一种视频处理方法包括：基于规则执行视频的当前视频块和视频的比特流之间的转换，该规则指定在转换期间选择用于执行变换操作的变换矩阵集是基于比特流中指示的低频不可分变换索引，该规则指定变换操作包括在编码操作期间，通过对当前视频块的残差值应用正变换将当前视频块编解码到比特流中，或者该规则指定变换操作包括在解码操作期间，通过对比特流中指示的缩放系数应用逆变换来从比特流生成当前视频块。当前视频块。当前视频块。

【技术实现步骤摘要】
【国外来华专利技术】编解码视频中多重变换矩阵的指示
[0001]相关申请的交叉引用
[0002]根据巴黎公约适用的专利法和/或规则，提出本申请是为了及时要求2020年5月27日提交的国际专利申请No.PCT/CN2020/092592的优先权和权益。出于法律规定的所有目的，上述申请的全部公开内容通过引用并入作为本申请的公开内容的部分。


[0003]本专利文档涉及视频编解码技术、设备和系统。

技术介绍

[0004]尽管在视频压缩方面取得了进步，但数字视频仍占互联网和其他数字通信网络的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]描述了与数字视频编解码相关的设备、系统和方法，特别是视频编解码的多重变换方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))和未来的视频编解码标准(例如，多功能视频编解码(VVC))两者或编解码器。
[0006]在一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于规则执行视频的当前视频块和视频的比特流之间的转换，其中规则指定在转换期间选择用于执行变换操作的变换矩阵集是基于比特流中指示的低频不可分变换索引，规则指定变换操作包括在编码操作期间，通过对当前视频块的残差值应用正变换将当前视频块编解码到比特流中，或者规则指定变换操作包括在解码操作期间通过对比特流中指示的缩放系数应用逆变换来从比特流生成当前视频块。
[0007]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的当前视频块和视频的比特流之间的转换，使用规则确定当前视频块的置零范围；以及根据确定来执行转换，其中，规则指定置零范围基于当前视频块的尺寸，并且在转换中的二次变换的操作期间，置零范围中的当前视频块的变换系数被视为具有零值。
[0008]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的当前视频块和视频的比特流之间的转换，根据规则确定是否对当前视频块禁用置零操作；以及基于确定来执行转换，其中，规则指定置零操作包括使用初级变换，在初级变换中，一个范围内的系数被视为具有零值。
[0009]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的当前视频块和视频的比特流之间的转换，确定在当前视频块的初级变换中是否扩大了置零范围；以及基于确定来执行转换，其中，在转换中的初级变换的操作期间，置零范围中的当前视频块的变换系数被视为具有零值。
[0010]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包
括：为视频的当前视频块和视频的比特流之间的转换，根据规则确定初级变换集中的一个或多个初级变换矩阵；以及根据确定来执行转换，其中，一个或多个初级变换矩阵包括离散余弦变换(DCT)
‑
II、离散正弦变换(DST)
‑
VII、DCT
‑
VII、变换跳过模式、恒等变换以及基于训练过程的变换中的一个或多个。
[0011]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的一个或多个视频块与视频的比特流之间的转换，根据规则确定用于初级变换或第二变换工具的变换集，其中，规则指定变换集是从具有特定特征的两个或更多个变换集中确定的；并且根据确定执行转换。
[0012]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的当前视频块和视频的比特流之间的转换，基于当前视频块的预测模式确定当前视频块的初级变换的置零范围；以及基于确定执行转换，其中，在转换中的初级变换的操作期间，将在置零范围内的当前视频块的变换系数视为具有零值。
[0013]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：为视频的当前视频块和视频的比特流之间的转换，基于当前视频块的样点数量来确定用于当前视频块的二次变换的置零范围；以及基于确定执行转换，其中，在转换中的二次变换的操作期间，将置零范围内的当前视频块的变换系数视为具有零值。
[0014]在另一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：基于变换集中包括的初级变换的选择，执行视频的当前块和视频的比特流表示之间的转换，其中该转换包括使用初级变换，并且初级变换包括离散余弦变换(DCT)
‑
II、离散正弦变换(DST)
‑
VII、DCT
‑
VII、变换跳过模式、恒等变换或基于训练过程的变换中的一个或多个。
[0015]在又一个代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。
[0016]在又一个代表性方面，公开了一种被配置或可操作以执行上述方法的设备。该设备可以包括被编程以实现该方法的处理器。
[0017]在又一代表性方面，视频解码器装置可以实现如本文所述的方法。
[0018]在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。
附图说明
[0019]图1示出了一种编码器框图的示例；
[0020]图2示出了67种帧内预测模式的示例；
[0021]图3A和3B示出了非正方形块的广角帧内预测模式的参考样点的示例；
[0022]图4示出了当使用广角帧内预测时的不连续性的示例；
[0023]图5A
‑
5D示出了由位置相关帧内预测组合(PDPC)方法使用的样点的示例；
[0024]图6示出了与预测块相邻的四条参考线的示例；
[0025]图7A示出了4
×
8和8
×
4块的划分的示例；
[0026]图7B示出了除4
×
8、8
×
4和4
×
4之外的所有块的划分的示例；
[0027]图8示出了将4
×
8样点的块划分为两个独立可解码区域的示例；
[0028]图9示出了使用垂直预测器最大化4
×
N块的吞吐量的像素行的处理顺序的示例；
[0029]图10示出了JEM中的二次变换的示例；
[0030]图11示出了建议的简化二次变换(RST)的示例；
[0031]图12示出了正和逆简化变换的示例；
[0032]图13示出了具有16
×
48矩阵的正RST 8
×
8过程的示例；
[0033]图14示出了针对非零元素在8
×
8块中扫描位置17到64的示例；
[0034]图15示出了子块变换模式SBT
‑
V和SBT
‑
H的示例
[0035]图16示出了根据所公开的技术的多重变换的方法的示例的流程图；
[0036]图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，包括：基于规则执行视频的当前视频块和所述视频的比特流之间的转换，其中，所述规则指定在所述转换期间选择用于执行变换操作的变换矩阵集是基于所述比特流中指示的低频不可分变换索引，所述规则指定所述变换操作包括在编码操作期间，通过对所述当前视频块的残差值应用正变换将所述当前视频块编解码到所述比特流中，或者所述规则指定所述变换操作包括在解码操作期间，通过对所述比特流中指示的缩放系数应用逆变换来从所述比特流生成所述当前视频块。2.根据权利要求1所述的方法，其中，所述规则指定所述比特流是否包括指示所述变换矩阵集基于所述低频不可分变换索引的索引。3.根据权利要求2所述的方法，其中，所述规则指定，响应于所述低频不可分变换索引等于特定值，指示所述变换矩阵集的所述索引不包括在所述比特流中。4.根据权利要求3所述的方法，其中，所述特定值等于1或2。5.一种视频处理方法，包括：为视频的当前视频块和所述视频的比特流之间的转换，使用规则确定所述当前视频块的置零范围；以及根据所述确定来执行所述转换，其中，所述规则指定所述置零范围基于所述当前视频块的尺寸，并且在所述转换中的二次变换的操作期间，所述置零范围中的所述当前视频块的变换系数被视为具有零值。6.根据权利要求5所述的方法，其中所述规则指定响应于所述当前视频块具有第一尺寸，所述置零范围是第一置零范围，所述规则指定响应于所述当前视频块具有第二尺寸，所述置零范围是第二置零范围，所述第二置零范围不同于所述第一置零范围，并且所述第二尺寸不同于所述第一尺寸。7.根据权利要求6所述的方法，其中，所述规则指定，响应于所述当前视频块具有小于或等于M
×
N的所述第一尺寸，所述置零范围是所述第一置零范围，其中M和N是整数。8.根据权利要求7所述的方法，其中，具有大于或等于所述第一置零范围的扫描顺序索引的所述当前视频块的一个或多个变换系数等于零。9.根据权利要求7或8所述的方法，其中，所述规则指定，响应于所述当前视频块的第一尺寸小于或等于8，所述置零范围是所述第一置零范围。10.根据权利要求9所述的方法，其中，所述第一尺寸包括所述当前视频块的宽度，或所述当前视频块的高度，或所述当前视频块的宽度和高度。11.根据权利要求6所述的方法，其中，所述规则指定响应于所述当前视频块具有大于M
×
N的所述第二尺寸，所述置零范围是所述第二置零范围，其中M和N是整数。12.根据权利要求11所述的方法，其中，具有大于或等于所述第二置零范围的扫描顺序索引的所述当前视频块的一个或多个变换系数等于零。13.根据权利要求11或12所述的方法，其中，所述规则指定，响应于所述当前视频块的
第二尺寸大于8，所述置零范围是所述第二置零范围。14.根据权利要求13所述的方法，其中，所述第二尺寸包括所述当前视频块的宽度，或所述当前视频块的高度，或所述当前视频块的宽度和高度。15.根据权利要求11或12所述的方法，其中，所述规则指定所述置零范围是所述第二置零范围，以响应：(1)所述当前视频块的宽度大于8，并且所述当前视频块的高度大于或等于8，或者(2)所述当前视频块的宽度大于或等于8，并且所述当前视频块的高度大于8。16.根据权利要求6至15中任一项所述的方法，其中，所述第二置零范围是16，并且所述第一置零范围是8。17.一种视频处理的方法，包括:为视频的当前视频块和所述视频的比特流之间的转换，根据规则确定是否对当前视频块禁用置零操作；以及基于所述确定来执行所述转换，其中，所述规则指定所述置零操作包括使用初级变换，在所述初级变换中，一个范围内的系数被视为具有零值。18.根据权利要求17所述的方法，其中，所述初级变换包括离散余弦变换DCT
‑
II。19.一种视频处理方法，包括:为视频的当前视频块和所述视频的比特流之间的转换，确定在所述当前视频块的初级变换中是否扩大了置零范围；以及基于所述确定来执行所述转换，其中，在所述转换中的所述初级变换的操作期间，所述置零范围中的所述当前视频块的变换系数被视为具有零值。20.根据权利要求19所述的方法，其中，所述初级变换包括多重变换集MTS。21.根据权利要求19所述的方法，其中，所述初级变换包括离散余弦变换DCT
‑
II。22.一种视频处理方法，包括:为视频的当前视频块和所述视频的比特流之间的转换，根据规则确定初级变换集中的一个或多个初级变换矩阵；以及根据所述确定来执行所述转换，其中，所述一个或多个初级变换矩阵包括离散余弦变换DCT
‑
II、离散正弦变换DST
‑
VII、DCT
‑
VII、变换跳过模式、恒等变换以及基于训练过程的变换中的一个或多个。23.根据权利要求22所述的方法，其中，基于所述训练过程的所述变换包括基于Karhunen
‑
Loeve变换KLT的变换。24.根据权利要求22所述的方法，其中，所述规则指定确定所述一个或多个初级变换矩阵是基于所述视频的色度分量。25.根据权利要求24所述的方法，其中，所述变换集包括用于所述视频的亮度分量的第一变换矩阵集和用于所述视频的色度分量的第二变换矩阵集。26.根据权利要求24所述的方法，其中，所述视频的每个颜色分量对应于一个单独的变换集。27.根据权利要求22所述的方法，其中，所述规则指定确定所述一个或多个初级变换矩
阵是基于所述当前视频块的尺寸。28.根据权利要求27所述的方法，其中，针对不同的视频块尺寸定义两个或更多个初级变换矩阵集。29.根据权利要求27所述的方法，其中，所述规则指定响应于所述当前块的高度和宽度小于M来确定来自第一集合的所述一个或多个初级变换矩阵，或者所述规则指定响应于所述当前块的高度和宽度大于或等于M来确定来自第二集合的所述一个或多个初级变换矩阵，并且M是正整数。30.根据权利要求27所述的方法，其中，所述规则指定响应于所述当前块的高度或宽度小于M来确定来自第一集合的所述一个或多个初级变换矩阵，或者所述规则指定所述响应于所述当前块的高度或宽度大于或等于M，确定来自第二集合的一个或多个初级变换矩阵，并且M是正整数。31.根据权利要求29或30所述的方法，其中，M等于8、16或32。32.根据权利要求22所述的方法，其中，所述规则指定确定所述一个或多个初级变换矩阵是基于所述当前视频块的预测模式。33.根据权利要求32所述的方法，其中，分别为帧内模式和帧间模式指定两个不同的初级变换矩阵集，所述预测模式包括所述帧内模式或所述帧间模式。34.根据权利要求32所述的方法，其中，为帧内模式指定两个或更多个不同的初级变换矩阵集，所述预测模式包括所述帧内模式。35.根据权利要求32所述的方法，其中，为帧间模式指定两个或更多个不同的初级变换矩阵集，所述预测模式包括所述帧间模式。36.根据权利要求32所述的方法，其中，所述变换集中包括变换维度等于4、8、16或32的变换矩阵。37.根据权利要求22所述的方法，其中，所述规则指定确定所述一个或多个初级变换矩阵是基于应用于所述当前视频块的帧内预测模式。38.根据权利要求37所述的方法，其中，所述帧内预测模式包括帧内子块分割ISP、基于矩阵的帧内预测MIP、多...

【专利技术属性】
技术研发人员：范逵，张莉，张凯，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：