【技术实现步骤摘要】
本专利文件涉及视频编解码技术、设备和系统。
技术介绍
1、尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
技术实现思路
1、描述了与数字视频编解码相关的设备、系统和方法，特别是用于视频编解码的基于矩阵的帧内预测方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(hevc))和未来视频编解码标准(例如，多功能视频编解码(vvc))或编解码器。
2、第一示例视频处理的方法包括：基于规则，使用第一过程来为视频的当前视频块和所述当前视频块的比特流之间的转换生成第一最可能模式(mpm)列表；以及使用所述第一mpm列表执行所述当前视频块和所述当前视频块的所述比特流之间的转换，其中，所述当前视频块的所述转换使用基于矩阵的帧内预测(mip)模式，在所述mip模式中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，其中，所述规则指定用于生成所述第一mpm列表的所述第一过程与用于生成第二mpm列表的第二过程相同，所述第二mpm列表用于使用不同于所述mip模式的非mip帧内模式编解码的所述视频的其它视频块的所述转换，并且其中，基于所述第二mpm列表的至少一部分生成所述第一mpm列表的至少一部分。
3、第二示例视频处理的方法包括：基于规则为视频的当前视频块
4、第三示例视频处理的方法包括：使用基于矩阵的帧内预测(mip)模式解码在当前视频块的比特流中编解码的视频的所述当前视频块，在所述mip模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及在不在行缓冲器中存储指示所述当前视频块是否使用所述mip模式编解码的信息的情况下，更新与所述解码相关联的所述行缓冲器。
5、第四示例视频处理的方法包括：执行当前视频块和所述当前视频块的比特流之间的所述转换，其中所述当前视频块是使用基于矩阵的帧内预测(mip)模式编解码的，在所述mip中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，其中在算术编码或解码处理中，在所述比特流中使用最多k个上下文来编码标志，其中，所述标志指示所述当前视频块是否使用所述mip模式编解码，并且其中，k大于或等于零。
6、第五示例视频处理的方法包括：为视频的当前视频块和所述当前视频块的比特流之间的转换，生成用基于矩阵的帧内预测(mip)模式编解码的所述当前视频块的帧内预测模式，在所述mip中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性的进行上采样操作来确定所述当前视频块的预测块；基于所述当前视频块是否使用所述mip模式编解码来确定用于存储指示所述帧内预测模式的信息的规则；以及根据所述规则执行所述转换，其中，所述规则定义将所述帧内预测模式的语法元素存储在所述当前视频块的所述比特流中，并且其中，所述规则定义所述当前视频块的所述mip模式的模式索引不存储在所述比特流中。
7、第六示例视频处理的方法包括：执行视频的亮度视频块是使用基于矩阵的帧内预测(mip)模式编解码的第一确定，其中通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述亮度视频块的预测块；基于所述第一确定，执行要用于色度视频块的色度帧内模式与所述亮度视频块相关联的第二确定；以及基于所述第二确定执行所述色度视频块和所述色度视频块的比特流之间的转换。
8、第七示例视频处理的方法包括：执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中，所述转换基于是否使用基于矩阵的帧内预测(mip)模式对所述当前视频块进行编解码的确定，在所述mip中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块。
9、第八示例视频处理的方法包括：根据规则，为将视频的当前视频块编码成所述当前视频块的比特流，确定是否使用基于矩阵的帧内预测(mip)模式和不同于所述mip模式的编解码模式来编码所述当前视频块，其中，所述mip模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及基于所述确定将所述当前视频块的比特流添加到所述比特流中。
10、第九示例视频处理的方法包括：确定使用基于矩阵的帧内预测(mip)模式和不同于所述mip模式的编解码模式来将视频的当前视频块编码在比特流中，其中所述mip模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及通过解析和解码所述比特流来生成所述当前视频块的解码表示。
11、第十示例视频处理的方法包括：确定在视频和当前视频块的比特流之间的转换中环路滤波器对所述视频的所述当前视频块的重构块的适用性，其中，所述当前视频块使用基于矩阵的帧内预测(mip)模式编解码，在所述mip模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地进行上采样操作来确定所述当前视频块的预测块；以及根据所述确定处理所述当前视频块。
12、第十一示例视频处理的方法包括：根据规则，为将视频的当前视频块编码为所述当前视频块的比特流，确定要使用的所述当前视频块的临近样点的类型；以及基于所述确定将所述当前视频块的比特流添加到所述比特流中，其中所述当前视频块使用基于矩阵的帧内预测(mip)模式编码，在所述mip模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块。
13、第十二示例视频处理的方法包括：根据规则，确定使用基于矩阵的帧内预测(mip)模式并使用当前视频块的一种类型的临近样点来将视频的所述当前视频块编码在比特流中，其中，所述mip模式包括：通过对所述视频的先前编解码样点执行边界下本文档来自技高网...
【技术保护点】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，所述二次变换工具包括不可分离二次变换。
3.根据权利要求1所述的方法，其中，所述二次变换工具包括缩减的二次变换(RST)或旋转变换。
4.根据权利要求1所述的方法，其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类。
5.根据权利要求4所述的方法，其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。
6.根据权利要求1所述的方法，其中，在所述边界下采样操作中导出的下采样因子大于或等于1，并且其中基于对从所述边界下采样操作导出的下采样参考样点进行级联来进一步导出一维向量阵列，且所述一维向量阵列被用作所述矩阵向量乘法操作的输入。
7.根据权利要求4所述的方法，其中，在所述第二帧内模式中，在垂直方向和水平方向对参考值应用基于距离的加权计算以导出预测值。
8.根据权利要求4所述的方法，其中，所述第二帧内模式包括平面模式。
9.根据权利要求1所述的方法
10.根据权利要求9所述的方法，其中，响应于所述视频块的宽高比大于2，将索引为3的上下文用于所述第二语法元素的第一二进制数。
11.根据权利要求9所述的方法，其中，响应于所述视频块的宽高比小于或等于2，将从具有索引为0、1或2的上下文中选择的单个上下文用于所述第二语法元素。
12.根据权利要求1所述的方法，其中，所述第一帧内模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述视频块的类型索引。
13.根据权利要求12所述的方法，其中，所述视频块的类型索引明确地包括在所述比特流中。
14.根据权利要求1所述的方法，其中，是否应用所述二次变换工具是基于所述视频块的高度(H)或宽度(W)。
15.根据权利要求1所述的方法，其中，所述转换包括将所述视频块编码为所述比特流。
16.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频块。
17.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：
18.根据权利要求17所述的装置，其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类。
19.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：
20.一种非暂时性计算机可读记录介质，其存储由视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：
21.一种用于存储视频的比特流的方法，包括：
22.一种用于视频处理的方法，包括：
23.根据权利要求22所述的方法，其中，是否应用所述第一预测模式由多个语法元素指定。
24.根据权利要求23所述的方法，其中，所述第一语法元素被包括在序列参数集中，并且所述第二语法元素是编解码单元级语法元素。
25.根据权利要求24所述的方法，其中，响应于所述第二语法元素没有包括在所述比特流中，不应用所述第一预测模式。
26.根据权利要求24所述的方法，其中，所述第二语法元素的至少一个二进制数是基于上下文编解码的。
27.根据权利要求26所述的方法，其中，不超过K个上下文被用于所述第二语法元素。
28.根据权利要求27所述的方法，其中，K等于4。
29.根据权利要求27所述的方法，其中，响应于所述空间临近块的宽高比大于2，将索引为3的上下文用于所述第二语法元素的第一二进制数。
30.根据权利要求27所述的方法，其中，响应于所述空间临近块的宽高比小于或等于2，从索引为0、1或2的上下文中选择的单个上下文用于所述第二个语法元素的第一二进制数。
31.根据权利要求22所述的方法，其中，所述第一预测模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述空间临近视频块的类型索引。
32.根据权利要求31所述的方法，其中，所述空间临近视频块的所述类型索引明确地包括在所述比特流中。
33.根据权利要求22所述的方法，其中，在所述边界下采样操作中基于所述空间临近块的尺寸导出的下采样因子大于或等于1，并且其中基于对从所述边界下采样操作导出的下采样参考样点进行级联来进一步...
【技术特征摘要】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，所述二次变换工具包括不可分离二次变换。
3.根据权利要求1所述的方法，其中，所述二次变换工具包括缩减的二次变换(rst)或旋转变换。
4.根据权利要求1所述的方法，其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类。
5.根据权利要求4所述的方法，其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。
6.根据权利要求1所述的方法，其中，在所述边界下采样操作中导出的下采样因子大于或等于1，并且其中基于对从所述边界下采样操作导出的下采样参考样点进行级联来进一步导出一维向量阵列，且所述一维向量阵列被用作所述矩阵向量乘法操作的输入。
7.根据权利要求4所述的方法，其中，在所述第二帧内模式中，在垂直方向和水平方向对参考值应用基于距离的加权计算以导出预测值。
8.根据权利要求4所述的方法，其中，所述第二帧内模式包括平面模式。
9.根据权利要求1所述的方法，其中，是否应用所述第一帧内模式由包括在序列参数集中的第一语法元素和包括在编码单元级别集中的第二语法元素指定。
10.根据权利要求9所述的方法，其中，响应于所述视频块的宽高比大于2，将索引为3的上下文用于所述第二语法元素的第一二进制数。
11.根据权利要求9所述的方法，其中，响应于所述视频块的宽高比小于或等于2，将从具有索引为0、1或2的上下文中选择的单个上下文用于所述第二语法元素。
12.根据权利要求1所述的方法，其中，所述第一帧内模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述视频块的类型索引。
13.根据权利要求12所述的方法，其中，所述视频块的类型索引明确地包括在所述比特流中。
14.根据权利要求1所述的方法，其中，是否应用所述二次变换工具是基于所述视频块的高度(h)或宽度(w)。
15.根据权利要求1所述的方法，其中，所述转换包括将所述视频块编码为所述比特流。
16.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频块。
17.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：
18.根据权利要求17所述的装置，其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类。
19.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：
20.一种非暂时性计算机可读记录介质，其存储由视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：
21.一种用于存储视频的比特流的方法，包括：
22.一种用于视频处理的方法，包括：
23.根据权利要求22所述的方法，其中，是否应用所述第一预测模式由多个语法元素指定。
24.根据权利要求23所述的方法，其中，所述第一语法元素被包括在序列参数集中，并且所述第二语法元素是编解码单元级语法元素。
25.根据权利要求24所述的方法，其中，响应于所述第二语法元素没有包括在所述比特流中，不应用所述第一预测模式。
26.根据权利要求24所述的方法，其中，所述第二语法元素的至少一个二进制数是基于上下文编解码的。
27.根据权利要求26所述的方法，其中，不超过k个上下文被用于所述第二语法元素。
28.根据权利要求27所述的方法，其中，k等于4。
29.根据权利要求27所述的方法，其中，响应于所述空间临近块的宽高比大于2，将索引为3的上下文用于所述第二语法元素的第一二进制数。
30.根据权利要求27所述的方法，其中，响应于所述空间临近块的宽高比小于或等于2，从索引为0、1或2的上下文中选择的单个上下文用于所述第二个语法元素的第一二进制数。
31.根据权利要求22所述的方法，其中，所述第一预测模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述空间临近视频块的类型索引。
32.根据权利要求31所述的方法，其中，所述空间临近视频块的所述类型索引明确地包括在所述比特流中。
33.根据权利要求22所述的方法，其中，在所述边界下采样操作中基于所述空间临近块的尺寸导出的下采样因子大于或等于1，并且其中基于对从所述边界下采样操作导出的下采样参考样点进行级联来进一步导出一维向量阵列，并将所述一维向量数组用作所述矩阵矢量乘法运算的输入。
34.根据权利要求22所述的方法，其中，在所述第二预测模式中，在垂直方向和水平方向对参考值应用基于距离的加权计算以导出预测值。
35.根据权利要求22所述的方法，其中，所述第二预测模式包括平面模式。
36.根据权利要求22所述的方法，其中，所述转换包括将所述当前视频块编码为所述比特流。
37.根据权利要求22所述的方法，其中，所述转换包括从所述比特流解码所述当前视频块。
38.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：
39.根据权利要求38所述的装置，其中，所述第一预测模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述空间临近视频块的类型索引。
40.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：
41.一种非暂时性计算机可读记录介质，其存储由视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：
42.一种用于存储视频的比特流的方法，包括：
43.一种视频处理方法，包括：
44.根据权利要求43所述的方法，其中，响应于确定不对所述色度块应用所述第一预测模式，通过执行亮度帧内预测模式转换操作，然后执行色度帧内预测模式推导操作，然后执行一般帧内样点推导操作，来生成所述预测样点。
45.根据权利要求43所述的方法，其中，确定对所述色度块应用所述第一色度预测模式是基于第一对应亮度块的第一亮度预测模式与所述第一色度预测模式相同。
46.根据权利要求45所述的方法，其中，确定对所述色度块应用所述第一色度预测模式进一步基于语法元素intra_chroma_pred_mode的值，并且其中语法元素intra_chroma_pred_mode用于指定色度分量帧内模式和亮度分量帧内模式之间的映射关系。
47.根据权利要求46所述的方法，其中，所述语法元素intra_chroma_pred_mode指定对所述色度块应用dm模式，并且其中在所述dm模式中，所述色度分量帧内模式与所述亮度分量帧内模式相同。
48.根据权利要求45所述的方法，其中，所述第一对应亮度块是覆盖与所述色度块的左上采样对应的亮度样点的亮度块。
49.根据权利要求44所述的方法，其中，在所述亮度帧内预测模式转换操作中，基于第二对应亮度块的第二亮度预测模式导出转换后的亮度预测模式。
50.根据权利要求49所述的方法，其中，所述第二对应亮度块是覆盖与所述色度块的中心样点对应的亮度样点的亮度块。
51.根据权利要求49所述的方法，其中，响应于所述第二亮度预测模式与所述第一色度预测模式相同，将转换后的亮度预测模式导出为常规帧内模式。
52.根据权利要求51所述的方法，其中，在所述常规帧内模式中，对垂直方向和水平方向上对参考值应用基于距离的加权计算以生成预测值。
53.根据权利要求44所述的方法，其中，在所述色度帧内预测模式推导操作中，基于转换后的亮度预测模式为所述色度块推导第二色度预测模式，并且其中所述第二色度预测模式不同于所述第一色度预测模式。
54.根据...
【专利技术属性】
技术研发人员：邓智玭，张凯，张莉，刘鸿彬，许继征，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。