编码或解码视频数据的方法及装置制造方法及图纸

本发明专利技术公开了一种编码或解码视频数据的方法及装置，其由集成有自适应性多重变换(adaptive multiple transform,AMT)的视频编码器或视频解码器执行。根据本方法，确定由指定为第一类型或第二类型的两种类型候选项组成的变换集，其中第一类型与第二类型不同。如果当前块使用AMT，则从变换集中选择垂直变换，并从变换集中选择水平变换。在编码器侧发信用于均指示垂直变换选择和水平变换选择的变换索引，或解码器侧解析变换索引。本发明专利技术还公开了另一种集成有AMT的方法和装置，其中根据当前运动矢量差的分辨率，确定变换集。本发明专利技术进一步提高了编解码性能，降低了集成有AMT系统的复杂度。

【技术实现步骤摘要】
编码或解码视频数据的方法及装置优先权声明本申请主张于2017年05月11日申请的美国临时专利申请第62/504,646号、2017年06月27日申请的美国临时专利申请第62/525,240号，以及2018年01月10日申请的美国临时专利申请第62/615,555号的权利，且上述美国临时专利申请的全文内容以引用方式并入本文中。
本专利技术大体上涉及视频编码技术。本专利技术尤其涉及提高使用增强型多重变换(EnhancedMultipleTransform，EMT)的视频解编码系统的编解码效率或降低复杂度的技术；其中，EMT又称为自适应多重变换(AdaptiveMultipleTransform，AMT)。
技术介绍
高效率视频编码(HighEfficiencyVideoCoding，HEVC)标准是在ITU-T的视频编码专家组(VideoCodingExpertsGroup，VCEG)和ISO/IEC的运动图像专家组(MovingPictureExpertsGroup，MPEG)标准化组织的联合视频项目下开发出来的，这个合作关系特别地被称为视频编码联合协作小组(JointCollaborativeTeamonVideoCoding，JCT-VC)的伙伴关系。在HEVC中，将一个切片(slice)分割成多个编码树单元(CodingTreeUnit，CTU)。在主配置文件中，CTU的最小尺寸和最大尺寸由序列参数集(SequenceParameterSet，SPS)中的语法元素来指定。所允许的CTU尺寸可以是8×8、16×16、32×32，或者64×64。对于每个切片而言，根据光栅扫描顺序来处理该切片内的CTU。CTU进一步被分割成多个编码单元(CodingUnit，CU)，以适应各种局部特性。表示为编码树的四叉树用于将CTU分割成多个CU。假设CTU尺寸为M×M，其中M为64、32或者16数值中的一个。CTU可以是单个CU，或者被分割成四个具有相同尺寸(即，每个尺寸为M/2×M/2)的更小单元，这些更小单元是编码树的节点。如果这些单元是该编码树的叶节点，则这些单元将变成CU。否则，可以重复四叉树分割处理，直到节点的尺寸达到如SPS中所指定的最小允许的CU尺寸。此表示形成了由编码树(也称为分割树结构)指定的递归结构。对每个CU指定了一个或多个预测单元(PredictionUnit，PU)。与该CU一起，PU用作共享预测信息的基础代表块(basicrepresentativeblock)。每个PU内部，应用相同的预测处理，并以PU为基础将相关信息发送给解码器。根据PU分割类型，可以将一个CU分割成一个、二个或四个PU。在通过根据PU分割类型应用预测处理获取残差块之后，根据类似于CU的编码树的另一四叉树结构，CU可以被分割为变换单元(TransformUnit，TU)。TU是应用整数变换与量化的残差或变换系数的基本代表块。对于每个TU，将具有与该TU相同尺寸的一个整数变换应用至该TU来获取残差系数。以TU为基础的量化之后，将这些系数发送给解码器。分别定义术语编码树块(codingtreeblock，CTB)、编码块(codingblock，CB)、预测块(predictionblock，PB)以及变换块(transformblock，TB)，以指定分别与CTU、CU、PU和TU相关的一个颜色分量的2D样本阵列(2-Dsamplearray)。这样，CTU由一个亮度CTB、两个色度CTB和相关的语法元素组成。对于CU、PU和TU，相似的关系有效。尽管在色度达到某些最小尺寸时的应用例外，通常将树分割同时应用于亮度和色度。在下一代视频编解码中，在JVET-E1001(Chenetal.,“AlgorithmDescriptionofJointExplorationTestModel5(JEM5)”,JointCollaborativeTeamonVideoCodingofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,5thMeeting:Geneva,CH,12–20January,2017,Document:JVET-E1001)中已采用了组合四叉树和二叉树结构的方法，该结构也称为四叉树加二叉树(quadtreeplusbinarytree，QTBT)结构。所公开的树结构可单独应用于I-切片(I-slice)(即帧内编解码切片)的亮度和色度，并且，同时应用于P-切片(P-slice)和B-切片(B-slice)的亮度和色度(除了在达到色度的某些最小尺寸的时候)。换言之，在I-切片内，亮度CTB具有其QTBT结构化(QTBT-structured)的块分割，两个色度CTB具有另一种QTBT结构化的块分割。两个色度CTB也可以具有其自身的QTBT结构化的块分割。在HEVC中，对于每个TU，应用具有与该TU相同尺寸的一个整数变换来获取残差系数。以TU为基础的量化之后，将这些系数发送给解码器。由于离散余弦变换类型II(DiscreteCosineTransformTypeII，DCT-II)具有较强的“能量压缩”性能，因此HEVC采用DCT-II作为其核心变换。大部分信号信息倾向于集中在DCT-II的少数低频分量中，近似于卡洛南-洛伊变换(Karhunen-LoèveTransform，KLT)。如数据压缩的领域中已知的，根据马尔可夫处理(Markovprocesses)的某些界限，KLT是对信号去相关感应中的最佳变换。信号f[n]的N点DCT-II的定义如(1)所示。在联合探索测试模型5(JointExplorationTestModel，JEM-5)中，尺寸高达128×128的大块尺寸的变换能够提高编码效率，尤其提高更高分辨率视频(例如1080p序列以及4K序列)的编解码效率。除了已经在HEVC中采用的DCT-II以及4x4离散正弦变换类型VII(DiscreteCosineTransformTypeVII，DST-VII)之外，AMT方案，还用于帧间编解码块和帧内编解码块的残差编解码。对于帧内预测残差，与DCT-II相比，其他变换类型可具有更高效率。因此，在JVET-E1001(即，JEM5)中，EMT方案用于帧间编解码块和帧内编解码块的残差编解码。在文献中，EMT也可被称为AMT。在本申请中，术语AMT和EMT可以互换使用。其利用从DCT/DST家族中选择的多重变换，而不是利用HEVC中的当前变换。新引入的变换矩阵为DST-VII、DCT-VIII、DST-I以及DCT-V。表1总结了N点输入的每一变换的变换基函数。表1N点输入的变换基函数根据EMT，多重变换可被选择用于一个TU。例如，对于帧间CU，一个EMT标志可以被编解码，以指示HEVC被使用(即，EMT标志等于0)，还是新的多重变换中的一个被使用(即，EMT标志等于1)。当EMT标志等于1时，在水平方向和垂直方向上分别存在两种不同的变换。EMT索引可以用于指示所选择以用于水平方向和垂直方向中的每个的变换。总的来说，当EMT标志为1时，对于每个CU，四个不同的变换被支持。对于帧内CU，在多重变换中也存在四个候选项。然而，根据帧本文档来自技高网...

【技术保护点】
1.一种编码或解码视频数据的方法，其特征在于，该方法包括：接收与当前块相关的输入数据；其中，在编码器侧，所述输入数据对应于由前向变换处理进行处理的所述当前块，且在解码器侧，所述输入数据对应于由逆变换处理进行处理的当前系数块；确定由指定为第一类型或第二类型的两种类型候选项组成的变换集，或确定由对应于所述第一类型、所述第二类型以及翻转第二类型的三种类型组成的变换集；其中，所述第一类型与所述第二类型不同；如果所述当前块使用自适应多重变换，则从所述变换集中选择垂直变换和水平变换；以及在所述编码器侧，根据所述当前块、所述垂直变换和所述水平变换生成当前系数块；或在所述解码器侧，根据所述当前系数块、与所述垂直变换相关的垂直逆变换和与所述水平变换相关的水平逆变换恢复所述当前块。

【技术特征摘要】
2017.05.11 US 62/504,646;2017.06.27 US 62/525,240;1.一种编码或解码视频数据的方法，其特征在于，该方法包括：接收与当前块相关的输入数据；其中，在编码器侧，所述输入数据对应于由前向变换处理进行处理的所述当前块，且在解码器侧，所述输入数据对应于由逆变换处理进行处理的当前系数块；确定由指定为第一类型或第二类型的两种类型候选项组成的变换集，或确定由对应于所述第一类型、所述第二类型以及翻转第二类型的三种类型组成的变换集；其中，所述第一类型与所述第二类型不同；如果所述当前块使用自适应多重变换，则从所述变换集中选择垂直变换和水平变换；以及在所述编码器侧，根据所述当前块、所述垂直变换和所述水平变换生成当前系数块；或在所述解码器侧，根据所述当前系数块、与所述垂直变换相关的垂直逆变换和与所述水平变换相关的水平逆变换恢复所述当前块。2.如权利要求1所述的编码或解码视频数据的方法，其特征在于，在所述编码器侧发信用于均指示垂直变换选择和水平变换选择的变换索引，或在所述解码器侧解析所述变换索引。3.如权利要求2所述的编码或解码视频数据的方法，其特征在于，将所述变换索引二值化为二进制串，并使用上下文自适应二进制算术编码对所述二进制串的一个或多个码元进行编解码。4.如权利要求3所述的编码或解码视频数据的方法，其特征在于，用于所述二进制串的一个或多个码元的所述上下文自适应二进制算术编码使用N个上下文；其中，N对应于正整数。5.如权利要求3所述编码或解码视频数据的方法，其特征在于，用于所述上下文自适应二进制算术编码的上下文索引是根据所述当前块的块尺寸而确定。6.如权利要求3所述的编码或解码视频数据的方法，其特征在于，第一上下文集用于用帧内预测模式进行编解码的所述当前块的所述上下文自适应二进制算术编码，且第二上下文集用于用帧间预测模式进行编解码的所述当前块的所述上下文自适应二进制算术编码。7.如权利要求1所述的编码或解码视频数据的方法，其特征在于，当所述变换集由所述第一类型和所述第二类型组成时，在所述编码器侧发信或在所述解码器侧解析用于指示垂直变换选择的第一标志以及用于指示水平变换选择的第二标志。8.如权利要求7所述的编码或解码视频数据的方法，其特征在于，所述第一标志和所述第二标志通过使用所述上下文自适应二进制算术编码进行编解码。9.如权利要求8所述的编码或解码视频数据的方法，其特征在于，所述第一标志所使用的第一上下文集与所述第二标志所使用的第二上下文集不同。10.如权利要求8所述的编码或解码视频数据的方法，其特征在于，所述第一标志和所述第二标志的上下文是分别根据一个或多个空间相邻块的垂直变换选择和水平变换选择来确定。11.如权利要求7所述的编码或解码视频数据的方法，其特征在于，在所述编码器侧，所述当前系数块在所述第一标志和所述第二标志之前被发信；或在所述解码器侧，所述第一标志和所述第二标志在解析所述当前系数块之后被解析；以及如果所述当前系数块的非零系数的数量小于阈值，则在所述编码器侧不发信所述第一标志和所述第二标志，或在所述解码器侧不解析所述第一标志和所述第二标志；其中，所述第一标志和所述第二标志被推断为预定义类型。12.如权利要求1所述的编码或解码视频数据的方法，其特征在于，所述第一类型对应于离散余弦变换类型II，且所述第二类型自包括离散正弦变换类型IV、离散正弦变换类型VII以及翻转离散余弦变换类型IV的组中选择。13.如权利要求12所述的编码或解码视频数据的方法，其特征在于，如果所述当前块不使用所述自适应多重变换，则选择所述第一类型以用于所述垂直变换和所述水平变换。14.如权利要求12所述的编码或解码视频数据的方法，其特征在于，如果当前块使用所述自适应多重变换，则所述垂直变换和所述水平变换选择不同的变换类型，或所述垂直变换和所述水平变换均选择所述第二类型。15.如权...

【专利技术属性】
技术研发人员：黄晗，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71