视频编码中用于帧内分区的转换类型分配方法和装置制造方法及图纸

公开了一种用于视频编解码的预测的方法和装置。根据该方法，当将帧内子分区(ISP)模式应用于块时，该块被水平或垂直地划分为多个子块。根据属于包括统一设置和块设置的设置组的目标设置，从候选变换集合中为多个子块中的每个子块确定目标水平变换和目标垂直变换。然后，将所选择的目标水平变换和目标垂直变换应用于多个子块中的每个子块。根据另一种方法，根据统一设置从不具有变换索引的候选变换集中确定用于当前块的目标水平和垂直变换，其中统一设置包括两个或更多个帧内模式或帧内相关模式。关模式。关模式。

【技术实现步骤摘要】
【国外来华专利技术】视频编码中用于帧内分区的转换类型分配方法和装置
[0001]【相关申请的交叉引用】
[0002]本专利技术要求2019.1.31日申请的美国临时专利申请No.62/799,127和2019.3.5日申请的美国临时专利申请62/813,810的优先权。以上美国临时专利申请之内容通过引用一并并入本案。


[0003]本专利技术涉及使用ISP(Intra Sub
‑
Partition，帧内子分区)模式的视频编解码的预测。特别地，本专利技术公开了用于ISP模式的变换类型选择，以提高编解码性能或简化编解码过程。

技术介绍

[0004]高效视频编解码(HEVC)是由视频编解码联合合作团队(JCT
‑
VC)开发的新的国际视频编解码标准。HEVC基于混合的基于块的运动补偿的类似于DCT的(hybrid block
‑
based motion
‑
compensated DCT
‑
like)变换编解码架构。压缩的基本单位称为编解码单位(CU)，是2Nx2N的正方形块，每个CU可以递归地分为四个较小的CU，直到达到预定义的最小大小。每个CU包含一个或多个预测单元(PU)。
[0005]为了在HEVC中实现混合编解码架构的最佳编解码效率，每个PU有两种预测模式(帧内预测和帧间预测)。对于帧内预测模式，空间相邻的重构像素可用于生成方向预测。HEVC中最多有35个方向。对于帧间预测模式，时间重构参考帧可用于生成运动补偿的预测。共有三种不同的模式，包括跳过、合并和帧间高级运动向量预测(AMVP)模式
[0006]当在帧间AMVP模式下对PU进行编解码时，利用传输的运动向量差(MVD)执行对运动补偿的预测，该运动向量差可与运动向量预测子(MVP)一起用于推导运动向量(MV)。为了在帧间AMVP模式下确定MVP，高级运动向量预测(AMVP)方案用于在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动向量预测子。因此，在AMVP模式下，需要对MVP的MVP索引和相应的MVD进行编码和传输。另外，在列表0(即L0)和列表1(即L1)的双向预测和单向预测中，指定帧间预测方向的帧间预测方向还应附带每个列表的参考帧索引被编码和传输。
[0007]当以跳过或合并模式对PU进行编解码时，跳过和合并模式利用运动推断方法，除了所选择的候选的合并索引，不发送运动信息。由于在跳过和合并模式下运动向量差(MVD)为零，因此跳过或合并编解码块的MV与运动向量预测子(MVP)相同(即MV＝MVP+MVD＝MVP)。因此，跳过或合并编解码块从位于同一位置的图片(co
‑
located picture)中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。位于同一位置的图片是列表0或列表1中的第一个参考图片，在切片标头中发信。在跳过PU的情况下，残差信号也被省略。为了确定跳过和合并模式的合并索引，使用合并方案在包含四个空间MVP和一个时间MVP的合并候选集中选择运动向量预测子。
[0008]图1示出了用于为AMVP和合并方案两者导出空间和时间MVP的相邻PU。在AMVP中，左侧的MVP是A0、A1中的第一个可用的，顶部的MVP是B0、B1、B2中的第一个可用的，而时间MVP
是T
BR
或T
CTR
中的第一个可用的(首先使用T
BR
，如果T
BR
不可用，则使用T
CTR
)。如果左MVP不可用，并且顶部MVP不是按比例缩放的MVP，则在B0，B1和B2之间存在按比例缩放的MVP时，可以导出第二个顶部MVP。AMVP的MVP的列表大小为2。因此，在两个空间MVP和一个时间MVP的推导过程之后，只有前两个MVP可以包含在MVP列表中。如果在删除冗余后可用MVP的数量少于两个，则将零向量候选添加到候选列表。
[0009]对于跳过和合并模式，如图1所示，从A0、A1、B0和B1导出最多四个空间合并索引，并且从T
BR
或T
CTR
导出一个时间合并索引(首先使用T
BR
，如果T
BR
不可用，则使用T
CTR
)。注意，如果四个空间合并索引中的任何一个都不可用，则位置B2然后用于导出合并索引作为替换。在四个空间合并索引和一个时间合并索引的推导过程之后，应用去除冗余来去除冗余合并索引。如果在删除冗余后可用的合并索引数小于五个，则将导出三种类型的附加候选并将其添加到候选列表中。
[0010]通过使用原始合并候选来创建其他双向预测合并候选。其他候选分为三种候选类型：
[0011]1.合并的双向预测合并候选(候选类型1)
[0012]2.按比例缩放的双向预测合并候选(候选类型2)
[0013]3.零向量合并/AMVP候选(候选类型3)
[0014]在候选类型1中，通过组合原始合并候选来创建组合的双向预测合并候选。尤其是原始候选中的两个候选，具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图片索引)或mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图片索引)，用于创建双向预测合并候选。图2示出了用于组合的双向预测合并候选的导出过程的示例。候选列表210对应于原始候选列表，其包括L0中的mvL0_A，ref0(231)和L1中的mvL1_B，ref(232)。可以通过组合L0和L1中的候选来形成双向预测MVP 233。
[0015]在候选类型2中，通过缩放原始合并候选来创建缩放的双向预测合并候选。特别地，原始候选中的一个候选(具有mvLX(列表X中的运动向量)和refIdxLX(列表X中的参考图片索引)，X可以为0或1)用于创建双向预测合并候选。例如，一个候选A是具有mvL0_A和ref0的列表0单向预测，首先将ref0复制到列表1中的参考索引ref0
’
。此后，通过使用ref0和ref0
’
缩放mvL0_A来计算mvL0
’
_A。然后，创建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0
’
_A和ref0
’
的双向预测合并候选，并将其添加到合并候选列表中。缩放的双向预测合并候选的推导过程的示例在图3中示出，其中候选列表310对应于原始候选列表，并且候选列表320对应于包括两个生成的双向预测MVP的扩展候选列表。
[0016]在候选类型3中，通过组合零向量和参考索引来创建零向量合并/AMVP候选。图4A示出了用于添加零向量合并候选的示例，其中候选列表410对应于原始合并候选列表，而候选列表420通过添加零候选而对应于扩展的合并候选列表。图4B示出了用于添加零向量AMVP候选的示例，其中候选列表430(L0)和432(L1)对应于原始AMVP候选列表，并且通过添加零候选候选列表440(L0)和4本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频编解码预测方法，该方法包括：在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括该当前图片中的该当前块的压缩数据相对应的视频比特流；如果该当前块使用帧内子分区模式：将该当前块水平或垂直分区为多个子块；根据包括统一设置或块设置的设置组，从候选变换集合中为该多个子块中的每一个子块确定目标水平变换和目标垂直变换，其中，该统一设置适用于特定的编解码模式、普通帧内模式或其他帧内相关模式，该块设置对应于该当前块的块宽度、块高度、块比率、块大小或其任意组合；以及将该目标水平变换和该目标垂直变换应用于该多个子块中的每一个子块。2.根据权利要求1所述的方法，其中，该目标水平变换和该目标垂直变换属于包括DCT
‑
II、DST
‑
VII、DCT
‑
VIII和翻转的DST
‑
VII的任意组合的子集。3.根据权利要求2所述的方法，其中，代表(该目标水平变换，该目标垂直变换)的一对对应于(DCT
‑
II，DCT
‑
II)、(DST
‑
VII，DCT
‑
II)、(DCT
‑
II，DST
‑
VII)或(DST
‑
VII，DST
‑
VII)。4.根据权利要求1所述的方法，其中，该目标水平变换和该目标垂直变换是基于该当前块的该块宽度、该块高度、该块比率、该块大小或其任意组合来确定的。5.根据权利要求4所述的方法，其中，当该块宽度小于或等于该块高度时，将该目标水平变换从DCT
‑
II改变为另一变换类型。6.根据权利要求4所述的方法，其中，当该块宽度在[4、16]之内，或该块宽度小于或等于该块高度，或该块宽度在[4、16]之内且该块宽度小于或等于该块高度时，将该目标水平变换从DCT
‑
II改变为DST
‑
VII。7.根据权利要求4所述的方法，其中，当该块高度在[4、16]之内，或该块高度小于或等于该块宽度，或该块高度在[4、16]之内且该块高度小于或等于该块宽度时，该目标垂直变换从DCT
‑
II改变为DST
‑
VII。8.根据权利要求1所述的方法，其中，该候选变换集与用于该普通帧内模式的变换集相同。9.根据权利要求8所述的方法，其中针对该目标水平变换和该目标垂直变换两者，将该候选变换集中的用于候选变换的最短码字设置为DST
‑
VII。10.根据权利要求1所述的方法，其中，...

【专利技术属性】
技术研发人员：江嫚书，徐志玮，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：