用于视频编解码的运动向量限制方法和装置制造方法及图纸

公开了用于视频编解码的帧间预测的方法和装置。当子区块运动补偿编解码工具被选择用于当前区块时，所述方法根据子区块运动补偿编解码工具生成与包括或包含在当前区块中的多个子区块相关联的子区块MV(运动向量)，将子区块MV约束到一范围内以形成约束子区块MV，并使用约束子区块MV将运动补偿应用于当前区块或使用一个子区块将运动补偿应用于当前区块，或是如果第一列表中的对应子区块MV在所述范围之外，则使用第二列表中在主要MV周围的范围内的子区块MV对当前区块应用运动补偿。在另一种方法中，仅使用主要参考区块内的参考子区块的参考像素将运动补偿应用于当前区块。

Motion vector limitation method and device for video codec

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的运动向量限制方法和装置交叉申请本专利技术主张在2017年05月18日提出申请的申请号为62/507,838的美国临时专利申请以及在2017年06月14日提出申请的申请号为62/519,214的美国临时专利申请的优先权。上述列出的申请的内容以引用方式并入本文中。
本专利技术涉及利用基于子区块的编解码工具进行运动估计/补偿的视频编解码(videocoding)。具体而言，本专利技术涉及约束与基于子区块的编解码工具相关联的运动向量，以减少所需的带宽。
技术介绍
运动估计/补偿是一种强大的编解码工具，其已被用于各种编解码标准，如MPEG-2、H.264以及新兴的高效视频编解码(HEVC)标准。在编码器侧导出的运动信息必须被传送到解码器侧，这可能消耗相当大的带宽。为了提高运动信息的编解码效率，已经开发了预测性地编解码当前运动向量(MV)的运动向量预测(motionvectorprediction，MVP)。合并模式和AMVP模式对于每个帧间PU，使用运动估计来确定一个或两个运动向量(MV)。为了提高HEVC中的运动向量(MV)编解码的编解码效率，HEVC运动向量预测(MVP)预测地编码MV。具体而言，HEVC支持用于MVP编解码的跳过和合并模式。对于跳过和合并模式，基于空间相邻区块(空间候选)或时间同位区块(时间候选)的运动信息，来导出一组候选。当使用“跳过”或“合并”模式对PU进行编解码时，没有运动信息被发信。相反地，仅所选候选的索引被编解码。对于跳过模式，残差信号(residualsignal)被强制为零并且不被编解码。换言之，没有信息用于发信残差信号。每个合并的PU重新使用所选候选的MV、预测方向和参考图像索引。对于HEVC中的合并模式，从相邻区块A0、A1、B0和B1导出多达四个空间MV候选，并且从右下区块TBR或中心区块TCT导出一个时间MV候选，如图1所示。对于时间候选，首先使用TBR。如果TBR无法使用，则使用TCT。需注意的是，如果四个空间MV候选中的任何一个无法使用，则使用区块B2来导出MV候选作为替换。在四个空间MV候选和一个时间MV候选的推导流程之后，应用移除冗余(修剪)来移除任何冗余MV候选。如果在去除冗余(修剪)之后，可使用MV候选的数量小于5，则导出三种类型的附加候选并且将其添加到候选集(候选列表)。编码器基于速率-失真优化(rate-distortionoptimization，RDO)的决定，在跳过或合并模式的候选集内选择一个最终候选，并将索引传送到解码器。由于跳过和合并候选的推导是类似的，因此为了方便起见，下文中提到的“合并”模式可以对应至“合并”模式以及“跳过”模式。MVP技术还应用于预测地编解码运动向量，其被称为进阶运动向量预测(AMVP)。当PU在帧间AMVP模式中被编解码时，运动补偿预测是利用传送的运动向量差(MVD)执行，运动向量差可以与运动向量预测子(MVP)一起用于导出运动向量(MV)。为了在帧间AMVP模式中确定MVP，AMVP架构用于在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动向量预测子。因此，对于AMVP编解码的区块，用于MVP的AMVP索引及相应的MVD需要被编码和传送。另外，用于指定与每个列表的参考帧索引相关联的双预测和单预测(即列表0(L0)和/或列表1(L1))中的预测方向的帧间预测方向也应被编码并传送。当以跳过或合并模式编解码PU时，除了所选候选的合并索引之外，不传送运动信息，因为跳过和合并模式利用运动推断方法(即MV＝MVP+MVD，其中MVD为零)，以从所选的合并/跳过候选者获得运动信息。在AMVP中，左MVP是基于来自A0、A1的第一可用MVP来选择，顶部MVP是B0、B1、B2的第一可用MVP，而时间MVP则是来自TBR或TCT的第一可用MVP(首先使用TBR，如果没有TBR，则使用TCT)。如果左MVP不可用且顶部MVP并非缩放的MVP，则如果在B0、B1和B2中存在缩放的MVP，第二顶部MVP可以被导出。在HEVC中，AMVP的MVP的列表大小是2。因此，在两个空间MVP和一个时间MVP的推导流程之后，只有前两个MVP可以包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则将零向量候选添加到候选列表中。传统的子PU时间运动向量预测(子PUTMVP)为了提高编解码效率，在合并模式中应用子PU时间运动向量预测(子PUTMVP，也称为进阶时间运动向量预测，ATMVP)模式。也就是说，子PUTMVP是用于合并模式的合并候选。如图2所示，与传统的时间候选不同，子PUTMVP模式将当前PU划分为多个子预测单元(子PU)，并找到每个子PU的所有对应的时间同位运动向量。大小为M×N的当前PU具有(M/P)×(N/Q)个子PU，每个子PU的大小为P×Q，其中M可以被P整除，而N可以被Q整除。图2中的范例对应至当前PU210被划分为16个子预测单元(子PU)的情况(即M/P＝4且N/Q＝4)。子PU0(211)和子PU1(212)被标示。子PUTMVP的详细算法描述如下。子PUTMVP的详细算法描述如下。在步骤1中，对于当前PU210，针对子PUTMVP模式确定表示为vec_init的“初始运动向量”。举例而言，vec_init可以是当前PU210的第一可用空间相邻区块的MV。或者，其他相邻区块的MV也可以用作初始运动向量。传统上，vec_init是空间相邻区块中的第一可用候选。举例而言，如果第一可用空间相邻区块具有L0和L1MV，且LX是用于搜索同位信息的第一列表，则当LX＝L0时vec_init使用L0MV，或者当LX＝L1时使用L1。LX(L0或L1)的值取决于哪个列表(L0或L1)对同位信息更好。如果L0对于同位信息(如POC(图像顺序计数)距离比L1更近)更好，则LX等于L0，反之亦然。可以在切片级别或图像级别执行LX分配。接着开始“同位图像搜索流程”。“同位图像搜索流程”是为了寻找子PUTMVP模式中的所有子PU的主要同位图像。主要同位图像表示为main_colpic。传统上，它首先搜索由第一可用空间相邻区块选择的参考图像。然后，在B切片中，它从L0(或L1)开始，参考索引0，然后索引1，然后索引2，来搜索的当前图像的所有参考图像，依此类推(递增索引顺序)。如果它完成搜索了L0(或L1)，则它对另一个列表进行搜索。在P切片中，它首先搜索由第一可用空间相邻区块选择的参考图像。然后，它从参考索引0开始然后搜索索引1，然后搜索索引2，搜索列表的当前图像的所有参考图像，依此类推(递增索引顺序)。在搜索期间，对于每个搜索到的图像，执行名为“可用性检查”的流程。“可用性检查”流程检查由vec_init_scaled指向的当前PU的中心位置周围的同位子PU，其中vec_init_scaled是从vec_init得到的适当MV缩放的MV。可以使用各种方式来确定“中心位置周围”。在第一实施例中，“中心位置周围”对应至中心像素。举例而言，如果PU大小是M×N，则本文档来自技高网...

【技术保护点】
1.一种在视频编解码系统中使用帧间预测模式进行视频编解码的方法，所述方法包括：/n接收与当前图像中的当前区块相关联的输入数据；/n当子区块运动补偿编解码工具被选择用于所述当前区块时：/n根据所述子区块运动补偿编解码工具生成与多个子区块相关联的多个子区块运动向量，其中，所述当前区块包括所述多个子区块；/n将所述子区块运动向量限制在一个范围内以形成多个受约束子区块运动向量；以及/n使用所述受约束子区块运动向量将运动补偿应用于所述当前区块，或者如果第一列表中的对应子区块运动向量在所述范围之外，则使用在第二列表的所述范围内的子区块运动向量将运动补偿应用于所述当前区块。/n

【技术特征摘要】
【国外来华专利技术】20170518 US 62/507,838;20170614 US 62/519,2141.一种在视频编解码系统中使用帧间预测模式进行视频编解码的方法，所述方法包括：
接收与当前图像中的当前区块相关联的输入数据；
当子区块运动补偿编解码工具被选择用于所述当前区块时：
根据所述子区块运动补偿编解码工具生成与多个子区块相关联的多个子区块运动向量，其中，所述当前区块包括所述多个子区块；
将所述子区块运动向量限制在一个范围内以形成多个受约束子区块运动向量；以及
使用所述受约束子区块运动向量将运动补偿应用于所述当前区块，或者如果第一列表中的对应子区块运动向量在所述范围之外，则使用在第二列表的所述范围内的子区块运动向量将运动补偿应用于所述当前区块。


2.根据权利要求1所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述子区块运动补偿编解码工具选自一个群组，所述群组包括进阶时间运动向量预测、空间-时间运动向量预测、仿射预测以及子区块细化的基于模型的运动向量推导模式。


3.根据权利要求2所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，对于所述进阶时间运动向量预测，所述主要运动向量对应至默认运动向量、初始运动向量、缩放初始运动向量、所述当前区块的所述子区块运动向量中的一个、或是导出运动向量。


4.根据权利要求3所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述主要运动向量对应于角子区块或中心子区块的子区块运动向量、使用所述当前区块的中心像素或中心区块的导出运动向量、或者使用在中心位置周围的子区块的导出运动向量。


5.根据权利要求2所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，对于所述空间-时间运动向量预测，所述主要运动向量对应于第一导出的子区块运动向量、多个相邻区块的运动向量、时间同位的运动向量、或是导出运动向量。


6.根据权利要求5所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述主要运动向量对应于透过使用所述当前区块的中心像素或中心区块导出的所述导出运动向量。


7.根据权利要求2所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，对于所述仿射预测，所述主要运动向量对应于多个控制点运动向量的其中一个、所述当前区块的所述子区块运动向量的其中一个、或一个导出运动向量。


8.根据权利要求7所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述当前区块的所述子区块运动向量中的其中一个对应于角子区块或中心子区块的运动向量，或者所述导出运动向量对应至使用所述当前区块的中心像素或中心区块的一个导出运动向量。


9.根据权利要求2所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，对于所述子区块细化基于模型的运动向量推导模式，所述主要运动向量对应至当前预测单元、编解码单元或当前区块的一个初始运动向量、或者当前预测单元、编解码单元或当前区块的一个细化运动向量。


10.根据权利要求1所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述将所述子区块运动向量约束在所述主要运动向量周围的所述范围内包括：限制所述主要运动向量与所述子区块运动向量的每个子区块运动向量之间的差值在一个或多个阈值内。


11.根据权利要求10所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述子区块运动向量的每个子区块运动向量被限制在从(主要运动向量-运动向量阈值)到(主要运动向量+运动向量阈值)的所述范围内，其中所述运动向量阈值对应至一个阈值，且如果一个子区块运动向量在所述范围外，则将所述子区块运动向量剪辑到所述范围内。


12.根据权利要求10所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述一个或多个阈值中的每一个对应至预定值、导出值或信号值。


13.根据权利要求12所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，在编码器侧所述一个或多个阈值被发信于序列参数集、图像参数集或切片标头中，或者在解码器侧所述一个或多个阈值自序列参数集、图像参数集或切片标头处解析。


14.根据权利要求10所述的在视频编解码系统中使用帧间预测模式进行视频编解码的方法，其特征在于，所述一个或多个阈值的确定是根据所述当前区块或所述当前子区块的大小、宽度或高度、所述主要运动向量、所述当前区块或所述当前子区块的帧间预测方向、或以上所述的组合。

【专利技术属性】
技术研发人员：庄子德，陈庆晔，黄毓文，徐志玮，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71