视频编码系统中用于决定储存用运动向量的视频处理方法和装置制造方法及图纸

用于决定编解码当前块的视频处理方法和装置，包括：接收当前块的输入数据；分割当前块为多个子块；推导用于多个子块的运动信息；使用运动信息对于多个子块进行运动补偿来推导出最终预测子；对于当前块的每一格栅推导与储存代表性运动向量；使用最终预测子来编码或解码当前块。如果多个子块的运动向量是来自于不同列表时，权重区域中的格栅的代表性运动向量是通过结合多个子块的运动向量来决定。如果多个子块的运动向量是来自于相同列表时，权重区域中的格栅的代表性运动向量被决定为多个子块的运动向量中之一。

【技术实现步骤摘要】
【国外来华专利技术】视频编码系统中用于决定储存用运动向量的视频处理方法和装置交叉申请本申请要求在2018年11月30日提出的申请号为62/773,223，标题为“MethodstoDerivingMotionVectorforTriangularPredictionUnitModeinVideoCoding””的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术关于在视频编码与解码系统中的视频处理方法和装置。尤其，本专利技术关于储存以运动补偿编解码块的运动向量推导。
技术介绍
高效率视频编码(HighEfficiencyVideoCoding，HEVC)的标准，是由来自国际电信联盟电信标准化部门研究组(ITU-TStudyGroup)的视频编码专家的视频编码联合协作小组(JointCollaborativeTeamonVideoCoding，JCT-VC)所开发的最新视频编解码标准。HEVC标准改进其之前标准H.264/AVC的视频压缩效果，以达到更高画面分辨率、更高帧速率、与更好视频质量的要求。HEVC标准依赖基于块的编解码结构，其将每一视频切片(slice)分割为多个方型的编解码树单元(CodingTreeUnit，CTU)，其中CTU是HEVC中用于视频压缩的基本单元。光栅扫描顺序(rasterscanningorder)被用来编码或解码每一切片中的CTU。每一CTU可以包含编解码单元(CodingUnit，CU)，或依据四叉树分割结构来递归式地分割为四个较小CU，直到达到事先定义的最小CU尺寸。预测的决定是在CU层作出的，其中每一CU是使用帧间预测或是帧内预测来加以编解码。一旦CU层级化树的分割完成时，依据用于预测的PU分割类型来将每一CU作进一步分割成一或多个预测单元(PredictionUnit，PU)。PU作为用于共享预测信息的基本代表块，相同的预测流程被应用于PU中的所有像素。预测信息以PU为基础传送给解码器。在帧间画面预测的运动估计会在一或二个参考画面中识别出一个(单向预测)或二个(双向预测)用于当前块的最佳参考块，并且在帧间画面预测的运动补偿会依据一或二个运动向量(MV)来定位出此一或二个最佳参考块。在当前块与相对应预测子之间的差异被称为预测残差。当使用单向预测时，相对应预测子是最佳参考块。当使用双向预测时，二个参考块会被结合以形成该预测子。跳过与合并模式跳过与合并模式被提出并采用于HEVC标准中，以通过从多个空间相邻块之一或从时间并位块来继承运动信息来增进运动信息的编解码效率。为了以跳过或合并模式编解码PU，不是发信运动信息，而仅发信代表自候选组所选择的最终候选的索引。由以跳过或合并模式所编解码的PU所再使用的运动信息包括MV、帧间预测指示子(indicator)、以及所选择最终候选的参考画面索引。要注意的是，如果所选择最终候选是时间运动候选，则参考画面索引总是被设定为零。当PU是以合并模式来编解码时，预测残差会被编解码；然而，跳过模式进一步跳过预测残差的发信，这是由于以跳过模式编解码的PU的残差数据被强制为零。合并候选组是由空间相邻块与并位块所推导的四个空间运动候选与时间运动候选所组成。如图1所示，第一合并候选是左方预测子A1112，第二合并候选是上方预测子B1114，第三合并候选是右上方预测子B0113，以及第四合并候选是左下方预测子A0111。左上方预测子B2115被纳入合并候选组中以取代不可用的空间预测子。第五合并候选是从TBR121与TCTR122中所选择的第一可用的时间预测子。基于例如通过率失真优化(Rate-DistortionOptimization，又称RDO)决策的运动向量补偿，编码器从候选组中选择最终候选来用于以跳过或合并模式所编解码的每一个PU，而且代表所选择最终候选的索引会被发信到解码器。依据视频比特流中所传输的索引，解码器从候选组中选择相同的最终候选。子块运动补偿被应用在许多最新发展的编解码工具，例如子块时间运动向量预测(SubblockTemporalMotionVectorPrediction，又称SubblockTMVP或SbTMVP)、空间-时间运动向量预测(STMVP)、基于形态的MV推导(PMVD)、与仿射运动补偿预测。CU或PU被分割为二或多个子块，而且这些子块可以有不同参考画面与不同MV。在通过视频编码器或视频解码器所进行的运动补偿流程中，对于每一块而言，一或多个参考块必须依据运动信息被取得。被编解码块的运动信息被储存于缓冲器中，因此运动信息可以被空间或时间相邻块所参考。当子块运动预测编解码工具被使用时，在当前块中与每一子块相关联的运动向量可以是不同的，而且并非所有运动向量都被储存作为后续参考。因此，当当前块被分割为二或多个子块时，有需要发展方法来推导代表性的运动向量以储存作为后续参考。
技术实现思路
在视频处理方法的示例性实施例中，视频编解码系统：接收当前画面中与当前块相关联的输入视频数据；分割当前块为第一子块与第二子块；推导用于第一子块的第一运动向量与用于第二子块的第二运动向量；使用第一与第二运动向量于当前块中对于第一与第二子块进行运动补偿，来推导用于当前块的最终预测子；对于当前块的每一格栅推导与储存代表性运动向量以用于后续参考；以及依据当前块的最终预测子来编码或解码当前块。当前块中的每一格栅是在非-权重区域或权重区域。在一例子中，每一格栅的尺寸大小等于4x4亮度样本。权重区域包括位于当前块中的第一子块与第二子块之间的格栅，而且非-权重区域包括当前块中的剩余格栅。例如，权重区域中每一格栅包括在第一子块之中的一或多个样本以及在第二子块之中的一或多个样本，而非-权重区域中每一格栅仅包括在第一与第二子块其中之一的样本。推导用于当前块中每一格栅的代表性MV以用来储存的流程包括：对于第一子块之内非-权重区域中的格栅设定第一MV为代表性MV，以及对于第二子块之内非-权重区域中的格栅设定第二MV为代表性MV。对于权重区域中的格栅，本视频编码或解码系统决定第一MV与第二MV是否来自于不同列表或是来自于相同列表。如果第一MV与第二MV是来自于不同列表时，结合第一MV与第二MV以设定MV来作为权重区域中的格栅的代表性MV。如果第一MV与第二MV是来自于相同列表时，设定第一MV与第二MV其中之一来作为权重区域中的格栅的代表性MV。而且依据一实施例，代表性MV可以是事先定义的MV；或是依据另一实施例，代表性MV可以适应性地加以选择。第一MV与第二MV可以是推导自一个相同的候选列表或是两个不同的候选列表。在一些实施例中，第一MV与第二MV是单向预测MV，而结合第一MV与第二MV的MV是结合不同列表中二个单向预测MV的双向预测MV。在一实施例中，第一子块与第二子块是在当前块中的三角预测单元，而且当前块是由对角线方向或逆对角线方向分割的CU。在一些实施例中，块是通过事先定义的分割类型来分割为第一与第二子块。在另一实施例中，当前块被分割为多于二个子块。在一实施例中，当第一与第二MV二者皆来自列表0或是二者皆来自列表本文档来自技高网...

【技术保护点】
1.一种在视频编解码系统中处理视频数据的方法，包括：/n接收当前画面中与当前块相关联的输入数据；/n分割该当前块为第一子块与第二子块；/n推导用于该第一子块的第一运动向量与用于该第二子块的第二运动向量；/n使用该第一与该第二运动向量于该当前块中对该第一与该第二子块进行运动补偿，来推导用于该当前块的最终预测子；/n对于该当前块的每一格栅推导与储存代表性运动向量以用于后续参考，其中每一格栅是在非-权重区域或权重区域，其中推导该代表性运动向量包括：/n对于该第一子块之内该非-权重区域中的格栅，设定该第一运动向量为该代表性运动向量，以及对于该第二子块之内该非-权重区域中的格栅，设定该第二运动向量为该代表性运动向量；/n决定该第一运动向量与该第二运动向量是否来自于不同列表；以及/n当该第一运动向量与该第二运动向量是来自于不同列表时，将结合该第一运动向量与该第二运动向量的运动向量设定为该权重区域中的格栅的该代表性运动向量；或当该第一运动向量与该第二运动向量是来自于相同列表时，设定该第一运动向量与该第二运动向量中之一作为该权重区域中的格栅的该代表性运动向量；以及/n依据该当前块的该最终预测子来编码或解码该当前块。/n...

【技术特征摘要】
【国外来华专利技术】20181130 US 62/773,2231.一种在视频编解码系统中处理视频数据的方法，包括：
接收当前画面中与当前块相关联的输入数据；
分割该当前块为第一子块与第二子块；
推导用于该第一子块的第一运动向量与用于该第二子块的第二运动向量；
使用该第一与该第二运动向量于该当前块中对该第一与该第二子块进行运动补偿，来推导用于该当前块的最终预测子；
对于该当前块的每一格栅推导与储存代表性运动向量以用于后续参考，其中每一格栅是在非-权重区域或权重区域，其中推导该代表性运动向量包括：
对于该第一子块之内该非-权重区域中的格栅，设定该第一运动向量为该代表性运动向量，以及对于该第二子块之内该非-权重区域中的格栅，设定该第二运动向量为该代表性运动向量；
决定该第一运动向量与该第二运动向量是否来自于不同列表；以及
当该第一运动向量与该第二运动向量是来自于不同列表时，将结合该第一运动向量与该第二运动向量的运动向量设定为该权重区域中的格栅的该代表性运动向量；或当该第一运动向量与该第二运动向量是来自于相同列表时，设定该第一运动向量与该第二运动向量中之一作为该权重区域中的格栅的该代表性运动向量；以及
依据该当前块的该最终预测子来编码或解码该当前块。


2.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一运动向量与该第二运动向量是单向预测运动向量，而且结合该第一运动向量与该第二运动向量的该运动向量是结合不同列表中该二个单向预测运动向量的双向预测运动向量。


3.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，每一格栅的尺寸大小等于4x4亮度样本。


4.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一子块与该第二子块是在该当前块中的三角预测单元，而且该当前块是由对角线方向或逆对角线方向分割的编解码单元。


5.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该权重区域包括位于该当前块中的该第一子块与该第二子块之间的格栅，而且该非-权重区域包括该当前块中的剩余格栅。


6.根据权利要求5所述的在视频编解码系统中处理视频数据的方法，其特征在于，该权重区域中每一格栅包括在该第一子块之中的一或多个样本以及在该第二子块之中的一或多个样本，而且该非-权重区域中每一格栅仅包括在该第一与该第二子块中之一的样本。


7.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一运动向量与该第二运动向量是推导自一个相同的候选列表或是二个不同的候选列表。


8.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，当该第一与该第二运动向量二者皆来自列表0或是二者皆来自列表1时，该第二运动向量直接被设定为该权重区域中的格栅的该代表性运动向量。


9.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，设定该第一运动向量与该第二运动向量中之一以作为该权重区域中的格栅的该代表性运动向量包括：选择具有较小参考索引的运动向量，或是选择具有较小画面顺序计数差异的参考画面的运动向量。


10.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，设定该第一运动向量与该第二运动向量中之一以作为权重区域中的格栅的该代表性运动向量包括依据下列之一或其中一组合来选择该运动向量：该当前块的分割方向，该第一与该第二运动向量的参考索引，该当前块的块高度，该当前块的块宽度，以及该当前块的面积区域。


11.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该当前块是以跳过或合并模式加以编码或解码。


12.根据权利要求11所述的在视频编解码系统中处理视频数据的方法，其特征在于，该当前块的尺寸大小大于或等于8x8亮度样本。


13.一种在视频编解码系统中处理视频数据的方法，包括：
接收当前画面中与当前块相关联的输入数据；

【专利技术属性】
技术研发人员：萧裕霖，陈庆晔，庄子德，徐志玮，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71