在区块分割中条件式编码或解码视频区块的方法和装置制造方法及图纸

视频处理方法包括：接收当前块的输入数据；通过考虑一或多个事先定义的条件来检查当前块是否为根块；如果当前块被设定为根块时，应用模式约束、色度分割约束、或是模式与色度分割约束二者于当前块；以及编码或解码该当前块。模式约束限制当前块之中分割出来的所有块需以相同预测模式来进行处理，并且色度分割约束禁止当前块的色度分量被进一步分割，而允许当前块的亮度分量被分割为较小块。

【技术实现步骤摘要】
【国外来华专利技术】在区块分割中条件式编码或解码视频区块的方法和装置交叉申请本申请要求在2018年12月18日提出的申请号为62/781,130，标题为“CUpartitioningmethodforsmallsizeCU”，在2019年1月21日提出的申请号为62/794,802，标题为“CUpartitioningmethodforsmallsizeCU”，以及在2019年2月20日提出的申请号为62/807,803，标题为“CUpartitioningmethodforsmallsizeCUwithmodeconstraints”的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术关于通过将视频数据分割为数个块来进行视频编码与解码。尤其，本专利技术关于在块分割过程中使用一或多个约束来进行视频块的编码与解码。
技术介绍
高效率视频编码(HighEfficiencyVideoCoding，HEVC)的标准，是由来自国际电信联盟电信标准化部门研究组(ITU-TStudyGroup)的视频编码专家的视频编码联合协作小组(JointCollaborativeTeamonVideoCoding，JCT-VC)所开发的最新视频编解码标准。HEVC标准依赖基于块的编解码结构，其将每一切片(slice)分割为多个编解码树单元(CodingTreeUnit，CTU)。编码过的画面是由一个或整体的切片来加以代表，每一切片包括整数个CTU。在切片中个别的CTU则依据光栅扫描(rasterscanning)顺序进行处理。在HEVC主配置文件(mainprofile)中，CTU的最小和最大尺寸由序列参数集(SequenceParameterSet，SPS)中的语法元素，在8x8、16x16、32x32、或64x64的尺寸中来指定。在双向预测(Bi-predictive，B)切片中的每一块的样本数值是使用帧内预测或帧间预测用最多二个运动向量与参考索引来加以解码。在预测(Predictive，P)切片中的每一块的样本数值是使用帧内预测或帧间预测仅用一个运动向量与一个参考索引来加以解码。帧内(Intra，I)切片是仅使用帧内预测来加以解码。依据四叉树(quadtree，QT)分割流程，每一CTU进一步被递归式地分割成一或多个编解码单元(CodingUnit，CU)以适应各种局部运动与纹理特性。用来将CTU分割为数个CU的四叉树块分割结构的例子绘示于图1中，其中实线表示CTU100中CU的边界。每一CTU可以是单个CU或被分割成相同尺寸的四个较小单元，即为编解码树的节点。如果节点不被进一步分割，其为编解码树的叶节点，而且每一叶节点是CU。四叉树分割流程可以被迭代，直到节点的尺寸达到序列参数集(SPS)中指定的最小允许CU尺寸。预测的决定是在CU层作出的，其中每一CU是由帧间(时间)预测或是帧内(空间)预测来加以编解码。由于最小CU尺寸可以是8x8，所以用于在不同基本预测类型来切换的最小间隔尺寸是8x8。一旦CU层级化树的分割完成时，可以依据用于预测的一PU分割类型来将每一CU作进一步分割成一或多个预测单元(PredictionUnit，PU)。图2显示定义于HEVC标准中的八个PU分割类型。依据显示于图2的八个PU分割类型中的一个，每一CU可进一步分割成一、二、或四个PU。PU与相关的CU语法一起作为共享预测信息的基本代表块，而相同的预测过程会被应用于PU中的所有像素并且预测相关信息是在以PU的基础上来传达给解码器。指定的预测过程会被运用来预测PU之中相关像素样本的数值。在获得通过预测过程所产生的残差信号之后，会根据残差四叉树(ResidualQuadTree，RQT)块分割结构来将属于CU的残差信号的残差数据分割为一或多个转换单元(TransformUnit，TU)，以将残差数据转换成转换系数作为简洁的数据表示。图1中的虚线表示TU边界。TU是基本代表块用来分别地应用转换与量化于残差信号与转换系数上。对于每一TU，具有与TU相同尺寸大小的转换矩阵会被应用于残差信号上以产生转换系数，而且这些转换系数是基于TU为基础来加以量化并且传输至解码器。转换单元是由大小8x8、16x16、或32x32的亮度样本的转换块(TransformBlock，TB)以及画面中依据4:2:0颜色样本格式所编解码的二个相对应的色度样本的转换块所组成。整数转换会被应用于转换块而且量化后系数的水平数值(levelvalue)与其他边信息会于视频比特流中进行熵编解码。这些术语编解码树块(CodingTreeBlock，CTB)，编解码块(CodingBlock，CB)，预测块(PredictionBlock，PB)和转换块(TransformBlock，TB)被定义出以分别指定与CTU，CU，PU，和TU相关的一个颜色分量的二维样本数组。例如，CTU由一个亮度(luma)CTB，两个色度(chroma)CTB和其相关的语法元素所组成。在HEVC系统中，通常会将相同的四叉树块分割结构应用于亮度和色度二个分量，除非已达到色度块的最小尺寸。二叉树分割结构是可以递归式分割一个块成为二个较小块的四叉树分割结构的替代性结构。最有效而简单的二叉树分割类型是对称水平分割与对称垂直分割类型。对于尺寸大小为MxN的给定块，旗标会被发信来指出这一块是否被分割成为两个较小块；如果是，另一语法元素会被发信来指出是使用哪一种分割类型。当该给定块是通过对称水平分割类型加以分割的情况，该给定块会被分割成为尺寸大小为MxN/2的两块；否则，该给定块会被分割成为尺寸大小为M/2xN的两块。二叉树分割过程可以反复进行直到一个块的尺寸大小、宽度、或高度到达高阶语法元素所定义的最小可允许的块尺寸大小、宽度、或高度为止。最小可允许的块宽度与高度二者都被指定，因为在二叉树分割过程中有水平与垂直分割类型。当分割的结果会造成一个块高度小于所指定的最小高度时，水平分割类型会隐含地被禁止。相似地，当分割的结果会造成一个块宽度小于所指定的最小宽度时，垂直分割类型会隐含地被禁止。二叉树分割结构可以被用来将块分割成为数个较小块，例如，它可以被用来将切片(slice)分割成数个CTU、将CTU分割成数个CU、将CU分割成数个PU、或将CU分割成数个TU。二叉树结构比四叉树结构更具弹性，是因为可以支持更多的分割形状，这也是编解码效率提高的来源。但是，由于编码器需要从众多分割形状中决定选择最佳的分割形状，编解码复杂度也会增加。一种称为四叉树加二叉树(QuadtreeplusBinaryTree，QTBT)结构的新分割结构可以平衡四叉树分割结构与二叉树分割结构的编解码效率和编解码复杂度。图3A显示示例性的QTBT结构，其中CTU首先通过四叉树结构然后是二叉树分割结构来进行分割。CU可以通过四叉树分割而递归式地进行分割，直到当前CU尺寸大小达到最小可被允许四叉树叶节点尺寸。如果叶四叉树块的尺寸不大于最大可被允许二叉树根节点的尺寸，则每一叶四叉树块可以通过二叉树分割再加以分割。二叉树分割可以被递归式地应用直到当前CU尺寸大本文档来自技高网...

【技术保护点】
1.一种在视频编解码系统中处理视频数据的方法，包括：/n接收当前切片中与当前块相关联的输入数据；/n决定在分割过程中该当前块的一或多个分量是否符合一或多个事先定义的条件；/n如果该当前块的该一或多个分量符合该一或多个事先定义的条件时，设定该当前块为根块；/n只有当该当前块被设定为根块时，才应用模式约束于该当前块，其中当该当前块被分割为多个块时，该模式约束限制该当前块之中的所有块需以相同预测模式来进行处理；/n适应性地分割该当前块为一或多个块；以及/n当该当前块被设定为根块时，以该模式约束编码或解码该当前块，或是当该当前块不是被设定为根块时，不以该模式约束编码或解码该当前块。/n

【技术特征摘要】
【国外来华专利技术】20181218 US 62/781,130;20190121 US 62/794,802;20191.一种在视频编解码系统中处理视频数据的方法，包括：
接收当前切片中与当前块相关联的输入数据；
决定在分割过程中该当前块的一或多个分量是否符合一或多个事先定义的条件；
如果该当前块的该一或多个分量符合该一或多个事先定义的条件时，设定该当前块为根块；
只有当该当前块被设定为根块时，才应用模式约束于该当前块，其中当该当前块被分割为多个块时，该模式约束限制该当前块之中的所有块需以相同预测模式来进行处理；
适应性地分割该当前块为一或多个块；以及
当该当前块被设定为根块时，以该模式约束编码或解码该当前块，或是当该当前块不是被设定为根块时，不以该模式约束编码或解码该当前块。


2.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该相同预测模式对应于帧间预测模式或非-帧间预测模式，而且该非-帧间预测模式包括帧内预测模式或是该非-帧间预测模式包括帧内预测与帧内块复制模式。


3.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该相同预测模式对应于帧内预测模式或非-帧内预测模式，而且该非-帧内预测模式包括帧间预测模式或是该非-帧间预测模式包括帧间预测与帧内块复制模式。


4.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，如果该当前块被设定为根块时，该一或多个事先定义的条件不会在该当前块所分割的一或多个块中被检查。


5.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该模式约束被应用于该当前块的所有亮度与色度分量，该模式约束仅被应用于该当前块的亮度分量，或是该模式约束仅被应用于该当前块的色度分量。


6.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该事先定义的条件是关于下列之一或其中组合：该当前块的尺寸大小、该当前块的宽度、该当前块的高度、该当前块的深度、该当前块的数个相邻块的平均深度、用来分割该当前块的分割类型、从该当前块所分割的子块的尺寸大小、从该当前块所分割的子块的宽度、从该当前块所分割的子块的高度、从该当前块所分割的子块的深度、以及从该当前块所分割的子块的数个相邻块的平均深度，其中该尺寸大小、面积区域、宽度、与高度相对应于亮度样本尺寸大小、亮度样本面积区域、亮度样本宽度、与亮度样本高度，或是色度样本尺寸大小、色度样本面积区域、色度样本宽度、与色度样本高度。


7.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，如果共享树分割被使用于该当前切片时，该模式约束仅被应用于该当前切片的根块。


8.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，在下列情况下该当前块符合该一或多个事先定义的条件：当该当前块的尺寸大小或宽度大于事先定义的阀值并且该当前块的至少一分割的尺寸大小或宽度小于该事先定义的阀值；该模式约束限制该当前块之中的所有块需以该相同预测模式来进行处理；或是该模式约束限制在该分割之中具有尺寸大小或宽度小于该事先定义阀值的所有块需以该相同预测模式进行处理；其中该尺寸大小与宽度相对应于亮度样本尺寸大小与亮度样本宽度，或是色度样本尺寸大小与色度样本宽度。


9.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，如果该当前块被设定为根块时，该当前块的亮度分量被允许进一步分割为较小的块，而该当前块的色度分量不被允许进一步分割。


10.根据权利要求9所述的在视频编解码系统中处理视频数据的方法，其特征在于，当该当前块的该亮度分量被进一步分割而且该当前块被设定为根块时，该当前块中的复数个亮度块相对应于相对应根块中的一个色度块；而且该相对应根块中的该色度块是依据该当前块的参考亮度块来加以编码或解码。


11.根据权利要求10所述的在视频编解码系统中处理视频数据的方法，其特征在于，该参考亮度块是该当前块中涵盖下列之一的亮度块：中央位置、该当前块中的第一亮度块、该当前块中的最后亮度块、该当前块中具有最大面积区域的亮度块、涵盖该当前块中四个角落之一的亮度块、该当前块中的第一帧内编解码亮度块、该当前块中的第一帧间编解码亮度块、该当前块中的第一帧内块复制编解码亮度块、或是该根块中的最后帧内块复制编解码亮度块。


12.根据权利要求10所述的在视频编解码系统中处理视频数据的方法，其特征在于，在该相对应根块的该色度块的预测模式是推导自该参考亮度块的预测模式；或是在该相对应根块的该色度块的帧间预测模式信息是推导自该参考亮度块的帧间预测模式信息。


13.根据权利要求9所述的在视频编解码系统中处理视频数据的方法，其特征在于，如果该当前块的亮度分量是以非-帧间预测来进行编解码时，该当前块的色度分量不被允许进一步分割；而且如果该当前块的亮度分量是以帧间预测来进行编解码时，该当前块的色度分量被允许进一步分割。


14.一种在视频编解码系统中处理视频数据的的方法，包括：
接收当前切片中与当前块相关联的输入数据；
决定在分割过程中该当前块的一或多个分量是否符合一或多个事先定义的条件；
如果该当前块的该一或多个分量符合该一或多个事先定义的条件时，设定该当前块为根块；
只有当该当前块被设定为根块时，才应用模式约束于该当前块，其中当该当前块被分割为多个块时，该模式约束限制该当前块之中的所有块需以相同预测模式来进行处理；
适应性地分割该当前块为一或多个块；
当该当前块被设定为根块时，依据该当前块的约束后模式，对于该当前块中第一块的一或多个预测模式语法元...

【专利技术属性】
技术研发人员：林芷仪，庄子德，陈庆晔，蔡佳铭，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71