视频处理方法和装置制造方法及图纸

本发明专利技术提供一种视频处理方法和装置。该视频处理方法和装置用于视频编解码系统，该视频处理方法包括：接收相关输入数据；确定母区块是通过水平三叉树分割而被分割，还是通过垂直三叉树分割而被分割；确定当前区块是否是母区块中的中间子区块；如果母区块通过水平三叉树分割而被分割，则根据当前区块是否是母区块的中间子区块，通过禁止水平分割类型来确定用于分割当前区块的分割类型和分割方向，如果母区块通过垂直三叉树分割而被分割，则根据当前区块是否是母区块的中间子区块，通过禁止垂直分割类型来确定用于分割当前区块的分割类型和分割方向；以及根据分割类型和分割方向处理当前区块。本发明专利技术提供的视频处理方法和装置，可优化总体的效率。

【技术实现步骤摘要】
视频处理方法和装置
本专利技术是有关于一种视频编码系统中的受约束的区块分割(constrainedblockpartitioning)，特别是有关于通过有条件地禁止分割类型和分割方向来确定用于分割当前区块的分割类型和分割方向的各种编解码方案。
技术介绍
高效率视频编码(HighEfficiencyVideoCoding,以下简称为HEVC)是由ITU-T研究组的视频编码联合小组(JointCollaborativeTeamonVideoCoding,JCT-VC)的视频编码专家开发的最新国际视频编码标准。HEVC标准依赖于基于区块的编码结构，其将图像分割成多个非重叠的正方形编码树单元(CodingTreeUnits,CTU)。每个编码树单元由多个编码树块(CodingTreeBlocks,CTB)组成，每个编码树块用于一个颜色分量。切片(slice)中的编码树单元根据光栅扫描顺序进行处理；并且根据四叉树(quadtree)分割方法将每个编码树单元进一步递归地分为编码单元(CodingUnits,CU)，以适应各种局部特性。图1示出了基于HEVC标准的视频编码器100的示例性系统方框图。帧内预测110基于当前图像的重构区块提供帧内预测子，并且帧间预测112执行运动估计(motionestimation,ME)和运动补偿(motioncompensation,MC)，以基于来自其他图片或图像的视频数据提供帧间预测子。开关114选择来自帧内预测110的帧内预测子或来自帧间预测112的帧间预测子以用于当前图像中的每一个区块。所选择的预测子被提供给加法器116而自输入视频数据中减去该选择的预测子，以形成也称为残差的预测误差。然后通过变换(在图1中称为T)118和随后的量化(在图1中称为Q)120来处理预测误差。然后，由熵编码器134对经变换和经量化的残差进行编码，以形成对应于已压缩的视频数据的视频比特流。然后，与变换系数相关联的视频比特流与边信息(sideinformation)一起被组成封包(pack)。边信息也可以通过熵编码以减少所需带宽，并且如图1所示与边信息相关联的数据被提供给熵编码器134。当选择帧间预测模式时，参考图像在编码器端也被重建。因此，经转化和经量化的残差通过逆量化(InverseQuantization,IQ)122和逆变换(InverseTransformation，IT)124处理以恢复残差。然后将残差重新添加到重建(在图1中称为REC)126处所选择的预测子中，以产生已重建的区块。已重建的区块可以存储在参考图像缓冲器(ReferencePictureBuffer)132中，并用于预测其它图像。如图1所示，输入视频数据在视频编码系统中进行一系列视频处理。由REC126产生的已重建的区块可能由于一系列编码处理而受到各种损伤。因此，为了提高视频质量，在将已重建的区块存储在参考图像缓冲器132中之前，对已重建的区块应用各种环路(in-loop)处理。在HEVC标准中，将去区块滤波器(DeblockingFilter,DF)128和采样自适应偏移(SampleAdaptiveOffset,SAO)130应用于已重建的区块，然后存储在参考图像缓冲器132中以增强图像质量。环路滤波器信息(in-loopfilterinformation)可能包含在视频比特流中，使得解码器可以适当地恢复所需的信息。图2示出了示例性基于HEVC的视频解码器200的系统方框图。熵解码器210用于解析和恢复与残差、运动信息和其他控制数据相关的已编码的语法元素。开关216根据解码模式信息选择帧内预测212或帧间预测214，并且将所选择的预测子提供给重建(REC)218以与恢复的残差相组合。除了在已压缩的视频数据上执行熵解码之外，熵解码器210还负责对边信息进行熵解码，并将边信息提供给各个区块。例如，将帧内模式信息提供给帧内预测212，将帧间模式信息提供给帧间预测214，将采样自适应偏移信息提供给采样自适应偏移(在图2中称为SAO)226，并将残差提供给逆量化(在图2中称为IQ)220。残差由逆量化220，逆变换(在图2中称为IT)222和随后的重建过程处理以产生已重建的区块。已重建的区块由去区块滤波器224和采样自适应偏移226进一步处理以产生最终已解码的视频。如果当前已解码的图像是参考图像，则当前已解码的图像的最终已解码视频也存储在参考图像缓冲器228中以用于解码顺序中的后续图像。图3A示出了应用于HEVC标准中的将区块分割成四个较小子区块的四叉树(quadree,QT)分割方法的示例。称为二叉树(binarytree,BT)的块分割和三叉树(tripletree,TT)的块分割的替代分割方法分别将区块分割成两个较小的子区块和三个较小的子区块。图3B和图3C示出了根据二叉树区块分割的对称垂直分割(symmetricalverticalsplitting)和对称水平分割(symmetricalhorizontalsplitting)。对于尺寸为M×N的给定块，如果使用对称垂直分割，则两个较小的子区块的尺寸为(M/2)xN；否则如果使用对称水平分割，则尺寸为Mx(N/2)。三叉树分割方法旨在捕获位于区块中心的对象，而四叉树和二叉树分割方法总是沿区块中心分割。图3D示出了在垂直中心旁边(center-side)进行分割的三叉树分割，图3E示出了在水平中心旁边进行分割的三叉树分割。三叉树分割方法可以通过允许垂直或水平地四分之一分割，而沿块边界更快地定位小对象。二叉树和三叉树分割方法支持更多的分割形状，因此比四叉树分割方法更加灵活，但在所有可能的分割形状中选择最佳分割形状会增加编码复杂度和信令开销(signalingoverhead)。称为四叉树-二叉树(Quad-Tree-Binary-Tree,QTBT)结构的组合分割方法将四叉树分割方法与二叉树分割方法相结合，平衡了两种分割方法的编码效率和编码复杂度。在图4A中示出了示例性的四叉树-二叉树结构，其中给定区块(例如，编码树单元)首先被四叉树分割方法而分割，然后被二叉树分割方法而分割。图4A示出了根据四叉树-二叉树分割方法的块分割结构的示例，图4B示出了图4A所示的四叉树-二叉树块分割结构的编码树示意图。图4A和图4B中的实线表示四叉树分割，而虚线表示二叉树分割。在二叉树结构的每个非叶分割节点(non-leafsplittingnode)中，一个标志指示使用哪种分割类型，0表示对称水平分割，以及1表示对称垂直分割。可以使用四叉树-二叉树分割方法将编码树单元分割成多个编码单元，其中编码单元被称为二叉树叶节点(binarytreeleafnodes)，并且用于预测和变换而不进一步分割。多类型树(Multi-Type-Tree，MTT)区块分割通过在多类型树的第二层中允许二叉树和三叉树分割方法来扩展四叉树-二叉树中的两层树结构的概念。多类型树中的两层分别称为区域树(regiontree,RT)和预测树(predictiontree,PT)。第一层区域树总是四叉树(quadtree,QT)分割，第二层预测树可以是二叉树(binarytree,BT)分割或三叉树(triple本文档来自技高网...

【技术保护点】
一种视频处理方法，其特征在于，该视频处理方法用于视频编解码系统，该视频处理方法包括：接收与当前图像中的当前区块相关联的输入数据，其中该当前区块自一母区块而被分割得到；确定该母区块是通过水平三叉树分割而被分割，还是通过垂直三叉树分割而被分割；确定该当前区块是否是该母区块中的中间子区块；如果该母区块通过水平三叉树分割而被分割，则根据该当前区块是否是该母区块的该中间子区块，通过禁止水平分割类型来确定用于分割该当前区块的分割类型和分割方向，如果该母区块通过垂直三叉树分割而被分割，则根据该当前区块是否是该母区块的该中间子区块，通过禁止垂直分割类型来确定用于分割该当前区块的分割类型和分割方向；以及根据该分割类型和该分割方向处理该当前区块。

【技术特征摘要】
2016.10.12 US 62/407,074;2017.06.19 US 62/521,568;1.一种视频处理方法，其特征在于，该视频处理方法用于视频编解码系统，该视频处理方法包括：接收与当前图像中的当前区块相关联的输入数据，其中该当前区块自一母区块而被分割得到；确定该母区块是通过水平三叉树分割而被分割，还是通过垂直三叉树分割而被分割；确定该当前区块是否是该母区块中的中间子区块；如果该母区块通过水平三叉树分割而被分割，则根据该当前区块是否是该母区块的该中间子区块，通过禁止水平分割类型来确定用于分割该当前区块的分割类型和分割方向，如果该母区块通过垂直三叉树分割而被分割，则根据该当前区块是否是该母区块的该中间子区块，通过禁止垂直分割类型来确定用于分割该当前区块的分割类型和分割方向；以及根据该分割类型和该分割方向处理该当前区块。2.根据权利要求1所述的视频处理方法，其特征在于，当该当前区块是该母区块的该中间子区块时，该禁止的水平分割类型是水平二叉树分割，以及该禁止的垂直分割类型是垂直二叉树分割。3.根据权利要求1所述的视频处理方法，其特征在于，当该当前区块不是该母区块的该中间子区块时，该禁止的水平分割类型是水平三叉树分割，以及该禁止的垂直分割类型是垂直三叉树分割。4.根据权利要求1所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，该当前区块为该母区块的该中间子区块，以及该分割方向为水平分割，则用于分割该当前区块的该分割类型不被发送并被推断为三叉树分割；或者如果该母区块通过垂直三叉树分割而被分割，该当前区块为该母区块的该中间子区块，以及该分割方向为垂直分割，则用于分割该当前区块的该分割类型不被发送并被推断为三叉树分割。5.根据权利要求1所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，该当前区块为该母区块的该中间子区块，以及该分割类型为二叉树分割，则用于分割该当前区块的该分割方向不被发送并被推断为垂直分割；或者如果该母区块通过垂直三叉树分割而被分割，该当前区块为该母区块的该中间子区块，以及该分割类型为二叉树分割，则用于分割该当前区块的该分割方向不被发送并被推断为水平分割。6.根据权利要求1所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，该当前区块不是该母区块的该中间子区块，以及该分割方向为水平分割，则用于分割该当前区块的该分割类型不被发送并被推断为二叉树分割；或者如果该母区块通过垂直三叉树分割而被分割，该当前区块不是该母区块的该中间子区块，以及该分割方向为垂直分割，则用于分割该当前区块的该分割类型不被发送并被推断为二叉树分割。7.根据权利要求1所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，该当前区块不是该母区块的该中间子区块，以及该分割类型是三叉树分割，则用于分割该当前区块的该分割方向不被发送并被推断为垂直分割；如果该母区块通过垂直三叉树分割而被分割，该当前区块不是该母区块的该中间子区块，以及该分割类型是三叉树分割，则用于分割该当前区块的该分割方向不被发送并被推断为水平分割。8.一种视频处理方法，其特征在于，该视频处理方法用于视频编解码系统，该视频处理方法包括：接收与当前图像中的当前区块相关联的输入数据，其中通过二叉树分割，该当前区块自母区块而被分割为第二子区块，或者通过三叉树分割，该当前区块自该母区块而被分割为第三子区块；确定用于分割该母区块的母分割类型和母分割方向，其中，该母分割类型是从二叉树分割和三叉树分割中选择，并且该母分割方向是从水平分割和垂直分割中选择；确定通过二叉树分割自该母区块而被分割得到的第一子区块，或通过三叉树分割自该母区块而被分割得到的第一子区块和第二子区块，是否通过不同于该母分割类型的第一分割类型和不同于该母分割方向的第一分割方向而被进一步分割；通过禁止使用该第一分割类型和该第一分割方向分割该当前区块，而确定用于分割该当前区块的当前分割类型和当前分割方向；以及根据该当前分割类型和该当前分割方向，处理该当前区块。9.根据权利要求8所述的视频处理方法，其特征在于，如果该母区块通过水平二叉树分割而被分割，则从该母区块分割的该第一子块和该第二子块分别是顶部子区块和底部子区块，以及如果该母区块通过垂直二叉树分割而被分割，则从该母区块分割的该第一子块和该第二子区块分别是左侧子区块和右侧子区块。10.根据权利要求8所述的视频处理方法，其特征在于，如果该母区块通过水平二叉树分割而被分割，则用于分割该第一子区块的该第一分割类型和该第一分割方向是三叉树分割和垂直分割；以及如果该母区块通过垂直二叉树分割而被分割，则用于分割该第一子区块的该第一分割类型和该第一分割方向是三叉树分割和水平分割。11.根据权利要求8所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，则自该母区块而被分割的第一子区块、第二子区块、和第三子区块分别为顶部子区块、中间子区块、和底部子区块，以及如果该母区块通过垂直三叉树分割而被分割，则自该母区块而被分割的第一子区块、第二子区块、和第三子区块分别为左侧子区块、中间子区块、和右侧子区块。12.根据权利要求8所述的视频处理方法，其特征在于，如果该母区块通过水平三叉树分割而被分割，则用于分割该第一子区块和该第二子区块的该第一分割类型和该第一分割方向为二叉树分割和垂直分割，以及如果该母区块通过垂直三叉树分割而被分割，则用于分...

【专利技术属性】
技术研发人员：黄晗，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71