用于四叉树加二叉树拆分块的候选集决定的方法与装置制造方法及图纸

用于由四叉树拆分从父块分割而来的当前块的候选集决定的视频处理方法以及装置，包括：接收当前块的输入数据，通过禁止从相同父块分割而来的任一个相邻块中获得的空间候选，决定用于所述当前块的候选集，或者如果所有相邻块在帧间预测中进行编码以及相邻块的信息是相同的，执行修剪进程决定用于所述当前块的候选集，以及基于所述候选集从所述候选集中选择一个最终候选来对所述当前块进行编码或解码。所述修剪进程包括：扫描所述候选集以决定任一候选是否等于从所述相邻块获得的所述空间候选，以及从所述候选集中移除等于所述空间候选的所述候选。

【技术实现步骤摘要】
用于四叉树加二叉树拆分块的候选集决定的方法与装置相关引用本专利技术要求递交于2017年2月21日，号码为62/461,303，标题为“一种新的用于合并候选处理的视频编解码方法”的美国临时专利申请案的优先权，该美国临时专利申请案整体通过引用纳入其中。
本专利技术涉及对多个四叉树拆分块(quad-treesplittingblock)进行编码或解码的视频数据处理方法以及装置，具体地，本专利技术涉及对当前块进行编码或解码的候选集决定(candidatesetdetermination)，所述当前块通过四叉树拆分从父块(parentblock)分割而来。
技术介绍
高效视频编码标准(TheHigh-EfficiencyVideoCoding，简称HEVC)是由来自于ITU-T研究小组的视频编解码专家组成的视频编码联合小组(JointCollaborativeTeamonVideoCoding，简称JCT-VC)发展而来的最新的视频编解码标准。该HEVC标准依赖基于块(block-based)编码结构，其中将每一视频切片(slice)分成多个正方形编码树单元(CodingTreeUnit，简称CTU)，也叫最大编码单元(LargestCodingUnit，简称LCU)。在HEVC主规格(profile)中，CTU的最小以及最大尺寸由在序列参数集(SequenceParameterSet，简称SPS)中发信的多个语法元素所定义。光栅扫描次序用于处理切片中的多个CTU，每一CTU可使用四叉树分割方法进一步递归地分成一个或多个编码单元(codingunit，简称CU)。在四叉树分割方法的每一深度中，N×N块是单个叶CU或者被拆分成四个尺寸为N/2×N/2的块，其为编码树节点，如果编码树节点不进一步被拆分，它就是叶CU。叶CU的尺寸被限制为大于或等于最小允许CU尺寸，最小允许CU尺寸也在SPS中被定义。四叉树块分割结构的一个示例如图1所示，其中实线指示CTU100中的CU边界。预测决定在CU层级上做出，其中使用帧间图像预测或帧内图像预测对每一CU进行编码，一旦完成CU分层树的拆分，根据用于预测的PU分割类型，每一个CU进一步被拆分成一个或多个预测单元(predictionunit,简称PU)。图2示出了在HEVC标准中定义的8个PU分割类型，根据图2所示的8个PU分割类型中中的一个，每个CU被拆分成一个，两个或四个PU。因为对PU中的所有像素应用相同的预测进程，PU作为共享预测信息的基础代表块，在PU的基础上，预测信息被传达到解码器。在获得由预测进程生成的残差数据后，根据另一个四叉树块分割结构，属于CU的残差数据被拆分成一个或多个转换单元(transformunit，简称TU)以将所述残差数据转换成用于紧凑数据表示(compactdatarepresentation)的转换系数，图1所述的虚线指示CTU100中的TU边界，TU是用于将转换和量化应用于残差数据的基础代表块。对于每个TU，将具有与TU相同尺寸的转换矩阵应用于残差数据以生成转换系数，并且在TU的基础上，这些转换系数被量化和转达至解码器。术语编码树块(CodingTreeBlock，简称CTB)，编码块(CodingBlock，简称CB)，预测块(PredictionBlock，简称PB)以及转换块(TransformBlock，简称TB)被定义成分别指定与CTU，CU，PU以及TU有关的的一个颜色分量的二维样本阵列。例如，一个CTU由一个亮度CTB，两个色度CTB以及它相关的语法元素组成，在HEVC系统中，相同的四叉树块分割结构通常都应用于色度和亮度分量，除非达到了色度块的最小尺寸。可选的分割方法叫二叉树块分割方法，其中一个块可以递归地拆分成两个较小块。图3示出了用于二叉树分割方法的6个示例性拆分类型，包括对称拆分类型31和32以及非对称拆分类型33,34,35以及36。一个最简单的分割方法仅允许对称水平拆分类型32以及对称垂直拆分类型31，对于具有N×N尺寸的给定块，第一旗标(flag)被发信以指示这一块是否被分割成两个较小块，如果所述第一旗标指示拆分，紧接着发信第二旗标，其指示拆分类型。如果拆分类型是对称水平拆分，这一N×N块被拆分成两个尺寸为N×N/2块；如果拆分类型是对称垂直拆分，这一N×N块被拆分成两个尺寸为N/2×N块，这一拆分进程可以重复直到拆分块的尺寸、宽度或高度达到由视频比特流中高层级语法所定义的最小允许尺寸，宽度或高度。如果块高度小于最小高度，水平分割将不被允许，类似地，如果块宽度小于最小宽度，垂直分割将不被允许。图4A和4B示出了根据二叉树分割方法的块分割的示例以及它对应的编码树结构。在图4B中，在二叉树编码树每一拆分节点(也就是非叶节点)的一个旗标用于指示拆分类型，旗标值等于0指示水平对称拆分类型而旗标值等于1指示垂直对称拆分类型。在编码或解码期间，有可能在块分割的任意层级上应用二叉树分割方法，例如，二叉树分割方法可以用于将一个切片分割成多个CTU，将一个CTU分割成多个CU，将一个CU分割成多个PU或者将一个CU分割成多个TU。因为二叉树块分割结构的多个叶节点是用于预测和转换编解码两者的基础代表块，通过省略从CU到PU以及CU到TU的拆分，也可能简化分割进程。虽然二叉树分割方法支持更多的分割结构以及因此比四叉树分割方法更灵活，但是在多个可能的形状中选择最佳分割形状增加了编解码的复杂性。一种合成的分割方法叫做四叉树加二叉树(Quad-Tree-Binary-Tree，简称QTBT)结构，将四叉树分割方法和二叉树分割方法结合在一起，其平衡了两种分割方法之间的编解码效率以及编解码复杂性。示例性的QTBT结构如图5A所示，其中大的块首先由四叉树分割方法进行分割然后由二叉树分割方法进一步分割，图5A示出了根据QTBT分割方法的块分割结构的示例以及图5B示出了图5A中示出的QTBT块分割结构的编码树形图。图5A以及图5B中的实线指示四叉树分割而虚线指示二叉树分割。与图4B类似，在二叉树结构的每一拆分节点(也就是非叶节点)，一个旗标指示使用了哪一拆分类型，0指示使用了水平对称分割类型以及1指示使用了垂直对称分割类型。图5A中的QTBT结构将大块拆分成多个较小块，并且这些较小块可以被由预测以及转换编解码处理而不需要进一步的拆分。在一个示例中，图5A中的大块是具有尺寸为128×128的编码树单元，最小允许的四叉树叶节点尺寸是16×16，最大允许的二叉树根节点(rootnode)尺寸是64×64，最小允许的二叉树叶节点的宽度或高度是4，以及最小允许的二叉树深度是4。在这一示例中，叶四叉树块的尺寸在16×16到128×128的范围内，并且如果叶四叉树块的尺寸是128×128，因为尺寸超过了最大允许二叉树根节点尺寸64×64，它不可以由二叉树结构进一步拆分，叶四叉树块用作二叉树深度等于0的根二叉树块。当二叉树深度达到4的时候，表示不能进行拆分，当二叉树节点的宽度等于4的时候，不能进行垂直拆分，并且当二叉树节点的高度等于4的时候，不能进行水平拆分。对于在I-切片中编码的多个CTU，用于色度编码树块(CTB)的QTBT块分割结构可以不同于用于对应的亮度C本文档来自技高网...

【技术保护点】
1.一种视频编解码系统中视频处理的方法，其中图像中的视频数据被分割成多个块进行编码或解码，其特征在于，包括：接收与当前图像中当前块有关的输入数据，其中所述当前块以及三个相邻块由四叉树拆分从父块拆分得到，并且所述当前块是所述父块中最后处理的块；决定用于所述当前块的候选集包括执行候选禁止方法，其中所述候选禁止方法检查所述三个相邻块是否都在帧间预测模式中进行编码以及所述三个相邻块的运动信息是否相同，如果所述三个相邻块都在帧间预测模式中进行编码并且所述三个相邻块的运动信息是相同的，禁止从所述三个相邻块中的任意一个获得的空间候选或者从所述候选集中移除所述空间候选；以及根据从所述候选集中选择的最终候选的运动信息获得用于所述当前块的预测子，并且基于所述获得的预测子对所述当前块进行编码或解码。

【技术特征摘要】
2017.02.21 US 62/461,303;2018.01.12 US 15/869,7591.一种视频编解码系统中视频处理的方法，其中图像中的视频数据被分割成多个块进行编码或解码，其特征在于，包括：接收与当前图像中当前块有关的输入数据，其中所述当前块以及三个相邻块由四叉树拆分从父块拆分得到，并且所述当前块是所述父块中最后处理的块；决定用于所述当前块的候选集包括执行候选禁止方法，其中所述候选禁止方法检查所述三个相邻块是否都在帧间预测模式中进行编码以及所述三个相邻块的运动信息是否相同，如果所述三个相邻块都在帧间预测模式中进行编码并且所述三个相邻块的运动信息是相同的，禁止从所述三个相邻块中的任意一个获得的空间候选或者从所述候选集中移除所述空间候选；以及根据从所述候选集中选择的最终候选的运动信息获得用于所述当前块的预测子，并且基于所述获得的预测子对所述当前块进行编码或解码。2.如权利要求1所述的视频编解码系统中视频处理的方法，其特征在于，其中在视频比特流中发信旗标以指示所述候选禁止方法是启用的还是禁止的。3.如权利要求2所述的视频编解码系统中视频处理的方法，其特征在于，其中在所述视频比特流中的序列层级、图像层级、切片层级或者预测单元层级发信所述旗标。4.如权利要求1所述的视频编解码系统中视频处理的方法，其特征在于，其中决定所述候选集进一步包括：如果所述三个相邻块都在帧间预测模式中进行编码以及所述三个相邻块的运动信息是相同的，执行修剪进程，所述修剪进程包括扫描所述候选集以决定所述候选集中的任一候选是否等于所述三个相邻块的所述运动信息，以及从所述候选集中移除等于所述三个相邻块的所述运动信息的候选。5.如权利要求4所述的视频编解码系统中视频处理的方法，其特征在于，其中存储所述三个相邻块的所述运动信息并且与所述候选集中的每一候选的运动信息进行比较。6.如权利要求4所述的视频编解码系统中视频处理的方法，其特征在于，其中在视频比特流中发信旗标以指示所述修剪进程是启用的还是禁止的。7.如权利要求6所述的视频编解码系统中视频处理的方法，其特征在于，其中在所述视频比特流中的序列层级、图像层级、切片层级或者预测单元层级发信所述旗标。8.如权利要求1所述的视频编解码系统中视频处理的方法，其特征在于，所述运动信息包括运动向量、参考列表、参考索引以及合并模式敏感信号中的一个或其组合。9.如权利要求1所述的视频编解码系统中视频处理的方法，其特征在于，其中所述三个相邻块中的至少一个被进一步拆分成多个子块用于运动估算或运动补偿，以及所述候选禁止方法进一步包括检查所述三个相邻块中的至少一个的运动信息是否相同，以及如果所述至少一个相邻块的所述运动信息都是相同的并且所述多个子块在帧间预测模式中进行编码，禁止从所述至少一个相邻块中的任一子块获得的所述空间候选或者从所述候选集中移除所述空间候选。10.如权利要求9所述的视频编解码系统中视频处理的方法，其特征在于，其中检查所述三个相邻块中的至少一个的运动信息是否相同包括：检查所述三个相邻块中的至少一个的每一最小块，其中所述每一最小块的尺寸为M×M并且所述多个子块的每一个大于或等于M×M。11.如权利要求9所述的视频编解码系统中视频处理的方法，其特征在于，其中在视频比特流中发信旗标以指示所述候选禁止方法是启用的还是禁止的。12.如权利要求1所述的视频编解码系统中视频处理的方法，其特征在于，其中所述三个相邻块的至少一个进一步被拆分成多个子块用于运动估算或运动补偿，以及决定用于所述当前块的所述候选集包括检查所述三个相邻块中的至少一个的运动信息是否相同，以及如果所述三个相邻块中的至少一个的所述运动信息都是相同的，执行修剪进程，所述修剪进程包括扫描用于所述当前块的所述候选集以决定所述候选集中的任一候选是否等于所述三个相邻块中的至...

【专利技术属性】
技术研发人员：陈俊嘉，徐志玮，庄子德，陈庆晔，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71