灵活的树结构制造技术

一种对块进行划分，以允许编码或解码视频序列的方法和装置，包括：使用方形划分模式、水平二叉树划分模式，或者水平三叉树划分模式对块进行划分，以生成一组子块；其中，向所述方形划分模式、所述水平二叉树划分模式，以及所述水平三叉树划分模式分配相同的优先级，使得可以在所述水平二叉树划分模式和所述水平三叉树划分模式之前、之后，或与之交错地使用所述方形划分模式。基于所述方形划分模式、所述水平二叉树划分模式，或者水平三叉树划分模式，对所述块进行划分，以编码或解码所述视频序列。

【技术实现步骤摘要】
【国外来华专利技术】灵活的树结构相关申请的交叉引用本申请根据美国专利法第35条119款，要求在美国专利商标局于2018年3月7日提交的第62/639,989号美国申请的优先权，该美国申请的全部内容通过引用并入本申请。
本公开涉及超出高效视频编码(HighEfficiencyVideoCoding，HEVC)中的混合视频编码的高级块划分。更具体地，提出灵活的树结构以进行高效的块划分。
技术介绍
ITU-TVCEG(Q6/16)和ISO/IECMPEG(JTC1/SC29/WG11)在2013(版本1)2014(版本2)2015(版本3)和2016(版本4)中颁布H.265/HEVC(高效视频编码)标准。自此，他们已经在研究未来视频编码技术标准化的潜在需求，其中所述视频编码技术的压缩能力显著超出HEVC标准(包括其扩展)的压缩能力。这些小组正在通过联合视频勘探小组(JVET)联合合作努力的开展这项勘探活动，以评估其专家在该领域提出的压缩技术设计。已经由JVET开发了联合开发模型(JEM)，以开发超出HEVC能力的视频编码技术，并且JEM的当前最新版本是JEM-7.0。在HEVC中，通过使用表示为编码树的四叉树结构，将编码树单元(CodingTreeUnit,CTU)分割为编码单元(CodingUnits,CU)以适配各种局部特性。在CU级别完成使用帧间图片(时间)还是帧内图片(空间)预测对图片区域进行编码的判定。根据预测单元(PredictionUnits，PU)分割类型，可以将每个CU进一步分割成一个、两个或四个预测单元(PU)。在一个PU内部，应用相同的预测处理，并且基于PU向解码器传送相关的信息。基于PU分割类型，通过应用预测处理获取残差块之后，根据类似于CU的编码树的另一个四叉树结构，将编码单元CU划分为变换单元(TransformUnits,TU)。HEVC结构的关键特征之一是其具有包括CU、PU和TU的多个分区构思。在HEVC中，对于帧间预测块，CU或TU只能是方形，而PU可以是方形或矩形。在HEVC的后期阶段中，一些稿件提议允许在帧内预测和变换中使用矩形PU。这些建议未被HEVC采纳，但扩展到JEM中使用。在图片边界，HEVC使用隐含四叉树分割，使得块将保持四叉树分割，直到尺寸符合图片边界。通过先前工作的启迪，开发了四叉树二叉树(Quad-Tree-Binary-Tree,QTBT)结构，四叉树二叉树(QTBT)结构统一了CU、PU，和TU的概念，并且支持CU划分形状的更大灵活性。在QTBT块结构中，CU可以是方形或矩形。首先通过四叉树结构对编码树单元(CTU)进行划分。通过二叉树结构，对四叉树叶节点进行进一步划分。在二叉树分割中，存在两种分割类型，即，对称水平分割和对称垂直分割。二叉树叶节点被称作编码单元(CU)，并且该分割用于预测和变换处理而不进行任何进一步划分。这意味着，在QTBT编码块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU有时由不同色彩分量的编码块(CodingBlock,CB)组成，例如，在4:2:0色度格式的P和B条带的情况下，一个CU包含一个亮度CB和两个色度CB，并且有时由单个分量的CB组成，例如，在I条带的情况下，一个CU仅包含一个亮度CB，或仅两个色度CB。QTBT划分方案中，定义了以下参数：–CTU尺寸：四叉树的根节点尺寸，与HEVC中的概念相同–MaxQTDepth：允许的最大四叉树深度–MinQTSize：允许的最小四叉树叶节点尺寸MaxBTSize：允许的最大二叉树根节点尺寸MaxBTDepth：允许的最大二叉树深度MinBTSize：允许的最小二叉树叶节点尺寸在QTBT划分结构的一个示例中，将CTU尺寸设置为具有色度样本的两个对应的64×64块的128×128亮度样本，将MinQTSize设置为16×16，将MaxBTSize设置为64×64，将MinBTSize(用于宽度和高度)设置为4×4，并且将MaxBTDepth设置为4。首先向CTU应用四叉树划分，以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即，MinQTSize)到128×128(即，CTU尺寸)的尺寸。如果四叉树叶节点的尺寸是128×128，则不会通过二叉树对其进行进一步分割，这是因为该尺寸超过MaxBTSize(即，64×64)。否则，可以通过二叉树对四叉树叶节点进行进一步划分。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到MaxBTDepth(即，4)时，不考虑进一步的分割。当二叉树节点的宽度等于MinBTSize(即，4)时，不考虑进一步的水平分割。类似地，当二叉树节点的高度等于MinBTSize时，不考虑进一步的垂直分割。在不进行任何进一步划分的情况下，通过预测和变换处理，进一步处理二叉树的叶节点。在JEM中，最大CTU尺寸是256×256个亮度样本。另外，QTBT方案支持使亮度和色度具有单独的QTBT结构。当前，对于P和B条带，一个CTU中的亮度和色度编码树块(CodingTreeBlock,CTB)共用相同的QTBT结构。然而，对于I条带，按QTBT结构将亮度CTB划分为CU，并且按另一个QTBT结构，将色度CTB划分为色度CU。这意味着，I条带中的CU由亮度分量的编码块、或两个色度分量的编码块组成，并且P或B条带中的CU由所有三个色彩分量的编码块组成。在HEVC中，限制小块的帧间预测，以减少运动补偿的存储器存取，使得4×8和8×4块不支持双向预测，并且4×4块不支持帧间预测。在JEM的QTBT中，删除了这些限制。与QTBT相比，多类型树(Multi-Type-Tree,MTT)是更灵活的树结构。在MTT中，支持除四叉树和二叉树之外的树类型。例如，引入水平和垂直的中心侧三叉树。此外，MTT支持(a)四叉树划分、(b)垂直二叉树划分、(c)水平二叉树划分、(d)垂直的中心侧三叉树划分、(e)水平的中心侧三叉树划分，等其他类型。存在两个级别的树，区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(RegionTree，RT)对CTU进行划分。可以使用预测树(PredictionTree，PT)对区域树的叶进行进一步分割。也可以使用PT对预测树的节点进行进一步分割，直至达到最大PT深度。在进入PT之后，不再使用RT(四叉树)。预测树的叶是基本编码单元。为了方便起见，仍然将预测树的叶称作CU。不能对CU进行进一步分割。使用与JEM-3或QTBT相同的方式，对CU应用预测和变换。三叉树划分的主要优点是对四叉树和二叉树划分进行补充：三叉树划分能够捕捉块中心的对象，而四叉树和二叉树总是沿着块中心进行分割。此外，所建议的三叉树分区的宽度和高度总是2的乘幂，因此不需要额外的变换。主要通过减小复杂度以推动两级别树的设计。理论上，树的遍历的复杂度是TD，其中T表示分割类型的数量，并且D是树的深度。使用两级别树的设计，并且将第一级别限制为四叉树(例如，减少在某些级别的本文档来自技高网...

【技术保护点】
1.一种对块进行划分，以允许编码或解码视频序列的方法，其特征在于，所述方法包括：/n使用方形划分模式、水平二叉树划分模式，或者水平三叉树划分模式对块进行划分，以生成一组子块；/n其中，向所述方形划分模式、所述水平二叉树划分模式，以及所述水平三叉树划分模式分配相同的优先级，使得可以在所述水平二叉树划分模式和所述水平三叉树划分模式之前、之后，或与之交错地使用所述方形划分模式；以及/n基于所述方形划分模式、所述水平二叉树划分模式，或者水平三叉树划分模式，对所述块进行划分，以编码或解码所述视频序列。/n

【技术特征摘要】
【国外来华专利技术】20180307 US 62/639,989;20181227 US 16/234,1161.一种对块进行划分，以允许编码或解码视频序列的方法，其特征在于，所述方法包括：
使用方形划分模式、水平二叉树划分模式，或者水平三叉树划分模式对块进行划分，以生成一组子块；
其中，向所述方形划分模式、所述水平二叉树划分模式，以及所述水平三叉树划分模式分配相同的优先级，使得可以在所述水平二叉树划分模式和所述水平三叉树划分模式之前、之后，或与之交错地使用所述方形划分模式；以及
基于所述方形划分模式、所述水平二叉树划分模式，或者水平三叉树划分模式，对所述块进行划分，以编码或解码所述视频序列。


2.根据权利要求1所述的方法，其特征在于，使用所述方形划分模式对所述块进行划分，以生成一组子块，
其中，如果所述块是方形，则每个子块是方形，并且
如果所述块是非方形，则每个子块的尺寸相同，所述每个子块的尺寸是所述块的宽度和高度的最大公因子。


3.根据权利要求1所述的方法，其特征在于，进一步包括：
确定所述块垂直地位于图片边界的外部，并且水平地位于图片边界的内部；以及，
不使用垂直分割划分模式进行划分。


4.根据权利要求1所述的方法，其特征在于，进一步包括：
确定所述块水平地位于图片边界的外部，并且垂直地位于图片边界的内部；以及
不使用水平分割划分模式进行划分。


5.根据权利要求1所述的方法，其特征在于，进一步包括：
在使用所述方形划分模式对所述块进行划分之后，使用所述水平二叉树划分模式，对所述一组子块的至少一个子块进行划分。


6.根据权利要求1所述的方法，其特征在于，进一步包括：
在使用所述方形划分模式对所述块进行划分之后，使用所述水平三叉树划分模式，对所述一组子块的至少一个子块进行划分。


7.根据权利要求1所述的方法，其特征在于，进一步包括：
使用垂直四叉树分割(VQT)划分模式对至少一个子块进行划分。


8.根据权利要求1所述的方法，其特征在于，进一步包括：
使用水平四叉树分割(HQT)划分模式对至少一个子块进行划分。


9.根据权利要求1所述的方法，其特征在于，在所述水平二叉树划分模式和所述水平三叉树划分模式之前，使用所述方形划分模式。


10.根据权利要求1所述的方法，其特征在于，在所述水平二叉树划分模式和所述水平三叉树划分模式之后，使用所述方形划分模式。


11.一种对块进行划分，以允许编码或解码视频序列的装置，其特征在于，包括：
至少一个存储器，配置为存储程序代码；以及
至少一个处理器，配置为读取所述程序代码，并且按照所述程序代码指示进行操作，包括：
划分代码，配置为使得所述至少一个处理器使用方形划分模式、水平二叉树划分模式，或者水平三叉树划分模式对所述块进行划分，以生成一组子块；
其中，向所述方形划分模式、所述水...

【专利技术属性】
技术研发人员：李翔，刘杉，赵欣，夜静，赵亮，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：美国;US