图像边界处理的多类型树深度扩展制造技术

本发明专利技术提供了用于将图像划分为编码单元的装置和方法。将图像划分为编码树单元(coding tree units，简称CTU)，并对所述编码树单元进行层次划分。层次划分包括多类型划分，如二叉树或四叉树划分。对于完全位于图像内的CTU和位于边界的CTU，选择相应的多类型划分深度。本发明专利技术提供了图像边界部分的多类型划分，可增强灵活性。

【技术实现步骤摘要】
【国外来华专利技术】图像边界处理的多类型树深度扩展本专利技术涉及视频处理领域，尤其涉及通常被称为混合视频编码和压缩的主题。
技术介绍
通用视频编码(VersatileVideoCoding，简称VVC)下一代标准是ITU-T视频编码专家组(VideoCodingExpertsGroup，简称VCEG)和ISO/IEC运动图像专家组(MovingPictureExpertsGroup，简称MPEG)最近的联合视频项目，这两个标准化组织共同合作，其伙伴关系被称为联合视频探索小组(JointVideoExplorationTeam，简称JVET)。基于当前块的混合视频编解码器采用预测编码。视频序列的图像被划分为像素块，然后对这些块进行编码。不是逐个像素地对块进行编码，而是使用与整个块空间相邻或时间相邻的编码后像素来预测该块。编码器进一步仅处理该块与其预测块之间的差。所述进一步处理通常包括将该块像素变换为变换域中的系数。然后，可将系数进一步压缩(例如，通过量化)、再压缩(例如，通过熵编码)以形成比特流。所述比特流还可包括任何能够使解码器解码编码视频的信令信息。例如，该信令可包括编码器设置相关的设置，例如输入图像的大小、帧率、量化步长指示、应用于图像块的预测等。块和其预测块之间的差值称为块的残差。更具体地，块的每个像素都有残差，即该像素的强度级别与其预测强度级别之间的差值。像素的强度级别称为像素值。块的所有像素的残差统称为块的残差。换言之，块具有残差，所述残差是所述块的所有像素的残差组成的集合或矩阵。然后所述残差与信令信息一起进行变换、量化和编码。该编码可包括各种形式的固定长度编码和可变长度编码，包括算术编码或其它熵编码类型。在基于块的混合视频编码中，每个图像被划分为像素点(sample)块，并且图像中的多个块被聚合以形成作为独立可解码实体的切片。进行了预测和/或变换的块称为编码单元(codingunit，简称CU)或编码块(codingblock，简称CB)。编码单元的大小可以不同。例如，在高效视频编码(High-EfficiencyVideoCoding，简称HEVC，也称为H.265)中，视频帧被划分为编码树单元(codingtreeunit，简称CTU，也称为编码树块(codingtreeblock，简称CTB))。CTB是大小相同但不相交的方块，例如64x64像素点。每个CTB作为块划分四叉树结构(即编码树)的根。沿着编码树结构，CTB可以进一步划分为编码块，该编码块的预测类型是确定的。该编码块可进一步划分为更小的变换块，可对该变换块进行变换和量化。有关HEVC中划分的细节，可参见V.Sze等人编辑的《高效视频编码(HEVC)：算法与架构》，斯普林格出版社，2014年版，第3.2章。另外，WO2016/090568还展示了一个二叉树结构，通过四叉树加二叉树结构将一个单元划分成多个更小的单元。因此，首先对根单元进行四叉树结构划分，然后再采用二叉树结构划分四叉树叶节点。
技术实现思路
本专利技术的实施例由独立权利要求的特征定义，并且由从属权利要求的特征定义实施例的其它有利实现方式。根据一般方面，本专利技术提供了一种用于将图像划分为编码单元的装置，所述装置包括处理电路。所述装置用于将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中,所述非边界CTU沿水平和竖直方向上具有预定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述预定尺寸；将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中，所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；，所述多类型划分是指所述划分方向为竖直或水平方向的划分，所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。这可增强边界划分的灵活性。进一步，在所述装置的一种实现方式中，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和，其中，所述自适应边界多类型划分深度为以所述图像边界方向为划分方向的多类型划分深度。在边界编码树单元或划分块中使用多类型划分时，这有利于自适应地确定划分深度。例如，所述预定义多类型划分深度等于最大非边界多类型划分深度。这样就可以重复使用最大非边界多类型划分深度。进一步，在所述装置的一种实现方式中，所述和还包括所述图像边界方向上的大小和垂直于所述边界CTU的边界划分块的图像边界方向上的大小之比的函数，所述边界划分块为所述自适应边界多类型划分深度的块。这进一步增加了多类型边界划分的最大深度，从而增强了划分灵活性。例如，所述函数是二进制对数。这是有益的，因为它提供了一种实际的实现方式。进一步，在一些实施例中，所述最大边界多类型划分深度为预定义的。这有助于减少确定层次划分的计算成本。例如，所述边界CTU的层次划分还包括四叉树划分。这样就可以从不同模式中进行灵活选择。进一步，在所述装置的一种实现方式中，所述最大边界多类型划分深度大于或等于所述最大非边界多类型划分深度。这可以增强最大可能边界划分深度。本专利技术还提供了一种用于编码视频序列的图像的装置，所述装置包括根据上述示例和实施例中的任一用于将图像划分为编码单元的装置。所述装置还包括图像编码单元，用于对所述编码单元进行编码，以及比特流形成单元，用于生成比特流，所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。进一步，在一种实现方式中，所述图像编码装置包括所述图像划分装置，其中所述最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度。此外，本专利技术还提供了一种用于解码视频序列的图片的装置，所述装置包括用于解析比特流的比特流解析器，所述比特流解析器包括编码后的编码单元；根据上述示例和实施例中任一项的图片划分确定装置；以及图片解码单元，用于基于所确定的图片划分对所述编码后的编码单元进行解码。进一步，在一种实现方式中，所述图像解码装置包括所述图像划分确定装置，其中最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度；所述图像划分确定装置还用于从所述序列参数集中获取所述第二最大多类型划分深度。根据另一个一般方面，本专利技术提供了一种用于将图像划分为编码单元的方法。所述方法包括将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中,所述非边界CTU沿水平和竖直方向上具有预定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，所述边界CTU位于所述图像内的部分沿垂本文档来自技高网...

【技术保护点】
1.一种用于将图像划分为编码单元的装置，其特征在于，所述装置包括处理电路，用于：/n将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中，所述非边界CTU沿水平方向和竖直方向具有确定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，其中，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述确定尺寸；/n将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中/n所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；所述多类型划分是指划分方向为竖直方向或水平方向的划分，/n所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。/n

【技术特征摘要】
【国外来华专利技术】20180530 US 62/678,2411.一种用于将图像划分为编码单元的装置，其特征在于，所述装置包括处理电路，用于：
将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中，所述非边界CTU沿水平方向和竖直方向具有确定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，其中，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述确定尺寸；
将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中
所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；所述多类型划分是指划分方向为竖直方向或水平方向的划分，
所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。


2.根据权利要求1所述的图像划分装置，其特征在于，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和，其中，所述自适应边界多类型划分深度为以所述图像边界方向为划分方向的多类型划分深度。


3.根据权利要求2所述的图像划分装置，其特征在于，所述预定义多类型划分深度等于所述最大非边界多类型划分深度。


4.根据权利要求2或3所述的图像划分装置，其特征在于，所述和还包括所述图像边界方向上的大小和垂直于所述边界CTU的边界划分块的图像边界方向上的大小之比的函数，所述边界划分块为所述自适应边界多类型划分深度的块。


5.根据权利要求4所述的图像划分装置，其特征在于，所述函数为二进制对数。


6.根据权利要求1所述的图像划分装置，其特征在于，所述最大边界多类型划分深度为预定义的。


7.根据权利要求1至6中任一项所述的图像划分装置，其特征在于，所述边界CTU的层次划分还包括四叉树划分。


8.根据权利要求1至7中任一项所述的图像划分装置，其特征在于，所述最大边界多类型划分深度大于或等于所述最大非边界多类型划分深度。


9.一种用于编码视频序列的图像的装置，其特征在于，包括：
根据权利要求1至8中任一项所述的图像划分装置；
图像编码单元，用于对所述编码单元进行编码；
比特流形成单元，用于生成比特流，所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。

<...

【专利技术属性】
技术研发人员：高晗，赵志杰，塞米赫·艾森力克，阿南德·梅赫·科特拉，陈建乐，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44