用于视频和图像编码的熵编解码和上下文建模的方法和装置制造方法及图纸

本发明专利技术公开了一种用于对与区块相关的符号进行熵编解码的方法和装置。根据本发明专利技术，基于上下文的熵编解码被用于与具有不同区块尺寸范围的区块相关的源符号，其中，通过四元树结构、二元树结构或组合四元树加二元树结构对初始区块分区生成该区块。根据本发明专利技术，随着统计与当前块相关联的符号，基于来自相邻区块的部分信息以及基于当前块的形状、尺寸和深度中的至少一种的上下文可以与如何通过树结构分区的当前块相关。被编码或解码的当前符号可以对应与上述三种结构、跳过标记或预测模式标记有关的分割标记和模式。

【技术实现步骤摘要】
【国外来华专利技术】用于视频和图像编码的熵编解码和上下文建模的方法和装置优先权声明本专利技术要求在2015年11月27日提出申请号为PCT/CN2015/095775的PCT专利申请和2015年12月23日提出申请号为62/387,291的美国临时专利申请的优先权。上述PCT专利申请和美国临时专利申请整体以引用方式并入本文中。
本专利技术总体涉及图像和视频处理
具体地，本专利技术涉及用于视频和图像编码系统中产生的语法或符号的熵编解码和上下文建模。
技术介绍
高效视频编码(High-efficiencyvideocoding，HEVC)标准由ITU-T视频编码专家组(VideoCodingExpertsGroup，VCEG)与ISO/IEC运动图像专家组(MovingPictureExpertsGroup，MPEG)标准化组织的联合视频项目开发，并被作为视频编码联合协作组(theJointCollaborativeTeamonVideoCoding，JCT-VC)的合作伙伴。在HEVC中，一个片段被分区为多个编码树单元(codingtreeunits，CTU)。在主配置文件中，CTU的最小尺寸和最大尺寸由序列参数集(sequenceparameterset，SPS)中的语法元素限定。CTU的允许尺寸可以为8x8，16x16，32x32，或64x64。对于每个片段而言，片段中的CTU按照光栅扫描顺序处理。CTU进一步被分区为多个编码单元(codingunits，CU)以适应不同的局部特征。四元树结构，用编码树表示，用于将CTU分成多个CU。设CTU的尺寸为MxM，M为64，32，或16中的任一数值。CTU可以为一个CU，或者可以作为编码树的节点，被分割成的四个更小的尺寸相同的编码单元(例如，M/2xM/2)。如果该单元作为编码树的叶节点，则该单元为CU。否则，可以迭代四元树分割流程，直至节点尺寸达到SPS中限定的最小允许CU尺寸。这一表现形式导致由图1所示的编码树(也被称为分区树结构)120指定的递归结构。图1所示的CTU分区110中，实线指示CU的边界。在CU级中，确定是否使用帧内图片(时间)或帧间图片(空间)预测对图片区域进行编码。由于最小CU尺寸可以为8x8，在不同预测类型切换时的最小粒度为8x8。每个CU指定一个或多个预测单元(predictionunit，PU)。PU与CU连接，PU作为共享预测信息的基本代表块。在每个PU内，相同的预测流程被应用，且相关信息被发送到一个PU基本层的解码器上。根据PU分割类型，一个CU可以被分割成一个、两个或四个PU。如图2所示，HEVC规定了将CU分区成PU的八种形状。不同于CU，PU可以只被分割一次。如第二行所示的分区对应不对称分区类型，其中，两个分区部分具有不同的尺寸。在基于PU分割类型应用预测流程获取到残差块之后，根据另一个类似于CU编码树的四元树结构，可以将一个CU分割成变换单元(transformunits，TUs)。图1中，区块110的实线指示CU的边界，虚线指示TU的边界。类似地，分区树形结构120上的实线对应CU分区树形结构，分区树形结构120上的虚线对应TU分区树形结构。TU是一种应用于整数变换算法和量化处理的残差或变换系数的基本代表块(basicrepresentativeblock)。对于每个TU，一种相同尺寸的整数变换被应用于TU以获得残差系数。该系数被发送到经过以TU为基础的量化处理后的解码器上。下列术语，编码树块(codingtreeblock，CTB)，编码块(codingblock，CB)，预测块(predictionblock，PB)以及变换块(transformblock，TB)被定义为分别用于指示与CTU，CU，PU以及TU相关的一个彩色分量的2D样品阵列。因此，CTU包含一个亮度CTB，两个色度CTB，CTU与语法元素相关。类似的关系在CU，PU和TU中有效。树分区通常同时应用于亮度和色度，尽管在色度达到一定的最小允许尺寸时，树分区应用异常。可替换地，二元树区块分区结构可以被用于如ITU-TSG16(StudyPeriod2013)，Contribution966(J.An，etal，“Blockpartitioningstructurefornextgenerationvideocoding”，ITU-TT13SG16COM16–C966R3–E，Geneva，September2015)所公开的场景中。在已公开的二元树分区结构中，一区块可以被递归地分割成两个更小的区块。如图3中所示，存在多种不同的分割类型。最高效和最简单的分割类型是如图2顶部所示的对称水平分割和对称垂直分割。因此，系统可以选择仅使用上述两种分割类型。对于大小为MxN的给定块，一标记可以被以信号形式指示是否将一区块分割成两个更小的区块。若标记指示“是”，则另一语法元素被以信号形式指示哪一分割类型(例如，水平或垂直)被应用。若使用水平分割类型，则区块被分割成尺寸为MxN/2的两个区块，否则，若使用垂直分割类型，则区块被分割成尺寸为M/2xN的两个区块。二元树分割流程可以被迭代直至分割区块的尺寸(宽度或高度)可以达到高级语法(如SPS)中限定的最小允许区块的尺寸(宽度或高度)。由于二元树有两种分割类型(例如，水平和垂直)，最小允许区块宽度和高度均应当被指示出。当分割会引起区块高度小于被指示的最小值时，非水平分割是隐含的。当分割会引起区块宽度小于被指示的最小值时，非水平分割是隐含的。图4给出了一个区块分区410及其相关的二元树结构420的示例。在二元树的每个分割节点(例如，非叶节点)，一符号指示哪一分割类型(例如，水平或垂直)被应用，0指示水平分割，1指示垂直分割。所提出的二元树结构可以被用于将一个区块分区成多个更小的区块，例如将一片段分区成多个CTU，将一个CTU分区成多个CU，将一个CU分区成多个PU或者将一个CU分区成多个TU，等等。在一个实施例中，二元树被用于将一个CTU分区成多个CU。换言之，二元树的根节点是一个CTU，二元树的叶节点是多个CU。叶节点进一步被预测和变换编码处理。在另一实施例中，为了简化区块分区流程，没有进一步地将一个CU分区成多个PU或者将一个CU分区成多个TU。这意味着，一CU等于一PU也等于一TU。因此，在这一案例中，二元树的叶节点也是预测和变换编码的基础单元。二元树结构比四元树结构更有弹性，随着越来越多的分区形状可以被支持，二元树结构也是提高编码效率的因素。然而，为了选择最优的分区形状，编码的复杂性也将增加。为了平衡复杂性和编码效率，在2015年12月9日申请的PCT/CN2015/096761中公开了一种组合四元树和二元树结构的方法，该方法被称为四元树加二元树结构(quadtreeplusbinarytree，QTBT)。在已公开的QTBT结构中，一区块首先被四元树结构分区，该四元树分区可以被迭代直至分区区块的尺寸分区达到最小允许四元树叶节点尺寸。如果该叶四元树区块不大于最大允许二元树根节点尺寸，则叶四元树区块进一步被二元树结构分割，二元树分割可以被迭代直至分区区块的尺寸(宽度或高度)到达最小允许二元树叶节点尺寸(宽度或高度)或二本文档来自技高网...

【技术保护点】
1.一种用于对与区块相关的符号进行熵编解码的方法，其特征在于，所述区块分别通过视频编码器或视频解码器进行编码或解码，所述方法包括：接收与当前图像中的当前块相关的输入数据，其中，当前块通过采用四元树结构、二元树结构或组合四元树和二元树结构对初始区块分区生成；确定所述输入数据中被编码或被解码的当前符号，其中，所述当前符号与所述当前块相关；基于来源于一个或多个相邻区块的第一信息和至少与所述当前块的区块形状或分区深度相关的第二信息确定当前上下文，其中，在所述当前块之前处理所述一个或多个相邻区块；以及根据所述当前上下文，应用基于上下文的熵编码或熵解码对所述当前符号进行处理。

【技术特征摘要】
【国外来华专利技术】2015.12.23 US 62/387,291;2015.11.27 CN PCT/CN2015/1.一种用于对与区块相关的符号进行熵编解码的方法，其特征在于，所述区块分别通过视频编码器或视频解码器进行编码或解码，所述方法包括：接收与当前图像中的当前块相关的输入数据，其中，当前块通过采用四元树结构、二元树结构或组合四元树和二元树结构对初始区块分区生成；确定所述输入数据中被编码或被解码的当前符号，其中，所述当前符号与所述当前块相关；基于来源于一个或多个相邻区块的第一信息和至少与所述当前块的区块形状或分区深度相关的第二信息确定当前上下文，其中，在所述当前块之前处理所述一个或多个相邻区块；以及根据所述当前上下文，应用基于上下文的熵编码或熵解码对所述当前符号进行处理。2.根据权利要求1所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，当前符号与四元树分割标记相关，根据所述当前块的当前四元树深度和具有比所述当前块更大的四元树深度的相邻区块的数量确定所述当前上下文，其中，所述当前块通过采用四元树结构对初始区块分区生成，所述相邻区块包括顶部相邻区块和左侧相邻区块。3.根据权利要求2所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，所述当前四元树深度被划分成3类，所述当前四元树深度分别为0,1或大于1；具有比所述当前块更大的四元树深度的所述相邻区块的数量值与0，1或2相关；基于所述3类和3种具有比所述当前块更大的四元树深度的相邻区块的数量值，总共5类上下文被应用。4.根据权利要求2所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，当基于所述当前块的分区深度来确定当前上下文时，若所述初始区块的不同区块尺寸被应用，则进一步基于所述当前块的区块形状来确定所述当前上下文。5.根据权利要求2所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，不同的上下文被用于所述当前块的不同四元树深度以及具有比所述当前块更大的四元树深度的相邻区块的不同数量值。6.根据权利要求2所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，当顶部相邻区块和左侧相邻区块的四元树分割标记均等于1时，不同的上下文被用于不同的当前四元树深度。7.根据权利要求1所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，所述当前符号与跳过标记相关，基于所述当前块的当前二元树深度和采用跳过模式进行编码的相邻区块的数量来确定所述当前上下文，其中，所述当前块通过采用二元树结构对初始区块分区生成，所述相邻区块包括顶部相邻区块和左侧相邻区块，以及其中，当给定块被跳过模式编码时，除了合并给定块的候选索引外，不再发出语法元素信号。8.根据权利要求7所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，所述当前二元树深度被划分成3类，所述当前二元树深度分别为0，1或2，以及大于2；被跳过模式编码的所述相邻区块的数量值与0，1和2相关；基于所述3类和3种被跳过模式编码的相邻区块的数量值，总共9类上下文被应用。9.根据权利要求7所述的用于对与区块相关的符号进行熵编解码的方法，其特征在于，当前符号与一用于指示当前块是否被帧内预测模式或帧间预测模式编码的预测模式标记相关，基于与所述当前块相关的一当前组合四元树和二元树深度和采用帧间模式进行编码的相邻区块的数量来确定所述当前上下文，其中，所述当前块通过采用组合四元树和二元树结构对初始区块分区生成，所述相邻区块包括顶部相邻区块和左侧相邻区块，其中所述当前组合四元树和二...

【专利技术属性】
技术研发人员：向时达，安基程，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71