用于彩色视频数据的调色板模式编解码的方法及装置制造方法及图纸

公开了一种使用调色板模式编解码的用于彩色视频编解码系统的方法和装置。根据本方法，当调色板模式启用的时候，亮度和色度分量的各自编解码是失效的或者如果色度和亮度分量各自编解码的时候，所述调色板模式是失效的。根据另一种方法，当当前图像启动所述调色板模式的时候，调色板模式编解码仅应用于所述多个亮度块，以及非调色板模式编解码被应用于所述多个色度块。根据另一种方法，如果所述调色板模式被选中用于所述多个亮度块，利用亮度调色板将调色板模式编解码应用于所述多个亮度块，以及如果所述调色板模式被选中用于所述多个色度块，利用色度调色板将调色板模式编解码应用于所述多个色度块。根据另一种方法，非方形编码单元的扫描方向取决于所述非方形编码单元的形状。

Method and Device of Palette Mode Coding and Decoding for Color Video Data

A method and device for color video coding and decoding system using palette mode encoding and decoding are disclosed. According to this method, when the palette mode is enabled, the respective codec of the brightness and chroma components is invalid or the palette mode is invalid if the chroma and the brightness components are coded and decoded respectively. According to another method, when the current image starts the palette mode, the palette mode codec is applied only to the plurality of luminance blocks, and the non-palette mode codec is applied to the plurality of chroma blocks. According to another method, if the palette mode is selected for the plurality of brightness blocks, the palette mode codec is applied to the plurality of brightness blocks using the brightness palette, and if the palette mode is selected for the plurality of color blocks, the palette mode codec is applied to the plurality of color blocks using the color palette. According to another method, the scanning direction of the non-square encoding unit depends on the shape of the non-square encoding unit.

【技术实现步骤摘要】
【国外来华专利技术】用于彩色视频数据的调色板模式编解码的方法及装置相关引用本申请要求于2016年5月28日申请的号码为62/342,882的美国临时专利申请案的优先权，美国临时专利申请案的全文以引用的方式被纳入本文中以作参考。
本专利技术涉及视频编解码中的编解码和/或预测过程的块区分，特别地，本专利技术公开了对具有亮度和色度分量的视频数据使用调色板模式编解码的编解码系统的各种编解码配置。
技术介绍
高效视频编码(HighEfficiencyVideoCoding,HEVC)标准是在ITU-T的视频编码专家组(VideoCodingExpertsGroup，VCEG)和ISO/IEC的移动图像专家组(MovingPictureExpertsGroup，MPEG)标准化组织联合开发的视频项目下的标准，尤其与视频编码联合小组(JointCollaborativeTeamonVideoCoding，JCT-VC)合作。在高效视频编码中，一个切片被划分成多个编码树单元(CTU)。在主要规范(mainprofile)中，编码树单元的最小尺寸和最大尺寸由序列参数集(sequenceparameterset，SPS)中的语法元素(syntaxelements)指定，允许的CTU尺寸可以是8×8、16×16、3×32或者64×64。对每个切片来说，切片中的CTU根据光域扫描序列(rasterscanorder)进行处理。CTU可以进一步地被划分割成多个编码单元(CU)以适应各种局部特性。四叉树(quadtree)被表示为编码树，用于将CTU分割成多个CU。使CTU的尺寸为M×M，M可以是数值62、32或者16中的一个。CTU可以是一个单一CU(也就是没有被拆分)或者是分割成四个具有相同尺寸的较小单元(也就是每个单元都是M/2×M/2)，其对应于编码树的节点。如果单元是编码树的叶节点，那么所述单元变成CU。否则，四叉树的拆分进程可以被重复直到一个节点的尺寸达到SPS(序列参数集)中指定的CU尺寸允许的最小值。这种表示导致了如图1中编码树(也被称为分割树结构)120所指定的递归结构(recursivestructure)。如图1所示的编码树单元(CTU)分区110，其中实线指示CU的边界。是用帧间图像(时间域)预测还是用帧内图像(空间域)预测来编码图像区域的决定，是在CU级(level)上做出的。因为最小的CU尺寸可以是8×8，那么在不同基本预测类型之间的切换的最小间隔尺寸(granularity)是8×8。此外，根据HEVC，每一个CU可以被分割成一个或多个预测单元(PU)。PU与CU耦合，PU作为用于共享预测信息的一个基础代表块。在每一个PU中，应用相同的预测进程，在PU的基础上将相关信息发送到解码器。根据PU分割类型(splittype)，一个CU可以被分割成1个、2个或者4个PU。如图2所示，HEVC定义了将一个CU分割成PU的8个形状，包括2N×2N,2N×N,N×2N,N×N,2N×nU,2N×nD,nL×2N和nR×2N分区类型。不像CU，PU根据HEVC可能只能被分割一次。第二行所示的分区相当于不对称分区，其中两个被分割的部分具有不同的尺寸。在通过基于PU分割类型的预测进程获得残差块后，根据类似于图1所示的CU编码树的另一个的四叉树结构，CU的预测残差(predictionresidues)可能会被分割成转换单元(TU)。实线表示CU的边界，虚线表示TU的边界。该TU是具有用于应用于整数转换和量化的残差或转换系数的基础代表块。对于每一个TU来说，应用与TU具有相同尺寸的整数变换来获得残差系数，在TU基础上量化之后，这些系数被发送到解码器。术语编码树块(CTB)、编码块(CB)、预测块(PB)和转换块(TB)分别被定义来指定与CTU、CU、PU及TU相关联的一个色彩分量的二维取样阵列。因此，一个CTU由一个亮度CTB、两个色度CTB以及相应的语法元素组成。类似的关系对CU、PU和TU是有效的。树分割通常是同时应用于亮度和色度，然而当色度达到某一最小尺寸的时候树分割可以不应用于亮度。或者，在JCTVC-P1005(D.Fleyn等，“HEVCRangeExtensionsDraft6”，ITU-TSGWP3视频编码联合小组(JCT-VC)和ISO/IECJTC/SC29/WG11，第16次会议，SanJose，美国，9-17,2014年1月，文档：JCTVC-P1005)中提出了一种二叉树(binarytree)块分割结构。在所提出来的二叉树块分割结构中，一个块可以使用如图3所示的各种二进制分割类型递归地分割成两个较小方块。最有效和最简单的是对称水平分割和对称垂直分割，如图3顶部所示的两种分割类型。对于一个尺寸为M×N的给定块，一个旗标被发信(signalled)以指示给定的块是否分割成两个较小方块。如果是，另一个语法元素被发信以指示用了哪一种分割类型。如果使用了水平分割，给定块被分割成两个尺寸为M×N/2的块，如果使用了垂直分割，给定块被分割成两个尺寸为M/2×N的块。二叉树的拆分进程可用被重复直到一个分裂块的尺寸(宽度或高度)达到一个最小允许的块尺寸(宽度或者高度)。该最小允许的块尺寸可以被定义在高级语法中，如SPS。因为二叉树有两个分割类型(也就是水平和垂直)，最小允许的块宽度和高度都应该被指示。当分割将导致块高度小于所指示的最小值时，会暗示非水平分割，当分割将导致块宽度小于所指示的最小值时，会暗示非垂直分割。图4显示块分割410及对应的二叉树420的例子。在二叉树的每一个分割节点上(也就是非叶节点)，一旗标被用于指示使用了哪一分割类型(水平或者垂直)，其中0可以指示水平分割，1可以指示垂直分割。二叉树结构可以用于将一个图像区域分割成多个较小方块，如将一个切片(slice)分割成多个CTU，一个CTU分割成多个CU，一个CU分割成多个PU或者一个CU分割成多个TU等等。二叉树可以用于将一个CTU分割成多个CU，其中二叉树上的一个根节点就是一个CTU，二叉树上的一个叶节点就是CU。叶节点可以更进一步的通过预测和转换编解码进行处理。简单来说，这里没有从CU到PU或者CU到TU的更进一步的分割，这也就意味着CU等于PU及PU等于TU。因此，换句话说，二叉树的叶节点是预测和转换编解码的基础单元。二叉树结构相比于四叉树结构更加灵活，因此可以支持更多的分割形状，这也是编解码效率提升的源头。但是，为了选中最佳分割形状，编解码的复杂性也会被增加。为了平衡复杂性和编解码的效率，提出了一种组合四叉树结构和二叉树结构的方法，也被称为四叉树加二叉树(quadtreeplusbinarytree，QTBT)结构。根据该QTBT结构，块首先通过四叉树结构分割以及该四叉树分割可以被重复直到一个分割块的尺寸达到四叉树叶节点尺寸所允许的最小值。如果叶四叉树块(leafquadtreeblock)不大于二叉树根节点尺寸允许的最大值，它可以通过二叉树结构进一步的分割，该二叉树分割可以被重复直到分割块的尺寸(宽度或者高度)达到二叉树叶节点尺寸(宽度或者高度)所允许的最小值，或者该二叉树深度达到二叉树深度允许的最大值。在QTBT结构中，四叉树叶节点尺寸允许本文档来自技高网...

【技术保护点】
1.一种视频编码及解码方法，其分别用于视频编码系统与视频解码系统，其特征在于，所述方法包括：接收与当前图像相关的输入数据，其中所述当前图像包括一个亮度分量与一个或多个色度分量；以及当对应所述当前图像启用调色板模式的时候，使用相同的编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量联合分割成多个亮度块与多个色度块，并且如果所述调色板模式被选中用于所述多个亮度块与所述多个色度块，将调色板编解码联合应用于所述多个亮度块与所述多个色度块；或者当使用各自的编码单元结构分别将所述当前图像的所述亮度分量与所述一个或多个色度分量分割成所述多个亮度块与所述多个色度块时，使用从排除所述调色板模式的编解码模式组中选中的编解码模式对所述多个亮度块与所述多个色度块进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2016.05.28 US 62/342,8821.一种视频编码及解码方法，其分别用于视频编码系统与视频解码系统，其特征在于，所述方法包括：接收与当前图像相关的输入数据，其中所述当前图像包括一个亮度分量与一个或多个色度分量；以及当对应所述当前图像启用调色板模式的时候，使用相同的编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量联合分割成多个亮度块与多个色度块，并且如果所述调色板模式被选中用于所述多个亮度块与所述多个色度块，将调色板编解码联合应用于所述多个亮度块与所述多个色度块；或者当使用各自的编码单元结构分别将所述当前图像的所述亮度分量与所述一个或多个色度分量分割成所述多个亮度块与所述多个色度块时，使用从排除所述调色板模式的编解码模式组中选中的编解码模式对所述多个亮度块与所述多个色度块进行编码或解码。2.如权利要求1所述的视频编码及解码方法，其特征在于，其中通过在编码器侧的视频码流中发信调色板模式启用语法或者在解码器侧中从所述视频码流中解析的调色板模式启用语法来指示所述调色板模式是否启用。3.如权利要求2所述的视频编码及解码方法，其特征在于，其中所述调色板模式启用语法在视频码流的序列参数集、图像参数集或者切片的数据头中被发信或者解析。4.一种视频编码及解码装置，其分别用于视频编码系统与视频解码系统，其特征在于，所述装置包括一个或多个电子电路或处理器，用于：接收与当前图像相关的输入数据，其中所述当前图像包括一个亮度分量与一个或多个色度分量；以及当对应所述当前图像启用调色板模式的时候，使用相同的编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量联合分割成多个亮度块与多个色度块，并且如果所述调色板模式被选中用于所述多个亮度块与所述多个色度块，将调色板编解码联合应用于所述多个亮度块与所述多个色度块；或者当使用各自的编码单元结构分别将所述当前图像的所述亮度分量与所述一个或多个色度分量分割成所述多个亮度块与所述多个色度块时，从排除所述调色板模式的编解码模式组中选中编解码模式对所述多个亮度块与所述多个色度块进行编码或解码。5.一种视频编码及解码方法，其分别用于视频编码系统与视频解码系统，其特征在于，所述方法包括：接收与当前图像相关的输入数据，其中所述当前图像包括一个亮度分量与一个或多个色度分量；利用编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量分割成多个亮度块与多个色度块；以及当对应所述当前图像启用调色板模式时，将调色板模式编解码应用于所述多个亮度块并将非调色板模式编解码应用于所述多个色度块。6.如权利要求5所述的视频编码及解码方法，其特征在于，其中当使用直接模式对色度块进行编码以及在所述调色板模式中对对应的亮度块进行编码时，使用预定义的帧内编码模式对所述色度块进行编码。7.如权利要求6所述的视频编码及解码方法，其特征在于，其中所述预定义的帧内编码模式对应于直流模式或者平面模式。8.如权利要求5所述的视频编码及解码方法，其特征在于，其中如果在所述调色板模式中对对应的亮度块进行编码，使用除直接模式以外的码字表，对码字编码或解码，所述码字指示与所述对应亮度块相关的色度块所使用的编解码模式。9.一种视频编码及解码装置，其分别用于视频编码系统与视频解码系统，其特征在于，所述装置包括一个或多个电子电路或处理器，用于：接收与当前图像相关的输入数据，其中所述当前图像包括一个亮度分量与一个或多个色度分量；利用编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量分割成多个亮度块与多个色度块；以及当对应所述当前图像启用调色板模式的时候，将调色板模式编解码应用于所述多个亮度块并将非调色板模式编解码应用于所述多个色度块。10.一种视频编码及解码方法，其分别用于视频编码系统与视频解码系统，其特征在于，所述方法包括：接收与当前图像相关的输入数据，其中所述当前图像包括亮度分量与一个或多个色度分量；利用各自的编码单元结构将所述当前图像的所述亮度分量与所述一个或多个色度分量分别分割成多个亮度块与多个色度块；以及如果调色板模式被选中用于所述多个亮度块，利用多个亮度调色板将所述调色板模式编解码应用于所述多个亮度块，以及如果所述调色板模式被选中用于多个色度块，利用多个色度调色板将所述调色板模式编解码应用于所述多个色度块。11.如权利要求10所述的视频编码及解码方法，其特征在于，其中初始的调色板预测子列表可从切片、波前或者方块的起点处产生，所述初始的调色板预测子列表可以用作在所述调色板模式中编码的所述多个亮度块或所述多个色度块的初始预测子。12.如权利要求11所述的视频编码及解码方法，其特征在于，其中所述初始的调色板预测子列表使用联合的色彩分量调色板，其中在所述调色板编码模式中编码的所述多个亮度块与所述多个色度块使用来自初始的调色板预测子列表中的色彩条目对应的亮度分量或对应的一个或多个色度分量分别作为调色板预测子。13.如权利要求11所述的视频编码及解码方法，其特征在于，其中所述初始的调色板预测子列表对在所述调色板模式中编码的所述多个亮度块使用各自的初始的亮度调色板，以及对在所述调色板模式中编码的所述多个色度块使用各自的一个或多个初始的色度调色板。14.如权利要求13所述的视频编码及解码方法，其特征在于，其中所述一或多個色度分量對應於一U分量與一V分量，及對於所述U分量的所述多個色度塊與對於所述V分量的所述多個色度塊或者共用一个联合的初始的色度调色板或者使用各自的初始的色度调色板。15.如权利要求10所述的视频编码及解码方法，其特征在于，其中所述一个或多个色度分量由第一色度分量与第二色度分量组成，每个所述色度调色板由来自于所述第一色度分量与所述第二色度分量中的条目组成，及与所述第一色度分量与所述第二色度分量相关的所述多个色度块在所述调色板模式中使用相同的色度调色板进行编码。16.如权利要求10所述的视频编码及解码方法，其...

【专利技术属性】
技术研发人员：庄子德，孙域晨，刘杉，陈庆晔，黄毓文，许晓中，赖柏霖，夜静，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71