使用非方形区块的帧内预测方法和装置制造方法及图纸

本发明专利技术提供一种基于区块周围相邻像素的区块帧内预测方法和装置。根据本发明专利技术的实施方式，将方形区块和非方形区块用于帧内预测。对于2Nx2N像素的亮度编码单元，该编码单元被分割为2NxN、Nx2N、2Nx2N或NxN像素的预测单元。2NxN和Nx2N像素的预测单元可以仅通过方形变换而进一步处理，或通过非方形变换和方形变换而进一步处理。在一个实施方式中，2NxN像素的预测单元或Nx2N像素的预测单元被处理为两个NxN像素的变换单元；以及基于残差树分割，每一个NxN像素的变换单元被进一步分割为更小的NxN像素的变换单元。在另一实施方式中，2NxN像素的预测单元和Nx2N像素的预测单元分别被处理为两个2Nx0.5N像素的变换单元和两个0.5Nx2N像素的变换单元。

【技术实现步骤摘要】
【国外来华专利技术】帧内预测方法和装置交叉引用本专利技术主张在2011年8月17日提出的申请号为61/524,686、标题为“MethodandapparatusofIntrapredictionandmodecodingforvideocompression”的美国临时专利申请的优先权；主张在2011年11月4日提出的申请号为61/556,526、标题为“MethodandapparatusofrectangularIntrapredictionforvideocompression”的美国临时专利申请的优先权；主张在2011年11月29日提出的申请号为61/564,696、标题为“MethodforsignalingmultiplepredictionunitsinanIntracodingunitinHEVC”的美国临时专利申请的优先权；主张在2012年1月6日提出的申请号为61/583,830、标题为“Systemandmethodsofcodingnon-squareIntrapredictionunitforvideocompression”的美国临时专利申请的优先权；以及主张在2012年3月21日提出的申请号为61/613,743、标题为“MethodandapparatusofrectangularIntrapredictioninHEVC”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
本专利技术有关于视频编码，特别是有关于使用非方形分割预测单元和编码单元的帧内编码技术。
技术介绍
运动补偿帧间编码已经在各种编码标准（例如，MPEG-1/2/4标准和H.261标准/H.263标准/H.264标准/AVC标准）中广泛采用。运动补偿帧间编码可以有效地降低压缩视频的比特率（bitrate），而帧内模式编码仍然需要处理初始图片（initialpicture）或周期性地插入I-图片(Intra-codedpicture,I-picture)，并且I-图片被周期性地插入以允许快速存取压缩视频数据或减轻误差传播。帧内预测可以利用图片（picture）内或图片区域（pictureregion）内的空间（spatial）相关性。为进一步提高编码效率,已开发的高效率视频编码（High-EfficiencyVideoCoding,HEVC）标准广泛利用基于区块（block）的空间预测。在高效率视频编码中,多种帧内预测模式利用空间特征（spatialfeatures）。在AVC标准中,利用帧内预测（Intraprediction）编码的预测单元(或区块)的尺寸为4x4、8x8或16x16像素。如表1和表2所示，4x4和8x8像素的亮度区块（Lumablocks）分别有九种帧内预测模式。如表3所示，16x16像素的亮度区块有四种帧内预测模式，以及如表4所示，色度区块（Chromablocks）有四种帧内预测模式。请参考图1，图1为H.264/AVC标准使用的帧内预测模式方向的示意图。其中，AVC帧内预测方向如图1所示。表1表2Intra16x16PredModeIntra16x16PredMode的名称0Intra_16x16_Vertical(预测模式)1Intra_16x16_Horizontal(预测模式)2Intra_16x16_DC(预测模式)3Intra_16x16_Plane(预测模式)表3intra_Chroma_pred_modeIntraChromaPredictionMode的名称0Intra_Chroma_DC(预测模式)1Intra_Chroma_Horizontal(预测模式)2Intra_Chroma_Vertical(预测模式)3Intra_Chroma_Plane(预测模式)表4请参考图2A～图2B，图2A～图2B分别为在高效率视频编码中的帧内预测模式和帧间预测模式中的2Nx2N像素的编码单元的分割类型的示意图。在HEVC标准中，每一个图片被分为方形的编码单元(codingunit,CU)集（set）。每一个编码单元可以进一步分为多个预测单元(predictionunit,PU)。在HEVC委员会草案（CommitteeDraft,CD）和测试模式版本6.0(HM-6.0)中，如图2A所示，对于帧内编码帧（Intracodedframe）或帧内编码片（Intracodedslice），2Nx2N像素的编码单元可包括分割尺寸为2Nx2N和NxN像素的预测单元。如图2B所示，对于帧间编码帧或帧间编码片，2Nx2N像素的编码单元可包括分割尺寸为2Nx2N、Nx2N、2NxN和NxN像素的预测单元。请注意，NxN像素的预测类型仅存在于帧内预测和帧间预测的最小编码单元（smallestcodingunits,SCU）中。在HM-6.0标准中，预测模式和分割模式以及二进制化（binarization）如表5所定义，其中PredMode是指（帧内或帧间）预测模式，part_mode是指分割模式，标志cLog2CUSize与当前的编码单元尺寸相关，标志Log2MinCUSize与最小编码单元尺寸相关，以及inter_4x4_enabled_flag是指示帧间4x4模式是否使能的标志。表5在HM-6.0公用测试条件中，亮度编码单元的尺寸为64x64、32x32、16x16和8x8像素。最小的编码单元可进一步分为四个预测单元(predictionunit，PU)，举例来说，若最小的编码单元的尺寸为8x8像素，预测单元可以分为四个4x4像素的方形预测单元。因此，亮度帧内预测单元的尺寸为64x64、32x32、16x16、8x8和4x4像素。请参考图3A，图3A为高效率视频编码使用的标明模式索引的帧内预测模式方向的示意图。其中每个方向通过模式索引指示。在HM-6.0标准中，35种帧内预测模式（如图3A所示）可以用于所有的亮度预测单元的尺寸，以及六种模式可用于帧内色度预测（IntraChromapredictions）。需要通过包括非方形的预测模式和探索相关的非方形变换而改善帧内预测的编码效率。
技术实现思路
本专利技术提出一种帧内预测方法和装置。根据本专利技术的一个实施方式，基于区块周围相邻像素的区块帧内预测方法和装置包括：接收亮度区块，该亮度区块对应于区块的亮度像素；以及基于相邻亮度像素，执行亮度区块的帧内预测；其中，亮度区块被分割为一个或多个预测单元，该一个或多个预测单元的形状来自方形和非方形组成的集合。对于2Nx2N像素的亮度编码单元，该编码单元被分割为2NxN、Nx2N、2Nx2N或NxN像素的预测单元。进一步，对于帧内和帧间片段中的亮度区块，使用码字表来指示与预测单元相关的分割模式；其中，码字表包括2NxN和Nx2N像素的预测单元的条目。2NxN和Nx2N像素的预测单元可以仅通过方形变换而进一步处理，或通过非方形变换和方形变换而进一步处理。当仅通过方形变换处理2NxN和Nx2N像素的预测单元，或通过非方形变换和方形变换处理2NxN和Nx2N像素的预测单元时，根据本专利技术的实施方式揭示三个实施方式。在第一个实施方式中，2NxN像素的预测单元或Nx2N像素的预测单元被处理为两个NxN像素的变换单本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.08.17 US 61/524,686;2011.11.07 US 61/556,526;1.一种帧内预测方法，其特征在于，包括接收2Nx2N像素的亮度区块，该亮度区块对应于该区块的亮度像素；以及如果该亮度区块的尺寸大于最小编码单元，从方形2Nx2N、非方形2NxN或非方形Nx2N中确定该亮度区块的预测类型；如果该亮度区块的尺寸等于该最小编码单元，从方形2Nx2N、非方形2NxN、非方形Nx2N或方形NxN中确定该亮度区块的该预测类型；基于相邻亮度像素，执行该亮度区块的帧内预测；其中，根据该预测类型，该亮度区块被分割为一个或多个预测单元。2.根据权利要求1所述的帧内预测方法，其特征在于，仅使用方形变换处理非方形预测单元，或使用非方形变换和方形变换处理非方形预测单元；以及基于残差树分割，将每一个变换单元进一步分割为更小的变换单元。3.根据权利要求2所述的帧内预测方法，其特征在于，对于帧内和帧间片段中的亮度区块，使用码字表来指示与该一个或多个预测单元相关的分割模式；其中，该码字表包括该2NxN和该Nx2N像素的预测单元的条目。4.根据权利要求1所述的帧内预测方法，其特征在于，仅使用方形变换处理2NxN像素的预测单元或Nx2N像素的预测单元；或使用非方形变换和方形变换处理该2NxN像素的预测单元或该Nx2N像素的预测单元。5.根据权利要求4所述的帧内预测方法，其特征在于，当该2NxN像素的预测单元或该Nx2N像素的预测单元被处理为两个NxN像素的变换单元时，若该NxN像素的变换单元大于最小尺寸，则基于残差树分割，该NxN像素的变换单元中的每一个被进一步分割为更小的MxM像素的变换单元；以及该更小的MxM像素的变换单元与该2NxN像素的预测单元或该Nx2N像素的预测单元相关，并且该更小的MxM像素的变换单元分别使用与该2NxN像素的预测单元或该Nx2N像素的预测单元相同的帧内预测模式。6.根据权利要求5所述的帧内预测方法，其特征在于，该最小尺寸对应于4x4像素。7.根据权利要求4所述的帧内预测方法，其特征在于，该2NxN像素的预测单元被处理为两个2Nx0.5N像素的变换单元，以及若该2Nx0.5N像素的变换单元大于最小尺寸，则基于残差树分割，该2Nx0.5N像素的变换单元进一步分割为更小的2Mx0.5M像素的变换单元；以及该更小的2Mx0.5M像素的变换单元与该2NxN像素的预测单元相关，并且该更小的2Mx0.5M像素的变换单元使用与该2NxN像素的预测单元相同的帧内预测模式。8.根据权利要求7所述的帧内预测方法，其特征在于，该最小尺寸对应于8x2像素。9.根据权利要求4所述的帧内预测方法，其特征在于，该Nx2N像素的预测单元被处理为两个0.5Nx2N像素的变换单元，以及若该0.5Nx2N像素的变换单元大于最小尺寸，则基于残差树分割，该0.5Nx2N像素的变换单元进一步分割为更小的0.5Mx2M像素的变换单元；以及该更小的0.5Mx2M像素的变换单元与该Nx2N像素的预测单元相关，并且该更小的0.5Mx2M像素的变换单元使用与该Nx2N像素的预测单元相同的帧内预测模式。10.根据权利要求9所述的帧内预测方法，其特征在于，该最小尺寸对应于2x8像素。11.根据权利要求4所述的帧内预测方法，其特征在于，若2Nx2N像素的亮度编码单元大于8x8像素，则该2NxN像素的预测单元被处理为两个2Nx0.5N像素的变换单元；若该2Nx0.5N像素的变换单元大于16x4像素，则基于残差树分割，该2Nx0.5N像素的变换单元进一步分割为更小的2Mx0.5M像素的变换单元；以及若该2Nx2N像素的亮度编码单元的尺寸为8x8像素，则该2NxN像素的预测单元被处理为两个4x4像素的变换单元。12.根据权利要求4所述的帧内预测方法，其特征在于，若2Nx2N像素的亮度编码单元大于8x8像素，则该Nx2N像素的预测单元被处理为两个0.5Nx2N像素的变换单元；若该0.5Nx2N像素的变换单元大于4x16像素，则基于残差树分割，该0.5Nx2N像素的变换单元进一步分割为更小的0.5Mx2M像素的变换单元；以及若该2Nx2N像素的亮度编码单元的尺寸为8x8像素，则该Nx2N像素的预测单元被处理为两个4x4像素的变换单元。13.根据权利要求1所述的帧内预测方法，其特征在于，在2NxN和Nx2N像素的预测单元的帧内预测模式中，移除最有可能的模式，并对剩下的非最有可能的模式使用缩减的二进制码编码。14.根据权利要求1所述的帧内预测方法，其特征在于，进一步包括：接收色度区块，该色度区块对应于该区块的色度像素；以及执行该色度区块的帧内预测，其中该色度区块被分割为一个或多个色度预测单元，该一个或多个色度预测单元仅为方形。15.根据权利要求14所述的帧内预测方法，其特征在于，该色度区块对应于2Nx2N像素的编码单元，并且使用NxN像素的区块尺寸来帧内预测该色度区块；其中，取得色度帧内预测模式的候选集以用于色度区块。16.根据权利要求14所述的帧内预测方法，其特征在于，色度帧内预测模式的有序模式集由{亮度模式、直接模式0、直接模式1、平面模式、垂直模式、水平模式、直流模式和垂直方向V+8模式}组成，色度帧内预测模式的该有序模式集用于取得色度帧内预测模式的候选集；其中，该直接模式0和该直接模式1分别对应于与2Nx2N像素的亮度编码单元的两个非方形预测单元有关的两个直接模式，以及该有序模式集的最先六个不同模式被选择为该色度帧内预测的候选集的候选模式。17.根据...

【专利技术属性】
技术研发人员：刘杉，张习民，雷少民，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：
国别省市：