图像和视频处理中产生MPM以进行帧内预测的方法和装置制造方法及图纸

帧内预测方法包括：接收当前画面中当前块的输入数据，推导出将纳入于该当前块的MPM列表中的多个最可能模式(MPMs)，将其余的帧内预测模式设定为非MPM，以及依据选自该多个MPM与非MPM中的当前帧内预测模式来对该当前块进行编码或解码。在MPM列表中的第一MPM是平面(planar)模式来用于帧内预测中的被编码块或将被编码块，以及MPM列表中的一或多个其他MPM是依据当前块的一或多个相邻块的可用的角度模式的数目来推导出。

【技术实现步骤摘要】
【国外来华专利技术】图像和视频处理中产生MPM以进行帧内预测的方法和装置交叉申请本申请要求在2018年8月31日提出申请号为62/725,299，标题为“TheSimplifiedMPMGenerationofIntraModeCodingofVideoCoding”的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术相关于影像和视频处理中的帧内预测，本专利技术尤其相关于对每一个帧内预测编码块建构最可能模式(MostProbableModes，MPM)列表。
技术介绍
帧内预测已广泛应用于各种影像和视频编解码标准中，以处理初始画面或周期性地插入帧内编码画面(I画面，I-picture)或帧内编码块(I块，I-blocks)以用于随机存取或用于缓解误差传播。帧内预测通常设计为利用影像或视频画面中的空间特征，如平滑区域，垂直线或边缘，水平线或边缘，以及对角线或边缘。帧内预测对于具有高运动或场景变化的区域也是有用的，这是由于在编解码这些区域时，帧内预测相对于帧间预测的效率更好。帧内预测利用画面内或画面区域内的空间相关性。对于基于块的视频编解码标准而言，对当前块的帧内预测是依赖于已经被处理的相邻块中的像素。例如，如果画面或画面区域中的块从上到下、并且从左到右逐行(rowbyrow)地依次处理，则当前块的上方的相邻块和当前块左方的相邻块可以用于形成当前块中的像素的帧内预测子(predictor)。高效率视频编解码(HEVC)标准支持35个帧内预测模式，包括33个角度模式、直流(DC)模式和平面(Planar)模式。图1示出了HEVC标准的33个角度帧内预测模式的预测方向，其中H表示水平方向模式，V表示垂直方向模式。通过包括帧内平滑滤波、帧内预测和帧内梯度滤波(intragradientfilter)的三个步骤，来生成以HEVC标准的帧内预测编码的或将要编码的当前块的帧内预测子。图2示出了通过帧内平滑滤波器进行滤波的示例性参考样本，以推导出当前块的帧内预测子。在计算当前块20的帧内预测子之前，对当前块20的参考样本22进行平滑操作(smoothingoperation)。通过将帧内平滑滤波器应用于在当前块20的左方相邻列(column)和上方相邻行(row)中的参考样本22，平滑操作可减少由一些帧内预测模式所引入的不连续性。取决于帧内预测模式和当前块的大小而来适应性地应用该平滑操作。第二步骤是依据从HEVC标准所支持35个帧内预测模式中所选择出的一个帧内预测模式，而从相邻参考样本中推导出帧内预测子。如果选择了角度模式，则依据所选择的角度模式的预测方向，通过从参考样本所外插出(extrapolating)的样本来预测当前块中每个样本的值。如果选择平面模式，则假定一个幅度(amplitude)表面后则可以来计算当前块中的每个样本值，而此幅度表面具有从相邻块的边界样本所推导出的水平和垂直平滑梯度。如果选择了DC模式，则当前块的每个样本值是参考样本的平均值。如果帧内预测模式是DC模式，水平模式或垂直模式，则在第三步骤中将帧内梯度滤波应用于当前块的左方边界和上方边界处的样本。应用帧内梯度滤波器的概念是利用沿着帧内预测方向的梯度信息来提高帧内预测子的品质。当选择的帧内预测模式为DC模式时，当前块的第一行和第一列中的样本被帧内梯度滤波器进行滤波。当所选择的帧内预测模式为水平模式时，第一行中的样本被帧内梯度滤波器进行滤波，以及如果所选择的帧内预测模式是垂直模式，则第一列中的样本被帧内梯度滤波器滤波。所选择的帧内预测模式可以明确地(explicitly)发信送出，或者从当前块的上方和左方相邻块的先前已解码的模式中被推论出来。两个相邻块的帧内预测模式被包括在三个最可能模式(MostProbableModes,以下简称为MPM)的集合中。第一MPM旗标会被发信送出，以指示所选择的模式是否与三个MPM中的一个相同；如果是，则MPM索引会被送出来指示是选择了此三个MPM中的哪一个；如果第一MPM旗标为假，则利用5位固定长度的码字将所选择的模式明确地发信送出。图1所示的33个角度模式可以扩展到具有较多或较少角度模式的一般情况，其中每个角度模式可以由模式H+k或模式V+k来表示，其中H表示水平模式的方向，V表示垂直方向的模式，而k＝0，+-1，+-2，...+-K。用于帧内预测的65个角度模式的示例在图3中示出，其中k的范围为-16至16，模式H-16和模式V-16是相同的模式，该模式是指从当前块的左上方角落到中心的预测方向。图3示出了65个角度帧内预测模式，其中有图1所示的在HEVC标准所支持的原始33个角度模式，以及在其间的额外32个角度模式。图3中的65个角度模式包括在块的左方边界处从底部到顶部的模式H+16到H-15，以及在块的上方边界处从左方到右方的模式V-16到V+16。在最新的视频编解码标准通用视频编解码(VersatileVideoCoding，VVC)中，有两个测试模型在开发中建立：VVC测试模型(VVCTestModel，VTM)与基准组(BenchmarkSet，BMS)。VTM是VVC的参考软件，其包括最小组的编解码工具，而BMS软件则建立用于架构中对各种工具作额外的测试并比VTM有更丰富的特性。比起VTM测试模型中总共有35个可用的帧内预测模式，在BMS测试模型中共可使用67个帧内预测模式。在BMS测试模型中的67个帧内预测模式包括如图3所示的65个角度模式以及直流模式与平面模式。在BMS测试模型中，从相邻块的帧内预测模式中产生有6个MPM的列表，如果一个当前帧内预测模式是在MPM的列表其中的一个模式，则使用截断一元编解码(truncatedunarycoding)来对所述当前帧内预测模式加以编码。如果一个当前帧内预测模式不属于在MPM的列表其中的任何模式，则使用固定长度编解码或截断二元(truncatedbinary)编解码任一个都可以。在最新的视频编解码标准的VTM测试模型中，所选择的帧内预测模式可以明确地(explicitly)发信送出，或者从当前块的上方和左方相邻块的先前已解码的模式中被推论出来。两个相邻块的帧内预测模式被包括在三个最可能模式(MostProbableModes,以下简称为MPM)的集合中。第一MPM旗标会被发信送出，以指示所选择的模式是否与MPM中的一个相同；如果是，则包括MPM索引的帧内模式信息会被送出来指示是选择了哪一个MPM；如果第一MPM旗标为假，则利用截断二元的码字将所选择的模式明确地发信送出。在BMS测试模型中，MPM列表中的6个MPM被分类为三种类型，第一类型包括相邻的帧内模式，第二类型包括推导出的帧内模式，而第三类型包括默认的帧内模式。图4示出了当前块的五个相邻块，以用来建构所述当前块的MPM列表。这五个相邻块的帧内预测模式会被用来形成当前块40的初始MPM列表，其中五个相邻块的位置是如图4所示的左方(L)44、上方(A)42、左下方(BL)45、右上方(AR)43与左上方(AL)41。初始的MPM列表是通过插入相邻块的5个帧内预测模本文档来自技高网...

【技术保护点】
1.一种处理影像或视频数据的方法，该方法在影像或视频编解码系统中通过帧内预测而进行处理，包括：/n接收与当前画面中与当前块相关联的输入数据，其中该当前块通过帧内预测被编解码或将被编解码；/n推导出将被纳入于该当前块的最可能模式列表中的多个最可能模式，其中平面模式被选为该最可能模式列表中的第一最可能模式，用于通过帧内预测的已编解码的块或将要编解码的块；/n将未纳入于该最可能模式列表中的其余帧内预测模式设定为非最可能模式；以及/n依据当前帧内预测模式对该当前块进行编码或解码，其中该当前帧内预测模式属于该最可能模式列表中的该多个最可能模式中之一或是该多个非最可能模式中之一。/n

【技术特征摘要】
【国外来华专利技术】20180831 US 62/725,2991.一种处理影像或视频数据的方法，该方法在影像或视频编解码系统中通过帧内预测而进行处理，包括：
接收与当前画面中与当前块相关联的输入数据，其中该当前块通过帧内预测被编解码或将被编解码；
推导出将被纳入于该当前块的最可能模式列表中的多个最可能模式，其中平面模式被选为该最可能模式列表中的第一最可能模式，用于通过帧内预测的已编解码的块或将要编解码的块；
将未纳入于该最可能模式列表中的其余帧内预测模式设定为非最可能模式；以及
依据当前帧内预测模式对该当前块进行编码或解码，其中该当前帧内预测模式属于该最可能模式列表中的该多个最可能模式中之一或是该多个非最可能模式中之一。


2.根据权利要求1所述的处理影像或视频数据的方法，其特征在于，当前帧内预测模式是67个帧内预测模式中之一，以及该最可能模式列表包括选自该67个帧内预测模式中的6个最可能模式。


3.根据权利要求1所述的处理影像或视频数据的方法，其特征在于，该最可能模式列表中的最可能模式数目是变量，从1到可用的帧内预测模式的最大数目中选择。


4.根据权利要求1所述的处理影像或视频数据的方法，其特征在于，推导出多个最可能模式进一步包括：决定该当前块的上方相邻块与左方相邻块的可用的角度模式的数目，以及根据该可用的角度模式的数目来选择要插入于该最可能模式列表中的一或多个其他最可能模式。


5.根据权利要求4所述的处理影像或视频数据的方法，其特征在于，该上方相邻块位于该当前块右上方角落像素的上方，而该左方相邻块位于该当前块左下方角落像素的旁边。


6.根据权利要求4所述的处理影像或视频数据的方法，其特征在于，如果该可用的角度模式的数目为0，则直流模式、水平模式与垂直模式被插入于该最可能模式列表中。


7.根据权利要求4所述的处理影像或视频数据的方法，其特征在于，如果该可用的角度模式的数目是1或2，则下列之一或其组合被插入于该最可能模式列表中：直流模式以及从该可用的角度模式所推导出的多个角度模式。


8.根据权利要求7所述的处理影像或视频数据的方法，其特征在于，从该可用的角度模式所推导出的多个角度模式，包括该可用的角度模式的两个相邻模式。


9.根据权利要求7所述的处理影像或视频数据的方法，其特征在于，如果该可用的角度模式的数目是1，则下列之一或其组合被插入于该最可能模式列表中：直流模式、水平模式、垂直模式以及从该可用的角度模式所推导出的两个角度模式。


10.根据权利要求7所述的处理影像或视频数据的方法，其特征在于，如果该可用的角度模式的数目是2，则下列之一或其组合被插入于该最可能模式列表中：直流模式以及从该两个可用的角度模式中至少之一所推导出的角度模式。


11.根据权利要求4所述的处理影像或视频数据的方法，其特征在于，选择一或多个其他最可能模式进一步包括：选择该上方相邻块的上方模式并插入于该最可能模式列表中，以及选择该左方相邻块的左方模式并插入于该MPM列表中，以及有条件地交换该最可能模式列表中的该上方模式与该左方模式。


12....

【专利技术属性】
技术研发人员：江嫚书，徐志玮，庄子德，陈庆晔，穆罕默德·葛兰·沙沃尔，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：新加坡;SG