用于图像和视频编解码的画面内预测融合的方法和装置制造方法及图纸

本发明专利技术涉及一种使用画面内预测进行视频编码的方法和装置。在一种方法中，使用角度预测得到当前块的紧邻右侧列的第一预测取样和当前块的紧邻下方行中的第二预测取样。对第一预测取样和与该第一预测取样相同行中的左侧列参考取样进行插值以产生水平预测子。对第二预测取样和与第二预测取样相同的行中的上方行参考取样进行插值以产生垂直预测子。垂直预测子和水平预测子被线性组合以生成基于角度与平面预测的画面内预测子。在另一种方法中，使用角度预测生成第一预测子，并且使用平面预测生成第二预测子。第一预测子和第二预测子被线性组合以生成融合的画面内预测子。

【技术实现步骤摘要】
【国外来华专利技术】用于图像和视频编解码的画面内预测融合的方法和装置交叉申请本专利技术主张在2017年11月13日提出的第62/585,001号的美国临时专利申请，以及在2017年11月24日提出的第62/590,408号的美国临时专利申请的优先权。美国临时专利申请的全部内容在此引入作为参考。
本专利技术涉及图像和视频编解码中的画面内预测。具体而言，本专利技术涉及一种组合多个画面内预测模式以形成新的画面内预测模式以改善编码性能的技术。
技术介绍
高效视频编码(HighEfficiencyVideoCoding,HEVC)标准是在ITU-T视频编码专家组(VideoCodingExpertsGroup,VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织的联合视频项目下开发的，特别是与称为视频编码联合协作小组(JCT-VC)的合作而开发。在HEVC中，将一个片段(slice)分割为多个编码树单元(Codingtreeunits,CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列参数集(sequenceparameterset,SPS)中的语法元素指定。允许的CTU尺寸可以是8x8,16x16,32x32或64x64。对于每个片段，依据循序扫描顺序处理片段内的CTU。将CTU进一步分割为多个编码单元(Codingunits,CU)以适应各种局部特性。表示为编码树的四叉树用于将CTU分割为多个CU。令CTU尺寸为MxM，其中M是64,32或16的值中的一个。CTU可以是单个CU(即，没有分割)或者可以分成四个相同尺寸的较小单元(即，每个尺寸为M/2xM/2)，对应于编码树的节点。如果单元是编码树的叶节点，则单元变为CU。否则，可以迭代四叉树分割过程，直到节点的尺寸达到序列参数集(SequenceParameterSet,SPS)中指定的最小允许CU尺寸。此外，依据HEVC，每个CU可以被分割成一个或多个预测单元(predictionunits,PU)。与CU一起，PU作为共享预测信息的基本代表性块。在每个PU内部，应用相同的预测过程，并且以PU为基础将相关信息发送到解码器。可以依据PU分割类型将CU分成一个，两个或四个PU。HEVC定义了用于将CU分成PU的八种形状，包括分割类型2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N。与CU不同，PU可以仅依据HEVC分割一次。对于非对称分割，两个分割部分具有不同的尺寸。HEVC编解码包括画面间预测和画面内预测。画面内预测是用于图像/视频编解码中的画面内预测的技术，其中相同图片中的空间相邻的已编码取样用于预测正被编码的当前块中的取样。在诸如高效视频编码(HEVC)的典型视频编解码器中，存在3种类型的画面内预测：角度画面内预测，直流(DC)预测和平面预测。在角度画面内预测中，当前块中的取样被定向地从之前重建的空间相邻而被预测。给定当前块中的取样位置，预测方向用于识别重建相邻取样中的参考取样的位置。该位置可以是非整数，表示子取样位置。在这种情况下，可以应用插值处理以获得参考取样值。DC预测模式使用参考取样的平均值来预测当前块中的所有取样。它假设当前块中的平坦表面具有与边界取样的平均值匹配的值。平面预测模式假设当前块具有从边界汇出的水平和垂直斜率变化的特性，因此将基于四个角参考取样的两个线性预测的平均值用于预测当前块中的取样。在下文中，描述了HEVC中的画面内预测技术的细节。在HEVC中，支持总共35种画面内预测模式。画面内预测模式0对应于平面画面内预测模式；模式1对应于DC预测；模式2至34对应于具有不同方向性的角度预测模式。图1标出了与角度模式相关的预测方向。如图2所示，参考取样是来自当前块(由虚线框210表示)的上方和左侧的、进行预测的一组取样。参考取样由Rx,y表示，其中(x，y)对应于其原点在当前块的左上角和左侧和上方的一个像素的坐标。预测的取样表示为Px,y。当一些参考取样不可用于画面内预测时，例如图片或片段边界处的参考像素，左边界上的缺失参考取样透过从下面最接近的可用参考取样重复生成(或者如果下面没有取样可用则从上面重复生成)并且顶部边界上缺少的参考取样透过从左侧最接近的可用参考取样重复生成。如果没有参考取样可用于画面内预测，则为所有取样分配给定比特深度的标称平均取样值(例如，8比特数据的取样值128)。ITU-TVCEG和ISO/IECMPEG已经建立了一个名为JVET(联合视频探索团队)的国际标准化组织，以研究下一代视频编码技术。对于下一代视频编码标准，已经提出了总的67种画面内模式，其包括65角的画面内预测、DC预测与平面预测模式。角度画面内预测透过利用给定方向性从重建的参考取样外推取样值来执行HEVC中的角度画面内预测过程。为了简化处理，依据所选预测模式的方向性，利用用于角度模式2到17的左参考列(leftreferencecolumn)以及用于角度模式18至34的顶部参考行(abovereferencerow)，将一个预测块内的所有取样位置投影到单个参考行/列(row/column)。在投影像素位置具有负指数的情况下，在垂直和水平预测中，透过投影左参考列以将顶部参考行向左延伸，或者投影顶部参考行以将左参考列向上延伸，而延伸参考行或列。图3描绘了对于8×8块利用来自左参考列的取样延伸顶部参考行的示例性过程。在图3中，投影左侧参考取样以延伸顶部参考行。箭头310表示预测方向，箭头320和322表示画面内模式23的情况下的参考取样投影。每个角度画面内预测取样Px,y在主要垂直预测(即，模式18至34)的情况下，透过将其位置投影到应用所选择的预测方向的参考像素行并以1/32像素精度插值取样的值来获得。使用两个最接近的参考取样线性地执行插值：Px,y＝((32-wy)·Ri,0+wy·Ri+1,0+16)＞＞5(1)在上面的等式中，Wy是两个参考取样之间的加权，对应于Ri,0和Ri+1,0之间的投影子像素位置，以及“>>”表示向右移位操作。基于投影方向(如图1所示，以1/32取样为单位描述预测方向的切线并且具有从-32到32的值)计算参考索引i和加权参数，如下所示：cy＝(y·d)＞＞5,(2)wy＝(y·d)&31,以及(3)i＝x+cy(4)在上述等式中，“&”表示逐位AND运算，“d”是投影方向(即画面内预测角度)。在主要为水平预测的情况下(即，用于HEVC画面内预测的模式2至17)，可以透过交换等式(1)至(4)中的x和y坐标以与上述类似的方式推导出预测取样。直流预测和平面预测透过对所有参考取样求平均来获得DC预测取样：HEVC中的平面预测被定义为如图4所示的两个线性预测的平均值。在图4中，块400对应于具有画面内预测的NxN尺寸的当前块。当前块上方和左侧的小方块是参考取样。对于第一个预测因子(即，取样410)，透过复制参考取样R0,N+1(即，取样L)至紧本文档来自技高网...

【技术保护点】
1.一种视频编解码方法，用于视频编码系统或视频解码系统，其中，该方法包括：/n接收与当前图像中的当前块相关联的输入数据；/n对于该当前块中的至少一个取样：/n识别与该至少一个取样在同一行的左侧参考取样和右侧预测子，其中该左侧参考取样对应于该当前块的紧邻左侧列中的先前编码取样，以及位于该当前块的紧邻右侧列处的该右侧预测子是依据角度预测而产生；/n透过插值该左侧参考取样和该右侧预测子来产生第一预测子；/n识别与该至少一个取样在同一列中的顶端参考取样和底端预测子，其中顶端参考取样对应于该当前块的紧邻上方行中的先前编码取样，以及该当前块的紧邻下方行处的底端预测子是依据该角度预测而产生；/n透过插值该顶部参考取样和该底端预测子来产生第二预测子；以及/n依据该第一预测子和该第二预测值的加权和，为该当前块中的该至少一个取样产生最终画面内预测子；以及/n使用包括该最终画面内预测子的画面内预测块，将预测编码或解码应用于该当前块。/n

【技术特征摘要】
【国外来华专利技术】20171113 US 62/585,001;20171124 US 62/590,4081.一种视频编解码方法，用于视频编码系统或视频解码系统，其中，该方法包括：
接收与当前图像中的当前块相关联的输入数据；
对于该当前块中的至少一个取样：
识别与该至少一个取样在同一行的左侧参考取样和右侧预测子，其中该左侧参考取样对应于该当前块的紧邻左侧列中的先前编码取样，以及位于该当前块的紧邻右侧列处的该右侧预测子是依据角度预测而产生；
透过插值该左侧参考取样和该右侧预测子来产生第一预测子；
识别与该至少一个取样在同一列中的顶端参考取样和底端预测子，其中顶端参考取样对应于该当前块的紧邻上方行中的先前编码取样，以及该当前块的紧邻下方行处的底端预测子是依据该角度预测而产生；
透过插值该顶部参考取样和该底端预测子来产生第二预测子；以及
依据该第一预测子和该第二预测值的加权和，为该当前块中的该至少一个取样产生最终画面内预测子；以及
使用包括该最终画面内预测子的画面内预测块，将预测编码或解码应用于该当前块。


2.根据权利要求1所述的视频编解码方法，其特征在于，位于该当前块的紧邻右侧列与该当前块的紧邻上方行的交叉点处的右上角预测子是自与该角度预测相关的角度方向上的一个或多个第一参考取样而产生，以及位于该当前块的紧邻左侧列与该当前块的紧邻下方行的交叉点处的左下角预测子是自与该角度预测相关的该角度方向上的一个或多个第二参考取样而产生，以及其中该右侧预测子与该右上角预测子相同，而该底端预测子与该左下角预测子相同。


3.根据权利要求1所述的视频编解码方法，其特征在于，该右侧预测子是自与该角度预测相关联的角度方向上的一个或多个第一参考取样而产生，以及该底端预测子是自与该角度预测相关联的角度方向上的一个或多个第二参考取样而产生。


4.根据权利要求1所述的视频编解码方法，其特征在于，右下角预测子位于该当前块的紧邻右侧列与该当前块的紧邻下方行的交叉点处，该右下角预测子是自与该角度预测相关的角度方向上的一个或多个参考取样而产生；以及该右侧预测子是透过插值该右下角预测子和位于该当前块的紧邻右侧列与该当前块的紧邻上方行的交叉点处的右上角参考取样而产生，以及该底端预测子是透过对该右下角预测子和位于该当前块的紧邻左侧列和该当前块的紧邻下方行的交叉点处的左下角参考取样进行插值而产生。


5.根据权利要求1所述的视频编解码方法，其特征在于，该第一预测值和该第二预测值的该加权和是利用用于该第一预测子和该第二预测子的不同加权因子而得到。


6.根据权利要求1所述的视频编解码方法，其特征在于，该第一预测子和该第二预测子的该加权和利用相同的加权因子来得到，该相同加权因子对应于0.5以用于该第一预测子和该第二预测子。


7.根据权利要求6所述的视频编解码方法，其特征在于，该最终画面内预测取样透过将该第一预测子和该第二预测子之和右移1位而被计算。


8.根据权利要求1所述的视频编解码方法，其特征在于，当该当前块对应于非正方形块时，该第一预测子的插值过程使用取决于该当前块的宽度的第一参数；该第二预测子的插值过程使用取决于该当前块的高度的第二参数；以及对于该最终画面内预测子的无除法运算的实现情况，该最终画面内预测子是使用取决于该当前块的高度和宽度的第三参数来产生。


9.根据权利要求1所述的视频编解码方法，其特征在于，还包括：在编码器侧发送语法元...

【专利技术属性】
技术研发人员：蔡佳铭，黄晗，徐志玮，黄毓文，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：新加坡;SG