融合候选者列表构建方法、装置及的编/解方法及装置制造方法及图纸

技术编号:23450188 阅读:42 留言:0更新日期:2020-02-28 23:25
本发明专利技术提供一种用于进行帧间预测的融合候选者列表构建方法包括,当所述相邻块可得并且所述相邻块的运动信息与特定位置的相邻块的运动信息不同时,则将所述相邻块的运动信息作为所述当前块的空间融合候选者加入所述当前块的融合候选者列表中;以及,当所述非相邻块可得的情况下判断所述非相邻块中的至少一个非相邻块的帧间预测模式是预定的帧间预测模式,则不将所述至少一个非相邻块的非相邻空间融合候选者加入当前块的融合候选者列表中。

Construction method, device, compilation / solution method and device of fusion candidate list

【技术实现步骤摘要】
融合候选者列表构建方法、装置及的编/解方法及装置
本申请实施例上涉及视频编码领域,更确切地说,涉及视频编解码过程中帧间预测模式下的融合候选者列表构建的方法,及其应用的编解码方法中。
技术介绍
视频编码(视频编码和解码)广泛用于数字视频应用,例如广播数字电视、互联网和移动网络上的视频传播、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。随着1990年H.261标准中基于块的混合型视频编码方式的发展,新的视频编码技术和工具得到发展并形成了后续视频编码标准演进的基础。视频编码标准包括MPEG-1视频、MPEG-2视频、ITU-TH.262/MPEG-2、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编码(AdvancedVideoCoding,AVC)、ITU-TH.265/高效视频编码(HighEfficiencyVideoCoding,HEVC)…以及此类标准的扩展,例如可扩展性和/或3D(three-dimensional)扩展。随着视频创作和分享变得越来越广泛,视频流量成为通信网络和数据存储的最大负担。因此大多数视频编码标准的目标之一是相较之前的标准,在不降低图片的主观质量的前提下减少比特率。即使最新的高效视频编码(HighEfficiencyvideocoding,HEVC)可以在不降低图片的主观质量的前提下比AVC大约多压缩视频一倍,仍然亟需新技术相对HEVC进一步压缩视频,新一代的视频编码技术VVC(VersatileVideoCoding)技术正在制定过程中,其目标在于相较于HEVC能够在图片的主观质量不下降的前提下,进一步将压缩率提升50%左右。HEVC/H.265视频编码标准、或者正在制定的VVC/H.266视频编码标准,一帧图像会被分割成互不重叠的编码树单元(CodingTreeUnit,CTU),CTU的大小可以设置为64×64或128×128大小。以64×64大小的CTU为例,其包含64列像素,每列包含64个像素,每个像素包含亮度分量或/和色度分量。一个CTU被划分为一个或多个编码单元(CodingUnit,CU)。一个CU包含基本的编码信息,包括预测模式、变换系数等信息。解码端可以按照这些编码信息对CU进行相应的预测、反量化、反变换、重建、滤波等解码处理,产生这个CU对应的重建图像。一个CU对应有预测图像和残差图像,预测图像与残差图像相加得到重建图像。预测图像通过帧内预测或帧间预测生成,残差图像通过对变换系数进行反量化和反变换处理生成。帧间预测是基于运动补偿(motioncompensation)的预测技术,主要处理过程为确定当前块的运动信息,根据运动信息从当前块的参考帧中获取参考图像块,产生当前块的预测图像,其中,当前块(currentblock)是指正在进行编码/解码处理的图像块,其中所述当前块可以是一个编码单元中的亮度块或者色度块。运动信息包含帧间预测方向、参考帧、运动矢量等,其中帧间预测方向指示当前块使用前向预测、后向预测或双向预测其中的何种预测方向,运动矢量指示了参考帧中用于预测当前块的参考图像块相对于当前块的位移矢量,因而一个运动矢量对应有一个参考帧。一个图像块的帧间预测可以只通过一个运动矢量,使用一个参考帧中的像素来生成预测图像,称为单向预测;也可以通过两个运动矢量,使用两个参考帧中的像素来组合生成预测图像,称为双向预测。也就是说,一个图像块通常可包含一个或两个运动矢量。对于一些多假设帧间预测(multi-hypothesisinterprediction)技术,一个图像块可能包含多于两个运动矢量。帧间预测通过参考帧索引(referenceindex,ref_idx)指明参考帧(referenceframe),通过运动矢量(motionvector,MV)指示当前块(currentblock)在参考帧中的参考块(referenceblock)相对当前帧中当前块的位置偏移。一个MV是二维矢量,包含水平方向位移分量和竖直方向位移分量;一个MV对应于两个帧,每一帧具有一个图像顺序号(pictureordercount,POC),用于表示图像在显示顺序上的编号,所以一个MV也对应于一个POC差值。POC差值与时间间隔呈线性关系。运动矢量的缩放通常采用基于POC差值的缩放方式,将一对图像之间的运动矢量转换成另一对图像之间的运动矢量。常用的帧间预测模式有以下三种:1)AMVP模式(AdvancedMotionVectorPrediction):在码流中标识当前块使用的帧间预测方向(前向、后向或双向)、参考帧索引(referenceindex)、运动矢量预测值索引(motionvectorpredictorindex,MVPindex)、运动矢量残差值(motionvectordifference,MVD);由帧间预测方向确定使用的参考帧队列,由参考帧索引确定当前块MV指向的参考帧,由运动矢量预测值索引指示MVP列表中的一个MVP作为当前块MV的预测值,一个MVP与一个MVD相加得到一个MV。2)merge/skip模式:码流中标识融合索引(mergeindex),根据mergeindex从融合候选者列表(mergecandidatelist)中选择一个mergecandidate,当前块的运动矢量信息(包括预测方向、参考帧、运动矢量)由这个mergecandidate确定。merge模式和skip模式的主要区别在于,merge模式隐含当前块有残差信息,也即,从运动候选者列表中获取的运动矢量作为当前块的运动矢量预测值,而当前块的运动矢量由该运动矢量的预测值与运动矢量的残差值相加得到,运动矢量的残差通过解码码流得到;而skip模式隐含当前块没有残差信息(或者说残差为0),即从运动矢量列表中获得的运动矢量直接作为当前块的运动矢量进行帧间预测;这两种模式导出运动信息的方式是一样的。3)仿射变换模式:通过仿射变换由两个或三个控制点运动矢量得到当前块中各个子块的运动矢量。HEVC标准中,融合候选者可以是当前块相邻的图像块的运动信息,称为空间融合候选者(spatialmergecandidate);也可以是当前块在另一已编码图像中对应位置图像块的运动信息,称为时间融合候选者(temporalmergecandidate)。此外,融合候选者还可以是由一个融合候选者的前向运动信息和另一个融合候选者的后向运动信息组合而成的双向预测融合候选者(bi-predictivemergecandidate),或者运动矢量强制为0矢量的零运动矢量融合候选者(zeromotionvectormergecandidate)。在最新的视频标准VVC制定的最近一次会议所接收到的技术提案,如,JVET-K0286、JVET-K0198和JVET-K0339,这些提案中提出了在融合候选者列表中加入非相邻空间融合候选者(non-adjacentspatialmergecandidate)的方法,增加了mer本文档来自技高网...

【技术保护点】
1.一种用于进行帧间预测的融合候选者列表构建方法,其特征在于:/n基于预设的第一选择规则,将与当前块空域邻接的相邻块的运动信息作为所述当前块的空间融合候选者加入所述当前块的融合候选者列表中,其中,所述预设的第一选择规则包括,当所述相邻块可得并且所述相邻块的运动信息与特定位置的相邻块的运动信息不同时,则将所述相邻块的运动信息作为所述当前块的空间融合候选者加入所述当前块的融合候选者列表中;/n基于预设的第二选择规则,将与所述当前块空域不邻接的非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述融合候选者列表中,其中,所述当前块具有一个或者多个空域不邻接的所述非相邻块,所述预设的第二选择规则包括:当所述非相邻块可得的情况下判断所述非相邻块中的至少一个非相邻块的帧间预测模式不是预定的帧间预测模式,且所述至少一个非相邻块的运动信息与特定位置的相邻块或者非相邻块的运动信息相同时,则将所述至少一个非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述融合候选者列表中,当所述非相邻块可得的情况下判断所述非相邻块中的至少一个非相邻块的帧间预测模式是预定的帧间预测模式时,则不将所述至少一个非相邻块的非相邻空间融合候选者加入当前块的融合候选者列表中。/n...

【技术特征摘要】
20180820 CN 20181094885401.一种用于进行帧间预测的融合候选者列表构建方法,其特征在于:
基于预设的第一选择规则,将与当前块空域邻接的相邻块的运动信息作为所述当前块的空间融合候选者加入所述当前块的融合候选者列表中,其中,所述预设的第一选择规则包括,当所述相邻块可得并且所述相邻块的运动信息与特定位置的相邻块的运动信息不同时,则将所述相邻块的运动信息作为所述当前块的空间融合候选者加入所述当前块的融合候选者列表中;
基于预设的第二选择规则,将与所述当前块空域不邻接的非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述融合候选者列表中,其中,所述当前块具有一个或者多个空域不邻接的所述非相邻块,所述预设的第二选择规则包括:当所述非相邻块可得的情况下判断所述非相邻块中的至少一个非相邻块的帧间预测模式不是预定的帧间预测模式,且所述至少一个非相邻块的运动信息与特定位置的相邻块或者非相邻块的运动信息相同时,则将所述至少一个非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述融合候选者列表中,当所述非相邻块可得的情况下判断所述非相邻块中的至少一个非相邻块的帧间预测模式是预定的帧间预测模式时,则不将所述至少一个非相邻块的非相邻空间融合候选者加入当前块的融合候选者列表中。


2.如权利要求1所述的方法,其特征在于,在所述基于预设的第二选择规则,将与所述当前块空域不邻接的非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述当前块的融合候选者列表中之前,所述方法还包括:
将所述当前块的参考帧中的同位块的右下角相邻块的运动信息作为所述当前块的时域融合候选者加入所述融合候选者列表中,其中所述同位块在所述参考帧中的位置与所述当前块在当前中的位置相同,或者在所述同位块的右下角相邻块的运动信息不可得的情况下,将所述同位块的中心点的运动信息作为所述当前块的时域融合候选者加入所述融合候选者列表中。


3.如权利要求1或2所述的方法,其特征在于,在所述基于预设的第二选择规则,将与所述当前块空域不邻接的非相邻块的运动信息作为所述当前块的非相邻空间融合候选者加入所述当前块的融合候选者列表中之后,且所述融合候选者列表中的所述融合候选者的数目未达到预定值,所述方法还包括:在所述当前块属于双向预测分片(bi-predictiveslice)时将双向预测融合候选者加入到所述融合候选者列表中,或者,在将所述双向预测融合候选者加入到所述融合候选者列表中后,所述融合候选者列表中的所述融合候选者的数目未达到所述预定值,则将零运动矢量融合候选者加入到所述融合候选者列表中;或在所述当前块属于单向预测分片(uni-predictiveslice)时将零运动矢量融合候选者加入到所述融合候选者列表中。


4.如权利要求1或2所述的方法,其特征在于,所述预定的帧间预测模式为跳过/融合模式(skip/mergemode)。


5.如权利要求1或2所述的方法,其特征在于,所述预定的帧间预测模式为仿射(Affine)变换预测模式。


6.如权利要求1或2所述的方法,其特征在于,所述预定的帧间预测模式为skip/merge模式和仿射(Affine)变换预测模式。


7.如权利要求1至6任意一项所述的方法,其特征在于,所述非相邻块中的至少一个非相邻块包括A2、B2、C2、D2、E2块,其中,所述当前块的左上角坐标为P0=(x0,y0),所述当前块的宽和高分别为W和H,所述A2块的左上角坐标为PA2=(x0-4-2*Sx,y0+H-4),所述B2块的左上角坐标为PB2=(x0+W-4,y0-4-2*Sy),所述C2块的左上角坐标为PC2=(x0+W,y0-4-2*Sy),所述D2块的左上角坐标为PD2=(x0-4-2*Sx,y0+H),所述E2块的左上角坐标为PE2=(x0-4-2*Sx,y0-4-2*Sy)。


8.如权利要求1至6任意一项所述的方法,其特征在于,所述非相邻块中的至少一个非相邻块包括A1、B1、C2、D2、E2块,所述当前块的左上角坐标为P0=(x0,y0),所述当前块的宽和高分别为W和H,所述A1块的左上角坐标为PA1=(x0-4-Sx,y0+H-4),所述B1块的左上角坐标为PB1=(x0+W-4,y0-4-Sy),所述C2块的左上角坐标为PC2=(x0+W,y0-4-2*Sy),所述D2块的左上角坐标为PD2=(x0-4-2*Sx,y0+H),所述E2块的左上角坐标为PE2=(x0-4-2*Sx,y0-4-2*Sy)。


9.如权利要求1至6任意一项所述的方法,其特征在于,所述非相邻块中的至少一个非相邻块为A1、B1、C1、D1、E1块,所述当前块的左上角坐标为P0=(x0,y0),所述当前块的宽和高分别为W和H,则所述A1块的左上角坐标为PA1=(x0-4-Sx,y0+H-4),所述B1块的左上角坐标为PB1=(x0+W-4,y0-4-Sy),所述C1块的左上角坐标为PC2=(x0+W,y0-4-Sy),所述D1块的左上角坐标为PD1=(x0-4-Sx,y0+H),所述E1块的左上角坐标为PE1=(x0-4-Sx,y0-4-Sy)。


10.一种解码方法,其特征在于,将根据权利要求1至9任意一项所述的方法所构建得到的所述融合候选者列表应用于所述当前块的解码过程中,所述解码过程包括:
将根据权利要求1至9任意一项所述的方法构建得到所述当前块的融合候选者列表;
解析码流获取融合候选者索引;
根据所述融合候选者索引从所述融合候选者列表中获取对应的融合候选者并将所述融合候选者作为所述当前块的运动信息;
根据所述当前块的运动信息对当前块进行帧间预测获得所述当前块的预测图像;
获取所述当前块的残差图像;
将所述当前块的预测图像以及所述当前块的残差图像相加得到所述当前块的重建图像。


11.一种编码方法,其特征在于,将根据权利要求1至9任意一项所述的方法所构建得到的所述融合候选者列表应用于所述当前块的编码过程中,所述编码过程包括:
将根据权利要求1至9任意一项所述的方法构建得到所述当前块的融合候选者列表;基于所述融合候选者列表中的每个融合候选者对所述当前块进行基于RDO的融合评估(Mergeestimation)并将率失真代价值最小的融合候选者作为当前块的运动信息;
基于所述当前块的运动信息对所述当前块进行编码形成编码数据;
将所述率失真代价值最小的融合候选者在所述融合候选列表中的位置索引附加至所述编码数据中。


12.一种用于进行帧间预测的融合候选者列表构建装置,其特征在于包括:
空域相邻融合候选者获取模块,用于,基于预设的第一选择规则,将与当前...

【专利技术属性】
技术研发人员:杨海涛赵寅徐巍炜
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1