用于视频编解码的双向模板运动向量微调的方法及装置制造方法及图纸

技术编号:21900542 阅读:30 留言:0更新日期:2019-08-17 19:40
本发明专利技术公开了一种使用双向模板运动向量微调的方法及装置,以提高编解码效率或降低复杂度。根据一种方法,如果与当前块相关的尺寸大于阈值,则将双向模板运动向量微调应用到当前块。否则,不将双向模板运动向量微调应用到当前块。在另一方法中,基于两个参考块,双向模板运动向量微调被隐性地开启或关闭。根据又一方法,将在子块层上执行双向模板运动向量微调。根据又一方法,基于自高级运动向量预测候选列表的候选选择的运动向量,双向模板运动向量微调被执行。根据又一方法,双向模板运动向量微调使用修改的模板以微调运动向量。

Method and Device for Moving Vector Fine Tuning of Bidirectional Template for Video Coding and Decoding

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的双向模板运动向量微调的方法及装置【交叉引用】本专利技术要求以下申请的优先权:在2016年12月27日提出的申请号为62/439,203的美国临时专利申请、在2016年12月27日提出的申请号为62/439,207的美国临时专利申请、在2017年01月13日提出的申请号为62/445,831的美国临时专利申请、在2017年02月07日提出的申请号为62/455,625的美国临时专利申请、在2017年02月21日提出的申请号为62/461,300的美国临时专利申请、在2017年03月09日提出的申请号为62/469,048的美国临时专利申请。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及使用双向模板运动向量微调(BilateralTemplateMVRefinement,BTMVR)的运动补偿,以微调双向预测块的运动。具体地,本专利技术涉及与双向模板运动向量微调流程相关的不同技术以降低带宽、降低计算复杂度、提高性能或者其组合。
技术介绍
运动估计/运动补偿是很强大的编解码工具,其已在不同编解码标准中被使用,例如MPEG-2、H.264和新兴的高效视频编码(HighEfficiencyVideoCoding,HEVC)标准。在编码器侧处推导出的运动信息必须被发送至解码器侧,其可能消耗可观的带宽。为了提高运动信息的编解码效率,预测编解码当前运动向量(motionvector,MV)的运动向量预测(motionvectorprediction,MVP)已被开发。合并模式和高级运动向量预测(AdvancedMotionVectorPrediction,AMVP)模式对于每个帧间预测单元(predictionunit,PU),使用运动估计,以确定一个或两个MV。为了提高HEVC中的MV编解码的编解码效率,HEVCMVP预测性编码MV。具体地,HEVC支援跳过模式和合并模式以用于MVP编解码。对于跳过模式和合并模式,基于空间相邻块(空间候选)或者时间同位块(co-locatedblock)(时间候选)的运动信息,候选集被推导出。当使用跳过模式或者合并模式编解码PU时,没有运动信息被发信。相反,仅所选择的候选的索引被编解码。对于跳过模式,残差信号被设置为0或者不被编解码。换言之,没有信息被发信以用于残差。每个合并PU重新使用所选择的候选的MV、预测方向和参考图像索引。对于HEVC中的合并模式,如图1所示,多达四个空间MV候选自相邻块A0、相邻块A1、相邻块B0和相邻块B1被推导出,一个时间MV候选自右下块TBR或者中心块TCT推导出。对于时间候选,TBR被先使用。如果TBR不可用,则TCT被使用。注意的是,如果四个空间MV候选中的任何一个不可用,则块B2用于推导出MV候选,作为替换。在四个空间MV候选和一个时间MV候选的推导流程之后,移除冗余(裁剪)被应用以移除任何冗余MV候选。如果在移除冗余(裁剪)之后,可用MV候选的数量小于5,则三种类型的额外候选被推导出,并被添加到候选集(候选列表)中。编码器基于率失真优化(rate-distortionoptimization,RDO)决策,在用于跳过模式或者合并模式的候选集内选择一个最终候选,并发送索引至解码器。由于跳过候选和合并候选的推导相似,为方便起见,下文所指的“合并”模式可以对应于“合并”模式以及“跳过”模式。MVP技术也被应用以预测地编解码运动向量,其称为高级运动向量预测(AdvancedMotionVectorPrediction,AMVP)。当以帧间AMVP模式编解码PU时,用可以与运动向量预测子(motionvectorpredictor,MVP)一起使用以用于推导出MV的发送的运动向量差(motionvectordifference,MVD),执行运动补偿预测。为了确定帧间AMVP模式的MVP,AMVP方案被使用,以在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动向量预测子。因此,MVP的AMVP索引及相应的MVD需要被编码并发送以用于AMVP编解码块。此外,指定了与每个列表的参考信息帧索引相关的双向预测和单预测(即列表0(L0)和/或列表1(L1)))中的预测方向的帧间预测方向也应被编码并发送。当以跳过模式或者合并模式编解码PU时,除了所选择的候选的合并索引之外没有运动信息被发送,是因为跳过模式和合并模式采用运动推理方法(即MV=MVP+MVD,其中MVD为0)以自所选择的合并候选/跳过候选获得运动信息。在AMVP中,左MVP基于来自于A0和A1的第一可用MVP被选择,顶MVP是来自于B0、B1和B2的第一可用MVP,时间MVP是来自于TBR或者TCT的第一可用MVP(如果TBR先被使用,如果TBR不可用,则TCT被使用)。如果左MVP不可用且顶MVP不是已缩放MVP,则如果在B0、B1和B2中存在已缩放MVP,则第二顶(top)MVP可以被推导出。在HEVC中,AMVP的MVP的列表尺寸是2。因此,在两个空间MVP和一个时间MVP的推导流程之后,仅前两个MVP可用被包括在MVP列表中。如果在移除冗余之后,可用MVP的数量小于2,则0个向量候选被添加到候选列表中。双向模板MV微调在一些文献中,双向模板MV微调(BilateralTemplateMVRefinement,BTMVR)也称为解码器侧MV微调(Decoder-sideMVrefinement,DMVR)。例如,在JVET-D0029(XuChen,etal.,“Decoder-SideMotionVectorRefinementBasedonBilateralTemplateMatching”,JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,4thMeeting:Chengdu,CN,15–21October2016,Document:JVET-D0029)中,公开了基于双向模板匹配的DMVR。BTMVR的流程如图2所示,其中块210是当前块。用于当前块210的原始运动向量MV0220a和原始运动向量MV1220b被确定。例如,原始运动向量可以自合并候选推导出。BTMVR流程被应用到双向预测块。换句话说,MV0指向L0参考图像270a,MV1指向L1参考图像270b。L0参考图像270a中的L0参考块230a可以自L0参考图像270a中的当前块的相应位置210a和MV0220a定位出。同样地,L1参考图像270b中的L1参考块230b可以自L1参考图像270b中的当前块的相应位置210b和MV1220b定位出。如图2所示,模板240透过使用来自于分别由MV0220a和MV1220b所指向的两个参考块(即230a和230b)的双向预测而被生成。如图2所示,使用此模板作为新的当前块,并执行运动估计以分别在L0参考图像260a和L1参考图像260b中查找更好的匹配块(即微调参考块250a和微调参考块250b)。如图2所示,微调MV称为MV0’260a和MV1’260b。随后,微调MV(即MV0’和MV1’)均用于生成当前块的最终双向预测预测块。在BTM本文档来自技高网...

【技术保护点】
1.一种视频编解码方法,该方法包括:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测编码;确定指向列表0参考图像中参考块0的原始运动向量0和指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;若与该当前块相关的尺寸大于阈值,则:将该参考块0与该参考块1进行组合以形成该当前块的当前模板;确定指向该列表0参考图像中的微调参考块0的微调运动向量0与指向该列表1参考图像中的微调参考块1的微调运动向量1,其中该微调运动向量0产生该当前块的该当前模板与该微调参考块0之间的最小第一模板成本,该微调运动向量1产生该当前块的该当前模板与该微调参考块1之间的最小第二模板成本;以及透过将该微调参考块0与该微调参考块1进行组合,生成该当前块的最终预测子;若与该当前块相关的尺寸小于或等于该阈值,则:将该参考块0与该参考块1进行组合,以形成该当前块的该最终预测子;以及使用该最终预测子,对该当前块进行预测性编码或者解码。

【技术特征摘要】
【国外来华专利技术】2016.12.27 US 62/439,203;2016.12.27 US 62/439,207;1.一种视频编解码方法,该方法包括:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测编码;确定指向列表0参考图像中参考块0的原始运动向量0和指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;若与该当前块相关的尺寸大于阈值,则:将该参考块0与该参考块1进行组合以形成该当前块的当前模板;确定指向该列表0参考图像中的微调参考块0的微调运动向量0与指向该列表1参考图像中的微调参考块1的微调运动向量1,其中该微调运动向量0产生该当前块的该当前模板与该微调参考块0之间的最小第一模板成本,该微调运动向量1产生该当前块的该当前模板与该微调参考块1之间的最小第二模板成本;以及透过将该微调参考块0与该微调参考块1进行组合,生成该当前块的最终预测子;若与该当前块相关的尺寸小于或等于该阈值,则:将该参考块0与该参考块1进行组合,以形成该当前块的该最终预测子;以及使用该最终预测子,对该当前块进行预测性编码或者解码。2.根据权利要求1所述的视频编解码方法,其特征在于,与该当前块相关的该尺寸对应于该当前块的块尺寸。3.根据权利要求1所述的视频编解码方法,其特征在于,与该当前块相关的该尺寸对应于该当前块的块宽度或块高度。4.一种视频编解码装置,该装置包括一或多个电子电路或者处理器,用于:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测编码;确定指向列表0参考图像中参考块0的原始运动向量0与指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;若与该当前块相关的尺寸大于阈值,则:将该参考块0与该参考块1进行组合以形成该当前块的当前模板;确定指向该列表0参考图像中微调参考块0的微调运动向量0与指向该列表1参考图像中微调参考块1的微调运动向量1,其中该微调运动向量0产生该当前块的该当前模板与该微调参考块0之间的最小第一模板成本,该微调运动向量1产生该当前块的该当前模板与该微调参考块1之间的最小第二模板成本;以及透过将该微调参考块0与该微调参考块1进行组合,生成该当前块的最终预测子;若与该当前块相关的尺寸小于或等于该阈值,则:将该参考块0与该参考块1进行组合,以形成该当前块的该最终预测子;以及使用该最终预测子,对该当前块进行预测性编码或者解码。5.一种视频编解码方法,该方法包括:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测编解码;确定指向列表0参考图像中参考块0的原始运动向量0与指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;基于该参考块0与该参考块1,推导出关于是否将双向模板运动向量微调应用到该当前块的决策;若该决策表示将双向模板运动向量微调应用到该当前块,则:将该参考块0与该参考块1进行组合以形成该当前块的当前模板;确定指向该列表0参考图像中微调参考块0的微调运动向量0与指向该列表1参考图像中微调参考块1的微调运动向量1,其中该微调运动向量0产生该当前块的该当前模板与该微调参考块0之间的最小第一模板成本,该微调运动向量1产生该当前块的该当前模板与该微调参考块1之间的最小第二模板成本;以及透过将该微调参考块0与该微调参考块1进行组合,生成该当前块的最终预测子;若该决策表示不将双向模板运动向量微调应用到该当前块,则:将该参考块0与该参考块1进行组合,以形成该当前块的该最终预测子;以及使用该最终预测子,对该当前块进行预测性编码或者解码。6.根据权利要求5所述的视频编解码方法,其特征在于,该决策基于该参考块0与该参考块1之间的差的测量被推导出。7.根据权利要求6所述的视频编解码方法,其特征在于,该参考块0与该参考块1之间的差的测量被计算为该参考块0与该参考块1之间的绝对差之和。8.根据权利要求6所述的视频编解码方法,其特征在于,若该参考块0与该参考块1之间的差的测量小于阈值,则该决策表示将双向模板运动向量微调应用到该当前块。9.根据权利要求8所述的视频编解码方法,其特征在于,该阈值被允许逐预测单元、逐片段、或者逐图像改变。10.根据权利要求8所述的视频编解码方法,其特征在于,该阈值对应于预定义固定值。11.根据权利要求8所述的视频编解码方法,其特征在于,该阈值根据该当前图像的比特深度被确定。12.根据权利要求8所述的视频编解码方法,其特征在于,该当前块对应于一个预测单元,该阈值根据预测单元尺寸被确定。13.根据权利要求8所述的视频编解码方法,其特征在于,该阈值被发信在序列层、图像层、片段层或者预测单元层。14.一种视频编解码装置,该装置包括一或多个电子电路或者处理器,用于:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测编解码;确定指向列表0参考图像中参考块0的原始运动向量0与指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;基于该参考块0与该参考块1,推导出关于是否将双向模板运动向量微调应用到该当前块的决策;若该决策表示将双向模板运动向量微调应用到该当前块,则:将该参考块0与该参考块1进行组合以形成该当前块的当前模板;确定指向该列表0参考图像中微调参考块0的微调运动向量0与指向该列表1参考图像中微调参考块1的微调运动向量1,其中该微调运动向量0产生该当前块的该当前模板与该微调参考块0之间的最小第一模板成本,该微调运动向量1产生该当前块的该当前模板与该微调参考块1之间的最小第二模板成本;以及透过将该微调参考块0与该微调参考块1进行组合,生成该当前块的最终预测子;若该决策表示不将双向模板运动向量微调应用到该当前块,则:将该参考块0与该参考块1进行组合,以形成该当前块的该最终预测子;以及使用该最终预测子,对该当前块进行预测编码或者解码。15.一种视频编解码方法,该方法包括:接收与当前图像中当前块相关的输入数据,其中该当前块以双向预测模式编解码;确定指向列表0参考图像中参考块0的原始运动向量0与指向列表1参考图像中的参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;将该参考块0与该参考块1进行组合以形成该当前块的当前模板;使用相同的子块分割,将该当前块分割成多个当前子块,将该参考块0分割成多个参考子块0,将该参考块1分割成多个参考子块1,并将该当前模板分割成多个当前子模板;对于每个当前子块:确定指向该列表0参考图像中微调参考子块0的微调子块运动向量0与指向该列表1参考图像中微调子参考块1的微调子块运动向量1,其中该微调子块运动向量0产生该微调参考子块0与一个相应子模板之间的最小第一模板成本,以及该微调子块运动向量1产生该微调参考子块1与该列表1参考图像中的一个相应子模板之间的最小第二模板成本;以及透过将该微调参考子块0与该微调参考子块1进行组合,生成该当前子块的最终子块预测子;以及使用该最终预测子,对该当前子块进行预测编码或者解码。16.根据权利要求15所述的视频编解码方法,其特征在于,在序列层、图像层、片段层或者预测单元层发信标志,以表示子块双向模板运动向量微调是否被使能。17.根据权利要求15所述的视频编解码方法,其特征在于,该相同的子块分割将每个块分割成具有子块宽度和子块高度的多个子块,并且与该子块宽度和该子块高度相关的信息被发信在序列层、图像层、片段层或者预测单元层。18.一种视频编解码装置,该装置包括一或多个电子电路或者处理器,用于:接收与当前图像中当前块相关的输入数据,其中该当前块以双向预测模式编解码;确定指向列表0参考图像中参考块0的原始运动向量0与指向列表1参考图像中参考块1的原始运动向量1,其中该原始运动向量0与该原始运动向量1对应于该当前块的双向预测运动向量;将该参考块0与该参考块1进行组合以形成该当前块的当前模板;使用相同的子块分割,将该当前块分割成多个当前子块,将该参考块0分割成多个参考子块0,将该参考块1分割成多个参考子块1,并将该当前模板分割成多个当前子模板;对于每个当前子块:确定指向该列表0参考图像中微调参考子块0的微调子块运动向量0与指向该列表1参考图像中的微调子参考块1的微调子块运动向量1,其中该微调子块运动向量0产生该微调参考子块0与一个相应子模板之间的最小第一模板成本,以及该微调子块运动向量1产生该微调参考子块1与该列表1参考图像中的一个相应子模板之间的最小第二模板成本;以及透过将该微调参考子块0与该微调参考子块1进行组合,生成该当前子块的最终子块预测子;以及使用该最终预测子,对该当前子块进行预测编码或者解码。19.一种视频编解码方法,该方法包括:接收与当前图像中当前块相关的输入数据,其中该当前块使用双向预测以高级运动向量预测编解码;确定高级运动向量预测候选作为该当前块的运动向量0与运动向量1,其中该运动向量0指向列表0参考图像中参考块0,该运动向量1指向列表1参考图像中参考块1;根据双向模板运动向量微调流程...

【专利技术属性】
技术研发人员:陈俊嘉徐志玮庄子德陈庆晔黄毓文
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1