在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置制造方法及图纸

技术编号:23102072 阅读:27 留言:0更新日期:2020-01-14 21:11
视频处理方法以及装置通过构造包括至少一个运动候选以及至少一个平均候选的候选集用于对当前块进行编解码。从相邻块的运动信息推导所述平均候选,以及用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块。每一所述相邻块是当前图像中的空间相邻块或者时间同位图像中的时间块。从所述候选集确定所选择的候选作为运动向量预测子用于对所述当前块的运动向量进行编码或解码。

A method and device for generating average candidates for inter frame image prediction in video codec system

【技术实现步骤摘要】
在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置相关引用本专利技术要求于2018年7月6日递交的,号码为62/694,557,标题为“MethodofAveragedMVinInterModeandMergeModeCoding”的美国临时专利申请案,于2018年10月3日递交的,号码为62/740,568,标题为“AverageMVPsorAverageMergeCandidatesPruninginVideoCoding”的美国临时专利申请案以及于2018年10月4日递交的,号码为62/741,246,标题为“MethodofAveragedMVandsub-blockmodeinInterModeandMergeModeCoding”的美国临时专利申请案的优先权。临时专利申请案在本文通过引用纳入其中。
本专利技术涉及视频编码以及解码系统中视频处理方法以及装置。具体地,本专利技术涉及从相邻块的运动信息生成平均候选用于帧间图像预测。
技术介绍
高效视频编解码(HEVC)标准是来自ITU研究小组的视频编解码专家的联合视频编码小组(JCT-VC)开发的最新的视频编解码标准。HEVC标准改善了它延续的标准H.264/AVC的压缩性能来满足更高图像分辨率、更高帧率以及更好视频质量的需求。HEVC标准依赖于基于块的编解码结构,将每一视频切片(slice)拆分成多个正方形编解码树单元(CTU),其中CTU是HEVC中视频压缩的基本单元。在HEVC的主规格中,通过在序列参数集(SequenceParameterSet,SPS)中发信的语法元素指定CTU的最小以及最大尺寸。光栅扫描次序用于编码或解码每一切片中的CTU。每一CTU可以包含一个编码单元(CU)或根据四叉树分割结构递归地被拆分成四个更小的CU直到达到预定的最小CU尺寸。在四叉树分割结构的每一深度,NxN块是单个叶CU或者被拆分成四个尺寸为N/2xN/2的块,其是编码树节点。如果编码树节点不被进一步拆分,它是叶CU。叶CU尺寸被限制为大于或等于预定最小CU尺寸,其也在SPS中指定。预测决定在CU级做出,其中每一CU使用帧间图像预测(interpictureprediction)或帧内图像预测(intrapictureprediction)进行编码。一旦完成了CU分层树的拆分,每一CU根据用于预测的PU分割类型,进一步被拆分成一个或多个预测单元(predictionunit,PU)。因为对PU中的所有像素应用相同的预测进程,PU作为用于共享预测信息的基础代表块。预测信息在PU的基础上被传达到解码器。帧间图像预测中的运动估计识别一个或两个参考图像中用于当前块的一个(单向预测)或两个(双向预测)最佳参考块,以及帧间图像预测中的运动补偿根据一个或两个运动向量(MV)定位一个或多个两个最佳参考块。当前块与对应的预测子之间的差异称为预测残差。当使用单向预测时,对应的预测子是最佳参考块。当使用双向预测时,两个参考块被组合来形成预测子。根据另一个四叉树块分割结构,预测残差属于被拆分成一个或多个转换单元的CU,用于将残差数据转换成转换系数用于紧凑的数据表示。TU是用于对残差数据应用转换以及量化的基础代表块。对于每一CU,具有与TU相同尺寸的转换矩阵被应用于残差数据来生成转换系数,以及这些转换系数在TU的基础上被量化并传达到解码器。术语编码树块(CTB)、编码块(CB)、预测块(PB)以及转换块(TB)分别被定义来指定与CTU、CU、PU以及TU有关的一个色彩分量的二维样本阵列。例如,一个CTU包括一个亮度CTB、两个对应的色度CTB以及它相关的语法元素。帧间图像预测模式在HEVC中有三个帧间图像预测模式,包括帧间、跳过以及合并模式。在这些帧间图像预测模式中使用运动向量预测来减少运动信息编解码所需要的比特。运动向量预测进程包括生成包含多个空间以及时间运动候选的候选集,以及修剪候选集来移除冗余。应用运动向量竞争(MotionVectorCompetition,MVC)方案来在候选集中选择最终运动候选。帧间模式也称为高级运动向量预测(AMVP),其中当在帧间模式中编码PU时,帧间预测指示符、参考图像索引、运动向量差(MVD)以及预测残差被传输。PU的帧间预测指示符描述预测方向,如list0预测、list1预测或者双向预测。索引也被传输用于每一预测方向以从候选集选择一个运动候选。用于帧间模式的默认候选集包括两个空间运动候选以及一个时间运动候选。图1示出了用于为在帧间模式、跳过模式或合并模式中编码的PB10推导候选集的多个运动候选的位置。用于帧间模式的候选集中两个空间运动候选包括左边候选以及上方候选。从左下方到左边,从块A0111到块A1112搜索用于当前PB10的左边候选,以及第一可用块的MV被选为左边候选,而从右上方到左边,从块B0113到块B1114然后块B2115搜索上方候选,以及第一可用块的MV被选为上方候选。具有运动信息的块,或换言之,在帧间图像预测中编码的块,被定义为可用块。时间运动候选是第一可用块的MV,第一可用块是从邻近于同位块12的右下角的块TBR121以及参考图像中同位块12内部的块TCTR122选择的。通过在切片数据头中发信旗标以及参考索引来指定使用哪一参考图像列表以及参考图像列表中的哪一参考图像,参考图像被指示。为了增加在帧间模式中运动信息编解码的编解码效率,跳过以及合并模式被提出并在HEVC标准中被采用,通过从空间相邻块或时间同位块继承运动信息来进一步减少发信运动信息所需要的数据比特。对于在跳过或合并模式中编码的PU,因为PU再使用所选择最终候选的运动信息,仅所选择的最终候选的索引被编码而不是运动信息。由PU再使用的运动信息包括运动向量、帧间预测指示符以及所选择最终候选的参考图像索引。注意到,如果所选择最终候选是时间运动候选,参考图像索引总是被设置为0。当PU在合并模式中编码时,预测残差被编码,然而,因为跳过模式中编码的PU的残差数据被强制为0,跳过模式进一步跳过预测残差的信令。合并候选集由至多四个空间运动候选以及一个时间运动候选组成。如图1所述,第一合并候选是左边块A1112的运动信息,第二合并候选是上方块B1114的运动信息,第三合并候选是右上方块B0113的运动信息以及第四合并候选是左下块A0111的运动信息。左上方块B2115的运动信息被包括于合并候选集中来替代不可用空间块的候选。第五合并候选是第一可用时间块TBR121以及TCTR122的时间块的运动信息。编码器基于MVC(如通过率失真优化(RDO)决定)从用于在跳过或合并模式中编码的每一PU选择一个最终候选,以及表示所选择最终候选的索引被发信到解码器。解码器根据在视频比特流中传输的索引从候选集中选择相同的最终候选。在推导用于帧间、合并或跳过模式的候选集后执行修剪进程来检查候选集中候选之间的冗余。在移除一个或多个冗余或不可用候选后,可以在编码器或解码器侧两者动态地调整候选集的尺寸,以及用于指示所选择最终候选的索引可以使用截断一元二进制(truncatedunarybin本文档来自技高网...

【技术保护点】
1.一种视频编解码系统中的视频处理方法,利用运动向量预测子用于编解码由帧间图像预测编码的当前块的当前运动向量,其中所述当前运动向量与所述当前块以及给定参考列表中给定参考图像中一个对应的参考块有关,所述方法包括:/n接收与当前图像中所述当前块有关的输入数据;/n将一个或多个运动候选包括在用于所述当前块的当前候选集中,其中所述当前候选集中每一运动候选包括用于单向预测的一个运动向量或者用于双向预测的两个运动向量;/n通过对所述当前块的相邻块的预定集合的运动信息求平均推导平均候选,其中所述平均候选包括指向与list0或list1有关的参考图像的一个运动向量用于单向预测,或者所述平均候选包括指向与list0有关的参考图像的一个运动向量以及与指向list1有关的参考图像的另一个运动向量用于双向预测,其中用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块;/n将所述平均候选包括在所述当前候选集中;/n从所述当前候选集确定一个所选择的候选作为运动向量预测子用于所述当前块的所述当前运动向量;以及/n利用所述运动向量预测子在帧间图像预测中对所述当前块进行编码或解码。/n

【技术特征摘要】
20180706 US 62/694,557;20181003 US 62/740,568;20181.一种视频编解码系统中的视频处理方法,利用运动向量预测子用于编解码由帧间图像预测编码的当前块的当前运动向量,其中所述当前运动向量与所述当前块以及给定参考列表中给定参考图像中一个对应的参考块有关,所述方法包括:
接收与当前图像中所述当前块有关的输入数据;
将一个或多个运动候选包括在用于所述当前块的当前候选集中,其中所述当前候选集中每一运动候选包括用于单向预测的一个运动向量或者用于双向预测的两个运动向量;
通过对所述当前块的相邻块的预定集合的运动信息求平均推导平均候选,其中所述平均候选包括指向与list0或list1有关的参考图像的一个运动向量用于单向预测,或者所述平均候选包括指向与list0有关的参考图像的一个运动向量以及与指向list1有关的参考图像的另一个运动向量用于双向预测,其中用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块;
将所述平均候选包括在所述当前候选集中;
从所述当前候选集确定一个所选择的候选作为运动向量预测子用于所述当前块的所述当前运动向量;以及
利用所述运动向量预测子在帧间图像预测中对所述当前块进行编码或解码。


2.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,每一所述相邻块是所述当前图像中所述当前块的空间相邻块或者所述时间同位图像中的时间块,以及其中所述空间相邻块是所述当前块的邻近空间相邻块或非邻近空间相邻块。


3.如权利要求2所述的视频编解码系统中的视频处理方法,其特征在于,所述平均候选是通过对一个时间块以及两个空间相邻块的运动向量、一个时间块以及一个空间相邻块的运动向量、两个时间块以及一个空间相邻块的运动向量、三个时间块以及一个空间相邻块的运动向量、两个时间块以及两个空间相邻块块的运动向量、一个时间块以及三个空间相邻块的运动向量或者三个时间块以及一个时间相邻块的MV求平均来推导。


4.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,通过对所述相邻块的运动信息求平均推导所述平均候选进一步包括检查所述相邻块的任一所述运动信息是否是不可用的,确定替换块来替换具有不可用运动信息的所述相邻块,以及使用所述替换块推导修正的平均候选来替换所述平均候选。


5.如权利要求4所述的视频编解码系统中的视频处理方法,其特征在于,如果具有不可用运动信息的所述相邻块是空间相邻块,所述替换块是预定时间块、与所述空间相邻块同位的时间块、预定的邻近空间相邻块或预定的非邻近空间相邻块。


6.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,通过对所述相邻块的运动信息求平均推导所述平均候选进一步包括检查所述相邻块的任一所述运动信息是否是不可用的,以及如果任一所述运动信息是不可用的,设置所述平均候选为不可用的,或者仅用剩余可用的运动信息推导修正的平均候选,以及用所述修正的平均候选替换所述平均候选。


7.如权利要求6所述的视频编解码系统中的视频处理方法,其特征在于,相比于用于所述平均候选的预定位置,在所述当前候选集中所述修正的平均候选的位置向后移动。


8.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,当所述当前块的所述相邻块的预定集合的所述运动信息已包括在所述当前候选集的一个或多个运动候选中,通过已包括在所述当前候选集中的所述一个或多个运动候选推导所述平均候选。


9.如权利要求8所述的视频编解码系统中的视频处理方法,其特征在于,用于推导所述平均候选的已在所述当前候选集中的每一所述一个或多个运动候选被限制为空间运动候选。


10.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,进一步包括推导另一个平均候选以及将所述另一个平均候选包括在所述当前候选集中,以及两个平均候选被插入所述当前候选集中的相邻位置或非相邻位置。


11.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,用于推导所述平均候选的所有所述相邻块的参考图像索引等于给定参考图像索引,以及所述给定参考图像的所述给定参考图像索引是预定的、在视频比特流中明确传输的或者从用于生成所述平均候选的所述相邻块的所述运动信息隐含推导的。


12.如权利要求1所述的视频编解码系统中的视频处理方法,其特征在于,所述平均候选是通过对一个或多个已缩放的运动向量求平均来推导,每一已缩放的运动向量是通过将所述相邻块的一个运动向量缩放到所述给定参考图像来计算,以及所述给定参考图像的给定参考图像索引是预定的、在视频比特流中明确传输的或者从用于生成所述平均候选的所述运动向量隐含推导的。


13.如权利要求12所述的视频编解码系统中的视频处理方法,其特征在于,用于推导所述平均候选的已缩放...

【专利技术属性】
技术研发人员:萧裕霖庄子德徐志玮陈庆晔
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾;71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1