三维或多视图视频编码或解码的方法及装置制造方法及图纸

技术编号:12422526 阅读:104 留言:0更新日期:2015-12-02 20:03
本发明专利技术揭露了一种直接从三维视频编码或解码的运动向量预测的相关联的深度块中确定已推导DV的方法以及装置。接收与当前从属视图中当前纹理图片的当前纹理块的当前运动信息相关联的输入数据,以及与当前纹理块相关联的深度块。接着,用于当前纹理块的已推导DV根据深度块被确定,且被用于视图间或时间MVP。如果当前运动信息对应于视图间预测,使用已推导DV来编码或解码当前DV以作为运动向量预测因子。如果当前运动信息对应于时间预测,使用参考视图中对应纹理块的已推导MV来编码或解码当前MV以作为运动向量预测因子。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于三维及多视图视频编码的视差向量推导的方法及装置【相关申请的交叉引用】 本专利技术主张申请于2013年4月10日,序列号为61/810, 379,标题为"Methods Of depth to disparity derivation in 3D or multi-view video coding',的美国临时专利 申请的优先权。将此美国临时专利申请以参考的方式并入本文中。
本专利技术涉及三维(three-dimensional,3D)视频编码。特别地,本专利技术涉用于3D 以及多视图视频编码中视图间预测以及跳过/直接(Skip/Direct)模式的运动向量预测 (motion vector prediction,MVP)的视差向量推导。 【
技术介绍
】 三维电视技术是近年来的技术发展趋势,其试图给观看者带来轰动的观看体 验(viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中,多 视图视频(multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质,二维介质只能给观看者提供来自照相机视角的一个场景的单个 视图。然而,多视图视频可以提供动态场景的任意视角,并为观看者提供真实的感觉。 通常的,多视图视频是通过同时地使用多个相机捕捉场景来创建的,其中,多个照 相机都被合适地定位,以使每个照相机从一个视角捕捉场景。因此,多个相机将捕捉对应多 个视图的多个视频序列。为了提供更多的视图,需要使用更多的相机来产生具有与视图相 关联的大量视频序列的多视图视频。因此,多视图视频将需要大量的存储空间来存储和/ 或需要高的带宽来传送。因此,在本领域中,多视图视频编码技术被开发出来以减少所需要 的存储空间或传送带宽。 -个直接方法可以简单地应用于现有的视频编码技术,使每个单个视图视频序列 独立且忽视不同视图中的任何关联。这样的编码系统将是非常低效的。为了提高多视图视 频编码效率,典型的多视图视频编码利用视图间冗余。因此,大多数3D视频编码系统会考 虑与多个视图或深度图相关联的视频数据的相关性。某些3D视频编码标准是通过扩展现 存的用于二维视频的标准来制定。例如,有新出现的基于高级视频编码(Advanced video coding,AVC)以及高效率视频编码(High Efficiency Video Coding,HEVC)的 3D 编码标 准。于这些标准中,视差向量(disparity vector,DV)被广泛地使用于各种编码应用中以 定位参考视图中对应块。 于基于3D编码的AVC(AVC-based 3D coding,3D-AVC)中,对于不同的编码工具, 当前纹理块的视差向量(disparity vector)会被不同的推导出。例如,当选择视图合成预 测(View Synthesis Prediction,VSP)或基于深度的运动向量预测(Depth-based Motion Vector Prediction,DMVP)编码模式时,与当前纹理块相关联的深度块的最大值被用作当 前纹理块的视差向量。另一方面,根据相邻块推导的视差向量被用于基于视差的跳过以及 直接模式。于本公开中,运动向量(motion vector,MV)以及DV作为与块相关联的运动信 息的一部分。MVP可指用于MV以及用于DV的预测。 于基于深度块的最大值的DV推导方法,用于当前已编码纹理块Cb的视差向量从 深度块中被推导,d(Cb)与当前纹理块Cb相关联。由深度块d(Cb)的四个角(即,左上方、 右上方、左下方、右下方)来定位的深度图样本被比较。根据照相机模型,四个深度值中的 最大深度图值被转换为视差值。在具有降低的分辨率的深度图的情况下,当前纹理块的四 个角的空间坐标被按比例缩减以匹配深度图分辨率。 于基于相邻块的DV推导方法中,视差向量是从当前块Cb的相邻块的运动信息中 推导。如果来自相邻块的运动信息不可用,根据基于深度块的最大值的DV推导方法,视差 向量是从相关联的深度块d(Cb)中推导。在附属视图中深度图于对应纹理图片之前被编码 的系统中,相关联的深度块可对应于当前附属视图的深度块。否则,相关联的深度块可对应 于参考视图中深度块,其中,参考视图中深度块已经于对应纹理图片前被编码。 图1所示为用于推导视差向量的相邻块以及已推导视差向量的使用的示意图。视 差向量是从当前块(110)的相邻块A、B、以及C(D)的运动向量中推导,其中,当块C不可用 时,则使用块D。如果仅有一个相邻块是根据视图间预测(即,具有DV)来编码,则DV被选 择以作为用于当前块Cb的已推导DV。如果来自块A、B、C(D)的多个视差向量是可用的,则 已推导DV是由可用的DV的中值来确定。如果相邻块A、B、以及C(D)都不具有有效的DV, 接着,已推导DV由已转换DV来确定,其中,已转换DV是根据照相机模型通过转换与当前纹 理块相关联的深度块中的深度值来获得。接着,已推导DV被用于定位基础视图中的对应 块。基础视图中的对应块(120)是通过使用已推导DV偏移当前点的中心点(112)来确定。 此操作类似于使用运动补偿来定位参考块。因此,此操作可以通过使用现存的运动补偿模 块将已推导DV作为运动向量(MV)来实现。 图2所示为用于基于视差的跳过以及直接模式的基于相邻块的DV推导的流程图。 于步骤210中,接收与相邻纹理块A、B、以及C(D)相关联的运动数据。当与块C相关联的 运动信息不可用时,则使用与块D相关联的运动信息。运动数据可对应于视图间运动数据 (即,DV)或时间运动数据(即,MV)。于步骤220中,检查相邻块A、B以及C(D)的视图间运 动信息(即,DV)的可用性。如果只有一个相邻块是采用视图间预测来编码,运动信息(即, DV)被用作已推导DV。如果多于一个相邻块是采用视图间预测来编码,如步骤230所示,来 自任何相邻块的不可用的DV都由最大视差来替代。如步骤240所示,已推导DV是从三个 候选DV的中值确定。如步骤250所示,于已推导DV被确定后,参考视图中对应块是使用已 推导DV来定位。接着,对应块的运动向量被用于基于视差的跳过或直接运动向量预测子。 视差向量也被用于3D编码系统的其它编码工具中。例如,3D-AVC也包括方向独 立的 MVP(Direction-S印arated MVP,DS-MVP)编码工具。于 3D-AVC 中,基于 MVP 的中值 被限制为与运动向量候选的预测方向一致。于DS-MVP中,所有可用的相邻块是根据其预测 (即,时间或视图间)的方向来分类。 对于视图间预测,如果当前块Cb使用视图间参考图片,所有没有使用视图间预测 的相邻块被标记为对MVP是不可用的。被标记为不可用的相邻块的运动向量被替换为从 与当前块Cb相关联的深度数据中推导的视差向量,而不是被替换为零运动向量。接着,从 深度数据中推导的DV被包含以作为MV候选,以用于中值操作以确定已推导DV。与当前 块Cb相关联的从深度数据中推导的DV是根据"四个角中的最大值(maximal out of four corners)"被推导。图3所示为视图间预测本文档来自技高网...

【技术保护点】
一种三维或多视图视频编码或解码的方法,其特征在于,所述方法包括:接收与当前附属视图的当前纹理图片的当前纹理块相关联的输入数据;接收与所述当前纹理块相关联的深度块;根据所述深度块,确定用于所述当前纹理块的已推导视差向量;根据所述已推导视差向量定位参考视图中的对应块;确定所述对应块的运动信息;以及使用所述运动信息对所述当前纹理块编码或解码以作为跳过或直接模式候选。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员:林建良陈渏纹
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾;71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1