本发明专利技术提供一种用于三维视频编码或解码的具有约束条件的视差向量的方法及装置。在一个实施方式中，确定当前纹理区块的得到的视差向量，以及对视差向量应用或不应用视点间约束来得到最终得到的视差向量。然后，利用至少一选择的编码工具，对输入数据应用视点间预测编码或解码。其中，所有选择的编码工具使用相同的最终得到的视差向量，以及选择的编码工具包括视点间残差预测、视点合成预测以及视点间运动参数预测。
【技术实现步骤摘要】
【国外来华专利技术】【专利说明】 夺叉引用 本专利技术主张在2012年11月16日提出的申请号为61/727, 220、标题为 "Controlling of disparity vector constraint for video coding" 的美国临时专利申 请的优先权，以及在2013年01月24日提出的申请号为61/756, 043、标题为"Inter-view signal prediction conditional on disparity vector constraints for video"的美国 临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
本专利技术是有关于三维视频编码，特别是有关于在三维视频编码中用于视点间 (inter-view)残差预测和视点间运动参数预测的视差向量的推导。
技术介绍
三维（Three-dimensional, 3D)电视为近年来的技术发展趋势，并且三维电视给 观众带来震撼的视觉体验。开发各种技术来应用三维显示方式。其中，相对于其他技术而 言，多视点视频为三维电视的关键技术。现有的视频为二维媒体，其仅自摄像机的视角提供 一个单一的场景给观众。然而，多视点视频能够提供动态场景的任意视点并给观众真实的 感官体验。 多视点视频通常通过使用多个摄影机同时捕获场景来产生，其中适当放置多个摄 影机的位置，以使得每一个摄影机自一个视点捕获场景。相应地，多个相机将捕获对应于多 个视点的多视频序列。为提供更多视点，更多的摄影机用于产生多视点视频和与视点相关 的大量视频序列。相应地，多视点视频需要大量的存储空间来存储及/或较高的带宽来传 输。因此，开发多视点视频编码技术降低需要的存储空间或传输带宽。 -种直接的方法是对每一个单一视点视频序列简单地应用现有的视频编码技术， 而不顾不同视点之间的任何关联。这样的编码系统的效率十分低。为改善多视点视频编码 的效率，通常对多视点视频编码技术利用视点间冗余。因此，大多数三维视频编码系统会考 虑与多视点和深度图相关的视频数据的关联。标准制定机构，ITU-T VCEG和ISO/IEC MPEG 的联合视频工作组，将H. 264/MPEG-4AVC标准扩展到用于立体声和多视点视频的多视点视 频编码（multi-view video coding,以下简称为 MVC) 〇 MVC采用时间和空间预测来提高压缩效率。在MVC的发展过程中，提出了一些宏块 级的编码工具，包括亮度补偿（Illumination compensation)、自适应参考滤波、运动跳过 模式（motion skip mode)、视点合成预测（view synthesis prediction)。这些编码工具 利用多个视点之间的冗余。亮度补偿是为了补偿不同视点之间的亮度变化。自适应参考滤 波是为了降低摄影机之间聚焦失配的变化。运动跳过模式允许自其它视点推导当前视点中 的运动向量。视点合成预测用于自其他视点预测当前视点的图片。 在基于三维视频编码HEVC(3D-HTM)的参考软件中，为了重新使用先前编码的相 邻视点的运动信息，加入视点间候选作为用于帧间（Inter)、合并和跳过模式的运动向量或 视差向量候选。在3D-HTM中，用于压缩的基本单元称为编码单元，该编码单元是一个2Nx2N 的方块。每一个编码单元可以递归地分割为四个更小的编码单元，直到达到预定的最小尺 寸。每一个编码单元包括一个或多个预测单元。 为共享相邻视点的先前编码纹理信息，将称之为视差补偿预测 (Disparity-Compensated Prediction,以下简称为DCP)的技术列入3D-HTM中作为运动 补偿预测（motion-compensated prediction,以下简称为MCP)的替代编码工具。MCP为 使用相同视点的先前编码图片的图片间（inter-picture)预测，而DCP为使用在同一存取 单元中其他视点的先前编码图片的图片间预测。图1为包括MCP和DCP的3D视频编码系 统的示意图。用于DCP的向量110称为视差向量（disparity vector,以下简称为DV)，它 类似于MCP中使用的运动向量。图1描述了与MCP相关的三个运动向量（运动向量120、 运动向量130、运动向量140)。此外，自同样使用视点间参考图片的相邻区块或时间上同一 位置的区块得到视差向量预测候选，并通过该视差向量预测候选来预测DCP区块的DV。在 3D-HTM中，当得到用于合并/跳过模式的视点间合并候选时，若对应的区块的运动信息不 可用或无效，则用DV代替视点间合并候选。 视点间残差预测（inter-view residual prediction)为用于 3D-HTM 的另一个编 码工具。如图2所示，为共享相邻视点的先前编码纹理信息，通过在视点间图片中对应的区 块的残差信息来预测当前预测区块的残差信号。通过各个DV来确定对应区块的位置。通 过视点标识符（即，图2中的V0、V1、和V2)指示对应于特定摄影机位置的视频图片和深度 图。属于相同摄影机位置的所有的视频图片和深度图均与相同的视点ID( 即，视点标识符） 相关。视点标识符用于指定在存取单元中的编码顺序和检测易于出错环境中失踪的视点。 存取单元包括对应于同一时刻的所有视频图片和深度图。在存取单元中，当具有视点ID为 〇的视频图片和相关的深度图存在时，首先编码具有视点ID为0的视频图片和相关的深度 图，然后编码具有视点ID为1的视频图片和相关的深度图。以此类推。视点ID为0的视点 (即，图2中的V0)也称为基本视点或独立视点。基本视点视频图片可以使用现有的HEVC 视频编码器来编码而不需要依赖其他视点。 由图2所示，对于当前区块，可以自视点间图片中的视点间区块得到运动向 量预测子（motion vector predictor, MVP) / 视差向量预测子（disparity vector predictor，DVP)。接下来，视点间图片中的视点间区块可以简称为视点间区块。得到的候 选称为视点间候选，它们可以为视点间MVP或DVP。基于其他视点中的先前编码运动信息 来编码当前区块（例如，当前预测单元）的运动信息的编码工具，称为视点间运动参数预测 (inter-view motion parameter prediction)。此外，相邻视点中对应的区块称为视点间 区块，并且使用自当前图片中的当前区块的深度信息得到视差向量，使用该视差向量确定 视点间区块的位置。 视点合成预测（View synthesis prediction,以下简称为VSP)为自不同视点移 除视频信号之间的视点间冗余的技术。在此技术中，合成信号用作预测当前图片的参考。 在3D-HEVC测试模型中，存在一个得到视差向量预测子的过程。然后，将得到的视差向量用 于提取参考视点中的深度图像的深度区块。提取的深度区块具有与当前预测单元相同的尺 寸。然后提取的深度区块用于当前预测单元的向后扭曲（backward warp)。此外，扭曲操 作能以一个子预测单元级精度来执行，例如，8x4或4x8区块。最大深度值用于子预测区块 和扭曲在子预测区块中的所有像素。VSP技术用于本文档来自技高网...
【技术保护点】
一种用于三维或多视点视频编码或解码的方法，其特征在于，该方法包括：接收与当前纹理帧的当前纹理区块相关的输入数据，该当前纹理帧对应于独立视点；确定得到的视差向量以用于该当前纹理区块；将该得到的视差向量应用视差向量约束或不应用视差向量约束，以获得最终得到的视差向量；以及利用至少一个选择的编码工具来对该输入数据应用视点间预测编码或解码；其中，所有选择的编码工具使用同一最终得到的视差向量，以及该选择的编码工具包括视点间残差预测、视点合成预测、以及视点间运动参数预测。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：陈渏纹，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。