使用3D视频格式的装置制造方法及图纸

本申请涉及3D视频格式。多种实施方式涉及3D视频格式。一种或多种实施方式涉及为MVC和SVC提供适应性修改，以使3D视频格式被使用。根据一般方面，包括视频和深度的一组图像被编码。该组图像被根据特定的3D视频格式相关联，并且被以利用该组图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式以特定顺序排列在比特流中。比特流中的该特定顺序被利用信令信息来指示。根据另一方面，包括该组编码后的图像的比特流被访问。信令信息也被访问。该组图像被利用信令信息来解码。

【技术实现步骤摘要】
本申请是申请日为2010年2月19日，申请号为201080008695.8，名称为“3D视频格式”的专利技术专利申请的分案申请。
描述了涉及编码系统的实施方式。各种特定的实施方式涉及三维(3D)视频格式。
技术介绍
为了方便诸如三维电视(3DTV)和自由视点视频(FVV)之类的新的视频应用，可以使用包括传统的二维(2D)视频和深度二者的3D视频(3DV)数据格式，以使额外的视频能够被呈现在用户端。这种3DV格式的示例包括2D加深度(2D+Z)(其包括2D视频和相应的深度贴图)和分层深度视频LDV(其包括2D+Z中的数据和一个遮挡视频(occlusionvideo)及一个遮挡深度(occlusiondepth))。多视角加深度(MVD)是2D+Z的扩展，包括来自不同视点的多个2D+Z。视差增强立体图像(DES)是相当于来自不同视角的两个LDV的另一种格式。如何传送(编码并发送)这些数据格式是一个重要问题，因为必须在用户端联合使用不同分量。
技术实现思路
根据一个概括方面，一组图像被编码。该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像中的图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式，以特定次序排列在比特流中。该特定次序在比特流中被使用信令信息指示出来。根据另一概括方面，包括一组编码后的图像的比特流被访问，该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。指示特定次序的信令信息被访问，其中该组编码后的图像被以该特定次序排列在比特流中。该特定次序是以与该组图像有关的特定的3D视频格式为基础的。该组图像被使用信令信息解码。根据又一概括方面，视频信号被格式化为包括信息。该视频信号包括信令部分，该信令部分包括信令信息。该信令信息指示特定次序，其中该组编码后的图像被以该特定次序排列在比特流中。该特定次序是以与该组图像有关的特定的3D视频格式为基础的。下面的描述和附图中阐述了一种或多种实施方式的细节。即使仅以一种特定方式进行描述，也应该明白实施方式可以被以各种方式配置或实现。例如，一种实施方式可以被作为一种方法执行，或者被实现为一种装置(诸如，被配置为执行一组操作的装置、或者存储用于执行一组操作的指令的装置)、或者被实现为一种信号。结合附图和权利要求，其他方面和特征将通过下面的详细描述变得显而易见。附图说明图1是深度贴图(depthmap)的示例。图2是示出LDV格式的四个分量的示例。图3是3DV编码器的实施方式的示意图。图4是3DV解码器的实施方式的示意图。图5是视频传输系统的实施方式的示意图。图6是视频接收系统的实施方式的示意图。图7是视频处理设备的实施方式的示意图。图8是示出对MVC结构中的MVD格式进行编码的示例的示意图。图9是示出对MVC结构中的LDV格式进行编码的示例的示意图。图10是示出对MVC结构中的DES格式进行编码的示例的示意图。图11是第一编码处理的实施方式的示意图。图12是第一解码处理的实施方式的示意图。图13是示出对MVC结构中的MVD格式进行编码的另一示例的示意图。图14是示出对MVC结构中的LDV格式进行编码的另一示例的示意图。图15是示出对MVC结构中的DES格式进行编码的另一示例的示意图。图16是第二编码处理的实施方式的示意图。图17是第二解码处理的实施方式的示意图。图18是示出对SVC结构中的LDV格式进行编码的示例的示意图。图19是第三编码处理的实施方式的示意图。图20是第三解码处理的实施方式的示意图。图21是第四编码处理的实施方式的示意图。图22是第四解码处理的实施方式的示意图。具体实施方式可以利用诸如既包括传统的2D视频又包括深度的数据格式之类的3DV数据格式，来使例如附加的视频视图可以被呈现在用户端。但是，发明人认为缺陷在于，在诸如可分层视频编码(SVC)和多视角视频编码(MVC)之类的当前标准中并不支持3DV格式。多视角视频序列是包括从不同视点捕捉相同场景的两个以上视频序列的一组视频序列。所以，在至少一种实施方式中，我们提出重新使用现有的对于高级视频编码(AVC)的MVC或SVC扩展，在用信号指示如何正确提取3DV内容的帮助下发送3DV内容。可以利用包括但不限于例如，序列参数集(SPS)、画面参数集(PPS)、条带头、辅助增强信息(SEI)消息等的任意高级语法来进行信号指示。在本申请中，其他信令机制也是可能的，并且是可以想到的。在至少一种实施方式中，我们提出使用SVC或MVC的构架来对3DV分量进行编码，而不要求系统级的同步。使用SVC或MVC中的技术，本原理可以更有效地利用分量间(cross-component)冗余。另外，后向兼容性更加灵活，因为可以仅利用整个比特流的一部分来对传统的2D视频进行发送/解码(例如，用于SVC的基本层、或者MVC中的基本视图)。在至少一种实施方式中，我们还提出使用高级语法来用信号指示如何理解3DV背景中的视图(MVC中)或者层(SVC中)，从而使得3D显示器可以正确使用信息。在至少一种实施方式中，我们提出了用于用信号指示不同3DV格式的MVC和SVC的构架中的“3DV格式SEI消息”。这种实施方式可能会具有以下优点中的一个以上优点、或者全部优点：·避免了对系统级的不同分量进行同步的需要，因为它们可以被以分层方式(SVC)或者同步视角(MVC)方式相关联。·更好地利用了分量间冗余：通过相对于利用交织法的AVC而言可以潜在地提供更高编码效率的SVC/MVC将使能分量间预测。·更灵活的后向兼容性：在用户端，传统的2D视频应用只需要部分数据。应该明白，尽管至少一种实施方式涉及到SEI消息，但是以上所述的原理不限于使用SEI消息。所以，例如，可以使用包括但不限于SPS、PPS、条带头等的其他高级语法。3D视频(3DV)再现格式包括视频分量和深度分量二者，这些格式诸如是2D+Z(MVD)和LDV(DES)等，并且随着3DV应用吸引了更多的市场关注而变得更加重要。图1示出了根据本原理的实施例的可以应用本原理的与被称为“Leaving_Laptop”的MPE本文档来自技高网...

【技术保护点】
一种装置，包括被配置为至少执行以下处理的处理器：对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；基于与所述图像有关的特定顺序将所述编码后的图像排列在比特流中；以及使用信令信息指示所述特定顺序。

【技术特征摘要】
2009.02.19 US 61/208,0131.一种装置，包括被配置为至少执行以下处理的处理器：
对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行
编码，其中所述一组图像以利用所述一组图像中的图像之间的冗余的方式
被编码；
基于与所述图像有关的特定顺序将所述编码后的图像排列在比特流
中；以及
使用信令信息指示所述特定顺序。

【专利技术属性】
技术研发人员：田栋，波林·莱，罗健聪，
申请(专利权)人：汤姆逊许可证公司，
类型：发明
国别省市：法国;FR