深度信令数据制造技术

描述了用于朝向各种类型的3D显示器传输3D数据的3D视频系统。3D源设备（40）将三维[3D]视频信号（41）提供到3D目的地设备（50）。该3D目的地设备接收3D视频信号，并具有用于提供目的地深度图以为该3D显示器实现视图的形变的目的地深度处理器（52）。3D源设备生成深度信令数据，其表示用于将目的地深度图或视图的形变适配于该3D显示器的深度处理条件。3D视频信号包含该深度信令数据。目的地深度处理器根据该深度信令数据将目的地深度图或视图的形变适配于该3D显示器。深度信令数据使得呈现过程能够针对实际的3D显示器从深度数据得到更好的结果。

【技术实现步骤摘要】
【国外来华专利技术】深度信令数据
本专利技术涉及用于提供三维[3D]视频信号以供传送到3D目的地设备的3D源设备。3D视频信号包括表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息。3D目的地设备包括用于接收3D视频信号的接收机和用于提供目的地深度图以使得能够形变（warp）用于3D显示器的视图的目的地深度处理器。3D源设备包括用于生成3D视频信号和用于将3D视频信号传送到3D目的地设备的输出单元。本专利技术还涉及提供3D视频信号以供传送到3D目的地设备的方法。本专利技术涉及在源设备（例如广播方、互联网网站服务器、创作系统、蓝光盘制造商，等等）处生成3D视频信号并将其传送到需要深度图以用于呈现多个视图的3D目的地设备（例如蓝光盘播放器、3D电视机、3D显示器、移动计算设备，等等）的领域。
技术介绍
文献“Real-timefree-viewpointviewerfrommultiviewvideoplusdepthrepresentationcodedbyH.264/AVCMVCextension（来自根据H.264/AVCMVC扩展编码的多视图视频加深度表示的实时自由视点观看器）,byShinyaShimizu,HideakiKimata,andYoshimitsuOhtani,NTTCyberSpaceLabortories,NTTcorporation（NTT网络空间实验室，NTT公司）,3DTV-CON,IEEE2009”除了描述MPEG编码视频传送信号，还描述了3D视频技术，尤其是用于将深度图纳入视频格式中的多视图编码（MVC）扩展。用于纳入深度图视频编码的MVC扩展允许构建表示具有相关的多个补充视图（即深度图视图）的多个视图的比特流。根据该文献，可以将深度图添加到具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的3D视频数据流。在解码器侧的深度图使得能够生成除了左右视图以外的、例如用于自动立体感显示的另外的视图。
技术实现思路
视频材料可以被提供有深度图。另外，有许多现有3D视频材料并不具有深度图数据。对于这样的材料，目的地设备可以具有用于基于第一和第二视频信息来生成所生成的深度图的立体到深度转换器。本专利技术的目的是提供用于提供深度信息并传送该深度信息的、对于增强3D视频呈现来说更为灵活的系统。为此目的，根据本专利技术的第一方面，如开头段落中描述的源设备包括用于提供深度信令数据的源深度处理器，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件，并且输出单元布置用于将该深度信令数据包括在3D视频信号中。该方法包括：生成3D视频信号；提供深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件；以及将深度信令数据包括在3D视频信号中。3D视频信号包括深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件。在目的地设备中，接收机布置用于从3D视频信号获取深度信令数据。目的地深度处理器布置用于根据该深度信令数据而使目的地深度图或视图的形变适配于3D显示器。这些措施具有以下效果：使得目的地设备能够使用3D视频信号中的深度信令数据而使目的地深度图或视图的形变适配于3D显示器。因此，在可用之时和可用之处，深度信令数据被应用来增强目的地深度图或形变。有效地，在源的控制之下向目的地设备提供附加深度信令数据，例如处理参数或指令，该数据使得源能够控制和增强在3D显示器中基于目的地深度图形变视图。有利地，在处理资源可用并且离线生成被允许的源处，生成深度信令数据。因为针对相应的显示器优化了深度图和视图的形变，所以降低了目的地侧的处理要求并且增强了3D效果。本专利技术还基于以下认识。专利技术人已经看到，在目的地侧的深度图处理或生成以及后续的视图形变通常提供非常令人愉快的结果。然而，鉴于3D显示器的能力（诸如在不同深度处的图像的锐度），在一些时刻或位置，可以通过操纵深度（例如通过向目的地深度图应用偏移量）来将实际视频内容更好地展现给观众。可以在源处预见用于在特定3D显示器处的这样的操纵的需求、量和/或参数，并且将所述深度信令数据添加作为处理条件使得能够在目的地侧增强深度图或视图形变，同时限制必须传送的深度信令数据的量。可选地，在3D源设备中，源深度处理器布置用于提供深度信令数据作为处理条件，该深度信令数据包括以下各项中的至少一个：偏移量、增益、缩放的类型、边缘的类型。当该偏移量应用于目的地深度图时，相对于显示器的平面向后或向前有效地移动对象。有利地，发信号通知该偏移量使得源侧能够将重要对象移动到靠近3D显示器平面的位置。当该增益应用于目的地深度图时，离开或朝向3D显示器的平面有效地移动对象。有利地，发信号通知该增益使得源侧能够控制重要对象相对于3D显示器平面的移动，即图片中深度的量。该缩放的类型指示深度图中的值将如何转换成当形变视图时将要使用的实际值（例如双线性缩放、双三次缩放）或如何适配视角锥（viewingcone）。深度信息中的该边缘的类型指示3D视频中对象的属性，比如，例如来自从计算机生成的内容推导的深度的锐利边缘、例如来自自然源的软边缘、例如来自经处理的视频材料的模糊边缘、等等。有利地，当处理目的地深度数据以用于形变视图时可以使用3D视频的属性。可选地，源深度处理器布置用于根据3D视频信号中的镜头来提供针对一段时间的深度信令数据。有效地，深度信令数据应用于具有相同的3D配置（例如特定摄像机和缩小放大（zoom）配置）的一段时间的3D视频信号。通常该配置在视频节目的一个镜头期间基本上稳定。镜头边界可以是已知的或者可以容易地在源侧检测到，并且有利地，针对对应于该镜头的时间段来装配一组深度信令数据。可选地，源深度处理器布置用于提供包括感兴趣区域的区域数据的深度信令数据作为处理条件，以使得能够在3D显示器的优选深度范围内显示该感兴趣区域。有效地，该感兴趣区域由被假定成吸引了观众注意力的3D视频材料中的元素或对象构成。感兴趣区域可以是已知的或者可以容易地在源侧检测到，并且有利地，装配一组深度信令数据以用于指示对应于该感兴趣区域的位置、区块或深度范围，这使得视图的形变能够适配于靠近3D显示器的最优深度范围（例如靠近显示器平面）而显示感兴趣区域。可选地，源深度处理器还可以布置用于根据感兴趣区域的变化超过预定阈值（诸如面部的深度位置的实质性变化）来更新区域数据。此外，源深度处理器还可以布置用于提供指示感兴趣区域的深度范围的区域深度数据，作为区域数据。区域深度数据使得目的地设备能够形变视图同时将这样的深度范围中的对象移动到3D显示器设备的优选深度范围。源深度处理器还可以布置用于提供指示与3D视频信号中的至少一个宏块对齐的感兴趣区域区块的面积的区域面积数据，作为区域数据，该宏块表示压缩视频数据的预定块。这样的区域面积数据将被高效地编码和处理。可选地，3D视频信号包括深度数据。源深度处理器还可以布置用于提供包括深度数据类型的深度信令数据作为处理条件，该处理条件被应用于目的地深度图以用于调整视图的形变。深度数据类型可以包括以下各项中的至少一个：-指示基于聚焦数据生成的深度数据的聚焦指示符；-指示基于透视数据生成本文档来自技高网...

【技术保护点】
用于提供三维[3D]视频信号（41）以供传送到3D目的地设备（50）的3D源设备（40），所述3D视频信号包括：‑表示3D显示器上的左眼视图的第一视频信息；‑表示所述3D显示器上的右眼视图的第二视频信息；所述3D目的地设备包括：‑用于接收所述3D视频信号的接收机（51，58，59）；‑用于提供目的地深度图以为所述3D显示器实现视图的形变的目的地深度处理器（52）；所述3D源设备包括：‑用于生成所述3D视频信号并用于将所述3D视频信号传送到所述3D目的地设备的输出单元（46）；其中所述3D源设备包括：‑用于提供深度信令数据的源深度处理器（42），所述深度信令数据表示用于使所述目的地深度图或视图的形变适配于所述3D显示器的处理条件，并且所述输出单元布置用于将所述深度信令数据包括在所述3D视频信号中，以及所述目的地深度处理器（52）布置用于：‑根据所述深度信令数据将所述目的地深度图或视图的形变适配于所述3D显示器。

【技术特征摘要】
【国外来华专利技术】2012.04.13 US 61/6236681.用于提供三维（3D）视频信号（41）以供传送到3D目的地设备（50）的3D源设备（40），所述3D视频信号包括：-表示3D显示器上的左眼视图的第一视频信息；-表示所述3D显示器上的右眼视图的第二视频信息；并且被布置用于：-鉴于所述3D显示器的性能，根据深度信令数据适配所述目的地深度图或视图的形变，所述3D目的地设备包括：-用于接收所述3D视频信号的接收机（51，58，59）；-用于提供目的地深度图以为所述3D显示器实现视图的形变的目的地深度处理器（52）；所述3D源设备包括：-用于生成所述3D视频信号并用于将所述3D视频信号传送到所述3D目的地设备的输出单元（46）；其中所述3D源设备包括：-用于提供所述视频信息的所述深度信令数据的源深度处理器（42），所述深度信令数据表示用于使所述目的地深度图或视图的形变适配于特定3D显示器的处理参数或指令，并且所述输出单元布置用于将所述深度信令数据包括在所述3D视频信号中。2.如权利要求1中所述的3D源设备，其中所述源深度处理器（42）布置用于提供所述深度信令数据作为所述处理参数或指令，所述深度信令数据包括以下各项中的至少一个：-偏移量；-增益；-缩放的类型；-边缘的类型。3.如权利要求1或2中所述的3D源设备，其中所述源深度处理器（42）布置用于针对相应的多个不同3D显示器类型而提供多个不同的深度信令数据，以及所述输出单元布置用于将所述多个不同的深度信令数据包括在所述3D视频信号中。4.如权利要求1或2中所述的3D源设备，其中所述源深度处理器（42）布置用于根据所述3D视频信号中的镜头而提供针对一段时间的所述深度信令数据。5.如权利要求1中所述的3D源设备，其中所述源深度处理器（42）布置用于提供包括感兴趣区域的区域数据的深度信令数据作为所述处理参数或指令以使得能够在所述3D显示器的优选深度范围内显示所述感兴趣区域。6.如权利要求5中所述的3D源设备，其中所述源深度处理器（42）布置用于以下各项中的至少一个：-根据所述感兴趣区域的变化超过预定阈值来更新所述区域数据；-提供指示所述感兴趣区域的深度范围的区域深度数据作为所述区域数据；-提供指示与所述3D视频信号中的至少一个宏块对齐的所述感兴趣区域区块的面积的区域面积数据作为所述区域数据，所述宏块表示压缩视频数据的预定块。7.如权利要求1中所述的3D源设备，其中所述3D视频信号包括深度数据，并且所述源深度处理器（42）布置用于提供包括所述视频信息的深度数据类型的所述深度信令数据作为所述处理参数或指令，其中所述深度数据类型包括以下各项中的至少一个：-指示基于聚焦数据生成的深度数据的聚焦指示符；-指示基于透视数据生成的深度数据的透视指示符；-指示基于运动数据生成的深度数据的运动指示符；-指示源自特定源的深度数...

【专利技术属性】
技术研发人员：WHA布鲁尔，PS纽顿，JC塔斯特拉，W德哈安，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL