用于处理3D服务的方法和装置制造方法及图纸

本说明书公开了用于处理3D服务的方法和装置。这里，根据本发明专利技术的一个示例的一种3D服务装置包括：接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其从所述广播信号提取关于所述3D服务的SI信息并且解码所提取的信息；第一处理单元，其解码3D视图数据和深度数据；第二处理单元，其使用从所述第一处理单元输出的经解码信号作为输入并基于经解码的所述SI信息产生特定时间点的虚拟视图；以及输出格式化器，其基于所述第二处理单元产生的特定时间点的虚拟视图来产生并输出3D服务数据。

【技术实现步骤摘要】
【国外来华专利技术】用于处理3D服务的方法和装置
本专利技术涉及3D（三维）服务，更具体地，涉及处理包括信令的3D服务以支持随机视图的虚拟3D视图的方法及其装置。
技术介绍
随着三维电视（3DTV）的普及正在盛行，激发了对3D服务的需求或关注以及对3D服务的研究。通常，三维视频使用双眼的立体视觉原理提供3D效果。由于人通过双眼的视差感到立体感，换句话讲，由于彼此相隔大约65mm的双眼之间的间隔导致的双眼像差，因此3D视频可以按分别提供使左眼和右眼看到相关平面视频的视频的方式来提供3D效果和立体感。3D视频显示方法包括立体技术、容量技术（volumetrictechnique）、全息技术等。就立体技术而言，它提供了假定将被左眼观看的左视图图像和假定将被右眼观看的右视图图像。立体技术使得能够以使左眼和右眼分别使用其自身的偏光眼镜或显示装置观看左视图图像和右视图图像的方式来识别3D视频效果。如以上描述中提到的，3D广播分别传递左视图图像和右视图图像。并且，广播接收器以正确处理左视图图像和右视图图像的方式形成3D视频。因此，必须具有用于处理3D广播信号的信令信息。同时，可以通过传统的3DTV接收器接收固定视图中的受限3D视频。因此，观众难以自由地选择偏好的视图。这种问题会造成多视图广播以及自动立体3DTV中出现。
技术实现思路
技术任务创造本本专利技术来解决上述问题。在观看3D视频的同时控制3D效果的情况下，本专利技术的技术任务之一是以在接收器中产生并组合新的左视图图像和右视图图像的方式控制期望的3D效果。本专利技术的另一个任务是使用2D视频（L、R）中的每个的深度图和相机参数恢复关于视频（L、R）中的每个的3D信息并且通过执行几何投影产生随机视图的视频。本专利技术的其它任务是提供用于产生随机视图的3D视图必需的信令信息的方法、处理3D服务的方法及其装置。技术方案为了实现这些和其它优点并且根据本专利技术的目的，如实施和广义描述的，根据一个实施方式，一种3D服务装置包括：接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；第一处理单元，其被配置成解码3D视图数据和深度数据；第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。为了进一步实现这些和其它优点并且根据本专利技术的目的，根据不同实施方式，一种处理3D服务的方法，所述方法包括以下步骤：接收包含3D服务的广播信号；从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；解码3D视图数据和深度数据；基于经解码的所述SI信息通过输入经解码信号来产生随机视图的虚拟视图；以及基于所产生的所述随机视图的虚拟视图来产生并输出3D服务数据。有益效果根据本专利技术，第一，观众可以在观看3D视频的同时使用随机视图的3D视图来控制期望的3D效果。第二，可以通过使用2D视频（L、R）中的每个的深度图和相机参数恢复关于视频（L、R）中的每个的3D信息。并且，可以通过执行几何投影产生随机视图的视频。第三，可以提供产生随机视图的3D视图必需的信令信息的方法、处理3D装置的方法及其装置。附图说明图1是用于说明根据本专利技术的3D广播接收器的示例的示图；图2是图1中示出的第二处理单元160中的视图合成模块162的详细配置框图；图3是用于说明与虚拟视图合成相关的视频和深度元件的配置的示图；图4是用于说明视图合成描述符的示例的示图；图5是用于说明相机参数的示例的示图；图6是用于说明包括视图合成描述符的PMT配置的示例的示图；图7是用于说明包括视图合成描述符的TVCT配置的示例的示图；图8是用于说明包括视图合成描述符的SDT配置的示例的示图；图9是用于说明发送view_synthesis_infor_data的方法的示例的示图；图10是用于说明视图合成信息SEI消息的示例的示图；图11是视图合成SEI描述符的示例的示图；图12是用于说明图2中示出的视图合成模块162中产生随机视图的视频的示例的示图；图13是用于说明图12中示出的通用卷曲（warping）的示图；图14是用于说明图12中示出的1D并列卷曲的示图；图15是用于说明深度类型的示例的示图；图16是用于更具体地说明1D并列卷曲处理的示图；图17是用于说明相机布置和Z值测量的示例的示图；以及图18是用于说明图7中的第i个相机的参数细节的示图。具体实施方式现在，将详细参照本专利技术的优选实施方式，在附图中示出优选实施方式的示例。然而，本专利技术可以不受实施方式的局限或限制。尽管本说明书中使用的术语是在考虑到功能的情况下从当前广泛使用的通用术语中选择的，但它们可以根据从事对应领域的技术人员的意图、惯例、新技术的到来等而变化。偶尔，可以由申请人任意选择某些术语。在这种情况下，任意选择的术语的含义应该在说明书的具体实施方式的对应部分中描述。因此，本说明书中使用的术语需要基于对应术语的实质含义和本说明书中公开的整体问题来理解，而不以术语的简单名称来理解。在3D系统中，通常，以发送方提供关于预定视图的视频和信息并且接收方基于对应的视频和信息提供固定视图的3D视频的方式形成3D服务。换句话讲，大多数接收器向用户提供基于相同视频和信息的相同或固定视图的3D视频。这种3D服务是根据内容提供商或服务提供商的意图单向执行的，而没有考虑个体的口味、年龄、环境、接收器的性能等。因此，3D服务会降低消费内容的用户的满意度或者会以服务没有正确实现的方式使用户感到不便。因此，用户或接收器必须选择随机视图来合适地控制3D效果。同时，上述内容也可以应用于多视图广播或自动立体3D服务。本说明书描述了在随机视图中提供3D视图的内容。例如，可以使用2D视频（L、R）中的每个的相机参数和深度图来恢复关于视频（L、R）中的每个的3D信息并且可以通过几何投影产生随机视图的视频。为此目的，本说明书提供了将在随机视图中产生3D视图所必须的信息以信号发送的方法、处理3D服务的方法及其装置。举例来说，本说明书定义信令信息或服务信息（下文中，信令信息）以在对应部分中执行视图合成并且具体说明发送/接收（即以信号化）信令信息的方法的示例。然而，描述所述方法是为了帮助理解本专利技术以及易于说明本专利技术。因此，本专利技术的技术思想可以不限于上述实施方式。如上述描述中提到的，本说明书定义产生3D视图所需的各种变量和数据并且意图使用它们。在下面的描述中，本说明书的信令信息主要用于随机视图的虚拟3D视图的3D服务。例如，信令信息可以在与广播服务相关使用的这种信息中定义或使用（或互锁），成为PSI/PSIP（节目特定信息/节目和系统信息协议）、DVB-SI（数字视频广播-服务信息）等。同时，在本说明书中，装置可以指示所有数字装置通过与外部连接来直接或间接地处理3D服务。然而，为了清晰起见，本说明书将广播接收器作为例子来说明。数字装置包括诸如智能TV、IPTV等的固定装置、诸如智能电话、平板PC、笔记本等的移动装置。并且，数字装置包括处理和/或输出蓝光、视频CD、游戏、应用、软件以及包括3D服务的信号或内容。除此之外本文档来自技高网...

【技术保护点】
一种3D服务装置，所述3D服务装置包括：接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；第一处理单元，其被配置成解码3D视图数据和深度数据；第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。

【技术特征摘要】
【国外来华专利技术】2011.07.15 US 61/508,0791.一种用于接收广播信号的装置，该装置包括：接收单元，其被配置成接收含有以下各项的广播信号：第一视图图像对，该第一视图图像对包括第一视点的第一左视图图像和第一右视图图像；第一深度数据对，该第一深度数据对包括第一视点的第一左深度数据和第一右深度数据；以及用于形成第二视图图像对的信令信息，所述第二视图图像对包括第二视点的第二左视图图像和第二右视图图像；信令信息SI处理单元，其被配置成从所述广播信号提取所述信令信息并且解码所述信令信息；第一处理单元，其被配置成解码所述第一视图图像对和所述第一深度数据对；第二处理单元，其被配置成基于经解码的所述第一视图图像对、经解码的所述第一深度数据对以及所述信令信息来生成所述第二视图图像对；以及输出格式化器，其被配置成基于所述第二视图图像对来生成并输出三维3D视图；其中，所述信令信息包括指示滤波器的类型、以在子像素位置上生成图像信号的滤波器类型信息，其中，所述滤波器的所述类型包括双线性滤波器和双三次滤波器，其中，由用户选择所述第二视点以控制3D效果。2.根据权利要求1所述的装置，其中所述第二处理单元被配置成包含产生经合成的左视图和右视图的视图合成模块。3.根据权利要求2所述的装置，其中所述视图合成模块包括：卷曲单元，其被配置成以向左视图和右视图中的每个应用卷曲的方式以像素为单位执行与新视图的映射；合并单元，其被配置成以将经卷曲的视图组合在一起的方式将经卷曲的视图合并成一个视图；空洞填充单元，其被配置成用空洞填充经合并的所述视图；以及边界噪声消除单元，其被配置成消除已填充空洞的视图的边界噪声。4.根据权利要求3所述的装置，其中所述信令信息包括视图合成信息，所述视图合成信息包含能够以包含与各视图的3D获取相关的信息的方式形成随机3D视图的虚拟视频的信息，并且其中所述视图合成信息被定义为系统级的描述符形式或者被定义为视频级的SEI消息形式。5.根据权利要求4所述的装置，其中所述视图合成信息包括从指示所发送的深度图的类型的深度类型信息、指示根据所述滤波器类型使用对应滤波器的情况的滤波器使用信息、关于用于滤波器的滤波器系数的滤波器系数信息、指明深度范围以将具有物理意义的Z值分配给深度图中指定的标称值的深度值信息、与所发送的作为视图合成算法的各算法的参数集合的分布概念对应的合成模式信息、以根据合成模式判定是整个参数集合还是部分参数集合的方式发送的相机信息、以及指示与最左边视图的相对位置的左视图标志信息组成的组中选择的至少一个。6.根据权利要求5所述的装置，其中所述视图合成算法包括通用模式和1D并行模式。7.根据权利要求6所述的装置，其中所述视图合成信息被定义为视频级的SEI消息形式，所述视图合成信息包括标识所述SEI消息中包含的信息的组合的标识信息，还包括指示应用于前一图片的SEI消息的视图合成信息不再被应用的标志信息。8.根据权利要求7所述的装置，其中以所...

【专利技术属性】
技术研发人员：徐琮烈，崔智铉，
申请(专利权)人：LG电子株式会社，
类型：
国别省市：