用于立体显示器和自动立体显示器的深度图传送格式制造技术

使用编码的基本层和一个或更多个编码的增强层对用于立体显示器和自动立体显示器的立体视频数据和相应的深度图数据进行编码。给定3D输入图片和相应的输入深度图数据，基于输入图片生成并排图片和上下图片。使用编码器，对并排图片进行编码以生成编码基本层。使用该编码器和纹理参考处理单元(RPU)，对上下图片进行编码以生成第一增强层，其中基于基本层流对第一增强层进行编码，并且使用该编码器和深度图RPU，对并排图片的深度数据进行编码以生成第二增强层，其中基于基本层对第二增强层进行编码。还给出了替选的单层深、双层和多层深度图传送系统。

【技术实现步骤摘要】
【国外来华专利技术】用于立体显示器和自动立体显示器的深度图传送格式相关申请的交叉引用本申请要求以下美国临时专利申请的优先权：于2012年6月14日提交的美国临时专利申请No.61/659,588；于2012年10月10日提交的美国临时专利申请No.61/712,131；于2012年12月20日提交的美国临时专利申请No.61/739,886；于2013年2月21日提交的美国临时专利申请No.61/767,416；于2013年4月1日提交的美国临时专利申请No.61/807,013；于2013年4月2日提交的美国临时专利申请No.61/807,668；以及于2013年5月10日提交的美国临时专利申请No.61/822,060，其全部内容通过引用合并到本文中。
本专利技术一般地涉及图像。更具体地，本专利技术的实施方式涉及用于立体显示器和自动立体显示器的深度图的传送的格式。
技术介绍
3D视频系统获得无论在电影院还是在家中增强消费者体验的极大兴趣。这些系统使用立体或自动立体的呈现方法，包括：(i)立体照片——通过经由二色滤光器(通常一只眼红色，另一只眼青色)对光进行滤光来提供左/右眼分离；(ii)线性偏振——通过经由(通常)竖直取向的线性偏振器对左眼进行滤光并且经由水平取向的线性偏振器对右眼图像进行滤光，在投影仪处提供分离；(iii)圆偏振——通过经由(通常)左手圆偏振器对左眼图像进行滤光并且经由右手圆偏振器对右眼图像进行滤光，在投影仪处提供分离；(iv)快门眼镜——通过在时间上将左图像与右图像复用来提供分离，以及(v)光谱分离——通过在光谱上对左眼和右眼进行滤光在投影仪处提供分离，其中，左眼和右眼各自接收红色、绿色和蓝色光谱的互补部分。现今市场上可得到的大部分3D显示器是立体TV，其要求用户佩戴专用的3D眼镜以便体验3D效果。3D内容到这些显示器的传送仅要求携带两个分离的视图：左视图和右视图。出现了自动立体(无眼镜)显示器。这些显示器提供一定量的运动视差；观看者可以来回移动他/她的头，当他们来回移动时如同他们从不同的角度观看对象一样。传统的立体显示器提供单个3D视图；然而，要求自动立体显示器基于显示器的设计来提供多个视图如5个视图、9个视图、28个视图等。当给自动立体显示器提供规则的立体内容时，显示器提取深度图，并且基于该深度图来创建或呈现多个视图。如本文中所使用的，术语“深度图”表示包括与场景对象的表面到视点的距离有关的信息的图像或其他比特流。可以容易地将深度图转换成视差图，并且在该文档的上下文中，术语深度图和视差图相同，并且可互换。深度图也可以用于对具有不同分辨率的不同显示器类型(例如，1080p显示器或2K显示器)的3D体验进行重定向。大量研究表示出：为3D电影院设计的深度量不适于较小的移动装置，并且为较小的移动装置设计的深度量不适于3D电影院。另外，存在对3D深度量的观看者偏好，该观看者偏好可以取决于年龄(年轻人比老年人更喜欢较大的深度体验)，取决于文化(亚洲文化比西方文化更喜欢较高的深度)，或简单地取决于观看者。深度图信息可以用于重新呈现立体视图以增加或降低感知深度或其他调节。如专利技术人在此理解的，期望用于将深度图信息与内容一起传送的改进的技术提高使用自动立体显示器和立体显示器的用户体验。还应当理解的是，这些改进的技术优选地与现有的单视图和3D系统后向兼容。本部分中所描述的方法是可以实行的方法，但并不一定是先前已经构思或实行的方法。因此，除非另外指出，否则不应当仅仅因为被包括在本部分中就假设本部分中所描述的任何方法是现有技术。相似地，除非另外指出，否则不应基于本部分而假设关于一种或更多种方法而确定的问题已经在任何现有技术中被意识到。
技术实现思路
根据一个实施例，提供一种用于传送3D深度图数据的方法，所述方法包括：访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；访问所述输入图片的输入深度图数据；基于所述输入图片生成并排图片和上下图片；使用编码器对所述并排图片进行编码以生成编码基本层流；使用所述编码器和纹理参考处理单元对所述上下图片进行编码以生成编码第一增强层，其中，基于由所述纹理参考处理单元内插的所述编码基本层流并且部分地基于所述上下图片，部分地编码所述编码第一增强层；以及使用所述编码器和深度图参考处理单元对所述并排图片的深度图数据进行编码以生成编码第二增强层，其中，基于所述基本层并且部分地基于所述深度图数据，部分地编码所述编码第二增强层，其中所述深度图参考处理单元基于所述输入图片的所述深度图数据来估计要由所述编码第二增强层使用的深度图数据，所述并排图片的所述深度图数据是基于所述输入图片的所述输入深度图数据生成的。根据另一个实施例，提供一种用于生成输出视频的方法，所述方法包括：使用基本层解码器对编码基本层流进行解码以生成帧兼容3D视频流；使用第一增强层解码器和纹理参考处理单元对编码第一增强层流进行解码以生成帧兼容全分辨率3D视频流，其中对所述第一增强层流的解码部分地基于根据所述基本层流生成的数据；以及使用第二增强层解码器和深度图参考处理单元对编码第二增强层流进行解码以生成输出深度图数据，其中对所述编码第二增强层流的解码部分地基于根据所述基本层流生成的数据并且部分地基于所述第二增强层流。根据又一个实施例，提供一种用于传送3D深度图数据的方法，所述方法包括：访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；访问所述输入图片的输入深度图数据；基于所述输入图片生成并排图片和上下图片；使用编码器对所述上下图片进行编码以生成编码基本层流；使用所述编码器和纹理参考处理单元对所述并排图片进行编码以生成编码第一增强层，其中，基于由所述纹理参考处理单元内插的所述编码基本层流并且部分地基于所述并排图片，部分地编码所述编码第一增强层；以及使用所述编码器和深度图参考处理单元对所述上下图片的深度图数据进行编码以生成编码第二增强层，其中基于所述基本层并且部分地基于所述深度图数据，部分地编码所述编码第二增强层，其中所述深度图参考处理单元基于所述输入图片的所述深度图数据来估计要被所述编码第二增强层使用的深度图数据，所述上下图片的深度图数据是基于所述输入图片的所述输入深度图数据生成的。根据再一个实施例，提供一种用于传送3D深度图数据的方法，所述方法包括：访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；访问所述输入图片的输入深度数据；基于所述输入图片生成并排图片和上下图片；使用编码器对所述并排图片进行编码以生成编码基本层流；使用所述编码器和纹理参考处理单元对所述上下图片进行编码以生成编码第一增强层，其中基于所述基本层流部分地编码所述编码第一增强层；以及使用所述编码器和所述纹理参考处理单元对所述上下图片的上部分或所述上下图片的下部分以及第二深度数据进行编码以生成编码第二增强层，其中基于所述基本层并且部分地基于所述上下图片的一部分以及所述输入图片的所述输入深度数据的第二深度数据，部分地编码所述编码第二增强层，其中所述第二深度数据包括从仅来自所述输入图片的一个视图的水平二次采样的深度数据，或者其中所述第二深度数据包括来自所述输入图片的左视图和右视图本文档来自技高网...

【技术保护点】
一种用于传送3D深度图数据的方法，所述方法包括：访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；访问所述输入图片的输入深度数据；基于所述输入图片生成并排图片和上下图片；使用编码器对所述并排图片进行编码以生成编码基本层流(212)；使用所述编码器和纹理RPU(225)对所述上下图片进行编码以生成编码第一增强层(EL‑1，217)，其中基于所述基本层流部分地对所述编码第一增强层进行编码；以及使用所述编码器和Z‑RPU(230)对所述并排图片的深度数据进行编码以生成编码第二增强层(EL‑2)，其中基于所述基本层部分地编码所述编码第二增强层，并且基于所述输入图片的所述输入深度数据生成所述并排图片的所述深度数据。

【技术特征摘要】
【国外来华专利技术】2012.06.14 US 61/659,588;2012.10.10 US 61/712,131;1.一种用于传送3D深度图数据的方法，所述方法包括：访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；访问所述输入图片的输入深度图数据；基于所述输入图片生成并排图片和上下图片；使用编码器对所述并排图片进行编码以生成编码基本层流；使用所述编码器和纹理参考处理单元对所述上下图片进行编码以生成编码第一增强层，其中，基于由所述纹理参考处理单元内插的所述编码基本层流并且部分地基于所述上下图片，部分地编码所述编码第一增强层；以及使用所述编码器和深度图参考处理单元对所述并排图片的深度图数据进行编码以生成编码第二增强层，其中，基于所述基本层并且部分地基于所述深度图数据，部分地编码所述编码第二增强层，其中所述深度图参考处理单元基于所述输入图片的所述深度图数据来估计要由所述编码第二增强层使用的深度图数据，所述并排图片的所述深度图数据是基于所述输入图片的所述输入深度图数据生成的。2.根据权利要求1所述的方法，其中，所述编码第二增强层携带所访问的输入深度图数据与所估计的深度图数据之间的差异。3.根据权利要求1所述的方法，包括：基于所述第一视图和所述第二视图的水平二次采样生成并排图片，以及基于所述输入图片的所述第一视图和所述第二视图的竖直二次采样生成上下图片。4.根据权利要求1所述的方法，还包括：将所述编码基本层、所述编码第一增强层和所述编码第二增强层复用到输出编码比特流中。5.根据权利要求1所述的方法，其中，所述深度图参考处理单元基于所述输入图片生成第一视图深度图的估计以及第二视图深度图的估计。6.根据权利要求1所述的方法，还包括：生成具有是所述输入图片的所述第一视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第一视图相同的竖直像素分辨率的第一半图片；生成具有是所述输入图片的所述第二视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第二视图相同的竖直像素分辨率的第二半图片；以及将所述第一半图片和所述第二半图片进行复用以生成所述并排图片。7.根据权利要求1所述的方法，还包括：生成具有是所述输入图片的所述第一视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第一视图相同的水平像素分辨率的第三半图片；生成具有是所述输入图片的所述第二视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第二视图相同的水平像素分辨率的第四半图片；以及将所述第三半图片和所述第四半图片进行复用以生成所述上下图片。8.一种用于生成输出视频的方法，所述方法包括：使用基本层解码器对编码基本层流进行解码以生成帧兼容3D视频流；使用第一增强层解码器和纹理参考处理单元对编码第一增强层流进行解码以生成帧兼容全分辨率3D视频流，其中对所述第一增强层流的解码部分地基于根据所述基本层流生成的数据；以及使用第二增强层解码器和深度图参考处理单元对编码第二增强层流进行解码以生成输出深度图数据，其中对所述编码第二增强层流的解码部分地基于根据所述基本层流生成的数据并且部分地基于所述第二增强层流。9.一种用于传送3D深度图...

【专利技术属性】
技术研发人员：戈皮·拉克希米纳拉亚南，萨米尔·胡利亚尔卡尔，陈涛，克拉斯·海因里希·许伊尔，阿米特·古拉蒂，哈里哈兰·加纳帕蒂，菲利普·克雷策，
申请(专利权)人：杜比实验室特许公司，杜比国际公司，
类型：发明
国别省市：美国;US