用于创建和重建视频流的装置和方法制造方法及图纸

一种用于产生视频流的装置(1)包括：用于接收以下内容作为输入的通信接口(10)：代表输入立体流(VIN)的第一视图的图像的第一输入序列(L)中的一个或更多个图像；图像的第二输入序列(R)中的一个或更多个图像，每一个与所述第一输入序列(L)的相应图像对应，所述第二输入序列(R)的图像代表所述输入立体流(VIN)的第二视图；从所述第一输入序列(L)的一个或更多个图像开始允许基本上重建所述第二输入序列(R)的对应图像的一个或更多个地图；从所述第二输入序列(R)的一个或更多个图像开始允许基本上重建所述第一输入序列(L)的对应图像的一个或更多个地图。装置(1)还包括被配置为提供至少包含所述第一输入序列(L)的第一图像(L1)、相应的第一地图(D1)、所述第二输入序列(R)的第二图像(R2)和相应的第二地图(D2)的编码视频流(VCS)作为输出的处理单元(11)。还公开了用于重建视频流的装置、用于产生视频流的方法和用于重建视频流的方法。

【技术实现步骤摘要】
【国外来华专利技术】用于创建和重建视频流的装置和方法
本专利技术涉及用于产生视频流的装置、方法和软件产品。本专利技术还涉及用于重建视频流的装置、方法和软件产品。本专利技术还涉及加入通过所述用于产生视频流的装置、方法或软件产品产生的视频流的电磁信号。
技术介绍
在成为电影院中的独家主角之后，基于示出在双眼视觉中由右眼和左眼分别感觉的右视图和左视图的耦合的使用，3D技术的扩散在电视领域中作为立体HD电视也获得越来越多的基础。用于分布立体信号的最简单的技术包括右视图和左视图的同时传输(所谓的同时广播)，但这样使使用的频带加倍。这种使用频带的增加至少是不希望的，原因是当前电视传送的频率资源非常有限。为了弥补这种缺点，可以求助替代性方法，其中，2D加立体元数据(2D加立体元数据)允许立体视频的全HD显示，其中，“2D”要成为两个视图中的一个，并且，“立体元数据”意指附加的信息，从而允许示出利用两个视图之间的相关性的另一视图。定义2D加立体元数据包括不同的方法，它们中的每一个使用不同的元数据以获得不一体化传送的视图：a)2D加差异：计算和传送两个视图之间的差异；b)2D加深度/差异：计算和传送从两个视图开始获得的深度或视差地图；c)2D加深度、闭塞和透明度(DOT)：除了深度地图以外，通过最后的一个计算和传送不可重建部分。存在用于TV3D传输的许多方法，这些方法在视图编码所需要的位率上是不同的；其中的最好的已知的方法基于两个立体视图的空间配置(并排、上下格式等)、使用两个视图之间的相关性(MultiviewVideoCodingorMVC-StereoHighProfile)、使用深度地图和闭塞地图。并排和上下格式允许重新使用现有的基础构架HDTV，但不允许两个眼睛的全HD显示，原因是两个视图在空间被配置成帧HDTV，结果是水平或垂直的分辨率为自然分辨率的一半。多视图视频编码(MVC)允许对两个眼睛使用全HD内容，原因是通过使用视图之间的相关性传送立体对，但不允许关于同时广播的明显的压缩效率。所述的方法2D加深度提供视图(2D信号，例如，左视图)和从两个视图计算的深度地图的传送。深度地图以灰度级示出提供两个视图之间的差异的信息，即，关于参照视图定位关注的视图(在再现侧重建)的像素的距离。根据视频照相机的固有参数、两个视频照相机之间的距离、最远场景计划和最近场景计划到视频照相机的距离通过适当的变换出现差异与深度之间的转换。可通过使用许多技术，出现两个视图中的一个的重建：1)从取为基准的视图开始，通过将偶数值的像素移动到从深度地图获得的偶数值；2)通过使用用于在通过适当的度量合成的视图上投影像素的真实空间坐标的所谓的算法3Dwarpingandreverse3Dwarping。所述度量是从限定照相机关于真实系统的位置和取向的参数得到的。重建视图的质量与深度地图的质量非常有关。但是，由于所谓的闭塞，即，仅存在于两个视图中的一个中的背景和/或对象的部分，这样重建的视图是不完整的。为了克服该问题，为了覆盖未重建像素，变得必须还传送闭塞的地图。但是，通过使用该方法，关于具有相同的分辨率和帧频率的2D全HD流，存在得到的180％～220％的总体频带占据，从而使得以这种方式实现的3D信号的传送和/或存储非常沉重。
技术实现思路
本专利技术的目的是，示出解决现有技术的一些问题的方法、装置和软件产品。具体而言，本专利技术的目的是，提供允许产生立体视频流的方法、装置和软件产品以及允许重建立体视频流、能够以明显的方式限制传送/接收步骤中的频带占据和存储步骤中的存储器空间的占据而不同时降低同一视频流的质量的方法、装置和软件产品。本专利技术的另一目的是，指示特别是在重建侧关于需要的复杂性高度可缩放由此很容易地能够以重建装置的操作模式的简单变化在2D模式中重建相同的立体3D视频流的三维视频流的方法、装置和处理软件。本专利技术的另一目的是，指示可很容易地从包含两个视图的立体视频流的情况扩展到使用多于两个的视图数量的所谓的“多视图”系统的三维视频流的方法、装置和产生和重建软件。根据在公开的权利要求中公开的内容，通过方法、装置和产生软件产品以及通过方法、装置和重建软件产品，也基本上满足这些和其它的目的。附图说明从本专利技术的优选且不独占的实施例的详细描述，本专利技术的其它目的和优点将变得根据清楚。在后面参照包括的附图提供这种描述，这些附图仅是出于示例性的目的，不是限制性的，其中，图1a表示根据本专利技术的产生装置的框图；图1b表示根据本专利技术的重建装置的框图；图2示意性地表示在本专利技术的范围中使用的视频流；图3表示根据本专利技术的产生器的可能的实施例的框图；图4a表示根据本专利技术的重建装置的可能的实施例的框图；图4b～4c示意性地表示图4a的装置的两个操作模式；图5a～5b表示代表根据本专利技术的重建方法的流程图；图6示意性地表示存在于根据本专利技术的重建方法中的使用图像与重建图像之间的关系。图7表示本专利技术对具有2D向后兼容的多于两个的视图的情况的应用；图8表示本专利技术对没有2D向后兼容的多于两个的视图的情况的应用；图9表示根据本专利技术的产生装置的可能的实施例的框图；图10a～10d示意性地表示在根据本专利技术的装置和方法中使用的图像合成步骤；图11a～11d示意性地表示在根据本专利技术的装置和方法中使用的图像重建步骤。具体实施方式总体参照附图1和2，分别表示用于产生视频流的产生装置和用于重建视频流的重建装置。应当注意，在本文中，术语“图像”和“帧”被视为同义并且能够被交换使用，而术语“地图”没有区别地表示差异地图或深度地图。以上的产生装置1(图1a)均包含用于接收指示为输入立体流VIN的立体视频流作为输入的通信接口10，该立体视频流包含两个不同的图像序列，指示这种立体流的第一视图的图像的第一输入序列L和指示所述立体流的第二视图的图像的第二输入序列R。第一输入序列L和第二输入序列R当通过适当的播放装置(例如，作为具有3D预配置的电视机)被再现时，允许显示内容，使得用户感觉各种示出要素停留的深度，由此给出所述内容的3D示图的感觉。作为例子，第一输入序列L可与立体流的左视图有关，而第二输入序列R可与这种流的右视图有关。但是，注意，也可在第一序列L示出右视图且第二序列R示出左视图的截然相反的情况下实施本专利技术。特别地，通信接口10接收第一输入序列L的一个或更多个图像和第二输入序列R的一个或更多个图像作为输入。第一输入序列L的图像可例如存储于第一存储器区域M1中；第二输入序列R的图像可存储于例如第二存储器区域M2中。第一和/或第二存储器区域M1、M2可属于非易失性存储器，其中，第一和/或第二输入序列L、R可以稳定的方式被存储，直到随后的擦除命令，或者存储到易失性存储器，其中，第一和/或第二输入序列L、R或它们的多个部分仅对其处理完全必需时被存储。通信接口10接收从第一输入序列L的图像中的一个或更多个开始允许基本上重建第二输入序列R的对应图像的一个或更多个地图作为输入。特别地，通过组合第一输入序列L的确定图像与所述地图的相应的一个，能够基本上获得属于第二输入序列R的各图像，即，与第一输入序列L的图像的相同时间基准相关的第二输入序列R的图像。在后面可更清楚地看出，由于所谓的“闭塞”，这种重建可能是不完整的。通信接口10在输入中接收从第二输入本文档来自技高网...

【技术保护点】
一种用于产生视频流的装置，包括：‑用于接收以下内容的通信接口(10)：代表输入立体流(VIN)的第一视图的图像的第一输入序列(L)的一个或更多个图像；图像的第二输入序列(R)的一个或更多个图像，每一个与所述第一输入序列(L)的相应图像对应，所述第二输入序列(R)的图像代表所述输入立体流(VIN)的第二视图；从所述第一输入序列(L)的一个或更多个图像开始允许基本上重建所述第二输入序列(R)的对应图像的一个或更多个地图；从所述第二输入序列(R)的一个或更多个图像开始允许基本上重建所述第一输入序列(L)的对应图像的一个或更多个地图；‑与所述通信接口(10)相关的处理单元(11)，被配置为：确定所述第一输入序列(L)的第一图像(L1)；确定第一地图(D1)，使得能够通过组合所述第一输入序列(L)的第一图像(L1)与所述第一地图(D1)基本上重建所述第二输入序列(R)的第一图像(R1)；确定所述第二输入序列(R)的第二图像(R2)；确定第二地图(D2)，使得能够通过组合所述第二输入序列(R)的第二图像(R2)与所述第二地图(D2)基本上重建所述第一输入序列(L)的第二图像(L2)；输出至少包含所述第一输入序列(L)的第一图像(L1)、第一地图(D1)、所述第二输入序列(R)的第二图像(R2)、以及第二地图(D2)的编码视频流(CVS)。...

【技术特征摘要】
【国外来华专利技术】2012.12.13 IT TO2012A0010731.一种用于产生视频流的装置，包括：-用于接收以下内容的通信接口(10)：代表输入立体流(VIN)的第一视图的图像的第一输入序列(L)的一个或更多个图像；图像的第二输入序列(R)的一个或更多个图像，每一个与所述第一输入序列(L)的相应图像对应，所述第二输入序列(R)的图像代表所述输入立体流(VIN)的第二视图；从所述第一输入序列(L)的一个或更多个图像开始允许重建所述第二输入序列(R)的对应图像的一个或更多个地图；从所述第二输入序列(R)的一个或更多个图像开始允许重建所述第一输入序列(L)的对应图像的一个或更多个地图；-与所述通信接口(10)相关的处理单元(11)，被配置为：确定所述第一输入序列(L)的第一图像(L1)；确定第一地图(D1)，使得能够通过组合所述第一输入序列(L)的第一图像(L1)与所述第一地图(D1)重建所述第二输入序列(R)的第一图像(R1)；确定所述第二输入序列(R)的第二图像(R2)；确定第二地图(D2)，使得能够通过组合所述第二输入序列(R)的第二图像(R2)与所述第二地图(D2)重建所述第一输入序列(L)的第二图像(L2)；输出至少包含所述第一输入序列(L)的第一图像(L1)、第一地图(D1)、所述第二输入序列(R)的第二图像(R2)、以及第二地图(D2)的编码视频流(CVS)，其中所述编码视频流(CVS)不包含所述第二输入序列(R)的第一图像(R1)和所述第一输入序列(L)的第二图像(L2)。2.根据权利要求1所述的装置，其中，所述第一输入序列(L)的第二图像(L2)和所述第二输入序列的第二图像(R2)分别在时间上与所述第一输入序列(L)的第一图像(L1)和所述第二输入序列(R)的第一图像(R1)相继和相邻。3.根据权利要求1或2所述的装置，其中，所述通信接口(10)被配置为接收：-所述第一输入序列(L)的第一多个图像(Li)，包含所述第一输入序列(L)的所述第一图像(L1)，所述第一多个图像中的各图像(Li)与相应的第一时间基准(TLi)相关；-所述第二输入序列(R)的第二多个图像(Ri)，包含所述第二输入序列(R)的所述第二图像(R2)，所述第二多个图像中的各图像(Ri)与相应的第二时间基准(TRi)相关，所述第一时间基准(TLi)在时间上与所述第二时间基准(TRi)交替；-第一多个地图(D1i)，其中，能够通过组合所述第一多个图像(Li)中的各图像与所述第一多个地图(D1i)中的相应地图重建属于所述第二输入序列(R)的所述对应图像中的每一个；-依赖于所述第二多个比较的第二多个地图(D2i)，其中，能够通过组合所述第二多个图像(Ri)中的各图像与所述第二多个地图(D2i)中的相应地图来重建属于所述第一输入序列(L)的所述对应图像中的每一个；所述处理单元(11)被配置为通过在其中加入所述第一多个图像(Li)、所述第一多个地图(D1i)、所述第二多个图像(Ri)和所述第二多个地图(D2i)来产生所述编码视频流(CVS)。4.根据权利要求1所述的装置，其中，所述处理单元(11)被配置为：-根据所述第一输入序列(L)的第一图像(L1)和相应的第一地图(D1)定位一个或更多个闭塞像素；-根据所述第二输入序列(R)的一个或更多个图像确定与要替代所述一个或更多个闭塞像素的一个或更多个替代像素有关的描述数据：-将所述描述数据加入到所述编码视频流(CVS)中。5.根据权利要求4所述的装置，其中，所述处理单元(11)被配置为：-定位属于所述第二输入序列(R)的特定替代像素，所述特定替代像素不能仅根据第二输入序列(R)的与第一输入序列(L)的相应图像对应的图像前和/或后的图像限定；-确定描述所述特定替代像素的主要数据；-通过将所述主要数据加入到所述编码视频流(CVS)中，将所述描述数据加入到所述编码视频流(CVS)中。6.根据权利要求5所述的装置，其中，所述主要数据包含与所述闭塞像素相关的移动矢量。7.根据权利要求1所述的装置，还包括预处理模块(12)，所述预处理模块(12)被配置为：-接收包含代表所述输入立体流的第二视图的多个图像(R0i)的开始序列(R0)，每一个与所述第一输入序列(L)的对应图像相关；一比较所述开始序列(R0)的一个或更多个图像(R0i)与所述第一输入序列(L)的对应图像；-根据各比较产生所述第二输入序列(R)的对应图像。8.根据权利要求7所述的装置，其中，所述预处理模块(12)被配置为：-根据所述开始序列(R0)的所述一个或更多个图像与所述第一输入序列(L)的对应图像之间的各比较确定地图(Di)；所述第二输入序列(R)的所述对应图像是根据所述第一输入序列(L)的所述相应图像与所述地图(Di)之间的组合产生的。9.一种用于重建视频流的装置，包括：-用于接收编码视频流(CVS)的输入接口(20)，所述编码视频流(CVS)至少包含第一输入序列(L)的第一图像(L1)、与所述第一输入序列(L)的所述第一图像(L1)相关的第一地图(D1)、第二输入序列(R)的第二图像(R2)、以及与所述第二输入序列(R)的所述第二图像(R2)相关的第二地图(D2)，其中所述第一地图(D1)允许基于所述第一输入序列(L)的所述第一图像(L1)重建所述第二输入序列(R)的第一图像(R1)，其中所述第二地图(D2)允许基于所述第二输入序列(R)的所述第二图像(R2)重建所述第一输入序列(L)的第二图像(L2)，其中所述编码视频流(CVS)不包含所述第二输入序列(R)的第一图像(R1)和所述第一输入序列(L)的第二图像(L2)；-动作模块(21)，被配置为：根据所述第一输入序列(L)的所述第一图像(L1)和所述第一地图(D1)重建所述第二输入序列(R)的第一图像(R1)，由此获得第一重建图像(R1′)；根据所述第二输入序列(R)的所述第二图像(R2)和所述第二地图(D2)重建所述第一输入序列(L)的第二图像(L2)，由此获得第二重建图像(L2′)；输出包括第一输出序列(L′)和第二输出序列(R′)的解码立体视频流(DVS)，第一输出序列(L′)包含所述第一输入序列(L)的第一图像(L1)和所述第二重建图像(L2′)，第二输出序列(R′)包含所述第一重建图像(R1′)和所述第二输入序列(R)的第二图像(R2)，所述第一和第二输出序列(L′、R′)分别代表所述解码立体视频流(DVS)的第一和第二视图。10.根据权利要求9所述的装置，其中，-在所述第一输出序列(L′)中，第二重建图像(L2′)在时间上与所述第一输入序列(L)的第一图像(L1)相继和相邻；-在所述第二输出序列(R′)中，所述第二输入序列(R)的第二图像(R2)在时间上与所述第一重建图像(R1′)相继和相邻。11.根据权利要求9或10所述的装置，其中，所述编码视频流(CVS)包含：属于代表立体流的第一视图的图像的第一输入序列(L)的第一多个图像(Li)；第一多个地图(D1i)，每一个与所述第一多个图像(Li)中的相应图像相关；属于代表所述立体流的第二视图的图像的第二输入序列(R)的第二多个图像(Ri)；和第二多个地图(D2i)，每一个与所述第二多个图像(Ri)中的相应图像相关，其中，所述第一多个图像(Li)包含所述第一输入序列(L)的第一图像(L1)，所述第一多个地图包含所述第一地图(D1)，所述第二多个图像(Ri)包含所述第二输入序列(R)的第二图像(R2)，并且所述第二多个地图(D2i)包含所述第二地图(D2)，其中，所述第一多个图像中的各图像(Li)与相应的第一时间基准(TLi)相关，其中，所述第二多个图像中的各图像(Ri)与相应的第二时间基准(TRi)相关，所述第一时间基准(TLi)在时间上与所述第二时间基准(TRi)交替，所述动作模块(21)被配置为：-根据所述第一多个图像(Li)和所述第一多个地图(D1i)重建所述第二输入序列(R)的图像，由此获得对应的第一重建图像(Ri′)；-根据所述第二多个图像(Ri)和所述第二多个地图(D2i)重建所述第一输入序列(L)的图像，由此获得相应的第二重建图像(Li′)；所述解码立体视频流(DVS)包括：-包含所述第一多个图像(Li)和所述第二重建图像(Li′)的第一输出序列(L’)；和-包含所述第二多个图像(Ri)和所述第一重建图像(Ri′)的第二输出序列(R’)。12.根据权利要求11所述的装置，其中，所述动作模块(21)被配置为：-根据所述第一输入序列(L)的第一图像(L1)和对应的第一地图(D1)关于所述第二输入序列(R)的对应的第一图像(R1)定位一个或更多个闭塞像素；-根据所述第二输入序列(R)的一个或更多个特定图像确定要替代所述第二输入序列(R)的所述第一图像(R1)中的所述一个或更多个闭塞像素的一个或更多个替代像素。13.根据权利要求12所述的装置，其中，所述特定图像属于所述第二多个图像(Ri)。14.根据权利要求12所述的装置，其中，所述编码视频流(CVS)包含与一个或更多个替代像素有关的描述数据，所述动作模块(21)被配置为根据所述描述数据确定所述一个或更多个替代像素，其中，所述描述数据优选包含代表不能仅根据所述第一图像(R1)前和/或后的图像确定的属于所述第二输入序列(R)的替代像素的主要数据。15.根据权利要求14所述的装置，其中，所述主要数据包含与所述闭塞像素相关的移动矢量。16.一种用于产生视频流的方法，包括：-提供代表输入立体流的第一视图的图像的第一输入序列(L)；-提供代表所述输入立体流的第二视图的对应图像的第二输入序列(R)；-提供从所述第一输入序列(L)的一个或更多个图像开始允许重建所述第二输入序列(R)的对应图像的一个或更多个地图；-提供从所述第二输入序列(R)的一个或更多个图像开始允许重建所述第一输入序列(L)的对应图像的一个或更多个地图；一确定所述第一输入序列(L)的第一图像(L1)；-确定第一地图(D1)，使得能够通过组合所述第一输入序列(L)的第一图像(L1)与所述第一地图(D1)来重建所述第二输入序列(R)的第一图像(R1)；-确定所述第二输入序列(R)的第二图像(R2)；-确定第二地图(D2)，使得能够通过组合所述第二输入序列(R)的第二图像(R2)与所述第二地图(D2)来重建所述第一输入序列(L)的第二图像(L2)；-输出至少包含所述第一输入序列(L)的第一图像(L1)、第一地图(D1)、所述第二输入序列(R)的第二图像(R2)、以及第二地图(D2)的编码视频流(CVS)，其中所述编码视频流(CVS)不包含所述第...

【专利技术属性】
技术研发人员：M·G·库卡，
申请(专利权)人：意大利广播电视股份公司，意大利希思卫电子发展股份公司，
类型：发明
国别省市：意大利;IT