用于产生、传输和接收立体图像的方法以及相关设备技术

本发明专利技术涉及用于产生、传输和接收立体图像的方法以及相关设备。公开了一种用于产生包括复合图像(C)的立体视频流(101)的方法，所述复合图像(C)包括关于右图像(R)的像素和左图像(L)的信息，其中所述右图像(R)的像素和所述左图像(L)的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像(C)中。通过保持所述两个图像中的一个未改变，将另一个分割为包括多个像素的两个区域(R1，R2)并且将所述区域添加到所述复合图像(C)中，所述右图像(R)的所有像素和所述左图像(L)的所有像素被添加到所述复合图像(C)中的不同位置。

【技术实现步骤摘要】
【国外来华专利技术】用于产生、传输和接收立体图像的方法以及相关设备
本专利技术涉及立体视频流的产生、存储、传输、接收和再现，即当在可视化设备中被合适地处理时，产生图像序列的视频流，该图像序列可以被观众以三维方式感知。
技术介绍
如已知的，通过再现两幅图像能够获得三维的感知，其中一幅用于观众右眼而另一幅用于观众左眼。因此，立体视频流传输关于图像的两个序列的信息，对应于目标或者场景的右眼或者左眼视角。本专利技术尤其涉及一种用于在复合图像中复用右视角和左视角的两幅图像(下文中称为右图像和左图像)的方法和设备，该复合图像表示立体视频流的一帧，此后被称为容器中贞。此外，本专利技术还涉及一种用于去复用所述复合图像，即，用于从中提取复用设备添加的右图像和左图像。现有技述为了降低传输立体视频流所需的带宽，本领域已知的是将右图像和左图像复用为一个立体视频流的单个复合图像。第一个例子被称为并排复用，其中右图像和左图像被水平子抽样并且被并排排列到立体视频流的同一个帧内。这种类型的复用的缺点是，水平分辨率减半而垂直分辨率仍然不变。另一个例子被称为从上到下(top-bottom)复用，其中右图像和左图像被垂直子抽样并且在立体视频流的同一帧内按照一个在另一个上部的方式排列。这种类型复用的缺点是，垂直分辨率减半而水平分辨率仍然不变。还有其他更复杂的方法，例如，在专利中请W003/088682中公开的方法。该申请描述了使用棋盘抽样来降低抽取组成右图像和左图像的像素数量。这些被选择用于右图像和左图像的帧的像素被“几何地”压缩为并排模式(通过移动相应的像素在列I中建立的空格被列2中的像素所填充，等等)。在用于屏幕上呈现图像的解码步骤期间，右图像和左图像的帧被再次变回其原始形式，并且通过使用合适的内插技术来重建丢失的像素。该方法允许在水平和垂直分辨率之间的比率保持恒定，但是其降低了对角线分辨率，而且由于引入了本来不该出现的高频空间谱分量而改变了图像像素间的相关性。这会降低随后的压缩步骤(例如MPEG2、MPEG4或H.264压缩)的效率，而且还增加了压缩视频流的比特率。从专利申请W02008/153863中还已知另一种用于复用右图像和左图像的方法。这些方法中的一个提供了对右图像和左图像执行70%的缩放；缩放的图像随后被分割为8X8像素的块。每一个缩放图像的块能够被压缩到一个等于复合图像大约一半的区域中。这个方法的缺点是，由于引入了高频空间谱分量，块的再分配修改了组成图像的块之间的空间相关性，因此降低了压缩效率。此外，缩放操作和将每一个图像分割为大量块包括高的计算成本并且因此增加复用和去复用设备的复杂度。这些方法中的另一个对每一个右图像和左图像应用对角线缩放，使得原始图像变形为平行四边形。这两个平行四边形随后被分割为三角形区域，并且组成矩形复合图像，其中通过分割两个平行四边形而获得的三角形区域被重组和重排。右图像和左图像的三角形区域被以一种方式组织，使得他们通过复合图像的对角线而分开。类似于从上到下和并非方案，这个方案也同样具有改变水平和垂直分辨率的比率(平衡)的缺点。此外，细分为大量在立体帧中重排的三角形区域使得后续的压缩步骤(例如MPEG2、MPEG4或H.264)，在在通信信道上传输之前，在三角形区域的边界区域中产生伪像。例如，由于按照H.264标准的压缩处理执行的运动估计过程而产生所述伪像。这个方案的另一个缺点涉及缩放右图像和左图像的操作以及分割和转筒转换三角形区域的后续操作所需的计算复杂度。[0021 ] 在提交的申请国际专利申请PCT/IB2010/055918中公开了 一种如该申请中权利要求I定义的用于产生包括复合图像的立体视频流的方法，所述复合图像包括关于右图像和左图像的信息，其中所述右图像的像素和所述左图像的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像中，该方法的特征在于，通过保持所述两幅图像中的一个未改变而将另一个分割为包括多个像素的三个区域并且降所述区域添加到所述复合图像中，而将所述右图像的所有像素和所述左图像的所有像素都添加到所述复合图像中。所述方法涉及将另一图像细分为三个矩形区域，以及关于在复合图像中如何排列所述三个区域。但是上述方法还留有很大的改进空间，主要由于以下问题。如果区域的数量能够降低，这将允许同时降低在编码端和解码端所需的计算资源。此外，由于压缩技术引入的伪像完全集中沿着内部边界，如果这种内部边界的长度能够降低，则重建的图像的质量退化也会被降低，尤其在高压缩率的情况下。
技术实现思路
本专利技术的一个目的是提供一种用于复用和去复用右图像和左图像的复用方法和去复用方法(以及相关设备)，其允许克服现有技术的缺点。尤其，本专利技术的一个目的是提供一种用于复月和去复用右图像和左图像的复用方法和去复用方法(以及相关设备)，其允许保持水平分辨率和垂直分辨率之间的平衡。本专利技术的另一个目的是提供一种用于复用右图像和左图像的复用方法(以及相关设备)，其在使失真和伪像的产生最小化的同时，允许随后应用高压缩率。本专利技术的再一个目的是提供复用方法和去复用方法(以及相关设备)，其特征在于，降低的计算成本。本专利技术的另一个目的是提供一种复用方法和去复用方法(以及相关设备)，其特征在于，在重组的图像中存在很少的伪像和图像质量的退化。本专利技术的这些以及其他目的通过一种用于复用和去复月右图像和左图像的合并了在权利要求中给出的特征的复用和去复用方法(以及相关设备)来实现，其作为本说朋书的一个完整部分。基于本专利技术的总体的思想是将两个图像添加到一个复合图像中，其像素大与或者等于要被复用的两个图像的像素总和，例如右图像和左图像。第一图像(例如左图像)的像素被添加到复合图像而不经历任何改变，而第二图像被细分为两个区域，其像素都被排列在复合图像的自由区域中。这个方案提供的一个优点在于，两个图像中的一个保留不变，这使得重建图像的质量更高。第二图像被分割为两个区域，从而最大化像素间的空间相关性并且降低了在压缩阶段中伪像的产生。由于适当资源的短缺，细分两个立体图像中的一个为3个区域防止多数现有解码器重建没有附加专用功能的图像；降低细分为两个区域可允许现有的具有画中画(PIP)功能的解码器使用其来重组图像，从而降低为在当前解码器中实现本专利技术而需要改变的软件的数量。本专利技术的一个更具体的目的是，提供一种用于产生包括复合图像的立体视频流的方法，所述复合图像包括关于右图像和左图像的信息，其中所述右图像(R)的像素和所述左图像的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像中，该方法的特征在于，通过保留两个图像中的一个未改变而将另一个分割为包括多个像素的两个区域(Rl，R2)并且将所述区域添加到所述复合图像中，而将所述右图像的所有像素和所述左图像的所有像素添加到所述复合图像中的不同位置。本专利技术的其他目的是提供一种用于通过从复合图像开始重建一对图像的方法、用于产生复合图像的设备、用于从复合图像开始重建一对图像的设备以及立体视频流。通过下面对以非限制性例子的方式提供的一些实施例的描述，本专利技术的其他目的和优点将会更为显著。【附图说明】所述实施例将参照附图标记给予说明，其中:图1示出了用于将右图像和左图像复用为复合图像的设备的框图；图2是图1的设备执行的方法的流程图；本文档来自技高网...

【技术保护点】
一种用于产生包括复合图像(C)的立体视频流(101)的方法，所述复合图像(C)包括关于右图像(R)和左图像(L)的信息，其中选择所述右图像(R)的像素和所述左图像(L)的像素，并且所选择的像素被添加到所述立体视频流的复合图像(C)中，该方法的特征在于，通过保持所述两个图像中的一个未改变，将另一个分割为包括多个像素的两个区域(R1，R2)，并且将所述区域添加到所述复合图像(C)，所述右图像(R)的所有像素和所述左图像(L)的所有像素被添加到所述复合图像(C)中的不同位置。

【技术特征摘要】
【国外来华专利技术】2011.05.17 IT TO2011A0004391.一种用于产生包括复合图像(C)的立体视频流(101)的方法，所述复合图像(C)包括关于右图像(R)和左图像(L)的信息，其中 选择所述右图像(R)的像素和所述左图像(L)的像素，并且 所选择的像素被添加到所述立体视频流的复合图像(C)中， 该方法的特征在于，通过保持所述两个图像中的一个未改变，将另一个分割为包括多个像素的两个区域(Rl，R2)，并且将所述区域添加到所述复合图像(C)，所述右图像(R)的所有像素和所述左图像(L)的所有像素被添加到所述复合图像(C)中的不同位置。2.根据先前任何一个权利要求所述的方法，其中所述两个区域中的第一个(R2)具有L形状，所述两个区域中的第二个(Rl)具有矩形形状。3.根据权利要求2所述的方法，其中所述两个图像中未改变的一个(L)位于所述复合图像(C)的一个拐角，所述两个区域中的所述第一个(R2)位于所述复合图像(C)的与所述一个拐角相对的拐角，所述两个区域中的所述第二个(Rl)位于复合图像(C)中的剩余自由空间中的一部分。4.根据先前任何一个权利要求所述的方法，其中包括在所述第一个和第二个(Rl，R2)区域之间的边界区域的至少一 部分的附加区域(R3)被插入到所述在复合图像(C)中的剩余自由空间。5.根据先前任何一个权利要求所述的方法，其中所述区域包括所述图像的像素的连续列组。6.根据先前任何一个权利要求所述的方法，其中接收右图像(R)的序列和左图像(L)的序列， 通过从所述右图像和左图像的...

【专利技术属性】
技术研发人员：G·巴洛卡，P·达马托，D·潘尼西，
申请(专利权)人：SISVEL意大利电子发展股份公司， 三维开关有限公司，
类型：发明
国别省市：意大利;IT