用于立体再现的图像编码方法技术

允许立体再现的图像编码方法基本上包括以下步骤。在主编码步骤（ＶＤＥ１）中，依照一定标准对视觉图像编码。在辅助编码步骤（ＧＲＥ）中，将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是可以与依照有关标准的视觉图像结合的辅助图像。该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值。在组成定义步骤（ＣＴＲ１）中，提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据作为图形图像包含在可以传输到显示设备的输出图像的至少一个特定区域内。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术主要涉及允许实现立体再现的图像编码方法。该图像编码方法可以例如用来制造包含电影或另一类型视频的立体版本的光盘或其他类型的数据载体。本专利技术的其他方面涉及数据载体、信号、图像编码器、图像解码器以及用于可编程处理器的计算机程序产品。
技术介绍
又可以称为三维(3-D)观看体验的立体观看体验可以通过将场景的不同视图呈现给观察者的左眼和右眼来实现。这些不同的视图代表从稍微不同的角度观看的有关场景，其提供深度的印象。立体再现系统需要接收数据，系统根据这些数据可以导出需要呈现给观看者的不同视图。该立体数据可以包括例如视觉图像对，它们中的一个代表左眼视图，另一个代表右眼视图。这是经典的方法。可替换地，立体数据可以包括与视觉图像关联的所谓的深度图。深度图可以看作一组值，其可以为矩阵的形式。每个值与视觉图像中的特定区域有关并且指示虚拟观察者与该区域中的对象之间的距离。有关的区域可以包括单个像素或者像素簇，像素簇可以具有矩形形状或者就这点而论可以具有任何其他形状。处理器能够根据视觉图像和与其关联的深度图产生立体再现所需的不同视图。深度图可以利用提供有关背景对象的附加信息的遮挡信息来补充完整，所述背景对象在视觉图像中至少部分地被前景对象遮挡。2006年6月7日授权的文献EP0888018B1涉及其中记录立体视频的光盘。立体图像的用于右眼的信号和用于左眼的信号通过MPEG编码器压缩成MPEG信号(MPEG是运动图片专家组的首字母缩略词)。这些信号以特定的方式交织以便获得所谓的交织块，其与帧组对应。交织块针对光盘的超过一次旋转到超过十次旋转来记录。据称，光盘利用现有的复现设备提供单眼视觉(mono-vision)(2-D)，并且可以利用新的复现设备提供立体视觉(3-D)。
技术实现思路
本专利技术的目的是提供允许成本有效地运用立体图像再现的解决方案。独立权利要求限定了本专利技术的各个方面。从属权利要求限定了用于有利地实现本专利技术的附加特征。本专利技术考虑了以下几点。有可能详述用于立体再现的一种或多种新的图像编码标准。事实上，关于这类标准的工作已经开始。然而，可能会花费相对较长的时间来完成这种新标准以及此外成功地引入该新标准。同时，关于立体显示设备的工作正在进行，使得可能在不久的将来引入新的且改进的立体显示设备。这些立体显示设备需要内容。而且，新标准将需要新的复现设备，所述新的复现设备可以处理所述新标准并且尤其是处理依照该新标准记录的数据载体。这些新的复现设备可能相对昂贵，这可能会阻止消费者从单眼视觉升级到立体视觉。他或她需要购买允许立体再现的新的显示设备以及新的复现设备。而且，在立体版本中可能存在相对较少的各种内容。如果只有少数顾客具-->有再现立体版本的必要装备，那么编辑将不愿意投资用于产生立体版本的新标准。考虑的另一点涉及可用的带宽和可用的数据容量。例如，依照之前提及的现有技术，两个视频流记录在光盘上：一个视频流用于左眼并且另一个视频流用于右眼。这意味着可以包含两个小时的单眼视频的光盘可能仅包含一个小时的立体视频。记录和回放时间减半。可用的带宽是超越光盘或者就该点而论另一数据载体的一点。存在用于将显示设备与复现设备接口连接的现有普遍标准，诸如例如DVI和HDMI(DVI是数字视觉接口的首字母缩略词；HDMI是高清晰度多媒体接口的首字母缩略词)。这些标准提供了与给定图像分辨率和给定图像速率关联的给定带宽。原则上，有可能提供用于立体再现目的的具有例如DVI或HDMI类型的两个接口的显示设备和复现设备。然而，这是相对昂贵的解决方案。而且，现有的设备典型地只包括单个接口。依照本专利技术，允许立体再现的图像编码方法基本上包括下列步骤。在主编码步骤中，依照一标准对视觉图像编码。在辅助编码步骤中，将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是可以与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值。在组成定义步骤中，提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据包含在可以传输到显示设备的输出图像的至少一个特定区域内。有关的标准可以是现有标准，诸如例如DVD标准或蓝光光盘标准。立体显示设备可以容易地以许多不同的方式提取包含在输出图像中的立体使能数据。因此，为了制作立体显示设备可用的立体版本的内容不需要新的标准。也不存在对于全新复现设备的任何需要。如果需要的话，那么用于现有设备的升级的固件版本将足以允许进行立体再现。而且，依照本专利技术的图像编码方法对于可用记录和回放时间具有相对适度的影响，或者甚至根本没有影响。再者，例如DVI类型或HDMI类型的单个显示接口将足够用于立体再现。总而言之，由标准化模块组成的现有的普遍基础设施可以用作引入立体图像再现的平台。出于这些原因，本专利技术允许节省成本地部署立体图像再现。本专利技术的实施方式有利地包括以下附加特征中的一个或多个，其在与各个从属权利要求对应的单独的段落中进行描述。这些附加特征中的每一个有助于实现立体图像再现的成本有效运用。优选地，压缩原始的立体使能数据以便获得编码的立体使能数据。因此，输出图像的相对较小的部分足以输送立体使能数据，从而相对较大的部分可用于输送视觉图像。这有助于高分辨率立体再现。优选地，子采样原始的立体使能数据，使得编码的立体使能数据具有比原始立体使能数据的分辨率更低的分辨率。这进一步有助于高分辨率立体再现。在这个方面，应当指出的是，立体使能数据中分辨率的损失可以恢复，从而子采样不必与高分辨率立体再现冲突。提供的组成定义可以使得解码设备将立体使能数据的一部分插入到输出图像的下列行集合中的至少一个内：上面行的集合以及下面行的集合。这特别是在其中场景相对较宽阔的情况下进一步有助于高分辨率立体再现，所述情况典型地是针对电影的情况。立体使能数据可以依照下列两个标准中的至少一个编码成图形图像：DVD标准或-->蓝光光盘标准。所述组成定义可以包含在与图形图像关联的组成段中。可以产生绘制图片，其通过近似的方式表示立体使能数据，该绘制图片包含可以借助于图元表示的基本图形对象。可以根据绘制图片产生至少一个图元集合。依照蓝光光盘标准，可以以Java程序的形式表示图元，所述Java程序可以包含在交互图形数据流中。立体使能数据可以编码成要以画中画的方式显示的辅助视觉图像。提供的组成定义可以使得有关解码处理器以画中画的方式将视觉图像的缩放版本插入到辅助视觉图像中，仿佛辅助视觉图像是主要视觉图像并且视觉图像是子图像。立体使能数据可以由深度图和至少一幅遮挡图像的镶嵌图案(mosaic)形成，所述深度图包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值，所述遮挡图像代表视觉图像中至少部分地由一个或多个前景对象遮挡的一个或多个背景对象。该遮挡图像有助于高清晰度立体再现。可以定义包含用于立体再现的项目的菜单，该项目与所述组成定义关联，使得当选择用于立体再现的项目时，解码设备将立体使能数据包含在要传输到显示设备的输出图像的所述至少一个特定区域内。参照附图的详细描述说明了之前概括的本专利技术以及附加的特征。附图说明图1为示出立体视频记录系统的框图。图2和图3为分别示出出现在立体视频记录系统中的视觉图像和与其关联的深度图的实物图。图本文档来自技高网...

【技术保护点】
一种允许立体再现的图像编码方法，该图像编码方法包括：－主编码步骤（ＶＤＥ１；ＶＤＥ２；ＰＶＤＥ），其中依照一标准对视觉图像进行编码；－辅助编码步骤（ＧＲＥ；ＪＳＧ；ＳＶＤＥ），其中将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是能够与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；－组成定义步骤（ＣＴＲ１；ＣＴＲ２；ＣＴＲ３），其中提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据包含在能传输到显示设备（ＤＰＬ）的输出图像的至少一个特定区域内。

【技术特征摘要】
【国外来华专利技术】EP 2007-12-20 07301715.41.一种允许立体再现的图像编码方法，该图像编码方法包括：-主编码步骤(VDE1；VDE2；PVDE)，其中依照一标准对视觉图像进行编码；-辅助编码步骤(GRE；JSG；SVDE)，其中将与视觉图像关联的立体使能数据编码成仿佛该立体使能数据是能够与依照有关标准的视觉图像结合的辅助图像，该立体使能数据包括指示视觉图像中的相应区域与虚拟观察者之间的相应距离的相应值；-组成定义步骤(CTR1；CTR2；CTR3)，其中提供了组成定义，其使得依照所述标准操作的解码设备将立体使能数据包含在能传输到显示设备(DPL)的输出图像的至少一个特定区域内。2.如权利要求1所述的图像编码方法，还包括：-压缩步骤(CMP；DPG)，其中压缩原始的立体使能数据以便获得在辅助编码步骤(GRE；JSG；SVDE)中编码的立体使能数据，所述压缩步骤包括子采样步骤，其中子采样原始的立体使能数据，使得编码的立体使能数据具有比原始立体使能数据的分辨率更低的分辨率。3.如权利要求1所述的图像编码方法，由此在组成定义步骤(CTR1)中，提供的组成定义使得解码设备将立体使能数据的一部分插入到输出图像的下列行集合中的至少一个内：上面行(UL)的集合以及下面行(LL)的集合。4.如权利要求2所述的图像编码方法，由此在辅助编码步骤(GRE)中，立体使能数据依照下列两个标准中的至少一个编码成图形图像：DVD标准或蓝光光盘标准。5.如权利要求4所述的图像编码方法，组成定义步骤(CTR1)包括：-格式化步骤，其中所述组成定义包含在与所述图形图像关联的组成段中。6.如权利要求2所述的图像编码方法，所述压缩步骤包括：-绘制图片生成步骤(DPG)，其中产生绘制图片，其通过近似的方式表示立体使能数据，该绘制图片包含能借助于图元表示的基本图形对象，根据所述绘制图片产生至少一个图元集合。7.如权利要求6所述的图像编码方法，由此在辅助编码步骤(JSG)中，依照蓝光光盘标准，以能包含在交互图形数据流GDS中的Java程序的形式表示图元。8.如权利要求1所述的图像编码方法，由此在辅助编码步骤(SVDE)中，立体使能数据编码成要以画中画的方式显示的辅助视觉图像，并且在组成定义步骤(CTR3)中，提供的组成定义使得有关解码处理器以画中画的方式将视觉图像的缩放版本插入到辅助视觉图像中，仿佛辅助视觉图像是主要视觉图像并且视觉图像是子图像。9.如权利要求8所述的图像编码方法，包括：-镶嵌图像形成步骤(MIC)，其中立体使能数据由深度图和至少一幅遮挡图像的镶嵌图案形成，...

【专利技术属性】
技术研发人员：PS牛顿，W布鲁尔斯，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL