用于有伪像感知的视图合成的辅助数据制造技术

原始或经压缩的辅助数据，可能地包括以形状图像、部分遮挡数据、相关联的调谐和控制参数以及原始（多个）视频的深度信息的形式的主要深度不连续性，用于促进具有减少的伪像的常规2D、3D（立体）和多视图或自动立体显示器中的常规2D、立体、和多视图视频的新视图（视图合成）的交互式显示和生成。部分或全遮挡数据包括可能被部分遮挡的区域的图像、深度和不透明数据，用以促进所合成的视图中的伪像的减少。一种高效方法用于在如由来自纹理视频的辅助数据所限定的被部分遮挡的区处提取对象用以促进具有减少的伪像的视图合成。此外，一种用于更新图像背景和深度值的方法在提取了每个对象之后使用辅助数据，用以减少由于在视图合成期间缺失的数据或孔洞的在线图像修补的有限性能所致的伪像。

【技术实现步骤摘要】
【国外来华专利技术】用于有伪像感知的视图合成的辅助数据对有关专利申请的交叉引用本申请要求2015年11月9日提交的、申请号为62/285,825的美国临时申请的权益，所述美国临时申请通过引用以其全部被并入本文中。
本专利技术涉及基于二维纹理图像、以及辅助数据的对三维图像的经改进的渲染。
技术介绍
大多数现今的可视内容仍是以二维（2D）图像或视频的形式，所述二维图像或视频以2D图像序列的形式。通常，除了仅仅放大/缩放或简单的移位之外，这些常规图像和视频不支持观察者的有利情况或视点中的改变。然而，新的显示技术正变得更加可用，其提供立体或三维（3D）图像。这些一般利用主动式快门或被动式偏振眼镜来实现。而且，不需要眼镜的更新近的高分辨率自动立体（autostereoscopic）显示器正变得更加可用。对这样的自动立体显示器的输入典型地是：i)视频图像加上深度图（depthmap），所述深度图描述视频中每个像素的深度，或ii)邻近视点处的视频集合，有时被称为多视图视频，其中邻近的视图以某种格式被多路复用到图像帧上。自动立体显示器的柱状透镜（lenticularlens）或视差屏障执行空间滤波，使得某个观看位置处的用户将能够相应地在他/她的左眼和右眼中看到两个不同的图像，因而产生了3D感知。为了在3D显示器中显示常规的2D图像或视频，需要生成场景的另一视图。另一方面，自动立体显示器上的3D视频的显示需要生成深度图或创建将被多路复用成期望的帧格式的适当的多视图视频。用于促进生成这些附加视图的一种方法是利用对应的深度图或其近似的版本来增强视频。深度图是记录可观察的场景点距相机的光学点的距离的图像（或如果以规律的时间间隔拍摄的话则是视频）。它们向在相同位置处拍摄的彩色图像或视频中的相关联的彩色像素提供附加的信息，这通过指定所述像素在场景中的深度。深度图的一个应用是根据彩色图像或视频（也被称为纹理）而合成场景的新视图。还可以在邻近的空间位置处取得深度图以形成多视图深度图像或视频。连同纹理或彩色视频一起，可以合成在成像位置周围的新的虚拟视图。参见S.C.Chan等人的“Image-basedrenderingandsynthesis”（IEEE信号处理杂志，卷24，pp.22-33（2007）），以及S.C.Chan和Z.F.Gan等人的“Anobject-basedapproachtoimage-basedsynthesisandprocessingfor3-Dandmultiviewtelevisions”（IEEE会报，电路系统视频技术，卷19，no.6，pp.821-831（2009年6月）），这些通过引用以其全部被并入本文中。这些合成的视图，如果被适当地生成的话，可以支持常规2D、立体或自动立体显示器中的内容的显示，并且提供有限的视点改变。对于常规的视频，利用深度图来增强每个图像帧导致附加的深度视频，并且该格式有时被称为2D加上深度表示。视频和深度如何被置于一起导致不同的格式。在Philips3D解决方案3D接口规范白皮书中（http://www.business-sites.philips.com/shared/assets/global/Downloadablefile/Philips-3D-Interface-White-Paper-13725.pdf），2D加上深度格式将视频和深度图像并排地一起封装在帧中，作为对自动立体显示器的物理输入接口。存在被称为“WOWvxdeclipse”格式的扩展版本，其中输入帧进一步被拆分成四个象限，其中两个附加的子帧相应地存储由前景对象挡住的背景及其深度值。没有形状信息，并且因此它很可能依赖于准确的深度图来定位前景对象的边界，使得被挡住的区域可以在渲染期间被填充。由于获取或压缩深度图，这可能容易出错。而且，需要对象的整个被挡住的背景，这通常是不必要的，因为遮挡区域的数目取决于深度和最大观看范围。通常，仅仅需要遮挡具有大深度不连续性的重要对象，并且可以通过“图像修补（inpainting）”来处置较小的遮挡。图像修补（也已知为图像内插或视频内插）指的是应用复杂的算法来替换图像数据的丢失或被损坏的部分（主要替换小区或移除小缺陷）。该表示的最显著的限制是：它不能处置半透明对象，因为假定对象或背景被完全遮挡。四象限表示还显著地限制全部主要视频和深度的分辨率。此处，2D加上深度的格式或表示是指使用视频加上深度二者以用于视图合成，并且不限于Philips白皮书中所使用的物理格式。对于3D视频，可以利用深度视频来增强立体视频中的每个视频。在HEVC-3D中，两个或更多视频与它们相应的深度图一起编码。参见G.Tech等人的“3D-HEVC草案文本1”，关于3D视频编码扩展（JCT-3V）的联合协作团队的第五次会议的会议录，文档JCT3V-E1001，奥地利维也纳，2013年八月），其通过引用以其全部被并入本文中。对于使用这样的多个视频加深度格式的主要动机是根据两个邻近的视频加深度视频来合成新视图。视频和深度必须通过使用HEVC-3D编解码器被压缩和解压缩。以其它格式编码的视频必须连同深度图一起被转码成新的HEVC-3D格式。针对视图合成功能性的应用之一是生成多个视图以用于支持自动立体显示，其一般需要5个或甚至更大数目的视图。当前，在这样的应用中存在两个重要的问题，即（1）在深度不连续性处的纹理和深度一致性，以及（2）来自对经解遮挡的区域进行图像修补的伪像。使用多个视频和深度图的视图合成品质高度地取决于深度图的品质。在视图之间的深度不连续性的不准确对准以及在纹理和深度不连续性之间的不一致性通常产生在对象边界周围的严重渲染伪像。由于深度图的有限准确性以及在数据压缩之后引入的失真，对于避免这些困难所需的准确性通常难以实现。对于一般的2D加深度表示而言，纹理和深度不连续性的一致性也是关键的，因为如果它们没有被恰当地处置，则结果将导致显著的伪像。伪像可能起因于在视图合成期间对经解遮挡的区域和图像加深度表示进行图像修补。由于解遮挡，当根据形状深度不连续性处的纹理和深度图生成新视图的时候，将出现孔洞。解决该问题的常规方法是根据近邻像素对孔洞进行图像修补。尽管WOWvxdeclipse格式提供物理级别的遮挡数据，但是在带宽或存储受限的情况下，它不适合用于传输和存储。遮挡数据通常大于所需的视点改变。由于它没有精确的形状信息，所以其使用将严重依赖于深度图，所述深度图可经受针对自然视频的估计误差或压缩误差。而且，它不支持多视图和半透明对象。对于立体视频，必须从其它视图适当地提取数据以实时地对这些孔洞进行图像修补。有时，必须执行复杂的图像修补算法或甚至人类干预以减少渲染伪像。这是由于i）两个视图之间的视点改变，ii）复杂的经解遮挡的背景，以及iii）在深度和彩色视频之间、尤其是以显著深度不连续性和其它原因的不一致性。复杂的图像修补使得具有低伪像的实时且可靠的视图合成极度困难。此外，两个视图的颜色中的失配、边缘位置和深度不连续性将导致显著的重影或“双重图像”。
技术实现思路
本专利技术涉及生成和压缩辅助数据，所述辅助数据可能地包括以形状图像、部分遮挡数据、相关联的调谐和控制参数以及原始（多个）视频的深度信息形式的主要深度不连续性。辅本文档来自技高网...

【技术保护点】
1.一种用于通过使用辅助数据来渲染二维输入视频图像的经改善的新视图的方法，所述辅助数据包括以形状信息、部分遮挡数据和深度信息的形式的主要深度不连续性，所述方法包括以下步骤：从如由辅助数据的形状信息所指定的被部分遮挡的区处的输入视频图像中提取图像对象及其深度值；通过在提取了每个对象之后对缺失的数据或孔洞进行图像修补并且更新深度值来更新图像的背景；使用辅助数据的部分遮挡数据来减少由于缺失的数据或孔洞的图像修补的有限性能所致的伪像；以及使用在所指定的被部分遮挡的区和背景处所提取的对象来执行用于渲染的视图合成。

【技术特征摘要】
【国外来华专利技术】2015.11.09 US 62/2858251.一种用于通过使用辅助数据来渲染二维输入视频图像的经改善的新视图的方法，所述辅助数据包括以形状信息、部分遮挡数据和深度信息的形式的主要深度不连续性，所述方法包括以下步骤：从如由辅助数据的形状信息所指定的被部分遮挡的区处的输入视频图像中提取图像对象及其深度值；通过在提取了每个对象之后对缺失的数据或孔洞进行图像修补并且更新深度值来更新图像的背景；使用辅助数据的部分遮挡数据来减少由于缺失的数据或孔洞的图像修补的有限性能所致的伪像；以及使用在所指定的被部分遮挡的区和背景处所提取的对象来执行用于渲染的视图合成。2.根据权利要求1所述的方法，其中辅助数据的形状信息提供用于校正的深度不连续性的近似位置。3.根据权利要求2所述的方法，其中在灰度形状图像的情况中，形状信息提供在深度不连续性位置处的前景的近似量。4.根据权利要求1所述的方法，其中部分遮挡数据和形状信息用于指示对于支持给定视点改变所需的主要解遮挡区域和缺失的信息。5.根据权利要求1所述的方法，其中所述二维输入视频图像和辅助数据被传输，并且部分遮挡数据与图像数据、深度数据和抠图一起被包括，并且它们与形状信息、输入视频图像的深度值以及其它控制和调谐参数一起被封装以形成辅助数据并且辅助视图合成。6.根据权利要求5所述的方法，其中所述二维输入视频图像和辅助数据在传输之前被压缩以便减小传输带宽。7.根据权利要求1所述的方法，其中所述二维输入视频图像和辅助数据被存储，并且部分遮挡数据与图像数据、深度数据和抠图一起被包括，并且它们与形状信息、输入视频图像的深度值以及其它控制和调谐参数一起被封装以形成辅助数据并且辅助视图合成。8.根据权利要求7所述的方法，其中所述二维输入视频图像和辅助数据在存储之前被压缩。9.根据权利要求5所述的方法，其中辅助数据被嵌入在视频数据中以用于传输。10.根据权利要求5所述的方法，其中辅助数据作为分离的数据流被传输并且与视频数据同步。11.根据权利要求1所述的方法，其中提取图像对象并且更新背景和深度值的步骤此外包括按顺序的以下步骤：开始于具有最小深度的图像对象，使用形状信息来通过使用抠图而从背景中提取前景；通过在部分遮挡数据的边界处抠图而在其余背景的解遮挡区域处填充图像数据；在边界处盖写在其余背景中被部分遮挡数据所覆盖的所有像素，从而在经更新的背景中移除前景的痕迹；提供如对于填充可能的孔洞所需的附加图像修补；根据部分遮挡数据来更新新背景的深度；如所需的那样进行图像修补以填充由具有下一个最小深度的对象所限定的边界内的孔洞，直到所有对象都被处理为止；以及对于具有最小深度的下一个对象重复所述步骤。12.根据权利要求1所述的方法，其中经图像修补的对象被重构到具有其自己的深度图的图像层中。13.根据权利要求12所述的方法，其中层一个接一个地以其深度值的升序被渲染。14.根据权利要求1所述的方法，其中所提取的对象利用适当解遮挡数据以某种次序被图像修补，并且有伪像感知的视图合成算法用于支持该内容在常规2D、立体和自动立体显示器之一中的显示或渲染。15.根据权利要求11所述的方法，其中通过抠图来提取的步骤被高效地实现为两个滤波过程，其能够在没有乘法的情况下通...

【专利技术属性】
技术研发人员：陈成就，魏锡光，
申请(专利权)人：港大科桥有限公司，
类型：发明
国别省市：中国香港,81