【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多视图(multi-view)图像格式领域。尤其是，本专利技术涉及多视图图像帧数据格式的处理和呈现。
技术介绍
1、根据具有深度的多视角图像进行呈现的现有方法通过使用混合来组合来自多个源视图(捕获)相机的扭曲纹理(warped texture)。混合操作可取决于诸如源相机和目标相机的位置/取向(例如，射线角度差异)、深度大小(magnitude)、深度变化、去遮挡(de-occlusion)、透明度和颜色等变量。一些技术甚至使用训练过的卷积神经网络来对准目标视点(target viewpoint)中的纹理。有多种格式用于存储多视图图像。
2、多平面图像(mpi)和多球面(multisphere)图像(msi)技术为3d空间中的一组预先限定的平面或球面构建颜色和透明度。对于新的虚拟视点，然后使用多层的后至前覆盖合成(back-to-front over-compositing of layers)来构建图像。
3、最近，mpi和msi作为用于表示多视图视频的3d图像格式而变得流行。mpi和msi格式由具有定位在距离一个点的变化的深度(平面)或距离(球面)处的透明度的多个彩色图像组成。在创建新的虚拟视点时，彩色层会相互移动，然后将颜色合成在一起。
4、虽然mpi和msi格式看起来适合用于表示多视图视频，但仍存在一些问题。例如，这些格式通常由许多(＞100)帧大小的rgba(即颜色和透明度)深度层组成，因此会自动扩大原始的多视图捕获像素数据的相关大小，而不是缩小像素数据的相关大小。因此
5、jp 2019046077 a公开了一种视频合成装置，该视频合成装置能够通过设置具有根据指定的视点取向的取向的多个表面来在计算机中利用较少的计算量与较少的内存资源来合成自由视点视频。
技术实现思路
1、mpi和msi格式两者都将层放置在预先确定的固定的位置，而与观察到的场景无关。此外，这些层通常以均匀的方式在空间中分布(有时靠近捕获系统的层比远离捕获系统的层更密集)。在实践中，层的到处放置可能会导致引入鬼影对象。例如，最近的研究表明，对于由大面积的空白空间组成的真实场景，mpi是过度参数化的。针对这一问题所提出的解决方案是在层上强制执行稀疏性。然而，在层上强制执行稀疏性可能会降低场景中的对象的视觉质量。
2、本专利技术由权利要求限定。
3、根据根据本专利技术的一方面的示例，提供了一种用于处理多视图图像数据的方法，该方法包括：
4、从多个传感器获得源视图数据，源视图数据包含具有两个或更多个对象的场景的源纹理数据和源深度数据；
5、获得在场景中的两个或更多个对象的位置；以及
6、为至少两个对象在虚拟场景中生成两个或更多个多层堆叠体，其中
7、每个多层堆叠体对应于不同的对象，
8、在虚拟场景中的每个多层堆叠体的位置是基于在场景中的对应对象的位置的；以及
9、生成每个多层堆叠体包括生成多个层，其中每个层包括对应对象的纹理数据和透明度数据。
10、通常，用于多视图图像的分层方法使用在虚拟场景中间隔开的多个层(平面)。层的间距通常是恒定的，或者基于与目标视点的距离。然而，专利技术人已经意识到，这些格式使用大量数据来存储和传输，并因此并不总是合适(例如，尤其是对于实时播放)。例如，大多数层都将会具有大量的具有100％透明度的像素，因此将不会包含对象中的任一个的任何有用数据，但仍然需要被存储。
11、因此，专利技术人提出在对象在场景中的情况下为每个对象生成多层堆叠体，但将多层堆叠体定位在虚拟场景中。以这种方式，多个层大多被定位在对象旁边(或附近)，而具有100％透明度的像素的数量可以大大减少。通过获得在场景中的对象的位置，这是可行的。
12、对象的位置可以从源纹理数据和/或源深度数据的分割中获得。还可以使用训练过的机器学习算法来检测对象的位置。其他用于获得对象的位置的方法对本领域技术人员来说将会是已知的。例如，在足球比赛中，足球场和体育场的位置可以从用户生成的3d模型中获得，而球员和球的位置可以从对象检测算法中获得。
13、替代性地，对象可以由图形引擎在场景中生成，并因此对象的位置可以从由图形引擎在场景中生成的对象的位置已知。
14、例如，多层堆叠体的位置可由限定多层堆叠体的中心的3d坐标以及堆叠体的大小和/或几何形状来限定。替代性地，多层堆叠体的位置可由在多层堆叠体中的任意层的任意像素、层的数量和层的间距来限定。层中的每个像素都可具有rgba(即颜色和透明度)。
15、一些薄的或半透明的对象(例如足球球门网)作为透明层来表示可能比作为纹理网格或来自具有深度格式的多视图的多个扭曲纹理的混合来表示更好(即产生更高的图像质量)。这样就可以产生整体系统，其中不同的格式(例如网格、具有深度的多视图和mosi)进行空间组合以便描述场景。请注意，至少相关的纹理/深度图和阿尔法图数据可以一起打包在单个视频文件中来传输。在这种混合格式的情景下，元数据可以指示打包的视频纹理图集中什么位置有什么。
16、在多层堆叠体的相应位置上表示对象的多层堆叠体的具体格式被称为多对象表面成像(mosi)格式。
17、虚拟场景中的多层堆叠体的取向可以基于以下一个或多个：在场景中的对应对象的位置；在场景中的对应对象的取向；对应对象的几何形状；对应对象的先验知识；多个传感器中的一个或多个的位置；多个传感器中的一个或多个的取向；以及预期观看区域的位置。
18、对象的取向可从源视图数据(即对象的位置、取向和/或几何形状)来测量。例如，对于细长的对象，堆叠体中的层可以平行于(或接近平行于)由细长的对象所限定的轴线生成。
19、替代性地，对象的取向可以已经是已知的。例如，从任何视点看，足球场的取向将总是已知的，因为它不会改变。
20、如果场景(和场景中的对象)是由图形引擎生成的，则对象(或传感器)的位置、几何形状和取向可以从图形引擎获得。
21、在多层堆叠体中的层是平面的情况下，可以选择平面的取向，使得它们的法线平行于观看区域的平均观看方向。
22、预期观看区域可以是六自由度(6dof)区域(即位置和取向)，其中假定观察者在该区域内移动(并获得可接受的图像质量)。它与传感器捕获配置有关，传感器捕获配置被设计为捕获给出的观看区域(即取决于相机的数量、视场、位置/取向)。
23、与多层堆叠体相对应的层的形状可以基于以下一个或多个：在场景中的对应对象的位置；在场景中的对应对象的取向；对应对象的几何形状；以及对应对象的先验知识。
24、例如，多层堆叠体的形状可以是球形、圆柱形或矩形。堆叠体的形状可以基于构成堆叠体的层的形状。层可以是圆柱形壳体、球形壳体或平面，这取决于相应的多层堆叠体的形状。例如，足球可以从对应的堆叠体中的球形层中获益，而足球场则本文档来自技高网...
【技术保护点】
1.一种用于处理多视图图像数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，在所述虚拟场景中的所述多层堆叠体(202)的取向基于以下一个或多个：
3.根据权利要求1或2中的任一项所述的方法，其中，对应于多层堆叠体(202)的所述层(102)的形状基于以下一个或多个：
4.根据权利要求1至3中的任一项所述的方法，其中，获得在所述场景中的一个或多个对象的位置基于：
5.根据权利要求1至4中的任一项所述的方法，其中，所述方法进一步包括为一个或多个所述对象生成一个或多个附加的多层堆叠体(402)，从而使所述对象在使用所述多层堆叠体(202)和所述附加的多层堆叠体(402)中的至少一个从目标观看空间中的任一点观看时是完全可见的，其中用于第一对象的所述附加的多层堆叠体(402)具有与用于所述第一对象的所述多层堆叠体(202)不同的取向，并且目标观看空间在所述虚拟场景中限定了子空间，观看者能够从所述子空间观看所述虚拟场景。
6.根据权利要求1至5中的任一项所述的方法，其中，生成与第一对象相对应的第一多层堆叠体，使得所述第
7.根据权利要求1至6中的任一项所述的方法，其中，所述方法进一步包括：
8.根据权利要求1至7中的任一项所述的方法，其中，所述方法进一步包括为所述多层堆叠体(202)生成元数据，所述元数据包含以下一个或多个：
9.根据权利要求1至8中的任一项所述的方法，其中，所述源纹理数据包含多个源视图图像，并且生成层(102)的所述纹理数据和所述透明度数据是基于来自所述源视图图像的所述纹理数据的。
10.根据权利要求1至9中的任一项所述的方法，其中，所述源视图数据包含所述场景的纹理图像，而所述源纹理数据和所述源深度数据是通过对所述纹理图像执行深度估计获得的。
11.一种用于呈现绘示了具有两个或更多个对象的场景的多视图图像数据的方法，所述方法包括：
12.根据权利要求11所述的方法，其中，呈现所述多层堆叠体(202)是以从每个多层堆叠体(202)到所述目标视点的距离的递减顺序执行的，并且呈现每个多层堆叠体(202)中的所述层(102)是基于每个层(102)的位置与所述目标视点的位置之间的距离以递减顺序进行的。
13.一种计算机程序产品，包括计算机程序代码模块，当所述计算机程序代码模块在具有处理系统的计算设备上执行时，使所述处理系统执行根据权利要求1至10中的任一项所述的方法的所有步骤和/或根据权利要求11和12中的任一项所述的方法的所有步骤。
14.一种处理器，其被配置为执行根据权利要求13所述的代码。
15.一种包含绘示了具有两个或更多个对象的场景的多视图图像帧数据的比特流，所述比特流包括视频比特流，其中所述视频比特流包括用于所述场景中的相应的两个或更多个对象的在虚拟场景中的两个或更多个多层堆叠体(202)，并且其中：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于处理多视图图像数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，在所述虚拟场景中的所述多层堆叠体(202)的取向基于以下一个或多个：
3.根据权利要求1或2中的任一项所述的方法，其中，对应于多层堆叠体(202)的所述层(102)的形状基于以下一个或多个：
4.根据权利要求1至3中的任一项所述的方法，其中，获得在所述场景中的一个或多个对象的位置基于：
5.根据权利要求1至4中的任一项所述的方法，其中，所述方法进一步包括为一个或多个所述对象生成一个或多个附加的多层堆叠体(402)，从而使所述对象在使用所述多层堆叠体(202)和所述附加的多层堆叠体(402)中的至少一个从目标观看空间中的任一点观看时是完全可见的，其中用于第一对象的所述附加的多层堆叠体(402)具有与用于所述第一对象的所述多层堆叠体(202)不同的取向，并且目标观看空间在所述虚拟场景中限定了子空间，观看者能够从所述子空间观看所述虚拟场景。
6.根据权利要求1至5中的任一项所述的方法，其中，生成与第一对象相对应的第一多层堆叠体，使得所述第一多层堆叠体中的层(102)和与不同的第二对象相对应的第二多层堆叠体中的层(102)相交。
7.根据权利要求1至6中的任一项所述的方法，其中，所述方法进一步包括：
8.根据权利要求1至7中的任一项所述的方法，其中，所述方法进一步包括为所述多层堆叠体(202)生成元数据，所述元数据包含以下一个或...
【专利技术属性】
技术研发人员：C·韦雷坎普，A·威廉斯，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。