用于生成紧凑多平面图像的方法和装置制造方法及图纸

本文公开了用于从3D场景的表示生成多平面图像的方法和设备。当通过系统生成MPI时，计算α值的累加的图像。利用惩罚函数来训练卷积网络，该惩罚函数根据被选择或训练的参数来惩罚具有高的累加α值的MPI，以减少MPI的各层之间的信息的冗余。当从新捕获的3D场景的视图的子集生成MPI时，利用具有相关联参数的经训练的CNN生成第一MPI。计算其他视图之间的误差，并与第一MPI相对应地合成。该误差用于修改参数。然后，利用具有新参数的经训练的CNN生成第二MPI。二MPI。二MPI。

【技术实现步骤摘要】
【国外来华专利技术】用于生成紧凑多平面图像的方法和装置
1.

[0001]本专利技术原理总体涉及三维(3D)场景和体积视频内容的域。还在编码、格式化和解码表示3D场景的纹理和几何结构的数据的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。本专利技术原理具体涉及将体积场景生成为多平面图像。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]多平面图像(MPI)是体积场景的分层表示，其中每个图层都是该场景的3D空间的切片。根据底层中心投影(例如，透视、球面
……
)和定义层间间距的采样定律对每个切片进行采样。层是包括场景的任何3D相交对象的颜色以及透明度信息的图像。根据该切片表示，可以恢复/合成位于围绕底层投影的中心的有限区域中的任何视点。这可以利用有效算法(例如，“反本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成多平面图像的方法，所述方法包括：
‑
采集(61)3D场景的包括n个视图的多视图图像；以及
‑
通过将参数和所述多视图图像的n
‑
s个视图的子集输入卷积神经网络中来生成(62)多平面图像，所述卷积神经网络被训练以生成表示多视图图像的多平面图像；所述参数用于所述卷积神经网络的惩罚项中，以确定所述多平面图像的各层之间的信息的冗余。2.根据权利要求1所述的方法，所述方法还包括：
‑
使用(63)所述多平面图像来合成对应于视图n
‑
s+1至n的s个视图，并且通过将所合成的视图与所述多视图图像的对应视图进行比较来确定新参数；以及
‑
通过将所述多视图图像的n个视图和所述新参数输入所述经训练的卷积神经网络中以再生(64)所述多平面图像。3.根据权利要求1或2所述的方法，其中所述参数是所述多平面图像的像素的坐标的函数。4.根据权利要求1至3中任一项所述的方法，所述方法还包括：
‑
在数据流中对所述多平面图像进行编码；以及
‑
将所述数据流发送到客户端设备或将所述数据流存储在存储器中。5.一种用于生成多平面图像的设备，所述设备包括：
‑
图像采集系统，所述图像采集系统被配置用于采集3D场景的包括n个视图的多视图图像；和
‑
处理器，所述处理器与存储器相关联并且被配置用于通过将参数和所述多视图图像的n
‑
s个视图的子集输入经训练的卷积神经网络中来生成所述多平面图像；所述参数用于所述卷积神经网络的惩罚项中，以确定所述多平面图像的各层之间的信息的冗余。6.根据权利要求5所述的设备，其中所述处理器被进一步配置用于：
‑
使用所述多平面图像来合成对应于视图n
‑
s+1至n的s个视图，并且通过将所合成的视图与所述多视图图像的对应视图进行比较来确定新参数；以及
‑
通过将所述多视图图像的n个视图和所述新参数输入所述经训练的卷积神经网络中以再生所述多平面图像。7.根据权利要求5或6所述的设备，其中所述参数是所述多平面图像的像素的坐标的函数。8.根据权利要求5至7中任一项所述的设备，所述设备还包括：
...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：