一种用于生成自适应多平面图像的方法和装置制造方法及图纸

本发明专利技术公开了用于从3D场景的表示生成多平面图像的方法和设备。给定3D场景的表示，例如，作为多视图图像，第一MPI由卷积神经网络生成，该卷积神经网络经训练以用于根据所提供的3D场景的深度的采样生成MPI。对不同层中对象的存在(即层的累积透明度的补充)进行分析，以重新采样层的深度的采样。CNN使用新采样来从相同3D场景的表示生成新MPI。相同3D场景的表示生成新MPI。相同3D场景的表示生成新MPI。

【技术实现步骤摘要】
【国外来华专利技术】一种用于生成自适应多平面图像的方法和装置
1.

[0001]本专利技术原理总体涉及三维(3D)场景和体积视频内容的域。还在对表示3D场景的纹理和几何结构的数据进行编码、格式化和解码的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。本专利技术原理具体涉及将体积场景生成为多平面图像。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]多平面图像(MPI)是体积场景的分层表示，其中每个图层都是该场景的3D空间的切片。根据底层中心投影(例如，透视、球面
……
)和定义层间间距的采样定律对每个切片进行采样。层是包括场景的任何3D相交对象的颜色以及透明度信息的图像。根据该切片表示，可以恢复/合成位于围绕底层投影的中心的有限区域中的任何视点。这可以利用有效算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成包括n个层的多平面图像的方法，层具有透明通道，所述方法包括：
‑
获得表示3D场景的数据和n个深度值的列表；
‑
通过在卷积神经网络中输入所述数据来生成第一多平面图像，所述卷积神经网络经训练以在遵循所述n个深度值的列表的深度处生成具有n个层的多平面图像；
‑
根据所述第一多平面图像的所述层的透明通道的值之和，来重新采样所述深度值的列表；以及
‑
通过使用所述重新采样的n个深度值的列表在所述卷积神经网络中输入所述数据，来生成所述多平面图像。2.根据权利要求1所述的方法，其中，重新采样所述深度值的列表包括：
‑
丢弃与层的透明通道的值之和低于第一值的层对应的深度值；以及
‑
根据连续的未丢弃的深度值之间的深度距离的倒数，在所述列表中插入深度值，以替换丢弃的深度值。3.根据权利要求2所述的方法，其中，根据连续的未丢弃的深度值之间的深度距离的倒数来执行在所述列表中插入深度值，所述连续的未丢弃的深度值由第二值加权，所述第二值是根据与未丢弃的深度值对应的层的所述透明通道的所述值之和来确定的。4.根据权利要求2所述的方法，其中，表示3D场景的所述数据作为多视图图像提供，并且其中，根据未丢弃的深度值之间的深度距离的倒数来执行在所述列表中插入深度值，所述未丢弃的深度值由第三值加权，所述第三值是根据所述多视图图像的视图与通过使用所述第一多平面图像合成的对应视图之间的误差来确定的。5.根据权利要求1至4中任一项所述的方法，其中，对所述多平面图像的生成进行迭代。6.根据权利要求1至5中任一项所述的方法，其中，对所述深度值的列表的所述重新采样进行迭代。7.根据权利要求1至6中任一项所述的方法，还包括编码所生成的多平面图像。8.一种用于生成包括n个层的多平面图像的设备，层具有...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：