当前位置: 首页 > 专利查询>斯纳普公司专利>正文

神经网络控制变量制造技术

技术编号:43373040 阅读:20 留言:0更新日期:2024-11-19 17:52
公开了用于执行用于生成场景的3D模型的操作的方法和系统。操作包括:接收表示现实世界环境的第一视图的一组二维(2D)图像;将包括神经光场网络的机器学习模型应用于该组2D图像,以预测表示现实世界环境的第二视图的目标图像的像素值,机器学习模型被训练成将光线原点和方向直接映射到给定像素值;以及基于该组2D图像和预测的目标图像生成现实世界环境的三维(3D)模型。

【技术实现步骤摘要】
【国外来华专利技术】

本公开内容总体上涉及使用消息应用提供现实世界环境的3d建模。


技术介绍

1、从多个二维(2d)图像进行三维(3d)重建是从一组图像创建3d模型。该处理通常涉及接收来自多个视点的2d图像,然后基于这些图像重建3d模型。3d模型可以用于模拟现实世界环境的3d视图,以产生诸如增强现实体验和虚拟现实体验的不同体验。


技术实现思路

【技术保护点】

1.一种方法,包括:

2.根据权利要求1所述的方法,其中,所述机器学习模型包括深度残差多层感知器(MLP)网络。

3.根据权利要求1-2中任一项所述的方法,还包括:

4.根据权利要求3所述的方法,其中,所述多个点沿所述光线均匀间隔开。

5.根据权利要求3-4中任一项所述的方法,其中,在所述机器学习模型的训练期间,基于分层采样对所述多个点进行随机采样。

6.根据权利要求3-5中任一项所述的方法,还包括:

7.根据权利要求1-6中任一项所述的方法,还包括通过执行操作来训练所述机器学习模型,所述操作包括

8....

【技术特征摘要】
【国外来华专利技术】

1.一种方法,包括:

2.根据权利要求1所述的方法,其中,所述机器学习模型包括深度残差多层感知器(mlp)网络。

3.根据权利要求1-2中任一项所述的方法,还包括:

4.根据权利要求3所述的方法,其中,所述多个点沿所述光线均匀间隔开。

5.根据权利要求3-4中任一项所述的方法,其中,在所述机器学习模型的训练期间,基于分层采样对所述多个点进行随机采样。

6.根据权利要求3-5中任一项所述的方法,还包括:

7.根据权利要求1-6中任一项所述的方法,还包括通过执行操作来训练所述机器学习模型,所述操作包括:

8.根据权利要求7所述的方法,其中,所述机器学习模型包括第一机器学习模型,所述方法还包括:将第二机器学习模型应用于2d图像的集合以生成所述训练数据。

9.根据权利要求1-8中任一项所述的方法,其中,所述第二机器学习模型包括经训练的神经辐射场网络,所述神经辐射场网络被配置成生成表示与特定光线对应的采样点的辐射的输出,其中,通过对沿所述特定光线的与相应的辐射值相对应的包括采样点的多个点进行阿尔法合成来生成所述特定光线的像素值。

10.根据权利要求1-9中任一项所述的方法,还包括:

【专利技术属性】
技术研发人员:黄锃任健谢尔盖·图利亚科夫柴蒙磊凯尔·奥尔谢夫斯基王欢
申请(专利权)人:斯纳普公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1