【技术实现步骤摘要】
【国外来华专利技术】
本公开内容总体上涉及使用消息应用提供现实世界环境的3d建模。
技术介绍
1、从多个二维(2d)图像进行三维(3d)重建是从一组图像创建3d模型。该处理通常涉及接收来自多个视点的2d图像,然后基于这些图像重建3d模型。3d模型可以用于模拟现实世界环境的3d视图,以产生诸如增强现实体验和虚拟现实体验的不同体验。
技术实现思路
【技术保护点】
1.一种方法,包括:
2.根据权利要求1所述的方法,其中,所述机器学习模型包括深度残差多层感知器(MLP)网络。
3.根据权利要求1-2中任一项所述的方法,还包括:
4.根据权利要求3所述的方法,其中,所述多个点沿所述光线均匀间隔开。
5.根据权利要求3-4中任一项所述的方法,其中,在所述机器学习模型的训练期间,基于分层采样对所述多个点进行随机采样。
6.根据权利要求3-5中任一项所述的方法,还包括:
7.根据权利要求1-6中任一项所述的方法,还包括通过执行操作来训练所述机器学习模型,所述操作包括
8....
【技术特征摘要】
【国外来华专利技术】
1.一种方法,包括:
2.根据权利要求1所述的方法,其中,所述机器学习模型包括深度残差多层感知器(mlp)网络。
3.根据权利要求1-2中任一项所述的方法,还包括:
4.根据权利要求3所述的方法,其中,所述多个点沿所述光线均匀间隔开。
5.根据权利要求3-4中任一项所述的方法,其中,在所述机器学习模型的训练期间,基于分层采样对所述多个点进行随机采样。
6.根据权利要求3-5中任一项所述的方法,还包括:
7.根据权利要求1-6中任一项所述的方法,还包括通过执行操作来训练所述机器学习模型,所述操作包括:
8.根据权利要求7所述的方法,其中,所述机器学习模型包括第一机器学习模型,所述方法还包括:将第二机器学习模型应用于2d图像的集合以生成所述训练数据。
9.根据权利要求1-8中任一项所述的方法,其中,所述第二机器学习模型包括经训练的神经辐射场网络,所述神经辐射场网络被配置成生成表示与特定光线对应的采样点的辐射的输出,其中,通过对沿所述特定光线的与相应的辐射值相对应的包括采样点的多个点进行阿尔法合成来生成所述特定光线的像素值。
10.根据权利要求1-9中任一项所述的方法,还包括:
【专利技术属性】
技术研发人员:黄锃,任健,谢尔盖·图利亚科夫,柴蒙磊,凯尔·奥尔谢夫斯基,王欢,
申请(专利权)人:斯纳普公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。