优化图像捕获以训练机器学习模型进行隐式表示制造技术

技术编号:45074637 阅读:9 留言:0更新日期:2025-04-25 18:16
使得将捕获信息发送到用户计算装置,其中该捕获信息包括对用户计算装置的用户的用于捕获感兴趣点(POI)的多个图像集的指令。接收POI的多个图像集,其中该多个图像集包括校准图像集、POI描绘图像集和路径图像集。利用POI的多个图像集来训练机器学习的POI表示模型,其中该机器学习的POI表示模型被训练以生成POI的表示。使用机器学习的POI表示模型来生成视频数据,该视频数据描绘虚拟相机遍历POI内从起始位置到终止位置的路径。

【技术实现步骤摘要】

本公开总体上涉及用于机器学习模型的训练数据的收集和利用。更具体地,本公开涉及优化图像捕获以训练模型来隐式地表示三维空间。


技术介绍

1、近来,机器学习模型越来越多地用于各种生成任务。特别地,已经引入了诸如神经辐射场(nerf)模型的模型,以用于基于描绘三维空间的二维图像来隐式地表示该空间。例如,一旦在描绘特定三维空间的图像上进行了训练,nerf模型就可在给定与三维空间中的特定点相对应的空间坐标的情况下,为该点生成辐射信息。以这种方式,可利用nerf模型来渲染描绘三维空间的新颖视图的图像。

2、隐式表示模型诸如nerf模型使得能够比常规技术高效得多地渲染三维空间的新颖视图,而常规技术通常需要纹理艺术家、动画师、建模师等。然而,常规的隐式表示模型通常必须用非常精确地捕获的图像进行训练,并且捕获此类图像通常超出了普通用户的技能集。反过来,这种障碍又阻止了普通用户利用隐式表示模型的益处。


技术实现思路

1、本公开的实施例的各方面和优点将在以下描述中部分地阐述,或者可从描述中学习,或者可通过实施例的实践来学本文档来自技高网...

【技术保护点】

1.一种计算机实现的方法,包括:

2.如权利要求1所述的计算机实现的方法,其中:

3.如权利要求2所述的计算机实现的方法,其中所述多个区域包括以下中的至少一个:

4.如权利要求2所述的计算机实现的方法,其中接收所述POI的所述多个图像集进一步包括:

5.如权利要求1所述的计算机实现的方法,其中使用所述机器学习的POI表示模型来生成所述视频数据包括:

6.如权利要求5所述的计算机实现的方法,其中所述机器学习的POI表示模型包括神经辐射场(NeRF)神经网络,并且其中处理所述多个三维坐标包括:

7.如权利要求6所述的计算...

【技术特征摘要】

1.一种计算机实现的方法,包括:

2.如权利要求1所述的计算机实现的方法,其中:

3.如权利要求2所述的计算机实现的方法,其中所述多个区域包括以下中的至少一个:

4.如权利要求2所述的计算机实现的方法,其中接收所述poi的所述多个图像集进一步包括:

5.如权利要求1所述的计算机实现的方法,其中使用所述机器学习的poi表示模型来生成所述视频数据包括:

6.如权利要求5所述的计算机实现的方法,其中所述机器学习的poi表示模型包括神经辐射场(nerf)神经网络,并且其中处理所述多个三维坐标包括:

7.如权利要求6所述的计算机实现的方法,其中,在利用所述nerf神经网络处理所述多个三维坐标之前,所述方法包括:

8.如权利要求7所述的计算机实现的方法,其中所述虚拟相机的所述视点至少部分地基于所述路径图像集。

9.如权利要求1所述的计算机实现的方法,其中接收所述poi的所述多个图像集包括:

10.如权利要求9所述的计算机实现的方法,其中所述一个或多个描绘图像子集中的每个描绘图像子集是在使图像捕获装置以螺旋运动移动时被捕获的。

11.如权利要求10所述的计算机实现的方法,其中所述一个或多个描绘图像子集中的...

【专利技术属性】
技术研发人员:C·E·莫菲特
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1