【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及计算机视觉和机器学习的，且更具体来说，涉及用于训练量化神经辐射场的方法和系统。
技术介绍
1、神经辐射场或nerf是允许通过利用对象的辐射场来重建和渲染对象的框架。对象的辐射场通常可以被认为是对象在三维(3d)渲染空间中的表示或可视化，通过所述三维渲染空间可以生成对象的各种渲染，诸如图像或视频。通过使用诸如多层感知器(mlp)的机器学习模型，可以基于辐射场渲染对象的新颖视图或视频动画。
2、用于生成对象的各种渲染的neerf框架可以是计算密集型的，这极大地限制了nerf技术在需要实时响应的场景中的应用。减少采样点的数量可以加速渲染速度。然而，渲染结果的质量随着采样点的数量减少而劣化。
技术实现思路
1、鉴于上述现有技术的限制，本专利技术提供了解决这些限制的用于训练量化神经辐射场的方法和系统。
2、本专利技术构思的一个方面涉及一种计算机实现的方法。所述方法可以包括：由计算机设备将对象的辐射场编码到机器学习模型上；由所述计算机设备并且基于所述对象的一组训练图像对所述机器学习模型进行训练过程，以获得经训练的机器学习模型。训练过程可以包括使用多个第一测试样本点的第一训练过程，随后是使用多个第二测试样本点的第二训练过程。所述第一样本点和所述第二样本点中的每一个可以位于从所述训练图像导出的多个训练光线上。
3、所述方法还可以包括：获得指示所述对象的视点和视图方向的目标视图参数；基于所述视图参数获得与所述对象的目标图像相关联的多个样本光线，
4、在一些实施例中，所述辐射场可以包括包围所述对象的三维(3d)渲染空间。
5、在一些实施例中，所述机器学习模型可以是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
6、在一些实施例中，所述机器学习模型可以被配置为接受所述3d渲染空间中的点的位置矢量和方向矢量作为输入，并输出所述点的密度和辐射度。所述位置矢量可以指示所述点相对于所述视点的位置，并且所述方向矢量可以指示所述点相对于所述视点的相对方向。
7、在一些实施例中，在所述第二训练过程期间，所述权重、所述位置矢量的元素、所述方向矢量的元素、所述密度和所述辐射度的值被量化。
8、在一些实施例中，获得所述多个样本光线上的渲染样本点可以包括获得所述渲染样本点，其中，所述渲染样本点位于距所述对象的所述表面区域的所述阈值距离内。
9、在一些实施例中，所述对象的所述表面区域可以是基于所述一组训练图像使用行进立方体技术获得的，并且所述表面区域是三角形网格的形式。
10、在一些实施例中，所述阈值距离可以是2cm。
11、本专利技术还提出了一种设备。所述设备可以包括处理器和存储器。所述存储器可以存储可由所述处理器执行的指令。在由所述处理器执行时，所述指令可以使所述处理器执行方法实施例中的任何一种方法。
12、本专利技术还提出了一种非暂时性存储介质。所述存储介质可以存储可由处理器执行的指令。在由所述处理器执行时，所述指令可以使所述处理器执行方法实施例中的任何一种方法。
13、在专利技术文公开的所述计算机实现方法中，基于nerf模型下的多个测试图像来确定对象的表面区域。然后，为了基于nerf模型在给定视点下渲染对象的目标图像，可以在对象的表面区域上或附近收集渲染的样本点。由于远离对象的表面区域的采样点对对象的渲染贡献很小，因此该采样方案可以用比常规采样方法更少数量的采样点来实现相同的渲染质量。本说明书还公开了一种nerf模型的训练方案，其包括第一训练过程，和跟随的第二训练过程。在第二训练过程期间，可以在对象的表面区域上或附近收集用于训练的样本点。与常规方法相比，所述训练方案提高了训练的效率。另外，公开了一种量化框架，其可以应用于训练和渲染过程中的一个或多个。量化过程优化训练和/或渲染过程的数据，以允许其由诸如人工智能(ai)芯片的某些硬件更有效地处理。
14、前面的一般描述和下面的详细描述都仅是示例性和说明性的，并不限制本专利技术构思。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述辐射场包括包围所述对象的三维(3D)渲染空间。
3.根据权利要求2所述的方法，其特征在于，所述机器学习模型是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
4.根据权利要求3所述的方法，其特征在于，所述机器学习模型被配置为接受所述3D渲染空间中的点的位置矢量和方向矢量作为输入，并输出所述点的密度和辐射度，所述位置矢量指示所述点相对于所述视点的位置，并且所述方向矢量指示所述点相对于所述视点的相对方向。
5.根据权利要求4所述的方法，其特征在于，在所述第二训练过程期间，所述权重、所述位置矢量的元素、所述方向矢量的元素、所述密度和所述辐射度的值被量化。
6.根据权利要求5所述的方法，其特征在于，获得所述多个样本光线上的渲染样本点包括：获得所述渲染样本点，其中，所述渲染样本点位于距所述对象的所述表面区域的所述阈值距离内。
7.根据权利要求5所述的方法，其特征在于，所述对象的所述表面区域是基于所述一组训练图像使用
8.根据权利要求5所述的方法，其特征在于，所述阈值距离是2cm。
9.一种设备，其特征在于，包括：
10.根据权利要求9所述的设备，其特征在于，所述辐射场包括包围所述对象的三维(3D)渲染空间。
11.根据权利要求10所述的设备，其特征在于，所述机器学习模型是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
12.根据权利要求11所述的设备，其特征在于，所述机器学习模型被配置为接受所述3D渲染空间中的点的位置矢量及方向矢量作为输入，并输出所述点的密度及辐射度，所述位置矢量指示所述点相对于所述视点的位置，并且所述方向矢量指示所述点相对于所述视点的相对方向。
13.根据权利要求12所述的设备，其特征在于，在所述第二训练过程期间，所述权重、所述位置矢量的元素、所述方向矢量的元素、所述密度及所述辐射度的值被量化。
14.根据权利要求13所述的设备，其特征在于，获得所述多个样本光线上的渲染样本点包括：获得所述渲染样本点，其中所述样本点位于距所述对象的所述表面区域的所述阈值距离内。
15.根据权利要求13所述的设备，其特征在于，所述对象的所述表面区域是基于所述一组训练图像使用行进立方体技术获得的，并且所述表面区域是三角形网格的形式。
16.根据权利要求13所述的设备，其特征在于，所述阈值距离是2cm。
17.一种存储可由处理器执行的指令的非暂时性存储介质，其中，在由所述处理器执行时，所述指令使所述处理器执行操作，所述操作包括：
18.根据权利要求17所述的存储介质，其中，所述辐射场包括包围所述对象的三维(3D)渲染空间。
19.根据权利要求18所述的存储介质，其中，所述机器学习模型是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
20.根据权利要求19所述的存储介质，其中，所述机器学习模型被配置为接受所述3D渲染空间中的点的位置矢量及方向矢量作为输入，并输出所述点的密度及辐射度，所述位置矢量指示所述点相对于所述视点的位置，且所述方向矢量指示所述点相对于所述视点的相对方向。
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述辐射场包括包围所述对象的三维(3d)渲染空间。
3.根据权利要求2所述的方法，其特征在于，所述机器学习模型是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
4.根据权利要求3所述的方法，其特征在于，所述机器学习模型被配置为接受所述3d渲染空间中的点的位置矢量和方向矢量作为输入，并输出所述点的密度和辐射度，所述位置矢量指示所述点相对于所述视点的位置，并且所述方向矢量指示所述点相对于所述视点的相对方向。
5.根据权利要求4所述的方法，其特征在于，在所述第二训练过程期间，所述权重、所述位置矢量的元素、所述方向矢量的元素、所述密度和所述辐射度的值被量化。
6.根据权利要求5所述的方法，其特征在于，获得所述多个样本光线上的渲染样本点包括：获得所述渲染样本点，其中，所述渲染样本点位于距所述对象的所述表面区域的所述阈值距离内。
7.根据权利要求5所述的方法，其特征在于，所述对象的所述表面区域是基于所述一组训练图像使用行进立方体技术获得的，并且所述表面区域是三角形网格的形式。
8.根据权利要求5所述的方法，其特征在于，所述阈值距离是2cm。
9.一种设备，其特征在于，包括：
10.根据权利要求9所述的设备，其特征在于，所述辐射场包括包围所述对象的三维(3d)渲染空间。
11.根据权利要求10所述的设备，其特征在于，所述机器学习模型是包括一个或多个节点的全连接神经网络，每个节点具有相关联的权重。
12.根据权利要求11所述...
【专利技术属性】
技术研发人员：吴旻烨，饶朝林，娄鑫，周平强，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。