用于多视角立体几何的协作即时神经图形基元模型制造技术

本发明专利技术公开了一种用于用于多视角立体几何的协作即时神经图形基元的模型。即时神经图形基元由于其突出的计算速度而从诸多的神经辐射场模型中脱颖而出，但是单个即时神经图形基元由于表示能力不足，其重建质量受到限制，因此无法从已知视图中提取足够的几何和外观信息。本发明专利技术针对于此而提出，它在原先训练好的即时神经图形基元的基础上，增加了一个额外的即时神经图形基元提高了场景表示能力，再增加了多个即使神经图形基元模型通过模型聚合方法提高了最终模型的表示能力。本发明专利技术步骤：1.以往相关工作回顾，2.协作神经图形基元模型的构建，3.不同算法性能比较以及验证本算法所做的优化的有效性。大量实验证明，我们的CoNGPs能够达到相当可观的性能。CoNGPs能够达到相当可观的性能。CoNGPs能够达到相当可观的性能。

【技术实现步骤摘要】
用于多视角立体几何的协作即时神经图形基元模型


[0001]本专利技术属于计算机视觉
，具体涉及一种用于多视角立体几何的协作即时神经基元模型，即CoNGP。

技术介绍

[0002]给定一些既定的相机图像，多视图立体任务旨在从新视点合成场景的真实多视图。该领域的早期工作，如A.Kanazawa等人提出的基于网格的场景表示和M.Ji等人提出的体积表示，倾向于从已知视图中提取几何体和外观信息。合成场景的多个视图可以实现H.Miao等人提出的自动驾驶、S.Ma提出的3D视频编码和Z.Zhou等人提出的Metaverse等领域的几个重要用例。最近，由于神经体积表示，特别是Mildenhall等人提出的神经辐射场(NeRF)，计算机视觉中的这项长期任务取得了巨大成就。代替传统的显式离散体积，NeRF将特定场景建模为连续体积函数。它使用多层感知器(MLP)的权重将3D坐标和2D视图方向隐式映射到不透明度和视图相关颜色。然后使用可微分体绘制技术来渲染场景的高分辨率视图。
[0003]针对原始NeRF(如相对较慢的渲染速度)存在的限制，已经提出了许多变体。Barron等人提出了Mip
‑
NeRF，它采用了锥形跟踪而不是光线跟踪来减轻NeRF渲染过程中的混叠伪影。J.T.Barron等人提出的Mip
‑
NeRF 360扩展了Mip
‑
NeRF，使其可以应用于无边界的真实世界场景。R.Martin
‑
Brualla提出的NeRF
‑
W引入了静态和瞬态组件以从非结构化图像重建场景。对于少数视图新颖视图合成，A.Yu等人的PixelNeRF提出了一种学习框架，该框架可以学习场景先验以预测场景表示。Q.Wang等人的IBRNet提出了一种插值方法，可以从稀疏的一组附近图像中渲染高分辨率的新视图。A.Chen等人的MVSNeRF实现了可推广的高质量辐射场重建。S.J.Garbin等人提出的FastNeRF将任务分解为两个神经网络。Q.Xu等人提出的Pointe
‑
NeRF利用神经3D点云加速重建。值得注意的是，即时神经图形基元(Instant NGP)由于其前所未有的计算速度而在这些方法中脱颖而出。即时NGP包含可训练特征向量的多分辨率哈希表，其值可以通过梯度下降进行优化。它通过查询可训练特征向量的多分辨率哈希表来显著提高渲染速度。
[0004]即时神经图形基元由于其突出的计算速度而从诸多的神经辐射场模型中脱颖而出，但是单个即时神经图形基元由于表示能力不足，其重建质量受到限制，因此无法从已知视图中提取足够的几何和外观信息。因此该方法难以高精度渲染具备复杂结构纹理的场景，在边缘处存在一些伪影。

技术实现思路

[0005]本专利技术目的是针对现有技术的不足，提供一种协作即时神经图形基元模型。本专利技术提出的模型用数据集Realistic 360Synthetic进行训练和测试。
[0006]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0007]步骤一：图像数据选择
[0008]选择包括八个物体的路径跟踪图像的数据集作为实验的数据集，该数据集中的物体表现出复杂的几何结构和真实的非朗博性。
[0009]步骤二：协作即时神经图形基元模型的构建模块，包括初始即时神经图形基元的构建、特征增强和快照合成阶段。
[0010]进一步的，所述的初始即时神经图形基元的构建，实现方法如下：
[0011]构建一个神经辐射场网络，在此基础上，进一步改进使用即时神经图形基元，其中包含可训练特征向量的多分辨率哈希表，其值可以通过梯度下降进行优化。该方法通过并行查询哈希表以获得任何分辨率，大大提高了渲染速度和重建质量。
[0012]然而，受场景表示能力不足的限制，直接应用一个单一的即时NGP模型会在一定程度上导致噪声估计和不准确的解决方案。为了进一步增强场景表示能力，本文对协作即时神经图形(CoNGPs)进行了研究。NeRF拟合隐式函数F(θ)，该函数评估体素密度σ和RGB值c，如等式(1)所示：
[0013][0014]进一步的，利用增加特征的方式以进一步提高单个预训练的Instant
‑
NGP的场景表示能力，实现过程如下：
[0015]用特征增强来增强单个预训练的Instant
‑
NGP的场景表示能力。它将重建过程分解为两个核心阶段。这两个阶段都基于Instant
‑
NGP方法，因为其重建速度相当快。第一阶段模型能够生成初始渲染，体现目标对象或场景的原始颜色和形状。第二阶段模型旨在提高特征图的质量，增强场景表示能力，以获得更真实的快照。
[0016]最后，如等式(2)所示，发射的颜色c
i
和体积密度σ
i
可以用传统的体积渲染方程集成到像素中，以获得与射线对应的像素的最终颜色C。
[0017][0018]进一步的，上述的快照融合，实现方式如下：
[0019]这种策略分别从多个额外的Instance
‑
NGP重建场景(快照)，并将这些快照与平均策略融合。第一阶段模型的参数是固定的，多个第二阶段模型分别基于它来增强特征，因此每个分支都可以看作是独立的特征增强过程。此外，任何第二阶段模型都是在通过独立地对同一批图像进行采样而生成的不同子集上单独构建的。需要指出的是，由于并行计算，训练一个附加模型的时间与训练多个模型的时间相同，因此在足够的设备的情况下，这种多分支并行结构不需要额外的计算成本。
[0020]给定场景的m个视图(I1，I2，
…
，Im)以及相应的姿势信息，我们投射穿过任何像素中心的光线。将MLP的F特征1作为输入，我们可以通过体积渲染方法(等式(2))重建场景。公式如下：
[0021][0022]其中F
s
(
·
)表示射线采样点的操作。F
θ
(
·
)表示MLP(包含空间MLP和方向MLP)，用于分别获得采样点的颜色C
t
和密度σ
t
。特征1表示C
t
和σ
t
的组成。此外，F
r
(
·
)引用了使用体积绘制方程进行绘制的过程，以获得新的视图合成I。最后，固定第一阶段模型的权重以确保重建的稳定性，因此该模型被用作预训练模型以生成场景的原始信息。
[0023]在原先训练好的即时神经图形基元的基础上，增加了一个额外的即时神经图形基元提高了场景表示能力，再增加了多个即时神经图形基元模型通过模型聚合方法提高了最终模型的表示能力。
附图说明
[0024]图1是多视图立体几何的协作即时神经图形基元模型示意图；
[0025]图2是特征增强步骤的示意图；
[0026]图3是快照融合的原理示意图。
具体实施方式
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于多视角立体几何的协作即时神经图形基元模型，其特征包括以下步骤：步骤一：图像数据选择选择包括八个物体的路径跟踪图像的数据集作为实验的数据集，该数据集中的物体表现出复杂的几何结构和真实的非朗博性；步骤二：协作即时神经图形基元模型的构建模块，包括初始即时神经图形基元的构建、特征增强和快照合成阶段。2.根据权利要求1所述的用于多视角立体几何的协作即时神经图形基元模型，其特征在于，所述的初始即时神经图形基元的构建，实现方法如下：构建一个神经辐射场网络，在此基础上，进一步改进使用即时神经图形基元，其中包含可训练特征向量的多分辨率哈希表，其值可以通过梯度下降进行优化；通过并行查询哈希表以获得任何分辨率，提高了渲染速度和重建质量；为了进一步增强场景表示能力，对协作即时神经图形(CoNGPs)进行了研究；NeRF拟合隐式函数F(θ)，该函数评估体素密度σ和RGB值c，如等式(1)所示：3.根据权利要求2所述的用于多视角立体几何的协作即时神经图形基元模型，其特征在于，所述的增强特征，具体实现过程如下：用特征增强来增强单个预训练的Instant
‑
NGP的场景表示能力，将重建过程分解为两个核心阶段，这两个阶段都基于Instant
‑
NGP方法，因为其重建速度相当快；第一阶段模型能够生成初始渲染，体现目标对象或场景的原始颜色和形状；第二阶段模型旨在提高特征图的质量，增强场景表示能力，以获得更真实的快照；最后，如等式(2)所示，发射的颜色c
i
和体积密度σ

【专利技术属性】
技术研发人员：陈思宇，刘振阳，周鑫龙，何丽娟，施纯港，刘健，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：