反转用于姿态估计的神经辐射场制造技术

所提供的是反转训练后的NeRF模型的系统和方法，其中，NeRF模型存储场景或对象的结构，以从以新视角拍摄的图像估计6D姿态。6D姿态估计具有广泛的应用，包括用于机器人操纵的视觉定位和对象姿态估计。定位和对象姿态估计。定位和对象姿态估计。

【技术实现步骤摘要】
【国外来华专利技术】反转用于姿态估计的神经辐射场
[0001]相关申请的交叉引用
[0002]本申请要求于2020年11月16日提交的第63/114,399号美国临时专利申请的优先权。上述每个申请通过引用整体并入本文。


[0003]本公开一般涉及用于姿态估计的系统和方法。更具体地，本公开涉及反转用于姿态估计的神经辐射场。

技术介绍

[0004]神经辐射场(Neural Radiance Field，NeRF)通过用神经网络模型捕捉场景或对象的3D几何和外观，来展示其在新视角图像合成(novel view image synthesis)方面的优势。可微神经模型(differentiable neural model)设计使其能够通过用具有已知相机姿态的一组2D图像来训练，使用梯度下降法来优化3D空间中的占位和颜色外观。

技术实现思路

[0005]本公开的实施例的各方面和优点将在以下描述中部分阐述，或者可以从描述中了解，或者可以通过实施例的实践了解。
[0006]本公开的一个示例方面涉及用于确定相机姿态的计算系统。计算系统包括一个或多个处理器和一个或多个非暂时性计算机可读介质，其共同存储：机器学习的神经辐射场模型，其先前被训练为对场景建模；和指令，其在由一个或多个处理器执行时，使计算系统执行操作。该操作包括：获得由相机捕捉的主体图像。该操作包括：对于一个或多个姿态更新迭代中的每一个：获得相机的当前估计姿态；用机器学习的神经辐射场来处理描述当前估计姿态的数据，以从当前估计姿态生成场景的合成图像的一个或多个合成像素；评估将一个或多个合成像素与包括在由相机捕捉的主体图像中的一个或多个观察像素进行比较的损失函数；以及，至少部分基于损失函数的梯度，更新相机的当前估计姿态。
[0007]本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
[0008]参考以下描述和所附的权利要求，将更好理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成其一部分的附图示出本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
[0009]参考附图的说明书阐述了涉及本领域普通技术人员的实施例的详细讨论，其中：
[0010]图1描绘根据本公开的示例实施例的用于训练机器学习的神经辐射场模型的示例过程的框图。
[0011]图2描绘根据本公开的示例实施例的使用机器学习的神经辐射场模型来估计相机
姿态的示例过程的框图。
[0012]图3A描绘根据本公开的示例实施例的示例计算系统的框图。
[0013]图3B描绘根据本公开的示例实施例的示例计算设备的框图。
[0014]图3C描绘根据本公开的示例实施例的示例计算设备的框图。
[0015]在多个附图之间重复的附图标记旨在标识不同实施方式中的相同特征。
具体实施方式
[0016]概述
[0017]一般地，本公开涉及反转存储场景或对象的结构的训练后的神经辐射场(NeRF)模型以从以新视角拍摄的图像估计姿态(例如，用六维(6D)表示)的系统和方法。姿态估计具有广泛的应用，包括机器人操纵/导航的视觉定位和对象姿态估计。
[0018]最近，新视角合成(novel view synthesis)的进展引发了对通过分析合成方法解决挑战的兴趣。然而，获得场景的高质量3D模型通常需要特殊的传感器，这通常只可以在实验室环境下进行。NeRF提供了用一组图像捕捉3D结构的方法，并且为将合成分析的方法应用于现实世界场景提供了机会。
[0019]此外，对于对象姿态估计，特定系统通常采用RGB
‑
D相机来进行准确预测。然而，这引入许多问题，包括分辨率、帧率、视场和深度范围。本公开表明NeRF只用RGB训练和测试图像就可以执行准确的姿态估计。
[0020]具体地，本公开提供通过
″
反转
″
训练后的神经辐射场(NeRF)来执行姿态估计的框架(其示例实现可以被称为
″
iNeRF
″
)。NeRF已被证明对视角合成的任务(合成真实世界的场景或对象的逼真的新视角)非常有效。本公开表明NeRF可以用于完成3D姿态估计的任务(将3D模型拟合到该模型的图像)的相同质量改进。作为一个示例，给定初始姿态估计，示例系统可以使用梯度下降法来最小化从已经训练好的NeRF渲染的像素和观察到的图像中的像素之间的残差。
[0021]第63/114,399号美国临时专利申请中包含的示例实验彻底研究了：1)如何在iNeRF的姿态细化期间对射线采样以收集信息梯度，以及2)不同的损失函数在NeRF提出的合成数据集上如何影响iNeRF。iNeRF可以在复杂的真实世界场景中执行视觉定位(例如，相对于LLFF数据集所示)。此外，可包括基于特征的初始化和iNeRF细化的所提出的姿态估计管道在没有提供真实姿态标签的情况下，在LINEMOD上优于全部其他基于RGB的方法。
[0022]本公开的系统和方法提供许多技术效果和优点。作为一个示例，本公开能够比现有技术更高效地执行姿态估计。具体地，许多现有技术需要在每个候选姿态下渲染整个图像，以确定哪个姿态最好。渲染然后分析整个图像在计算上是昂贵的。相比之下，本文描述的示例系统和方法可以选择性地只渲染少量的合成像素，而不是整个图像。这导致明显节省计算量，从而节约计算资源，诸如处理器、存储器和/或网络带宽。
[0023]作为另一示例技术效果和优点，本文描述的技术可以用于确定自主机器人的姿态或定位自主机器人。通过提供机器人的改进的姿态估计，机器人的性能可以被提高(例如，自主车辆更高效和更安全地行驶)。
[0024]现在参考附图，将进一步详细讨论本公开的示例实施例。
[0025]示例NeRF模型
[0026]图1描绘根据本公开的示例实施例的用于训练机器学习的神经辐射场模型的示例过程的框图。
[0027]参考图1，训练数据集12可以包括描绘场景的现有训练图像。在一些实施方式中，训练图像可以不受约束，并且可以表现出彼此之间的各种不一致。如14所示，计算系统可以对训练数据集12执行模型优化或训练过程，以生成机器学习的神经辐射场模型16。在训练后，可以向模型16提供期望的合成图像的位置。作为响应，模型16可以生成从该位置描绘场景的合成图像。
[0028]在Mildenhall等人发布于arXiv：2003.08934[cs.CV]的
″
NeRF：RepresentingScenes as Neural Radiance Fields for View Synthesis
″
和Martin
‑
Brualla等人发布于arXiv：2008.02268[cs.CV]的
″
NeRF in the Wild：Neural Radiance Fields for Unconstrain本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于确定相机姿态的计算系统，包括：一个或多个处理器；和一个或多个非暂时性计算机可读介质，其共同存储：机器学习的神经辐射场模型，其先前被训练为对场景建模；和指令，其在由一个或多个处理器执行时，使计算系统执行操作，所述操作包括：获得由相机捕捉的主体图像；以及对于一个或多个姿态更新迭代中的每一个：获得相机的当前估计姿态；用机器学习的神经辐射场来处理描述当前估计姿态的数据，以从当前估计姿态生成场景的合成图像的一个或多个合成像素；评估将一个或多个合成像素与包括在由相机捕捉的主体图像中的一个或多个观察像素进行比较的损失函数；以及至少部分基于损失函数的梯度，更新相机的当前估计姿态。2.根据前述权利要求中任一项所述的计算系统，其中，当前估计姿态被表示为六个自由度的指数坐标。3.根据前述权利要求中任一项所述的计算系统，其中，损失函数将一个或多个合成像素的相应强度与包括在由相机捕捉的主体图像中的一个或多个观察像素的相应强度进行比较。4.根据前述权利要求中任一项所述的计算系统，其中，损失函数将一个或多个合成像素的相应色度与包括在由相机捕捉的主体图像中的一个或多个观察像素的相应色度进行比较。5.根据前述权利要求中任一项所述的计算系统，其中，损失函数包括Huber损失函数。6.根据前述权利要求中任一项所述的计算系统，其中，损失函数包括L1或L2损失函数。7.根据前述权利要求中任一项所述的计算系统，其中，相机与基于相机的估计姿态来在场景中导航的自主机器人关联。8.根据前述权利要求中任一项所述的计算系统，其中，用机器学习的神经辐射场来处理描述当前估计姿态的数据以生成一个或多个合成像素包括：确定从多个可能像素中标识一个或多个采样像素的子采样图像平面；确定一个或多个采样像素中的每一个的射线和方向；以及处理描述射线和方向的数据，以生成每个采样像素的合成像素之一。9.根据前述权利要求中任一项所述的计算系统，其中，主体图像描绘场景。10.根据权利要求1至8中任一项所述的计算系统，其中，主体图像描绘不同但类似的场景。11.一种用于确定相机姿态的计算机实现的方法，包括：由包括一个或多个计算设备的计算系统获得由相机捕捉的主体图像；由计算系统访问先前被训练为对场景建模的机器学习的神经辐射场模型；以及对于一个或多个姿态更新迭代中的每一个：由计算系统获得相机的当前估计姿态；由计算系统用机器学习的神经辐射场来处...

【专利技术属性】
技术研发人员：林宗毅，PR弗洛伦斯，YC林，JT巴隆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：