一种基于神经辐射场地外行星表面环境重建方法技术

本发明专利技术公开一种基于神经辐射场地外行星表面环境重建方法，其中，地外行星表面环境重建方法包括：利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；根据所述地外行星表面图片的共视点匹配关系计算其成像时相机内、外参数；以所述地外行星表面图片及其成像时的相机内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；将需要合成的新视角图像对应的内、外参数作为所述神经辐射场模型的输入，实现地外行星表面环境新视角图像或虚拟现实图像的合成。该方法克服了地外行星表面图片纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点，实现了视觉效果优秀、几何结构正确的地外行星表面环境重建。境重建。境重建。

【技术实现步骤摘要】
一种基于神经辐射场地外行星表面环境重建方法


[0001]本专利技术属于深空探测
，具体涉及一种基于神经辐射场地外行星表面环境重建方法。

技术介绍

[0002]以火星、月球表面探测为代表的地外行星表面巡视探测任务，是开展地外行星表面科学研究的最直接途径。按照我国深空探测整体规划，2030年前我国还将继续开展探月工程四期、探火工程二期，计划在地外行星表面开展无人驾驶的远距离探测实验，这对巡视探测的地面规划效率提出了新的要求。
[0003]以“祝融号”火星车巡视探测任务为例，为保证巡视器安全行驶，主要采用“Move
‑
Wait”的方式进行控制：巡视器采用定点定位的图像采集模式，利用双目导航相机采集图像并下传至地面，在地面遥操作中心进行地形重建、视觉定位和路径规划，生成指令序列上传至器上控制其行驶。遥操作过程中存在众多规划和决策的环节，需要科学家、工程师和操作者共同参与对导航相机图像的判读，工作周期往往长达数个小时，是制约巡视探测任务实施效率的主要因素。
[0004]将虚拟现实技术引入到遥操作过程中，为地面团队重建地外行星表面环境是提高遥操作过程感知和决策效率的重要方式和发展方向。而虚拟现实遥操作中的关键技术，是通过融合巡视器导航相机获取的有限视角图像，构建支持从任意视角进行观测，同时满足遥操作规划与决策的精度要求的地外行星表面场景。
[0005]地外行星表面场景重建，主要包括稠密三维重建结合图形绘制和基于图像的新视角合成两类方法。由于星际通信带宽窄、地外行星表面贫瘠等因素限制，巡视器下传的导航相机图像具有纹理特征单一重复、视角稀疏分散、视场重叠区域低等不利特点。依赖数据局部相似性的稠密三维重建方法，难以适用于单一重复纹理、低重叠视场的严苛条件，因此无法满足遥操作团队进行判读、规划与决策过程中对重建精度和视觉效果的要求。而基于图像的新视角合成方法，无需构造三维模型，直接利用不同视角图像之间的投影关系，合成高质量视景图像，最具代表性的方法有全景视图法、视点变形法、同心拼图法等，但也需求稠密的输入图像视角和纹理特征的严密对齐，否则会导致合成图像的纹理模糊、跳变和图像失真。
[0006]随着深度学习方法与计算机视觉、计算机图形学理论融合的深入，以神经辐射场为代表的基于可微渲染的新视角合成方法被提出。神经辐射场以多层感知机神经网络模型表示三维空间的每个点不透明度和在不同视角下的色彩分布，结合体绘制的方法实现新视角图像的合成。由于神经网络是对三维场分布的平滑拟合，具有纹理连续性好、精度高等优势，取得了当前最高质量的新视图合成结果。但是，神经辐射场模型的建立过程仅考虑了在有边界场景或前视无边界场景，且具备较为稠密的输入视角的情况。面向巡视器导航相机所拍摄的环视无边界、视角稀疏的地外行星表面图像，神经辐射场模型仍然有以下问题和挑战需要解决。
[0007]首先是环视无边界场景中三维坐标的参数化问题。由于未进行参数化的数据分布上下限大，造成模型参数收敛难，因此神经辐射场对有边界场景和前视无边界场景中的空间位置分别采用欧氏坐标系和归一化设备坐标系表示，保证神经网络的输入具有上下界。而巡视器导航相机向外环拍的图像采集模式属于典型的环视无边界场景，无论是使用欧式坐标系还是归一化设备坐标系的参数化方法，都会出现神经网络的输入接近无穷大量的情况，导致梯度的不稳定，进而造成模式崩溃。
[0008]其次是稀疏视角输入缺乏几何一致性约束的问题。神经辐射场模型假设物体的颜色可以随观察视角产生变化，同时仅基于体渲染产生的光度重构误差进行自监督训练。训练过程完全依赖于场景的光度信息，因此可能会对场景的几何结构产生错误的估计，尤其在输入视角稀疏时，模型会对场景的几何结构产生过于平滑的估计。受星地通信带宽限制，我国巡视探测中采用定点定位的图像采集模式，双目导航相机两次采集图像的视角相差30
°
，通常每站点仅下传6
‑
24张图像，属于非常稀疏的输入视角，因此需要设计基于场景几何一致性的正则化约束方法，避免模型对几何结构的错误估计，提高地外行星表面环境场景重建的质量和精度。

技术实现思路

[0009]面向巡视器导航相机所拍摄的环视无边界、视角稀疏的地外行星表面图像，现有方法场景重建的质量和精度低。针对上述问题，本专利技术中提供了一种基于神经辐射场地外行星表面环境重建方法，解决了目前方法不适用于环视无边界场景和缺乏几何一致性约束的问题，并以支持未来结合虚拟现实技术遥操作模式为目的，设计了具有良好视觉效果的地外行星表面环境重建和虚拟现实图像合成流程。
[0010]为达到上述目的，本专利技术提供了一种基于神经辐射场地外行星表面环境重建方法，可以包括如下步骤：
[0011]第一步，利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；
[0012]第二步，根据所述地外行星表面图片的共视点匹配关系计算其成像时的地外行星巡视器导航相机第一内、外参数；
[0013]第三步，以所述地外行星表面图片及其成像时的地外行星巡视器导航相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；
[0014]第四步，将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成。
[0015]在本专利技术的一些可选实施例中，所述第二步包括：
[0016]识别所述地外行星表面图片中的具有匹配关系的共视特征点，可以包括SIFT、SUFT、ORB、SuperPoint等类型的特征点；
[0017]利用光束法平差计算所述第一内、外参数。
[0018]在本专利技术的一些可选实施例中，所述第三步的神经辐射场模型是通过下述方法构建的：
[0019]根据所述输入地外行星表面图片及第一内、外参数，计算地外行星表面图片中像素对应第一光线方程；
[0020]对所述第一光线方程进行采样获得采样点，将采样点在欧氏坐标系中的三维坐标
映射到具有上下界的倒球面坐标系，获得采样点的参数化坐标；
[0021]将所述第一光线上采样点的参数化坐标作为输入，其对应像素的颜色值作为监督，使用反向传播算法调整所述神经辐射场模型参数；
[0022]利用导航相机成像的主光轴平行的特性，计算所述第一光线终止位置的期望值作为监督，使用反向传播算法调整所述神经辐射场模型参数。
[0023]在本专利技术的一些可选实施例中，所述第四步包括：
[0024]根据输入的第二内、外参数计算待合成的新视角图像所包含像素对应的第二光线方程；
[0025]根据所述第二光线方程在所述神经辐射场模型中查询第二光线上的颜色、不透明度分布，利用体渲染公式计算所述新视角图像的像素颜色；
[0026]根据所述输入第二内、外参数和预设的观测者瞳距计算第三内、外参数，计算待合成的虚拟现实图像所包含像素对应的第三光线方程；
[0027]根据所述第三光线方程在所述神经辐射场模型中查询第三光线上的颜色、不透本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场地外行星表面环境重建方法，其特征在于，包括以下步骤：第一步，利用地外行星巡视器导航相机获取可视区域内的地外行星表面图片；第二步，根据所述地外行星表面图片的共视点匹配关系计算其成像时的地外行星巡视器导航相机第一内、外参数；第三步，以所述地外行星表面图片及其成像时的地外行星巡视器导航相机第一内、外参数作为输入，构建神经辐射场模型实现地外行星表面环境结构的重建；第四步，将需要合成的新视角图像对应的第二内、外参数作为所述神经辐射场模型的输入，实现新视角图像或虚拟现实图像的合成。2.根据权利要求1所述的基于神经辐射场地外行星表面环境重建方法，其特征在于：所述第三步包括：根据所述输入地外行星表面图片及其相机位姿，计算地外行星表面图片中像素对应第一光线方程；对所述第一光线方程进行采样获得采样点，将采样点在欧氏坐标系中的三维坐标映射到具有上下界的倒球面坐标系，获得采样点的参数...

【专利技术属性】
技术研发人员：尹继豪，魏晓东，崔林艳，薛斌党，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：