【技术实现步骤摘要】
本专利技术涉及地图构建，尤其是基于神经辐射场的精细纹理地图的实时建图方法及系统。
技术介绍
1、实时的构建精细地图在机器人，数字孪生以及ar/vr等应用领域都有一定的应用背景。稠密建图是指使用传感器(如摄像头、激光雷达等)获取场景的大量观测数据，通过将这些观测数据进行融合和配准，可以创建一个高分辨率、连续的三维地图，以表示场景的几何结构和表面特征。与稀疏建图相对，稠密建图旨在获取更丰富、更详细的场景几何和纹理信息。因此稠密建图通常被应用于场景勘探、虚拟现实以及机器人等任务中。经典的方法是利用了显式的场景表示方法，例如占据格网、符号距离场和网格来构建全局地图。这些方法已经被验证可以实时的在工业环境下应用，比如使用无人机探索工厂构建地图。尽管如此，显式的场景表达仍然存在两大问题，一是难以平衡内存消耗与建图精度，为了获得精细的地图就要使用冗余的数据结构；二是难以处理看不见的区域，当传感器无法获得空间中的观测数据时该位置几乎无法形成地图。直观的来说这导致劳动力的消耗(建图相同大小的场景人类手持建模时将耗费更长的时间)以及能源的浪费(机器人完成任务所花费的时间更久)。
2、近年来，随着神经辐射场的出现，隐式表示方法变得越来越受欢迎。这些方法使用隐式的特征描述场景的几何和外观，利用神经网络解码出密度场、符号距离场、占据场和颜色信息，通过渲染的方式合成图片进行自监督。该方法可以利用神经网络的强大拟合和预测能力克服显式表达存在的问题。这些使用神经隐式表达的方法可以使用较少的内存生成高保真度的重建地图，并通过神经网络对看不见的区域进行
3、使用隐式神经表达进行稠密建图是一项具有前瞻性和实用性的研究方向，其背景和意义不仅涉及到机器人技术和仿生学领域，还涉及到灾难响应、救援、探索和军事等领等多个领域，具有重要的研究价值和应用前景。
4、在现有的实时隐式建图方法中，主要存在以下问题：
5、现有的大部分方法都没有鲁棒、稳健的位姿估计，导致对数据采集的要求高，或只能在仿真环境中获得较好的效果；
6、现有的方法均没能同时引入雷达和相机测量，为室外大场景隐式建图引入纹理重建的特性。
7、现有的实时重建方法很少考虑到光照变换，而且在隐式建图工作中，现有曝光建模方法难以约束到特征顶点颜色，即仅能在渲染图片中建模曝光。
技术实现思路
1、有鉴于此，本专利技术实施例提供基于神经辐射场的精细纹理地图的实时建图方法及系统，能够提升对长时间大尺度测量的纹理清晰度。
2、本专利技术实施例的一方面提供了一种基于神经辐射场的精细纹理地图的实时建图方法，包括：
3、通过激光雷达输入场景深度信息，通过相机输入场景纹理信息，以及获取设备状态量，构建输入数据集；对所述输入数据集进行点云去畸变后输入slam算法中；所述输入数据集经过处理后得到目标数据，所述目标数据包括图片、点云数据、位姿外参数据；
4、通过光流跟踪判断方法对所述目标数据进行关键帧插入，并将部分稀疏深度图片采样的光线存入关键帧数据库中；
5、经过外参细化和逆仿射纹理重建策略对颜色进行针对性细化后，进行隐式神经建图得到有精细纹理的地图。
6、可选地，所述逆仿射纹理重建策略，具体为：
7、对观测真值图片利用仿射变换进行逆变换，得到去除光照影响的图片；
8、将先验点云变换到当前相机坐标系下，并投影为稀疏图，将有点云投到的地方作为去除光照影响的真值；
9、在逆仿射纹理重建过后，在优化的过程中进行曝光补偿，对仿射变换后的颜色与真实颜色作光度损失，并对曝光模块进行优化和调整，完成整个曝光优化。
10、可选地，所述对观测真值图片利用仿射变换进行逆变换，得到去除光照影响的图片这一过程的表达式为：
11、
12、其中，是当前帧相机观测到的图片，代表去除光照影响的图片，(a,b)为解码出的仿射变换量。
13、可选地，所述将先验点云变换到当前相机坐标系下，并投影为稀疏图，将有点云投到的地方作为去除光照影响的真值这一过程的表达式为：
14、
15、其中，是逆仿射光度损失，用来约束曝光特征和曝光解码器；是先验点云的投影稀疏rgb图；p代表投影到当前相机帧的先验点云。
16、可选地，所述隐式神经建图这一过程，具体包括：
17、构建坐标编码、多分辨率哈希网格编码和多层感知编码，并输入到几何解码器中获取高频特征；所述高频特征用于描述场景的几何细节和高保真度外观；
18、将所述坐标编码、多分辨率哈希网格编码和多层感知编码与所述高频特征结合，得到最终的sdf值、lidar强度和特征向量，并输入到颜色解码器获得颜色信息；
19、对所述颜色信息进行仿射变换，以学习将图像无关的辐射场映射到每个图像中的图像相关辐射场，完成所述隐式神经建图。
20、可选地，所述方法还包括对构建的地图进行优化的过程，该过程包括：
21、构建一个全局体素计数器，并使用指数函数自适应计算可学习参数；
22、将体积密度用于渲染每条光线的颜色和深度，以完成将有向距离场转换为体积密度。
23、可选地，所述方法还包括构建总损失函数的步骤，该步骤包括：
24、对监督的线束使用逐点监督的第一损失函数，该第一损失函数包括空闲空间损失和sdf损失；
25、构建渲染损失函数，所述渲染损失函数包括rgb损失和深度损失；
26、构建强度损失函数；
27、根据所述第一损失函数、所述渲染损失函数和所述强度损失函数，构建得到总损失函数。
28、本专利技术实施例的另一方面还提供了一种基于神经辐射场的精细纹理地图的实时建图系统，包括：
29、第一模块，用于通过激光雷达输入场景深度信息，通过相机输入场景纹理信息，以及获取设备状态量，构建输入数据集；对所述输入数据集进行点云去畸变后输入slam算法中；所述输入数据集经过处理后得到目标数据，所述目标数据包括图片、点云数据、位姿外参数据；
30、第二模块，用于通过光流跟踪判断方法对所述目标数据进行关键帧插入，并将部分稀疏深度图片采样的光线存入关键帧数据库中；
31、第三模块，用于经过外参细化和逆仿射纹理重建策略对颜色进行针对性细化后，进行隐式神经建图得到有精细纹理的地图。
32、本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
33、所述存储器用于存储程序；
34、所述处理器执行所述程序实现如前面所述的方法。
35、本专利技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
36、本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指本文档来自技高网...
【技术保护点】
1.基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，包括：
2.根据权利要求1所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述逆仿射纹理重建策略，具体为：
3.根据权利要求2所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述对观测真值图片利用仿射变换进行逆变换，得到去除光照影响的图片这一过程的表达式为：
4.根据权利要求3所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述将先验点云变换到当前相机坐标系下，并投影为稀疏图，将有点云投到的地方作为去除光照影响的真值这一过程的表达式为：
5.根据权利要求1所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述隐式神经建图这一过程，具体包括：
6.根据权利要求5所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述方法还包括对构建的地图进行优化的过程，该过程包括：
7.根据权利要求6所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述方法还包括构建总损失函数的步骤，该步骤包
8.基于神经辐射场的精细纹理地图的实时建图系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器以及存储器；
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，包括：
2.根据权利要求1所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述逆仿射纹理重建策略，具体为：
3.根据权利要求2所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述对观测真值图片利用仿射变换进行逆变换，得到去除光照影响的图片这一过程的表达式为：
4.根据权利要求3所述的基于神经辐射场的精细纹理地图的实时建图方法，其特征在于，所述将先验点云变换到当前相机坐标系下，并投影为稀疏图，将有点云投到的地方作为去除光照影响的真值这一过程的表达式为：
5.根据权利要求1所述的基于神经辐射场的精细纹理地...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。