一种基于神经辐射场的定位建图方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于神经辐射场的定位建图方法、装置及存储介质，其中方法包括：获取图像数据；对图像数据进行筛选，获取关键帧；对所有关键帧进行SFM位姿优化，得到每个关键帧的初始位姿；根据初始位姿，进行特征点的三角化处理，并将处理后的特征点存储为全局地图点；对于每个关键帧，在其连续的共视关键帧中使用全局地图点构造视觉约束，根据视觉约束进行Ceres后端优化，输出位姿；对输出的位姿进行坐标系修正，并将修正后的位姿和图像数据输入训练后的神经辐射场，重建出对应的三维模型。本发明专利技术提出支持单目的视觉前端跟踪方案，结合稠密建图，解决传统基于规则的SLAM算法中稀疏跟踪无法密集三维重建的问题，可广泛应用于定位与地图构建领域。位与地图构建领域。位与地图构建领域。

【技术实现步骤摘要】
一种基于神经辐射场的定位建图方法、装置及存储介质


[0001]本专利技术涉及定位与地图构建领域，尤其涉及一种基于神经辐射场的定位建图方法、装置及存储介质。

技术介绍

[0002]对于RGB图像，现有的神经辐射场的方法无法很好的收敛和重建，而对于灰度图像，现有的神经辐射场的方法无法重建灰度图像场景。现有技术方案中，对于重建连续场景的神经辐射场SLAM方法，大多直接在辐射场中推导相机位姿，但是这种方法要求空间特征编码的连续性，因此占用大量的计算资源和显存。同时使用图像整体像素的光度对齐也带来了位姿推导的巨大的计算成本上升。

技术实现思路

[0003]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于神经辐射场的定位建图方法、装置及存储介质。
[0004]本专利技术所采用的技术方案是：
[0005]一种基于神经辐射场的定位建图方法，包括以下步骤：
[0006]获取图像数据，所述图像数据为RGB图像数据或者灰度图像数据；
[0007]根据图像数据，将当前图像构造图像金字塔，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的定位建图方法，其特征在于，包括以下步骤：获取图像数据，所述图像数据为RGB图像数据或者灰度图像数据；根据图像数据，将当前图像构造图像金字塔，并进行正反光流对齐，得到当前图像的特征点；根据预设条件对图像数据进行筛选，获取关键帧；检测并确定关键帧累积到预设数量后，对所有关键帧进行SFM位姿优化，得到每个关键帧的初始位姿；根据之前优化的关键帧位姿，进行特征点的三角化处理，并将处理后的特征点存储为全局地图点；对于每个关键帧，在其连续的共视关键帧中使用全局地图点构造视觉约束，根据视觉约束进行Ceres后端优化；在Ceres后端优化后，将图像和位姿加入词袋模型，判断是否是否对当前图像进行回环检测，若不进行回环，则直接输出位姿；对输出的位姿进行坐标系修正，并将修正后的位姿和图像数据输入训练后的神经辐射场，重建出对应的三维模型。2.根据权利要求1所述的一种基于神经辐射场的定位建图方法，其特征在于，所述图像数据由单目相机采集获得。3.根据权利要求1或2所述的一种基于神经辐射场的定位建图方法，其特征在于，所述定位建图方法还包括融合惯性数据的步骤：获取惯性数据，所述惯性数据包括由惯性传感器采集的加速度和角加速度；估计当前惯性传感器测量状态的不确定性，根据不确定性判断是否进行数据融合；若确定进行数据融合，联合惯性数据和关键帧进行位姿优化，获得每个关键帧的初始位姿；所述根据视觉约束进行Ceres后端优化，包括：对于每个关键帧之间构造惯性预积分约束，采用协方差矩阵度量每个约束所占的权重。4.根据权利要求3所述的一种基于神经辐射场的定位建图方法，其特征在于，所述估计当前惯性传感器测量状态的不确定性和优化减小测量噪声，包括：对于固有频率噪声，使用巴特沃斯滤波器进行频域滤波；对于未知的测量噪声，使用相对加速度补偿惯性传感器的测量协方差，表达式如下：对于未知的测量噪声，使用相对加速度补偿惯性传感器的测量协方差，表达式如下：其中，是惯性传感器t+δt时刻的协方差矩阵，由两部分组成，一个是由t时刻的累积误差，另一个是来源于当前时刻的测量误差；F
t
，G
t
是t时刻的IMU误差函数的一阶导数；δt是两帧IMU数据的时间差，n代表测量噪声；P(a
t
)为修正量，λ是惯性传感器的补偿基数，a
t
是t时刻的加速度测量值，g是重力加速度。5.根据权利要求1所述的一种基于神经辐射场的定位建图方法，其特征在于，所述神经
辐射场通过...

【专利技术属性】
技术研发人员：廖道庆，哀薇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：