基于改进的制造技术

本发明专利技术公开了基于改进的

【技术实现步骤摘要】
基于改进的nerf
‑
slam的室内大型场景高精度定位与导航系统


[0001]本专利技术涉及室内定位
，具体为基于改进的
nerf
‑
slam
的室内大型场景高精度定位与导航系统
。

技术介绍

[0002]随着人们的生活日益多彩化，越来越多的人喜欢在大型室内公共场所进行各种活动，比如：在大型商场内举办朋友聚会
、
去大型商场购物等
。
然而，大型室内公共场所的室内环境十分复杂，若对大型室内公共场所的室内环境不熟悉或缺乏正确的指引路线，想要快速到达目的地不仅十分困难，而且容易迷路
。
因此，人们对于室内精确定位与导航的需求日益强烈
。
[0003]现如今，由于室内环境的日益复杂和人们对室内导航与位置服务需求的日益增加，伴随着通信技术和导航的进步与普及，这些技术虽然能够解决室内定位或导航问题，但是由于通信设备的辐射范围有限，在面对室内的地形较为复杂
(
大
)
，墙壁阻隔大，行人运动密集等室内环境都会导致定位信号的不稳定，影响定位精度，以及当室内结构发生变化时，结构变化的信息无法快速更新，进而导致用户难以准确判断自身所在的位置和方向，因而无法获得较好的体验
。

技术实现思路

[0004]为解决上述技术问题，本专利技术采用如下技术方案：基于改进的
nerf
‑
slam
的室内大型场景高精度定位与导航系统，包括精确定位模块
、
目标识别模块
、
语义地图模块
、
最优路径选择模块
、
辅助导航模块和语音模块，所述精确定位模块
、
目标识别模块
、
语义地图模块
、
最优路径选择模块
、
辅助导航模块和语音模块依次相连，
[0005]其中，精确定位模块，基于改进的神经辐射场
nerf
‑
slam
融合
TSDF
技术进行室内多层三维重建，并采用
FPGA
进行图像硬件加速处理，运用
DSO
在检测不到特征点的场景得到精准的相机定位
、SVO
检测
FAST
特征
、
直接法跟踪特征
、
重投影误差模型来优化位姿
[0006]其中，目标识别模块，通过算法来实现视频目标的检测和跟踪，并传递给目标识别模块进行语义信息，从而实现语义地图；
[0007]其中，语义地图模块，首先利用深度学习算法对视频进行分析，提取视频中的目标物体
、
场景信息
、
动作信息等语义信息
。
主要的深度学习算法包括卷积神经网络
(CNN)、
循环神经网络
(RNN)、
长短时记忆网络
(LSTM)
等
。
然后，将从视频中提取出来的语义信息表示成计算机可处理的形式，采用向量表示
。
再将语义信息以可视化的形式呈现出来，建立语义地图
[0008]算法是基于
IMU
与
LiDAR
紧耦合的里程计算法以及基于
Yolov8n
和
DeepSORT
的深度学习的算法；
[0009]其中，
IMU
与
LiDAR
紧耦合的里程计算法，首先，在数据预处理阶段进行主干目标点
云提取，去除部分干扰点云，同时采用
IMU
状态估计，校正
LiDAR
畸变数据，提高
LiDAR
数据的质量；其次，通过双阈值地面滤波和基于
PCA
进行多类别特征点提取，在特征点匹配阶段进行特征点的主向量和法向量方向上一致性检查，使特征点匹配在距离和方向上更加鲁棒；最终使用
IMU
数据构建紧耦合，进行联合优化，提高里程计精度；
[0010]由于距离
LiDAR
中心较远的点云数据较为稀疏，存在大量噪声，极大影响特征点匹配精度，所以需要对
LiDAR
数据进行预处理
。
具体算法步骤为：
(1)
对
LiDAR
数据进行主干目标点云提取，剔除部分干扰点云；
(2)
通过
IMU
状态估计值对运动畸变点云进行畸变校正，得到质量较高的点云数据；
(3)
对畸变校正后的点云数据进行下采样处理，得到特定数量的点云数据；
(4)
使用双阈值地面滤波和基于
PCA
进行多类别特征点提取，得到不同类别特征点；
(5)
每种类别特征点在欧式距离最小范围内搜索最近点对应关系，并进行特征点法向量和主向量方向上的一致性检查；
(6)
使用
IMU
数据构建系统误差函数，共同约束激光里程计，进行后端优化
。
[0011]Yolov8n
和
DeepSORT
的深度学习的算法：利用训练好的
Yolov8n
模型对视频帧进行目标检测，获取目标的位置和类别信息
。
对每个目标区域提取特征向量，作为
DeepSORT
跟踪算法的输入；利用
DeepSORT
算法对目标进行跟踪，获取目标的速度和加速度等信息
。
利用匈牙利算法将当前帧检测到的目标与上一帧跟踪的目标进行关联，确保跟踪的目标不丢失，并更新目标的状态信息
。
将检测和跟踪的结果可视化，在小程序界面上标注目标的位置和类别信息，
DeepSORT
算法的基本思想是利用卷积神经网络提取目标的特征，然后利用卡尔曼滤波进行目标跟踪，并利用匈牙利算法进行目标关联
。
[0012]其中，最优路径选择模块，利用融合深度神经网络和强化学习方法的基于改进
DQN
算法选出最佳路径；
[0013]首先利用
SLAM
算法建成的地图包含了机器人所经过的路径和环境中的障碍物等过多信息，并对该地图进行适当简化，减少大量无关节点和边，同时也考虑到节点和边的分布情况，以确保转换后的有向图能够有效地应用于基于改进
DQN
算法的路径规划方法中，然后，将地图环境划分成一个个小区域，并建立起它们之间的关系，并将每个小区域作为一个状态，并将所有状态组合成一个状态空间
。
每个状态包括当前位置
、
目标位置
、
周围环境等信息
[0014]其中，辅助导航模块，通过
WiFi+BLE+LoRa
三合一网关的组合方式进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于改进的
nerf
‑
slam
的室内大型场景高精度定位与导航系统，其特征在于：包括精确定位模块
、
目标识别模块
、
语义地图模块
、
最优路径选择模块
、
辅助导航模块和语音模块，所述精确定位模块
、
目标识别模块
、
语义地图模块
、
最优路径选择模块
、
辅助导航模块和语音模块依次相连
。2.
根据权利要求1所述的基于改进的
nerf
‑
slam
的室内大型场景高精度定位与导航系统，其特征在于：精确定位模块，基于改进的神经辐射场
nerf
‑
slam
融合
TSDF
技术进行室内多层三维重建，并采用
FPGA
进行图像硬件加速处理，运用
DSO
在检测不到特征点的场景得到精准的相机定位
、SVO
检测
FAST
特征
、
直接法跟踪特征
、
重投影误差模型来优化位姿
。3.
根据权利要求1所述的基于改进的
nerf
‑
slam
的室内大型场景高精度定位与导航系统，其特征在于：其中，目标识别模块，通过算法来实现视频目标的检测和跟踪，并传递给目标识别模块进行语义信息，从而实现语义地图
。...

【专利技术属性】
技术研发人员：杨建文，段章领，王梦然，梁好，万秭濛，高刘轩祺，孙亚顺，
申请(专利权)人：安徽大学，
类型：发明
国别省市：