【技术实现步骤摘要】
本专利技术涉及三维重建，目标检测和跟踪、视频理解和语义地图构建、深度神经网络和强化学习的最优路径求解，具体为一种具有识别建图、路径规划与纠偏功能的导航渲染模型。
技术介绍
1、传统导航系统通常依赖于卫星导航系统，如gps，以提供室外位置信息。然而，当用户在室内或城市峡谷等高密度建筑环境中导航时，gps信号可能受到干扰或无法提供足够的精度。加之，信号经过建筑物有误，数据存在更新困难的情况。此外，传统导航系统通常仅提供基本的路径规划，缺乏对环境和障碍物的深度理解。
2、当考虑现有室内导航系统的挑战时，可以看到它们面临的主要问题包括定位精度不准、数据更新困难以及路径规划不易。这些问题限制了室内导航系统的实际应用，特别是在复杂环境中，如大型商场、车库等。对于定位精度，传统室内导航系统通常依赖于gps信号或基站定位，但在室内环境中，这些信号通常不可用或不准确。这导致了定位精度不高，无法满足用户对准确导航的期望。对于数据更新困难，室内环境常常发生变化，包括家具布局的更改、施工工程或装修，这导致了导航系统的地图数据不断过时。传统方法中的数据更新通常需要人工干预，费时费力，因此无法实时反映室内环境的变化。对于路径规划，传统室内导航系统的路径规划往往是基于静态地图的，而忽略了实时环境中的动态因素，如人流、障碍物等。这导致了路径规划的不灵活性，不能应对实际情况的变化。
3、针对这些挑战，有必要提供了一种具有识别建图、路径规划与纠偏功能的导航渲染模型，能够在各种环境下实现高精度的定位、智能路径规划和实时纠偏，从而满足用户对高质
技术实现思路
1、为了解决上述
技术介绍
所指出的不足，本专利技术提供一种具有识别建图、路径规划与纠偏功能的导航渲染模型，它整合感知、定位、数据更新和路径规划方法，以提供更精确、实时和可适应性的导航体验，旨在改善室内导航系统的性能，使其更适合广泛的应用领域，为用户提供更好的室内导航解决方案。
2、本专利技术采用的技术方案如下：
3、一种具有识别建图、路径规划与纠偏功能的导航渲染模型，包括以下步骤：
4、步骤1：定位与建图。采用两种先进的技术：改进的神经辐射场(nerf)和多智能体协同惯导-视觉-imu-融合多层tsdf-slam。改进的nerf可以从多个视角的图像数据中建立高精度的室内三维地图。同时，多智能体协同惯导-视觉-imu-融合多层tsdf-slam技术提供了关键支持，结合了惯性测量单元(imu)和激光扫描数据，实时更新位置信息，确保导航系统在复杂环境中的准确性和稳定性。
5、步骤2：跟踪、识别与纠偏。使用yolov8n和deepsort两种深度学习算法，实现视频目标识别和跟踪。yolov8n是一种高性能的目标检测算法，可以检测视频流中的物体，而deepsort可以跟踪这些检测到的目标。这种融合方法实现了实时跟踪室内环境中的物体，为导航提供实时感知。同时提前设定一个目标不应该出现的区域，一旦定位到这个区域说明定位错了，要进行纠正。
6、步骤3：抽象与建图。不仅捕捉环境中的物体，还添加语义信息，构建语义地图。识别和分类室内环境中的不同区域和物体，提供更多的上下文信息，以提高可理解性和人机交互性。
7、步骤4：求解最优路径。使用一种基于改进的深度强化学习(dqn)算法来求解最优路径。考虑当前的环境信息、语义地图以及用户的目标，生成最佳的导航路径，可以根据实际情况进行实时调整，以应对障碍物或其他不确定性因素。
8、具体的，在步骤1中包含以下步骤：
9、步骤1.1：首先，使用改进的神经辐射场(nerf-slam)方法，将rgb-d图像流作为输入，并以分层特征网格的形式输出摄像机的姿势和学习到的场景表示。这一方法包含以下关键步骤：
10、步骤1.1.1：生成模型。构建了一个生成模型，其任务是根据给定的场景表示和摄像机姿势，渲染深度和颜色图像。在测试时，通过逆向传播图像和深度重建损失来解决逆向问题。这有助于估计场景表现和摄像机的姿势，这两个实体是在交替优化中估计的。
11、步骤1.1.2：映射。逆传播过程中，只更新层次化的场景表示，确保它们与实际场景的几何特征保持一致。
12、步骤1.1.3：跟踪。在逆传播中，仅更新摄像机的姿态，以提高姿势的精确度和稳定性。
13、此外，为了提高可读性，将用于几何编码的细尺度网格与同等大小的颜色网格结合起来，并将它们显示为具有两个属性(红色和橙色)的一个网格。
14、步骤1.2：采用激光-惯导-视觉-imu-gps融合slam技术，其中利用机器学习训练好的模型进行特征点匹配以定位。具体步骤如下：
15、步骤1.2.1：特征点匹配。使用机器学习模型进行特征点匹配，以在室内环境中进行图内定位。这有助于提高室内导航的准确性。
16、步骤1.2.2：dso优化。在没有检测到特征点的情况下，使用direct sparseodometry(dso)来实现精准的相机定位。这提高了导航系统的鲁棒性。
17、步骤1.2.3：多传感器融合。整合多种传感器，包括深度相机、激光雷达、imu、毫米波雷达等，以实现多传感器融合。这有助于提供全面的环境感知和定位。
18、步骤1.3：引入imu与lidar紧耦合的里程计算法，以提高导航的精度。
19、具体步骤包括：
20、步骤1.3.1：数据预处理。对lidar数据进行主干目标点云提取，去除干扰点云，并使用imu状态估计校正lidar畸变数据，从而提高lidar数据的质量。
21、步骤1.3.2：特征点匹配。用双阈值地面滤波和基于pca的多类别特征点提取，以实现更鲁棒的特征点匹配。
22、步骤1.3.3：imu数据融合。使用imu数据来约束激光里程计，进行联合优化，以提高里程计的精度。这有助于减少导航中的误差和提高精确定位。
23、具体的，在步骤2中包含以下步骤：
24、步骤2.1：在视频帧处理之前，定义一个区域，表示目标不应该出现的区域。
25、步骤2.2：视频帧预处理。首先将视频帧转化为与模型输入格式相匹配的数据。这包括对图像进行尺寸调整、颜色空间转换或其他必要的处理，以确保后续的目标检测和跟踪操作能够顺利进行。
26、步骤2.3：使用经过训练的yolov8n模型对视频帧进行目标检测。这一步骤能够准确地定位和分类出视频帧中出现的各个目标，为后续的跟踪提供了重要的输入。如果检测到的目标位于不应出现的区域内，进行纠正并排除这些目标。
27、步骤2.4：对于每个被检测到的目标区域，提取特征向量，包含有关目标的关键信息，例如外观和位置，这些特征向量将被用作deepsort跟踪算法的输入。
28、步骤2.5：用deepsort算法对检测到的目标进行跟踪。这一算法不仅可以跟踪目标的当前位置，还能估计目标的速度、加速度等本文档来自技高网...
【技术保护点】
1.一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：所述步骤1中，包括以下步骤：
3.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：所述步骤2中，包括以下步骤：
4.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：所述步骤3中，包括以下步骤：
5.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：所述步骤4中，包括以下步骤：
【技术特征摘要】
1.一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，其特征在于：所述步骤1中，包括以下步骤：
3.根据权利要求1所述的一种具有识别建图、路径规划与纠偏功能的导航渲染模型，...
【专利技术属性】
技术研发人员：杨建文，万秭濛，段章领，贺建伟，范旭昊，宋乐怡，高刘轩祺，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。