【技术实现步骤摘要】
本专利技术属于机器人，涉及一种四相轮足翼潜多模态智能机器人的自主导航方法。
技术介绍
1、“可上九天揽月，可下五洋捉鳖”，未来智能机器人作业场景是海、陆、空全方位多维度立体空间。近年来，轮式机器人、履带式机器人、无人机、机器狗等由于其低成本、灵活机动的优势，在机器人领域受到了广泛地关注和应用。但是，这些机器人往往只能在空中、陆地、江海湖泊等单一场景使用，缺乏应对多个场景的能力，灵活机动性能差、难以在全地形复杂环境生存。
2、针对多模态智能机器人的运动控制问题，对于复杂环境和机器人结构，传统控制方法难以建立精确动力学模型，机器人动作的计算速度和准确性较低，导致运动控制精度和稳定性较差。
3、针对多模态智能机器人的自主导航问题，现有的自主导航方法难以实现在不同场景下进行自适应自主导航，适用的场景单一；而且在导航过程中传感器的测量误差随着时间积累，导航精度较低，抗干扰能力较差。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提出一种四相轮足翼潜多模态智能机器人的自主导航方法，解决现有的自主导航方法难以实现在不同场景下进行自适应自主导航、导航精度较低、抗干扰能力差的问题。
2、本专利技术解决技术的方案是：提出一种四相轮足翼潜多模态智能机器人的自主导航方法，对于空中、地面场景，自主导航方法包括以下步骤：
3、s1、采用基于深度学习的语义信息提取技术，对机器人周围环境中的动态目标进行目标检测和语义信息提取，采用基于语义识别的v
4、s2、采用点云压缩方法对得到的三维地图去除冗余，得到剔除冗余信息的三维地图；
5、s3、采用ndt算法进行机器人在剔除冗余信息的三维地图中的重定位，结合三维地图信息进行全局路径规划和局部路径规划；
6、s4、采用多模态深度强化学习算法进行机器人的运动控制，使机器人按照规划的路径运动。
7、进一步的，对于水下场景，自主导航方法包括以下步骤：
8、t1、获取i mu测量的加速度和角速度、dvl测量的速度、相机拍摄的双目图像；
9、t2、采用扩展卡尔曼滤波算法对i mu测量的加速度和角速度、dvl测量的速度、相机拍摄的双目图像进行多源信息融合，生成机器人在水下的周围环境实时三维地图；
10、t3、采用ndt算法进行机器人在实时三维地图中的重定位，结合三维地图信息进行全局路径规划和局部路径规划；
11、t4、采用多模态深度强化学习算法进行机器人的运动控制，使机器人按照规划的路径运动。
12、进一步的，步骤s1所述对机器人周围环境中的动态目标进行目标检测和语义信息提取，具体为：
13、采用基于深度学习的语义信息提取技术，分别进行地图关键帧提取、目标检测与图像分割、深度学习模型构建和语义信息提取，对机器人周围环境中的动态目标进行目标检测和语义信息提取。
14、进一步的，进行地图关键帧提取采用卷积神经网络，进行目标检测与图像分割采用yolov8算法。
15、进一步的，所述得到机器人周围陆地和空中环境的三维地图，具体为：
16、采用基于语义识别的vi ns动态自主导航技术，分别进行语义信息标注、前端视觉里程计构建、后端非线性优化、回环检测与全局优化，得到机器人周围陆地和空中环境的三维地图。
17、进一步的，所述前端视觉里程计构建，包括：
18、依次进行传感器数据采集、相机和i mu异构数据时空同步、相机和i mu异构数据特征点提取、相机和i mu异构数据融合，最后采用orb算法估计相机的运动，得到一段时间内的轨迹和地图。
19、进一步的，所述后端非线性优化，包括：
20、在后端采用非线性最小二乘法对所述一段时间内的轨迹和地图进行优化，得到全局地图。
21、进一步的，全局路径规划采用a*算法，局部路径规划采用dwa算法或者teb算法。
22、进一步的，所述采用多模态深度强化学习算法进行机器人的运动控制，具体为：
23、在仿真环境中执行以下流程：
24、(1)设置多模态机器人参数，包括机器人的各个关节尺寸、位置、角度、重量、材质，电机参数设置，直行速度设置，转弯速度设置；
25、(2)设置环境参数，包括仿真环境中的地形、风速、地面摩擦力系数；
26、(3)在设置的多模态机器人参数和环境参数条件下，获取多源传感器仿真数据，将包括视觉相机、gnss、imu不同传感器的仿真数据进行输入；
27、(4)根据不同传感器的仿真数据进行重定位、全局路径规划和局部路径规划；
28、(5)载入高保真电机模型获取真实机器人关节电机执行的输入输出数据，采用真实机器人关节电机执行的输入输出数据对卷积神经网络进行训练，得到接近真实的关节电机仿真模型；
29、(6)采用深度强化学习算法对关节电机仿真模型的运动控制不断训练试错，同时采用迁移学习算法提高训练效率；
30、(7)在深度强化学习算法与迁移学习算法执行过程中，对状态值、观测值和奖励值进行实时迭代更新，最终输出为运动控制策略；
31、在真实环境中执行以下流程：
32、(1)获取多源传感器在真实环境中的数据，将包括视觉相机、gnss、imu不同传感器的真实数据进行输入；
33、(2)根据不同传感器的真实数据进行重定位、全局路径规划和局部路径规划；
34、(3)接入真实电机；
35、(4)采用仿真环境中输出的运动控制策略,根据pid控制算法对真实电机进行底层运动控制；
36、(5)通过负反馈机制对深度强化学习算法与迁移学习算法的参数在线调整，优化运动控制策略。
37、进一步的，所述多模态智能机器人的硬件架构包括外部存储器、计算单元、fpga加速器；
38、计算单元和fpga加速器协同工作完成深度强化学习算法的计算，其中计算单元用于与环境进行交互、奖励函数的计算，fpga加速器用于实现深度强化学习算法中神经网络的权值更新、前向推理、误差反向传播；外部存储器用于存储机器人本体、环境及深度强化学习的超参数。
39、本专利技术与现有技术相比的有益效果是：
40、(1)本专利技术针对多模态智能机器人的运动控制问题，采用多模态深度强化学习(mdrl)方法，在仿真环境下训练学习以获取多模态运动控制能力，再将其引入真实环境，利用在真实世界获取的多源传感器信息，从仿真环境迁移到真实场景，使得机器人在复杂未知环境下做出最优的运动控制策略，相比于现有是机器人运动控制方法，本专利技术提供了一种低成本、高效率、可观测的运动控制学习途径。
41、(2)本专利技术能够针对不同场景进行自适应自主导航，对于空中、地面场景，采用视觉语义vin本文档来自技高网...
【技术保护点】
1.一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，对于空中、地面场景，自主导航方法包括以下步骤：
2.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，对于水下场景，自主导航方法包括以下步骤：
3.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，步骤S1所述对机器人周围环境中的动态目标进行目标检测和语义信息提取，具体为：
4.根据权利要求3所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，进行地图关键帧提取采用卷积神经网络，进行目标检测与图像分割采用YOLOv8算法。
5.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述得到机器人周围陆地和空中环境的三维地图，具体为：
6.根据权利要求5所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述前端视觉里程计构建，包括：
7.根据权利要求5所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述后端非线性优化
8.根据权利要求1或2任一项所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，全局路径规划采用A*算法，局部路径规划采用DWA算法或者TEB算法。
9.根据权利要求1或2任一项所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述采用多模态深度强化学习算法进行机器人的运动控制，具体为：
10.根据权利要求9所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述多模态智能机器人的硬件架构包括外部存储器、计算单元、FPGA加速器；
...【技术特征摘要】
1.一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，对于空中、地面场景，自主导航方法包括以下步骤：
2.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，对于水下场景，自主导航方法包括以下步骤：
3.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，步骤s1所述对机器人周围环境中的动态目标进行目标检测和语义信息提取，具体为：
4.根据权利要求3所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，进行地图关键帧提取采用卷积神经网络，进行目标检测与图像分割采用yolov8算法。
5.根据权利要求1所述的一种四相轮足翼潜多模态智能机器人的自主导航方法，其特征在于，所述得到机器人周围陆地和空中环境的三维地图，具体为：
<...【专利技术属性】
技术研发人员：吴太晖，晁鲁静，厚俊臣，路鹰，阎岩，李罗钢，耿克达，蔡敬坤，任金磊，王振亚，刘璐芳，姬晓闯，李山山，郑方正，
申请(专利权)人：中国航天科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。