当前位置: 首页 > 专利查询>武汉大学专利>正文

基于视觉语言模型的海床作业机器人行进规划方法及系统技术方案

技术编号:46044304 阅读:14 留言:0更新日期:2025-08-11 15:35
本发明专利技术提供基于视觉语言模型的海床作业机器人行进规划方法及系统,通过机器人前置RGB相机获取图像信息,使用视觉编码器编码RGB信息给视觉‑语言模型。紧接着,结合机器人履带/滑橇底盘的数值数据,将压力数据、速度、海底深度等数据组织为提示词。组织数据后,使用LoRA的方式进行指令微调,赋予多模态大语言模型理解海底环境和做出稳定步进方向决策的能力。推理阶段,利用RGB图像和组织好的提示词做出步进决策,包含前进、向左转、向右转和停止。为了高效采集训练数据,利用仿真软件构建海床力学仿真模型,根据海床沉积物与机器人履带/滑橇底盘的数值模型,模拟履带/滑橇在海床环境的应力状态、形变规律。

【技术实现步骤摘要】

本专利技术涉及海洋机器人,更具体地,涉及基于视觉语言模型的海床作业机器人行进规划方法及系统


技术介绍

1、随着海洋资源开发的不断深入,海底作业机器人在海洋工程中的应用越来越广泛。然而,海底环境复杂多变,尤其是海底稀软土表面,其地形地貌、水流、海洋生物等因素对机器人的行进稳定性提出了严峻挑战。传统的机器人行进规划方法通常基于预设的环境模型和规则,难以适应复杂多变的海底环境。现有的视觉导航方法虽然能够利用图像信息进行环境感知,但在处理多模态数据融合和复杂环境决策时仍存在不足。例如,这些方法往往忽视了机器人履带/滑橇底盘的数值数据,如压力数据、速度、海底深度等,这些数据对于机器人的稳定行进至关重要。此外,传统的数据采集方法成本高昂,且在实际海底环境中数据采集的风险较大,限制了模型训练的效率和质量。


技术实现思路

1、本专利技术针对现有技术中存在的技术问题,提供基于视觉语言模型的海床作业机器人行进规划方法及系统,旨在解决机器人于海底稀软土表面进行作业时的稳定行进难题,保障机器人稳定行走,提高机器人对海底稀软土表面的本文档来自技高网...

【技术保护点】

1.基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述图像中的关键特征包括海底地形和障碍物位置;所述使用机器人前置 RGB 相机获取图像信息,使用视觉编码器对 RGB 信息进行编码,提取图像中的关键特征包括:

3.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述使用机器人前置 RGB 相机获取图像信息之后,还需要对采集到的图像进行预处理;预处理包括:图像增强、去噪、锐化操作。

4.根据权利要求1所述的基于视觉语...

【技术特征摘要】

1.基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述图像中的关键特征包括海底地形和障碍物位置;所述使用机器人前置 rgb 相机获取图像信息,使用视觉编码器对 rgb 信息进行编码,提取图像中的关键特征包括:

3.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述使用机器人前置 rgb 相机获取图像信息之后,还需要对采集到的图像进行预处理;预处理包括:图像增强、去噪、锐化操作。

4.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述结合机器人履带/滑橇底盘的数值数据包括:

5.根据权利要求1所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述将压力数据、速度、海底深度数据组织为提示词,向视觉-语言模型提供机器人当前的运行状态和环境信息包括:

6.根据权利要求5所述的基于视觉语言模型的海床作业机器人行进规划方法,其特征在于,所述视觉-语言模...

【专利技术属性】
技术研发人员:李淼吴靖王禺琛李梦德
申请(专利权)人:武汉大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1