一种基于ROS的无人船多传感器融合的多模态避障系统技术方案

本发明专利技术提供了一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，包括传感器、控制器和执行器三部分，本系统中激光雷达、工业相机、惯性测量单元和GPS模块用于感知周围环境和获取姿态和位置信息，属于系统的传感器；人工智能开发板和单片机是主控模块，根据输入通过内置算法做出决策，属于系统的控制器；驱动控制器及驱动机械装置用于执行控制器的决策，属于系统的执行器；本发明专利技术使用多传感器分布式模块化架构，使得各个功能耦合在一起，可以同时多线程执行任务，大大压缩了算力，控制更加灵活，搭载高效率高准确的视觉

【技术实现步骤摘要】
一种基于ROS的无人船多传感器融合的多模态避障系统


[0001]本专利技术涉及水上装备领域，具体地说是一种基于ROS的无人船多传感器融合的多模态避障系统。

技术介绍

[0002]目前，在无人船上使用的避障方式主要为单传感器感知避障。例如只使用激光雷达(1)探测周围障碍物信息，或只使用相机捕捉画面，再对画面或雷达反馈信息处理识别后根据识别结果进行避障。
[0003]激光雷达的优势在于可以探测远端障碍物，同时还可以探测周围横向360度范围内的障碍物信息。识别有效距离远，范围大。但是雷达只能探测一个平面，几乎没有纵向探测延展，因安装高度原因无法有效探测水面上漂浮的障碍物。相机的优势在于在横向和纵向上都有100度左右的识别范围，可以有效识别水面上漂浮的障碍物。但是探测距离很近，不能有效识别远端障碍物。
[0004]目前，无人船的总体控制系统大都是直接使用嵌入式开发板直接进行控制，如STM32系列、ESP系列、树莓派系列，这种控制方式受限于开发板的算力，无法执行某些需要较高算力运算的复杂功能如路径规划、视觉识别，并且开发难度大，研发周期长本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，包括传感器、控制器和执行器三部分，且本系统基于ROS架构进行开发测试，所述传感器包括激光雷达(1)、工业相机(2)、IMU惯性测量单元(3)和GPS模块(4)用于感知周围环境和获取姿态和位置信息；所述控制器包括人工智能开发板(5)和单片机(6)是无人船作业的主控模块，根据输入通过内置算法做出决策；所述执行器包括驱动控制器及驱动机械装置(7)用于执行控制器的决策；其中所述激光雷达(1)、所述工业相机(2)、所述IMU惯性导航模块和GPS模块(4)都与所述人工智能开发板(5)之间通过线缆连接，所述驱动控制器和所述人工智能开发板(5)都与单片机(6)之间通过线缆连接，所述驱动控制器和所述驱动机械装置(7)之间通过线缆连接；使用时，所述IMU惯性测量单元(3)和所述GPS模块(4)安装到船体连接桥上；所述IMU惯性测量单元(3)和所述GPS模块(4)采用当下通用的IMU+GPS数据融合算法的方式实现无人船在野外环境下较高精度的定位与路径计算功能，并进一步与导航功能包结合使用，可以实现定点导航的功能，该功能与避障功能同步进行；所述激光雷达(1)和所述工业相机(2)安装到无人船连接桥桥头位置，与连接桥中轴线对齐，工业相机(2)放在激光雷达(1)前方，获得雷达点云数据和工业相机(2)画面，分别经过滤波和分析处理后得到经过滤波的雷达信息和水面障碍物图像信息，打包封装成ROS架构中的“消息”并进行发布，再通过构建好的中枢避障算法节点订阅上述的水面障碍物图像信息和经过滤波的雷达信息，通过避障算法判断出船只接下来到达目标点需要的运动方向和速度，并根据采集到的实时数据不断迭代更新。2.根据权利要求1所述的一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，实现无人船在野外环境下的定位与路径计算功能，并进一步与ROS架构中的导航功能包结合使用具体包括以下内容：经过融合算法可以测量出当前船只的经纬度位置、姿态朝向、航行速度、航行加速度等信息，使用现行通用的IMU+GPS融合算法，将以上信息转化为里程计信息，里程计信息记录了船舶运动过程；操作者可以通过个人电脑在控制系统中，通过使用机器人操作系统(ROS)搭建的分布式框架，以通讯路由器(8)形成的WIFI局域网为媒介，向人工智能开发板(5)按次发送多个无人船巡航点经纬度坐标，导航功能包会结合当前位置信息和速度信息，计算出到达目标点所需的姿态、速度等信息，并转化为速度话题发送给单片机(6)。3.根据权利要求1所述的一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，所述激光雷达(1)和所述工业相机(2)同时进行识别，只是两个传感器识别区域不同，识别的目标物也不同，但最终会将识别结果统一到一个坐标系下，方便进行避障计算；具体为所述激光雷达(1)负责探测远端1m
‑
40m范围和横向360度内高起的障碍物；所述工业相机(2)负责探测船舶前方横向100度和纵向80度范围内水面上的漂浮障碍物。4.根据权利要求1所述的一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，所述激光雷达(1)直接获得的雷达点云数据的数据量较大且在水面上会受到较多噪声干扰，因此需要建立一个雷达滤波简单去简化雷达数据信息，滤除干扰点和噪声点，该滤波算法是根据雷达点云数据的离散程度进行判断的；在散点相对聚集的区域，可以认为就是需要躲避的障碍物，反之则认为是噪声。5.根据权利要求1所述的一种基于ROS的无人船多传感器融合的多模态避障系统，其特征在于，所述工业相机(2)直接获取的画面需要通过分析处理后才能最终识别出其中水面
障碍物，具体分析处理时需要用到卷积神经网络Yolov5识别处理，使用的是已经提前训练好的数据集，该数据集包括一系列水面上常见的漂浮物如：矿泉水瓶、塑料垃圾袋、漂浮原木、木桶等，后续还会不断对数据集进行升级，加入其他野生环境中可能会出现的漂浮物，该神经网络读取工业相机(2)捕捉到的每一帧画面，并进行...

【专利技术属性】
技术研发人员：傅安琪，冯晋晨，莫元昊，沈泊洋，滕影轩，刘乾泽，王紫宸，乔俊飞，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：