一种无人船的目标识别追踪系统及其工作方法技术方案

本发明专利技术公开了一种无人船的目标识别追踪系统及其工作方法，所述系统包括数据采集单元、感知单元、数据处理单元和主控制单元；数据采集单元包括3D激光雷达、发射换能器、一对水听器和组合导航系统，感知单元包括3D激光雷达和两台广角相机；数据处理单元为四核的工控机，主控制单元使用STM32F4处理器，与岸基上位机之间通过无线数传图传模块进行通信。本发明专利技术采用3D激光雷达、矢量水听器对水面水下障碍物进行扫描，工控机解析出水面障碍物位置，水听器处理器确定水下障碍物位置，根据获取的障碍物位置，工控机采取避障算法对障碍物进行避障，即实现无人船对水面水下的障碍物避障，达到了能够在水下情况复杂的水域进行作业的目的。

A target recognition and tracking system for an unmanned ship and its working method

The invention discloses a target recognition and tracking system for an unmanned ship and its working method. The system includes a data acquisition unit, a sensing unit, a data processing unit and a main control unit. The data acquisition unit includes a 3D laser radar, a transmitter, a pair of hydrophones and a combination navigation system, and a sensing unit including a 3D laser. The radar and two wide angle cameras; the data processing unit is a four core industrial control machine. The main control unit uses the STM32F4 processor to communicate with the bank based upper computer through the wireless data transmission module. The invention uses the 3D laser radar and the vector hydrophone to scan the underwater obstacle, the industrial control machine analyses the position of the water surface obstacle, the hydrophone processor determines the position of the underwater obstacle. According to the position of the obstacle, the industrial control machine adopts the obstacle avoidance algorithm to avoid obstacles, that is to realize the unmanned ship to the water under the water. Obstacle avoidance has achieved the purpose of carrying out operations in waters with complex underwater conditions.

【技术实现步骤摘要】
一种无人船的目标识别追踪系统及其工作方法
本专利技术属于无人船领域，尤其涉及一种无人船的目标识别追踪系统及其工作方法。
技术介绍
无人船作为一种低风险的自主作业产品，在军事生产等各个方面都有着广泛的应用，可以实现自主避障、路径规划等功能，实现水面信息的采集检测等作业任务，为工作生产提供了极大的便利并且避免了高风险任务所带来的风险。但是应对复杂水下环境时，水面激光避障不能做到对水下障碍物的避障，对无人船作业而言，不仅限制了无人船的工作环境而且增加作业中的风险，同时对于不同的海面作业任务，无人船功能较为单一，缺乏一定的自主判断能力，例如，在无人船距离岸基较远时，人眼不可见，无人船不能够对海面特定的目标识别判断，增加了工作难度。
技术实现思路
为解决现有技术存在的上述问题，本专利技术要设计一种能在水下情况复杂水域自主避障以及在自主避障基础上进行海面特定目标识别追踪的无人船的目标识别追踪系统及其工作方法，以丰富无人船的海面作业内容，减小作业的风险。为了实现上述目的，本专利技术的技术方案如下：一种无人船的目标识别追踪系统，包括数据采集单元、感知单元、数据处理单元和主控制单元；所述数据采集单元包括3D激光雷达、发射换能器、一对水听器和组合导航系统，所述组合导航系统包括GPS导航系统和IMU惯性测量单元；所述发射换能器和一对水听器均与水听器处理器连接；所述3D激光雷达安装在无人船顶部平台中部；发射换能器安装在无人船下部中央位置，低于浮筒的吃水深度；一对矢量声波水听器安装在无人船下部浮筒内侧；GPS导航系统和IMU惯性测量单元安装在无人船的防水箱中；所述感知单元包括3D激光雷达和两台广角相机；所述3D激光雷达与数据采集单元中的3D激光雷达共用；两台广角相机分别安装在无人船前部平台左右两侧；所述数据处理单元为四核的工控机，安装在无人船的防水箱中，并配备大容量的内部存储器；所述主控制单元使用STM32F4处理器，与岸基上位机之间通过无线数传图传模块进行通信。进一步地，所述水听器为矢量声波水听器。进一步地，所述组合导航系统为基于MEMS技术的组合导航系统。一种无人船的目标识别追踪系统的工作方法，包括以下步骤：A、数据初始化初始化岸基上位机操作系统及无人船设备驱动程序。B、数据信息采集IMU惯性测量单元获取无人船的实时姿态，所述实时姿态包括加速度、速度和航向角；GPS导航系统获取无人船实时位置；3D激光雷达对前方三维空间进行扫描，获取前方水面上的障碍物信息；一对矢量水听器通过声波信号基于时间差定位方法对水下障碍物进行定位测距；通过I/0口、RS232串口通信协议实现数据传输，将数据信息传输至数据处理单元；C、视觉信息采集感知单元基于camera通信协议实现对图像信息的采集，并将采集图像信息通过USB2.0标准连接传输至工控机；广角相机具有更大的视角，获取更大范围的水面图像，3D激光雷达在实现避障的同时扫描前方水域，获取检测目标，3D激光雷达的扫描数据通过串口通信传至数据处理单元；D、数据处理工控机对扫描到的雷达数据进行解析，获取海面上的障碍物的深度信息，确定海面上障碍物的坐标，水听器接收到障碍物反射回的声波信号，通过信号处理电路将水听器接收到的声波信号转化为数字信号发送给水听器处理器，水听器处理器基于时间差定位算法确定水下水下障碍物的方位与距离；工控机根据数据采集单元采集到的无人船实时姿态和位置信息以及3D激光雷达和水听器采集到的水面障碍物信息对前方水面进行环境建模，在避障过程中基于GPS导航系统实现全局路径规划，根据数据采集单元采集到的障碍物信息，基于向量场直方图避障算法进行局部避障即VFH*，实现无人船的局部避障及前方预测，基于强化学习的方法优化无人船的避障行为；视觉信息的处理在工控机内完成，广角相机建立理想的针孔模型，工控机将3D激光雷达与广角相机图像融合，从二值图像中提取图像轮廓，针对3D雷达图像上的扫描到的区域进行视觉处理，针对感兴趣的区域进行特征提取，确定识别跟踪的目标，并用可视化的绿框框起来；E、底层控制数据处理单元将工控机处理的水面障碍物信息和水听器处理器处理的水下障碍物的信息传给主控制单元，主控制单元基于卡尔曼滤波将视觉的目标识别追踪信息和环境建模信息进行融合，控制无人船的实时姿态，程序设计时，对障碍物的规避比视觉的目标识别追踪具有更高的优先级。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术采用3D激光雷达、矢量水听器对水面水下障碍物进行扫描，工控机解析出水面障碍物位置，水听器处理器确定水下障碍物位置，根据获取的障碍物位置，工控机采取避障算法对障碍物进行避障，即实现无人船对水面水下的障碍物避障，达到了能够在水下情况复杂的水域进行作业的目的。2、本专利技术在无人船自主避障的基础上的设计了无人船的目标识别追踪系统，实现对水面特定目标的识别和追踪任务，使无人船具备自主判断能力；在传统的视觉方法的基础上采用3D激光雷达与广角相机的图像融合技术，减少误报的图像区域，提高了计算机视觉的效率。附图说明图1是目标识别追踪系统的整体流程图。图2是水听器的数据处理过程的逻辑结构图。图3是视觉处理过程的流程图。图4是无人船结构示意图。图5是图4的侧视图。图6是无人船器件连接方式示意图。图中：1、水听器，2、发射换能器，3、广角相机，4、无线数传图传模块，5、3D激光雷达，6、遥控天线，7、防水箱，8、工控机，9、水听器处理器，10、主控制单元，11、GPS导航系统，12、IMU惯性测量单元。具体实施方式下面结合附图对本专利技术进行进一步地描述。如图1-6所示，一种无人船的目标识别追踪系统，包括数据采集单元、感知单元、数据处理单元和主控制单元10；所述数据采集单元包括3D激光雷达5、发射换能器2、一对水听器1和组合导航系统，所述组合导航系统包括GPS导航系统11和IMU惯性测量单元12；所述发射换能器2和一对水听器1均与水听器处理器9连接；所述3D激光雷达5安装在无人船顶部平台中部；发射换能器2安装在无人船下部中央位置，低于浮筒的吃水深度；一对矢量声波水听器1安装在无人船下部浮筒内侧；GPS导航系统11和IMU惯性测量单元12安装在无人船的防水箱7中；所述感知单元包括3D激光雷达5和两台广角相机3；所述3D激光雷达5与数据采集单元中的3D激光雷达5共用；两台广角相机3分别安装在无人船前部平台左右两侧；所述数据处理单元为四核的工控机8，安装在无人船的防水箱7中，并配备大容量的内部存储器；所述主控制单元10使用STM32F4处理器，与岸基上位机之间通过无线数传图传模块4进行通信。各器件的功能如下：所述数据采集单元基于组合导航系统对无人船的地理位置以及无人船姿态信息进行采集，GPS导航系统11获取无人船的实时位置信息，IMU惯性测量单元12获取无人船的实时加速度、速度和航向角，发射换能器2向水下发射声波信号，水听器1对水下障碍物反射回的声波信号进行接收以确定障碍物的方位；所述广角相机3对无人船前方图像信息进行采集；所述3D激光雷达5感知单元与数据采集单元共用。3D激光雷达5为数据采集单元采集周围障碍物信息，并用于避障；3D激光雷达5为感知单元对前方水面进行检测，获取检测识别目标，以实现与广角相机3融合；所述岸基上位机接收无人船在水面发送回的数本文档来自技高网...

【技术保护点】
1.一种无人船的目标识别追踪系统，其特征在于：包括数据采集单元、感知单元、数据处理单元和主控制单元(10)；所述数据采集单元包括3D激光雷达(5)、发射换能器(2)、一对水听器(1)和组合导航系统，所述组合导航系统包括GPS导航系统(11)和IMU惯性测量单元(12)；所述发射换能器(2)和一对水听器(1)均与水听器处理器(9)连接；所述3D激光雷达(5)安装在无人船顶部平台中部；发射换能器(2)安装在无人船下部中央位置，低于浮筒的吃水深度；一对矢量声波水听器(1)安装在无人船下部浮筒内侧；GPS导航系统(11)和IMU惯性测量单元(12)安装在无人船的防水箱(7)中；所述感知单元包括3D激光雷达(5)和两台广角相机(3)；所述3D激光雷达(5)与数据采集单元中的3D激光雷达(5)共用；两台广角相机(3)分别安装在无人船前部平台左右两侧；所述数据处理单元为四核的工控机(8)，安装在无人船的防水箱(7)中，并配备大容量的内部存储器；所述主控制单元(10)使用STM32F4处理器，与岸基上位机之间通过无线数传图传模块(4)进行通信；各器件的功能如下：所述数据采集单元基于组合导航系统对无人船的地理位置以及无人船姿态信息进行采集，GPS导航系统(11)获取无人船的实时位置信息，IMU惯性测量单元(12)获取无人船的实时加速度、速度和航向角，发射换能器(2)向水下发射声波信号，水听器(1)对水下障碍物反射回的声波信号进行接收以确定障碍物的方位；所述广角相机(3)对无人船前方图像信息进行采集；所述3D激光雷达(5)感知单元与数据采集单元共用；3D激光雷达(5)为数据采集单元采集周围障碍物信息，并用于避障；3D激光雷达(5)为感知单元对前方水面进行检测，获取检测识别目标，以实现与广角相机(3)融合；所述岸基上位机接收无人船在水面发送回的数字信号、图像信号以及水面采集的信息，在无人船自主判断出现问题的时候，无人船的遥控天线(6)接收岸基上位机发送指令，控制无人船的工作或返航；所述工控机(8)对3D激光雷达(5)的数据进行解析获取障碍物的位置信息，并与水听器(1)定位到的水下障碍物的位置信息进行融合，根据采集的环境信息以及无人船的实时姿态进行实时的环境建模，选取可行区域；采用工控机(8)对视觉信息进行处理，将3D激光雷达(5)图像和广角相机(3)图像进行融合，对融合图像做图像处理，提取感兴趣区域，获取跟踪识别目标；工控机(8)进行视觉处理以及3D激光雷达(5)数据解析后需要占用的较大内存空间，故需要大容量的内部存储器；所述水听器处理器(9)采用STM32F4系列处理器，控制发射换能器(2)的信号发射，加入定位算法对水听器(1)接收到的信号做算法处理，实现对水下障碍物测距定位；所述主控制单元(10)采用STM32F4系列处理器作为底层控制，对无人船电机进行控制，根据数据处理单元获取的可行区域及识别追踪目标，实现无人船在自主避障基础上的目标识别追踪。...

【技术特征摘要】
1.一种无人船的目标识别追踪系统，其特征在于：包括数据采集单元、感知单元、数据处理单元和主控制单元(10)；所述数据采集单元包括3D激光雷达(5)、发射换能器(2)、一对水听器(1)和组合导航系统，所述组合导航系统包括GPS导航系统(11)和IMU惯性测量单元(12)；所述发射换能器(2)和一对水听器(1)均与水听器处理器(9)连接；所述3D激光雷达(5)安装在无人船顶部平台中部；发射换能器(2)安装在无人船下部中央位置，低于浮筒的吃水深度；一对矢量声波水听器(1)安装在无人船下部浮筒内侧；GPS导航系统(11)和IMU惯性测量单元(12)安装在无人船的防水箱(7)中；所述感知单元包括3D激光雷达(5)和两台广角相机(3)；所述3D激光雷达(5)与数据采集单元中的3D激光雷达(5)共用；两台广角相机(3)分别安装在无人船前部平台左右两侧；所述数据处理单元为四核的工控机(8)，安装在无人船的防水箱(7)中，并配备大容量的内部存储器；所述主控制单元(10)使用STM32F4处理器，与岸基上位机之间通过无线数传图传模块(4)进行通信；各器件的功能如下：所述数据采集单元基于组合导航系统对无人船的地理位置以及无人船姿态信息进行采集，GPS导航系统(11)获取无人船的实时位置信息，IMU惯性测量单元(12)获取无人船的实时加速度、速度和航向角，发射换能器(2)向水下发射声波信号，水听器(1)对水下障碍物反射回的声波信号进行接收以确定障碍物的方位；所述广角相机(3)对无人船前方图像信息进行采集；所述3D激光雷达(5)感知单元与数据采集单元共用；3D激光雷达(5)为数据采集单元采集周围障碍物信息，并用于避障；3D激光雷达(5)为感知单元对前方水面进行检测，获取检测识别目标，以实现与广角相机(3)融合；所述岸基上位机接收无人船在水面发送回的数字信号、图像信号以及水面采集的信息，在无人船自主判断出现问题的时候，无人船的遥控天线(6)接收岸基上位机发送指令，控制无人船的工作或返航；所述工控机(8)对3D激光雷达(5)的数据进行解析获取障碍物的位置信息，并与水听器(1)定位到的水下障碍物的位置信息进行融合，根据采集的环境信息以及无人船的实时姿态进行实时的环境建模，选取可行区域；采用工控机(8)对视觉信息进行处理，将3D激光雷达(5)图像和广角相机(3)图像进行融合，对融合图像做图像处理，提取感兴趣区域，获取跟踪识别目标；工控机(8)进行视觉处理以及3D激光雷达(5)数据解析后需要占用的较大内存空间，故需要大容量的内部存储器；所述水听器处理器(9)采用STM32F4系列处理器，控制发射换能器(2)的信号发射，加入定位算法对水听器(1)接收到的信号做算法处理，实现对水下障碍物测距定位；所述主控制单元(10)采用STM32F4系列处理器作为底层...

【专利技术属性】
技术研发人员：王宁，杨毅，高云程，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁,21