一种船用激光雷达与视频联合目标捕捉系统及方法技术方案

本发明专利技术公开了一种船用激光雷达与视频联合目标捕捉系统及方法，通过激光雷达配合摄像机视频信息，做到对船舶周围水上目标的自动识别和定位。首先在船桥布设激光雷达和视频设备，激光雷达记录目标船舶在水面以上的点云数据，视频设备记录目标船舶的视频信息。通过数据处理中心，由视频信息可以得到目标船舶的类型、载货类型等细节信息，由激光雷达可以得到目标船舶精准的空间位置信息。最后将激光雷达信息与视频信息进行时空上的融合，形成实时显示的融合了激光雷达信息的视频信息来服务于水上交通导航和管理。本发明专利技术提高了船舶识别效率和准确度，对于雾航、夜航等不良航行环境有视觉增强辅助作用，可以确保水上交通运输的通航安全和航运效率。

【技术实现步骤摘要】
一种船用激光雷达与视频联合目标捕捉系统及方法
本专利技术涉及目标识别领域，具体涉及一种服务于船舶导航或管理的，以激光雷达配合视频设备视频信息的水上目标识别系统及方法。
技术介绍
随着水路运输迅速发展，船舶目标识别已成为水上交通部门的一项挑战性工作。目前的主要监测手段是船舶自动识别系统(AutomaticIdentificationSystem，AIS)与岸基雷达，但是AIS存在主观错误信息，而雷达目标存在信息缺失等，给管理和导航带来困难。因此，海事主管部门在船上和岸基都布置了大量的摄像头对现有的AIS和雷达进行信息补充，但是视频监控利用率普遍比较低，主要原因是需要人工进行观察，耗费大量人力。如果摄像头具备船舶目标的捕获与跟踪能力，将极大改善上述问题。视觉监控方面的专项技术，经历了由传统到现代、由人工识别到机器自主识别的转变。然而这些常见视觉识别技术直接应用于船舶领域，仍有一些问题。首先，这些方法都基于人为设计的目标特征，这样工作量大而且识别效果不好。然后，受摄像头安装距离、位置、方位等的限制，现有摄像头采集的船舶视频质量往往清晰度不足、分辨率不够，传统方法难以提高识别的成功率。此外，由于船舶目标具有形状细长、多个目标排列紧凑等特点，应用传统的目标检测框架也易出现漏检、误检等问题。最后，传统的图像检测受光线变化影响大，在夜晚或者恶劣天气条件下会失去识别效果。近几年来，随着深度学习在计算机视觉、图像处理以及遥感信息处理领域的应用，目标检测识别、图像语义分割等应用取得了巨大突破，另一方面，激光感知技术也得到了突破性的进步，激光雷达采集到的三维信息不需要接触到被测物体就能快速获取信息，不受时间限制，扫描速度快、实时性强、精度高并且全数字化。视频本质上是二维点阵信息，其中包含了船舶丰富的细节信息，包括载货类型、形态等，基于深度视觉可以获得精准的类型信息；激光雷达则是三维坐标信息，尽管丢失了大量的颜色细节，但其中又包含了精确的空间位置信息、轮廓信息。如果将两类信息进行有效融合，将会对导航、管理提供重要的支撑。
技术实现思路
针对现有技术中存在的问题，本专利技术提供了一种可以用于智能船作为其环境感知系统，为后续自主航行的认知和决策提供环境信息，也可用于船闸，实现对待通过船舶和引航道上的船舶的智能识别和监管，提高通航效率，通过深度视觉技术和激光感知技术的融合实现对船舶目标实时识别和定位，从而提高航运安全性的船用激光雷达与视频联合目标捕捉系统及方法。本专利技术的目的通过以下技术方案实现。一种船用激光雷达与视频联合目标捕捉系统，包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。所述传感器系统包括视频设备和激光雷达，所述数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述数据融合中心用于将视觉目标和激光雷达目标进行空间和时间上的融合。所述传感器系统集成在船尾上，定点安装于船桥上。所述视频信息处理模块用MaskR_CNN算法识别由船载视频设备的光学信号转变的图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时对激光图像预处理并提取激光雷达采集空间位置信息。所述终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏用来显示实时视频信息，所述三色指示灯用来指示船舶检测系统的工作状态，所述功能按键组用来接收监管人员对视频设备的控制指令，所述VHF甚高频对讲机用来发出语音指令。所述传感器系统、数据处理中心、数据融合中心和终端控制模块通过光纤对数据进行传输；所述视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据，当有船舶进入该监控区域时，所述激光雷达采集三维点云图，所述视频设备采集视频信息。所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡。所述视频设备利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。所述激光雷达信息处理模块包用于对激光雷达数据进行感兴趣区域选取，选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据，之后利用帧间差分法对获得的激光雷达点云数据进行去噪。所述视频信息处理模块通过迁移学习训练一个适合船用的深度视觉模型，并将视频信息传递给已经训练好的MaskR-CNN深度神经网络进行端到端的船舶目标识别，其输出包括目标类别，形状掩码，再由质心计算方法计算目标船舶中心。所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的航行信息及时汇总，通过激光雷达-相机联合标定和证据理论完成空间上和时间上的数据融合，实现多源异构信息归一化和船舶识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉信息。所述传感器系统、数据处理中心、数据融合中心之间由RS485控制连接线连接，所述数据融合中心通过无线网络与终端控制模块连接。一种船用激光雷达与视频联合目标捕捉方法，步骤包括：1)将传感器系统集成在船尾，定点安装于船桥上，所述传感器系统包括视频设备，激光雷达，所述视频设备利用摄像头和数传天线实时传输图像到终端控制模块，将真实可靠的视觉信息完整提取给驾驶人员，所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，获得目标的三维坐标并形成三维点云；2)数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述视频信息处理模块用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时提取激光雷达采集的空间位置信息；3)数据融合中心将视觉目标和激光雷达目标进行空间和时间上的融合；4)终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏显示实时视频信息，所述三色指示灯指示该系统的工作状态，所述功能按键组接收监管人员对摄像机的控制指令，所述VHF甚高频对讲机进行实时交通指挥。相比于现有技术，本专利技术的优点在于：1、使用深度视觉技术，海事主管部门可以直接获取目标船舶的船型、载货类型、距离等信息，提高了海事部门在船上和岸基布设的视频设备的监管效率。2、智能化的识别任务保证了驾驶人员或者监管者在长时间重复作业中的安全性，也为船舶驾驶员提供了便捷性。3、利用数据处理，获取了船舶及其周围环境的信息，只需调用数据库即可查找到船舶近期的航行情况，为研究船舶航行历史数据做出了贡献。4、通过对多源异构传感器的数据融合，提高了船舶环境感知的准确度和效率，大大增强了雨雾等不良天气下的航行的安全性，也为雾航、夜航提供了新的解决方案。附图说明图1为本专利技术的MaskR_CNN算法流程图。图2为本专利技术的MaskR_CNN的Anchor修正过程示意图。图3为FCN分割网络示意图本文档来自技高网...

【技术保护点】
1.一种船用激光雷达与视频联合目标捕捉系统，其特征在于包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。/n

【技术特征摘要】
1.一种船用激光雷达与视频联合目标捕捉系统，其特征在于包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。


2.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统包括视频设备和激光雷达，所述数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述数据融合中心用于将视觉目标和激光雷达目标进行空间和时间上的融合。


3.根据权利要求1或2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统集成在船尾上，定点安装于船桥上。


4.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述视频信息处理模块用MaskR_CNN算法识别由船载视频设备的光学信号转变的图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时对激光图像预处理并提取激光雷达采集空间位置信息。


5.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏用来显示实时视频信息，所述三色指示灯用来指示船舶检测系统的工作状态，所述功能按键组用来接收监管人员对视频设备的控制指令，所述VHF甚高频对讲机用来发出语音指令。


6.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统、数据处理中心、数据融合中心和终端控制模块通过光纤对数据进行传输；所述视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据，当有船舶进入该监控区域时，所述激光雷达采集三维点云图，所述视频设备采集视频信息。


7.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡。


8.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述视频设备利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。
<...

【专利技术属性】
技术研发人员：孙杰，胡军，马枫，
申请(专利权)人：南京智慧水运科技有限公司，
类型：发明
国别省市：江苏;32